CN104380739A - 图像处理设备和图像处理方法 - Google Patents

图像处理设备和图像处理方法 Download PDF

Info

Publication number
CN104380739A
CN104380739A CN201480001387.0A CN201480001387A CN104380739A CN 104380739 A CN104380739 A CN 104380739A CN 201480001387 A CN201480001387 A CN 201480001387A CN 104380739 A CN104380739 A CN 104380739A
Authority
CN
China
Prior art keywords
image
prediction
layer
parameters
prediction parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480001387.0A
Other languages
English (en)
Other versions
CN104380739B (zh
Inventor
佐藤数史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN104380739A publication Critical patent/CN104380739A/zh
Application granted granted Critical
Publication of CN104380739B publication Critical patent/CN104380739B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Image Processing (AREA)

Abstract

【技术问题】在色域可伸缩性中，实现高预测精度同时减少编码量的增加。【技术方案】提供了一种图像处理装置，所述图像处理装置包括：解码单元，对相对于如下预测参数的先前值的差分进行解码，其中所述预测参数是在根据第一层的图像预测具有与所述第一层不同的色域的第二层的图像时所使用的；以及预测单元，其使用利用所述解码单元解码后的差分所计算出的所述预测参数来根据所述第一层的图像预测所述第二层的图像。

Description

图像处理设备和图像处理方法
技术领域
本发明涉及图像处理设备和图像处理方法。
背景技术
为了提高编码效率使其超越H.264/AVC的目的，作为ITU-T(国际电信联盟电信标准化部)和ISO(国际标准化组织)/IEC(国际电工技术委员会)的联合标准化组织的JCTVC(联合协作团队视频编码)的被称为HEVC(高效视频编码)的图像编码方案的标准化当前正在进行中(例如，参见以下的非专利文献1)。
如诸如MPEG2(运动图像专家组2)和AVC(高级视频编码)的已知图像编码方案那样，HEVC不仅提供单个层的编码而且还提供可伸缩视频编码。HEVC可伸缩视频编码技术还被称为SHVC(可伸缩HEVC)(例如，参见以下的非专利文献2)。
顺便提及，可伸缩视频编码通常是分级地对传输粗略图像信号的层和传输精细图像信号的层进行编码的技术。在可伸缩视频编码中层级化的示例属性主要包括以下三个：
-空间可伸缩性：对空间分辨率或图像大小进行层级化。
-时间可伸缩性：对帧频进行层级化。
-SNR(信噪比)可伸缩性：对SN比进行层级化。
此外，尽管在标准中尚未采用，但还论述了位深度可伸缩性和色度格式可伸缩性。
在非专利文献3中，论述了对色域进行层级化的色域可伸缩性。例如，在高清晰度(HD)电视中，通常使用1920×1080个像素的图像大小、ITU-RBT.709的色域和8位的位深度。另一方面，在超高清晰度(UHD)电视中，正在研究使用4000×2000个像素或8000×4000个像素的图像大小、ITU-RBT.2020的色域以及10或12位的位深度。通常，对于色域的转换，需要对三维像素矢量进行矩阵计算。然而，从将BT.709和BT.2020之间的关系近似为针对各颜色成分独立的线性关系的观点，非专利文献3提出了在基本层中使用BT.709并且在增强层中使用BT.2020的情况下、利用简单方法来根据基本层的像素值预测增强层的像素值。
引文列表
非专利文献
非专利文献1：Benjamin Bross、Woo-Jin Han、Gary J.Sullivan、Jens-Rainer Ohm、Gary J.Sullivan、Ye-Kui Wang和Thomas Wiegand所编著的“High Efficiency Video Coding(HEVC)text specification draft10(for FDIS&Consent)”(JCTVC-L1003v4,2013年1月14日～23日)
非专利文献2：Jianle Chen等人所编著的“Description of scalablevideo coding technology proposal by Qualcomm(configuration 2)”(JCTVC-K0036,2012年10月10日～19日)
非专利文献3：Louis Kerofsky等人所编著的“Color Gamut ScalableVideo Coding:New Results”(JCTVC-L0334,2013年1月14日～23日)
发明内容
技术问题
然而，在非专利文献3所提出的方法中，由于在可以实现高预测精度的自适应参数模式中针对各图片来对各颜色成分的增益和偏移进行编码，因此编码量增加。在移位模式和固定参数模式中，没有产生附加编码参数，但预测精度略微劣化。
因此，期望提供一种能够在实现色域可伸缩性的高精度预测的同时抑制编码量增加的新结构。
解决问题的方案
根据本发明的实施例，提供了一种图像处理设备，包括：解码部，被配置成对相对于如下预测参数的先前值的差分进行解码，其中所述预测参数是在根据第一层的图像预测具有与所述第一层不同的色域的第二层的图像时所使用的；以及预测部，被配置成使用利用由所述解码部所解码的差分而计算出的所述预测参数来根据所述第一层的图像预测所述第二层的图像。
上述图像处理设备通常可以实现为对图像解码的图像解码装置。
根据本发明的实施例，提供了一种图像处理方法，包括以下步骤：解码相对于如下预测参数的先前值的差，其中所述预测参数是在根据第一层的图像预测具有与所述第一层不同的色域的第二层的图像时所使用的；以及使用利用解码后的差所计算出的所述预测参数，来根据所述第一层的图像预测所述第二层的图像。
根据本发明的实施例，提供一种图像处理设备，包括：预测部，被配置根据第一层的图像预测具有与所述第一层不同的色域的第二层的图像，其中，在解码所述第二层的图像时参考所述第一层的图像；以及编码部，被配置成对相对于所述预测部所使用的预测参数的先前值的差分进行编码。
上述图像处理设备通常可以实现为对图像编码的图像编码装置。
根据本发明的实施例，提供一种图像处理方法，包括以下步骤：根据第一层的图像预测具有与所述第一层不同的色域的第二层的图像，其中，在解码所述第二层的图像时参考所述第一层的图像；以及对相对于用于预测所述第二层的图像的预测参数的先前值的差分进行编码。
发明的有利效果
根据本发明中的技术，可以在实现色域可伸缩性的高预测精度的同时抑制编码量的增加。
附图说明
图1是示出可伸缩视频编码的说明图。
图2是示出利用BT.709和BT.2020表示的色域的说明图。
图3A是示出JCTVC-L0334所提出的色域预测的预测模式的表。
图3B是示出JCTVC-L0334所提出的预测参数的句法的第一说明图。
图3C是示出JCTVC-L0334所提出的预测参数的句法的第二说明图。
图4是示出根据实施例的图像编码装置的示意结构的框图。
图5是示出根据实施例的图像解码装置的示意结构的框图。
图6是示出图4所示的EL编码部的示例结构的框图。
图7是示出图6所示的色域预测部的示例结构的框图。
图8是示出色域预测的编码参数的句法的示例的说明图。
图9是示出作为增益和偏移的差分的基础的参数值的说明图。
图10是示出各片的增益和偏移的编码使用示例的说明图。
图11是示出加权预测关联参数的已知句法的说明图。
图12是示出根据像素值所属于的频带的预测参数的选择性使用的说明图。
图13是简单表示根据参照图12所述的方法而实现的预测模型的辉度成分的曲线图。
图14是示出根据参照图12所述的方法的句法的示例的说明图。
图15是示出根据像素所属于的图像区域的预测参数的选择性使用的说明图。
图16是示出根据参照图15所述的方法的句法的示例的说明图。
图17A是示出JCTVC-O0194中所提出的、抑制层间预测的处理成本的方法的第一说明图。
图17B是示出JCTVC-O0194中所提出的、抑制层间预测的处理成本的方法的第二说明图。
图17C是示出JCTVC-O0194中所提出的、抑制层间预测的处理成本的方法的第三说明图。
图18A是示出抑制层间预测的处理成本的新方法的第一说明图。
图18B是示出抑制层间预测的处理成本的新方法的第二说明图。
图18C是示出抑制层间预测的处理成本的新方法的第三说明图。
图19是示出根据参照图18A～18C所述的方法的句法的示例的说明图。
图20是示出根据实施例的编码的示意处理流程的示例的流程图。
图21是示出针对增强层的编码处理中的色域预测处理的流程的第一示例的流程图。
图22是示出针对增强层的编码处理中的色域预测处理的流程的第二示例的流程图。
图23是示出针对增强层的编码处理中的色域预测处理的流程的第三示例的流程图。
图24是示出针对增强层的编码处理中的色域预测处理的流程的第四示例的流程图。
图25A是示出已知层间预测的处理顺序的示例的说明图。
图25B是示出新层间预测的处理顺序的示例的说明图。
图26是示出图5所示的EL解码部的示例结构的框图。
图27是示出图26所示的色域预测部的示例结构的框图。
图28是示出根据实施例的解码时的示意处理流程的示例的流程图。
图29是示出针对增强层的解码处理中的色域预测处理的流程的第一示例的流程图。
图30是示出针对增强层的解码处理中的色域预测处理的流程的第二示例的流程图。
图31是示出针对增强层的解码处理中的色域预测处理的流程的第三示例的流程图。
图32是示出针对增强层的解码处理中的色域预测处理的流程的第四示例的流程图。
图33是示出电视的示意结构的示例的框图。
图34是示出移动电话的示意结构的示例的框图。
图35是示出记录/再现装置的示意结构的示例的框图。
图36是示出摄像装置的示意结构的示例的框图。
图37是示出可伸缩视频编码的使用的第一示例的说明图。
图38是示出可伸缩视频编码的使用的第二示例的说明图。
图39是示出可伸缩视频编码的使用的第三示例的说明图。
图40是示出多视图编解码器的说明图。
图41是示出多视图编解码器的图像编码装置的示意结构的框图。
图42是示出多视图编解码器的图像解码装置的示意结构的框图。
具体实施方式
以下将参考附图来详细说明本发明的优选实施例。注意，在本说明书和附图中，利用相同的附图标记来表示具有基本相同的功能和结构的元件并且省略了重复说明。
将按以下顺序进行说明。
1.概述
1-1.可伸缩视频编码
1-2.色域可伸缩性
1-3.编码器的基本结构示例
1-4.解码器的基本结构示例
2.实施例中的EL编码部的结构示例
2-1.整体结构
2-2.色域预测部的具体结构
2-3.句法的示例
3.根据实施例的编码的处理流程
3-1.示意流程
3-2.色域预测处理
4.实施例中的EL解码部的结构示例
4-1.整体结构
4-2.色域预测部的具体结构
5.根据实施例的解码的处理流程
5-1.示意流程
5-2.色域预测处理
6.示例应用
6-1.各种产品的应用
6-2.可伸缩视频编码的各种用途
6-3.其它
7.结论
<1.概述>
[1-1.可伸缩视频编码]
在可伸缩视频编码中，对各自包含一系列图像的多个层进行编码。基本层是首先进行编码以表示最粗糙图像的层。可以单独对基本层的编码流进行解码，而不对其它层的编码流进行解码。除基本层以外的层是表示更精细的图像的被称为增强层的层。增强层的编码流是通过使用基本层的编码流中所包含的信息来编码的。因此，为了再现增强层的图像，要对基本层和增强层这两者的编码流进行解码。在可伸缩视频编码中处理的层数可以是大于或等于2的任意数。在对三层以上进行编码的情况下，最低层是基本层并且其余层是增强层。对于较高增强层的编码流，可以使用较低增强层和基本层的编码流中所包含的信息来进行编码和解码。
图1示出经历了可伸缩视频编码的三个层L1、L2和L3。层L1是基本层并且层L2和L3是增强层。层L2相对于层L1的空间分辨率比率为2:1并且层L3相对于层L1的空间分辨率比率为4:1。这里的分辨率比率仅是示例。例如，可以使用诸如1.5:1的非整数的分辨率比率。层L1的块B1是基本层的图片中的编码处理的处理单位。层L2的块B2是与块B1共通的场景所投影至的增强层的图片中的编码处理的处理单位。块B2与层L1的块B1相对应。层L3的块B3是比与块B1和B2共通的场景所投影至的层高的增强层的图片中的编码处理的处理单位。块B3与层L1的块B1和层L2的块B2相对应。
[1-2.色域可伸缩性]
在图1所例示的层结构中，在共通场景所投影至的层之间，图像的纹理相似。也就是说，层L1中的块B1、层L2中的块B2和层L3中的块B3的纹理相似。因此，例如，在使用块B1作为基准块来预测块B2或B3的像素、或者使用块B2作为基准块来预测块B3的像素的情况下，存在获得高预测精度的可能性。层之间的这种预测被称为层间预测。非专利文献2提出了层间预测的几种方法。在这些方法中，使用基本层的解码图像(重构图像)作为用以在帧内BL预测中预测增强层的解码图像的基准图像。在帧内残差预测和帧间残差预测中，使用基本层的预测误差(残差)图像作为用以预测增强层的预测误差图像的基准图像。
这里，例如，假定层L1的图像是HD电视图像并且假定层L2的图像是UHD电视图像。图2是示出利用BT.709和BT.2020表示的色域的说明图。参照图2，示出了使用预定约束条件来将三维颜色空间映射到二维平面的色域曲线图。该曲线图中的十字标记表示白色被映射至的位置。该曲线图中的短划线表示利用BT.709表示的颜色范围。该曲线图中的实线表示利用BT.2020表示的颜色范围。该曲线图中的虚线表示利用人的视力可以识别出的颜色范围。如通过图2理解，BT.2020与BT.709相比可以表示更多的不同颜色。在利用BT.709表示层L1的各像素并且利用BT.2020表示层L2的各像素的情况下，在层间预测时对基准图像(层1的图像)进行分辨率转换(即，上采样)或色域转换。通常，通过将3维像素矢量乘以3行和3列的转换矩阵来执行色域转换。如非专利文献3所述，可以将BT.709和BT.2020之间的关系近似为针对各颜色成分独立的线性关系。因此，非专利文献3提出了降低色域转换的计算复杂度以及色域转换所需的时间的简化方法。
图3A是示出非专利文献3所提出的色域预测的预测模式的表。参照图3A，预测模式编号是“0”、“1”和“2”其中之一，即存在预测模式的三种候选。在预测模式编号＝“0”的情况下，如以下的等式(1)～(3)那样，利用移位(位增量)根据颜色成分的BT.709的像素值(Y709,U709,V709)来预测BT.2020的像素值(Y2020,U2020,V2020)。在本说明书中将这种预测模式称为移位模式。
[数学式1]
Y2010＝Y709＜＜2     (1)
U2010＝U709＜＜2      (2)
V2010＝V709＜＜2      (3)
在预测模式编号＝“1”或“2”的情况下，如以下的等式(4)～(6)那样，通过使用增益gi和偏移oi(其中，i＝1,2,3)的线性转换，根据颜色成分的BT.709的像素值来预测BT.2020的像素值。
[数学式2]
Y2010＝g1·Y709+o1     (4)
U2010＝g2·U709+o2    (5)
V2010＝g3·V709+o3    (6)
在预测模式编号＝“1”的情况下，使用预先指定作为增益和偏移的值的固定值。在本说明书中将预测模式编号＝“1”的预测模式称为固定参数模式。在预测模式编号＝“2”的情况下，使用自适应地指定作为增益和偏移的值的变量值。在本说明书中将预测模式编号＝“2”的预测模式称为自适应参数模式。在选择自适应参数模式的情况下，另外将六种预测参数(三个增益和三个偏移)编码作为预测参数。
图3B和3C是示出非专利文献3中所提出的预测参数的句法的说明图。这里，图3B的第1行中的“pps_extension_flag”是表示图片参数集(PPS)是否包括针对色域预测所扩展的句法的标志。另外，图3B的第5行中的“color_pred_data()”是针对色域可伸缩性的句法的函数，并且在图3C中示出其内容。这里，图3C的第1行中的“color_prediction_model”是表示所选择的预测模式并取图3A所例示的“0”、“1”和“2”当中一个值的参数。在自适应参数模式(“color_prediction_model＝2”)的情况下，在第3行中指定与增益的分母相对应的位数(“numFractionBits”)、在第5行中指定针对第i个颜色成分的增益的分子(“color_prediction_gain[I]”)、以及在第6行中指定针对第i个颜色成分的偏移(“color_prediction_偏移[I]”)。
在三种预测模式中，自适应参数模式是可以预期最高预测精度的模式。然而，在自适应参数模式中针对各图片对上述的预测参数进行编码的情况下，编码量增加。因此，在以下要说明的实施例中，将说明被配置为在色域可伸缩性方面对预测参数进行高效编码从而抑制编码量的增加的结构。
[1-3.编码器的基本结构示例]
图4是示出支持可伸缩视频编码的、根据实施例的图像编码装置10的示意结构的框图。参照图4，图像编码装置10包括基本层(BL)编码部1a、增强层(EL)编码部1b、公共存储器2和多路复用部3。
BL编码部1a对基本层图像编码以生成基本层的编码流。EL编码部1b对增强层图像编码以生成增强层的编码流。公共存储器2存储层之间共同使用的信息。多路复用部3对BL编码部1a所生成的基本层的编码流和EL编码部1b所生成的至少一个增强层的编码流进行多路复用以生成多层复用流。
[1-4.解码器的基本结构示例]
图5是示出支持可伸缩视频编码的、根据实施例的图像解码装置60的示意结构的框图。参照图5，图像解码装置60包括解多路复用部5、基本层(BL)解码部6a、增强层(EL)解码部6b和公共存储器7。
解多路复用部5将多层复用流解多路复用成基本层的编码流和至少一个增强层的编码流。BL解码部6a从基本层的编码流解码基本层图像。EL解码部6b从增强层的编码流解码增强层图像。公共存储器7存储层之间共同使用的信息。
在图4所示的图像编码装置10中，用以对基本层编码的BL编码部1a的结构和用以对增强层编码的EL编码部1b的结构彼此类似。可以通过使用公共存储器2来缓存BL编码部1a所生成或获取的一些参数和图像，并且这些参数和图像被EL编码部1b重新使用。在下一部分中，将详细说明EL编码部1b的这种结构。
同样，在图5所示的图像解码装置60中，用以对基本层解码的BL解码部6a的结构和用以对增强层解码的EL解码部6b的结构彼此类似。可以通过使用公共存储器7来缓存BL解码部6a所生成或获取的一些参数和图像，并且这些参数和图像被EL解码部6b重新使用。此外，在下一部分中，将详细说明EL解码部6b的这种结构。
<2.实施例中的EL编码部的结构示例>
[2-1.整体结构]
图6是示出图4所示的EL编码部1b的示例结构的框图。参照图6，EL编码部1b包括排序缓存器11、相减部13、正交变换部14、量化部15、无损编码部16、累积缓存器17、速率控制部18、逆量化部21、逆正交变换部22、相加部23、回路滤波器24、帧存储器25、选择器26和27、帧内预测部30、帧间预测部35和色域预测部40。
排序缓存器11对一系列图像数据中所包括的图像排序。在根据编码处理基于GOP(图片组)结构对图像排序之后，排序缓存器11将已排序的图像数据输出至相减部13、帧内预测部30、帧间预测部35和色域预测部40。
将从排序缓存器11输入的图像数据和后面所述的帧内预测部30或帧间预测部35所输入的预测图像数据供给至相减部13。相减部13计算作为预测图像数据和从排序缓存器11输入的图像数据之间的差分的预测误差数据，并将所计算出的预测误差数据输出至正交变换部14。
正交变换部14对从相减部13输入的预测误差数据进行正交变换。正交变换部14要进行的正交变换例如可以是离散余弦变换(DCT)或卡洛南-洛伊变换(Karhunen-Loeve变换)。在HEVC中，针对被称为变换单位(TU)的每个块进行正交变换。TU是通过划分编码单位(CU)而形成的块。正交变换部14将通过正交变换处理所获取的变换系数数据输出至量化部15。
向量化部15供给从正交变换部14输入的变换系数数据和来自以下要说明的速率控制部18的速率控制信号。量化部15在根据速率控制信号所确定的量化步骤中对变换系数数据进行量化。量化部15将量化后的变换系数数据(以下称为量化数据)输出至无损编码部16和逆量化部21。
无损编码部16对从量化部15输入的量化数据进行无损编码处理以生成增强层的编码流。无损编码部16对解码编码流时要参考的各种参数进行编码，并且将编码参数插入编码流的头区域中。通过无损编码部16编码的参数可以包括以下要说明的与帧内预测有关的信息和与帧间预测有关的信息。可以进一步对与色域预测有关的预测参数进行编码。然后，无损编码部16将所生成的编码流输出至累积缓存器17。
累积缓存器17使用诸如半导体存储器的存储介质来临时累积从无损编码部16输入的编码流。然后，累积缓存器17以根据传输路径的频带的速率将所累积的编码流输出至传输部(未示出)(例如，通信接口或至外围装置的接口)。
速率控制部18监测累积缓存器17的空闲空间。然后，速率控制部18根据累积缓存器17上的空闲空间生成速率控制信号，并将所生成的速率控制信号输出至量化部15。例如，在累积缓存器17上的空闲空间不多的情况下，速率控制部18生成用于降低量化数据的位速率的速率控制信号。此外，例如，在累积缓存器17上的空闲空间足够大的情况下，速率控制部18生成用于增加量化数据的位速率的速率控制信号。
逆量化部21、逆正交变换部22和相加部23形成本地解码器。在量化部15所使用的量化步骤中，逆量化部21对增强层的量化数据进行逆量化，由此恢复变换系数数据。然后，逆量化部21将恢复后的变换系数数据输出至逆正交变换部22。
逆正交变换部22对从逆量化部21输入的变换系数数据进行逆正交变换处理，由此恢复预测误差数据。与正交变换相同，针对每个TU进行逆量化变换。然后，逆正交变换部22将恢复后的预测误差数据输出至相加部23。
相加部23将从逆正交变换部22输入的恢复后的预测误差数据和从帧内预测部30或帧间预测部35输入的预测图像数据相加，由此生成解码图像数据(增强层的重构图像)。然后，相加部23将所生成的解码图像数据输出至回路滤波器24和帧存储器25。
为了提高图像质量的目的，回路滤波器24包括滤波器组。去块滤波器(DF)是用于减少对图像编码时发生的块失真的滤波器。样本自适应偏移(SAO)滤波器是用于将自适应地确定的偏移值与每个像素值相加的滤波器。自适应回路滤波器(ALF)是用于使经过SAO的图像与原始图像之间的误差最小化的滤波器。回路滤波器24对从相加部23输入的解码图像数据进行滤波并将滤波后的解码图像数据输出至帧存储器25。
帧存储器25使用存储介质来存储从相加部23输入的增强层的解码图像数据、从回路滤波器24输入的增强层的滤波后的解码图像数据和从色域预测部40输入的基本层的基准图像数据。
选择器26从帧存储器25读取用于帧内预测的、滤波之前的解码图像数据，并将所读取的解码图像数据作为基准图像数据供给至帧内预测部30。此外，选择器26从帧存储器25读取用于帧间预测的、滤波后的解码图像数据，并将所读取的解码图像数据作为基准图像数据供给至帧间预测部35。在通过帧内预测部30或帧间预测部35进行层间预测时，选择器26将基本层的基准图像数据供给至帧内预测部30或帧间预测部35。
在帧内预测模式中，选择器27将从帧内预测部30输出的作为帧内预测的结果的预测图像数据输出至相减部13，并且还将与帧内预测有关的信息输出至无损编码部16。此外，在帧间预测模式中，选择器27将从帧间预测部35输出的作为帧间预测的结果的预测图像数据输出至相减部13，并且还将与帧间预测有关的信息输出至无损编码部16。选择器27根据成本函数值的大小来切换帧间预测模式和帧内预测模式。
帧内预测部30基于增强层的原始图像数据和解码图像数据对HEVC的每个预测单位(PU)进行帧内预测处理。例如，帧内预测部30根据使用预定的成本函数设置的预测模式中的各候选模式来评价预测结果。接着，帧内预测部30选择成本函数值最小的预测模式(即压缩率最高的预测模式)作为最佳预测模式。帧内预测部30根据该最佳预测模式生成增强层的预测图像数据。帧内预测部30可以包括作为在增强层中所设置的预测模式中的一种层间预测的帧内BL预测。在帧内BL预测中，使用与增强层的预测目标块相对应的基本层中的同位置块作为基准块，并且基于基准块的解码图像来生成预测图像。帧内预测部30可以包括作为一种层间预测的帧内残差预测。在帧内残差预测中，基于作为基本层中的同位置块的基准块的预测误差图像来预测帧内预测的预测误差，并且生成已对预测误差进行了预测和相加的预测图像。帧内预测部30将与帧内预测有关的信息、成本函数值和预测图像数据输出至选择器27，其中，与帧内预测有关的信息包括表示所选择的最佳预测模式的预测模式信息。
帧间预测部35基于增强层的原始图像数据和解码图像数据对HEVC的每个预测单位(PU)进行帧间预测处理。例如，帧间预测部35根据使用预定的成本函数设置的预测模式中的各候选模式来评价预测结果。接着，帧间预测部35选择成本函数值最小的预测模式(即压缩率最高的预测模式)作为最佳预测模式。帧间预测部35根据该最佳预测模式生成增强层的预测图像数据。帧间预测部35可以包括作为一种层间预测的帧间残差预测。在帧间残差预测中，基于基本层中的作为同位置块的基准块的预测误差图像来预测帧内预测的预测误差，并且生成已对预测误差进行了预测和相加的预测图像。帧间预测部35将与帧间预测有关的信息、成本函数值和预测图像数据输出至选择器27，其中，与帧间预测有关的信息包括表示所选择的最佳预测模式的预测模式信息和运动信息。
色域预测部40根据基本层与增强层之间的分辨率比率来对公共存储器2中缓存的基本层的图像(解码图像或预测误差图像)进行上采样。在增强层的图像与基本层的图像具有不同的色域的情况下，色域预测部40将基本层的上采样图像的色域转换成与增强层的图像相同的色域。在本实施例中，假定针对基本层和增强层的色域之间的各颜色成分独立的线性关系，色域预测部40通过根据基本层的图像近似预测增强层的图像来对色域进行转换。可以将利用色域预测部40对色域进行转换的基本层的图像存储在帧存储器25中，以用作利用帧内预测部30或帧间预测部35的层间预测中的基准图像。色域预测部40生成用于预测色域的几个参数。色域预测部40所生成的参数例如包括表示预测模式的预测模式参数。在选择自适应参数模式作为预测模式的情况下，色域预测部40所生成的参数包括各颜色成分的预测参数，即增益和偏移。此外，色域预测部40计算相对于预测参数的先前值的差分并将所计算出的差分输出至无损编码部16。可以利用无损编码部16对预测模式参数以及预测参数的差分编码。
[2-2.色域预测部的具体结构]
图7是示出图6所示的色域预测部40的结构示例的框图。参照图7，色域预测部40包括上采样部41、预测模式设置部42、参数计算部43和色域转换部44。
(1)上采样部
上采样部41根据基本层与增强层之间的分辨率比率对从公共存储器2获取的基本层的图像进行上采样。更具体地，上采样部41通过利用预定义的滤波器系数对基本层的图像进行滤波来计算根据分辨率比率顺次扫描的各插值像素的插值像素值。因而，可以使用作基准块的基本层的图像的空间分辨率增加至达到与增强层的分辨率相同的分辨率。上采样部41将上采样之后的图像输出至参数计算部43和色域转换部44。
(2)预测模式设置部
预测模式设置部42设置在色域预测部40中的用于色域预测的预测模式的候选当中预定义或动态选择的预测模式。预测模式的候选可以包括上述的移位模式、固定参数模式和自适应参数模式。在实施例中，预测模式设置部42可以针对每个图片设置最佳预测模式。在另一实施例中，预测模式设置部42可以针对每个片设置最佳预测模式。一个图片可以具有一个或多个片。在又一实施例中，预测模式设置部42可以针对每个序列设置预测模式并在一个序列中的多个图片和多个片中维持相同的预测模式。预测模式设置部42可以评价预测模式的每个候选的编码效率或预测精度，并且选择最佳预测模式。预测模式设置部42将表示所设置的预测模式的预测模式参数输出至无损编码部16。
(3)参数计算部
在通过预测模式设置部42设置了自适应参数模式或者通过预测模式设置部42评价自适应参数模式的编码效率或预测精度时，参数计算部43计算自适应参数模式中要使用的预测参数。这些参数包括等式(4)～(6)中所表示的增益gi和偏移oi(其中，i＝1,2,3)。这里，下标i表示三种颜色成分中的每一个。增益gi是与基本层的像素值相乘的系数。偏移oi是与基本层的像素值和增益gi的乘积相加的数值。例如，参数计算部43可以针对每个颜色成分计算如下的增益和偏移，其中利用该增益和偏移，从上采样部41输入的上采样之后的基本层的图像最接近从排序缓存器11输入的原始图像。
在预测模式设置部42将自适应参数模式设置为预测模式的情况下，参数计算部43计算相对于增益和偏移的先前值的差分。这里，在针对每个图片计算增益和偏移的情况下，先前值例如可以是针对先前图片所计算的值。在针对每个片计算增益和偏移的情况下，先前值可以是针对位于先前图片的相同位置处的片(同位置片)所计算的值。在先前图片或位于先前图片的相同位置处的片中设置了移位模式的情况下，参数计算部43可以使用与移位量相对应的增益和偏移的值作为差分的基础。在先前图片或位于先前图片的相同位置处的片中设置了固定参数模式的情况下，参数计算部43可以使用预定义且固定的增益和偏移的值作为差分的基础。参数计算部43将所计算的增益和偏移的差分输出至无损编码部16。增益的值可以包括分数值。因而，预测模式设置部42可以将增益的值分解成其分母和分子，计算分母与分子之间的各差分，并且将各差分输出至无损编码部16。预测模式设置部42可以将增益的分母的值限制成仅为2的整数幂，以提高编码效率并降低计算成本。在这种情况下，可以使用分母的值的以2为底的对数作为预测参数。
(4)色域转换部
色域转换部44根据预测模式设置部42所设置的预测模式将从上采样部41输入的上采样之后的基本层的图像的色域转换成与增强层的图像的色域相同的色域。例如，在设置了移位模式的情况下，色域转换部44通过根据等式(1)～(3)将上采样之后的基本层的像素向左偏移预定的移位量nshift，来计算预测像素值。例如，在从HD电视图像转换成UHD电视图像时，移位量nshift可以是2或4。在设置了固定参数模式的情况下，色域转换部44通过根据等式(4)～(6)将上采样之后的基本层的像素值乘以固定增益并且进一步与固定偏移相加，来计算预测像素值。在设置了自适应参数模式的情况下，色域转换部44使用参数计算部43自适应地计算出的增益和偏移代替固定的增益和偏移来计算预测像素值。从而，生成用于层间预测的基准图像。色域转换部44将这样生成的用于层间预测的基准图像(进行了色域转换的基本层的图像)存储在帧存储器25中。
[2-3.句法的示例]
(1)基本示例
从预测模式设置部42输出的预测模式参数和从参数计算部43输出的预测参数(各颜色成分的增益和偏移)的差分可以由图6所示的无损编码部16编码，并且可以被插入到增强层的编码流中。图8是示出用于色域预测的编码参数的句法的示例的说明图。
例如，图8所示的句法可以包括在PPS中或者可以包括在片头中。这里，句法的第1行中的“color_gamut_prediction_flag”是表示PPS或片头是否包括针对色域预测扩展的句法的标志。另外，第3行中的“color_prediction_model”是表示预测模式设置部42所设置的预测模式的预测模式参数。如参照图3A所述的，当预测模式参数等于“0”时，预测模式为移位模式。当预测模式参数等于“1”时，预测模式为固定参数模式。当预测模式参数等于“2”时，预测模式为自适应参数模式。预测模式不限于这些示例，而可以使用其它种类的预测模式。在预测模式参数表示自适应参数模式的情况下，对第5行之后的预测参数进行编码。这里，第10行中的“delta_luma_log2_gain_denom”是辉度成分的增益的分母的值的以2为底的对数与其先前值之间的差分。另外，第11行中的“delta_luma_gain_color_gamut”是辉度成分的增益的分子的值与其先前值之间的差分。另外，第12行中的“delta_luma_offset_color_gamut”是辉度成分的偏移的值与其先前值之间的差分。在第5行中的“luma_gain_color_gamut_flag”表示零的情况下，可以不对辉度成分的预测参数的差分编码。在这种情况下，还可以将预测参数的先前值无改变地(即，零差分)用在最新的图片或片中。另外，第15行中的“delta_chroma_log2_gain_denom”是色差成分的增益的分母的值的以2为底的对数与其先前值之间的差分。图8中示出了将共同的分母用于两个色差成分的示例。然而，针对两个色差成分可以单独使用分母，或者辉度成分的增益的分母和色差成分的增益的分母可以是共同的。另外，第17行中的“delta_chroma_gain_color_gamut[j]”是第j(其中，j＝1,2)个色差成分的增益的分母的值与其先前值之间的差分。另外，第18行中的“delta_chroma_gain_color_gamut[j]”是第j(其中，j＝1,2)个色差成分的偏移的分子的值与其先前值之间的差分。在第7行中的“chroma_gain_color_gamut_flag”表示零的情况下，可以不对色差成分的预测参数的差分编码。在这种情况下，还可以将预测参数的先前值无改变地(即，零差分)用在最新的图片或片中。
在图8的示例中，针对每个PPS或片头对预测模式参数“color_prediction_model”编码。在这种情况下，即使在最新的图片或片的预测模式参数表示自适应参数模式的情况下，预测模式参数也可能不被认为是针对作为差分的基础的先前图片或位于先前图片的相同位置处的片表示自适应参数模式。例如，在先前预测模式参数表示移位模式的情况下，图8的句法中的具有前缀“delta_”的差分参数分别表示通过从预测参数的最新值(增益或偏移)中减去与移位量相对应的参数值而计算出的差分。例如，在移位量nshift等于2的情况下，相应增益的值为“22＝4”。与移位量nshift无关地，相应增益的值可以为零。在先前预测模式参数表示固定参数模式的情况下，图8的句法中的差分参数分别表示通过从预测参数的最新值(增益或偏移)中减去固定参数值(增益gi_fixed或偏移oi_fixed)而计算出的差分。不对增益gi_fixed和偏移oi_fixed编码并且将这两者预先存储在编码器和解码器中。在先前预测模式参数表示自适应参数模式的情况下，图8的句法中的差分参数分别表示通过从预测参数的最新值(增益或偏移)中减去先前参数值(增益gi_prev或偏移oi_prev)而计算出的差分。图9以表格式示出这里描述的增益和偏移的差分的基础。在序列的开始等中不存在先前值的情况下，差分的基础可以为零或固定参数值(增益gi_fixed或oi_fixed)。
(2)每个序列中的预测模式参数的编码
在图8中，可以在每个序列中对第1行中的扩展标志“color_gamut_prediction_flag”和第3行中的预测模式参数“color_prediction_model”编码并且可以将这两者插入序列参数集(SPS)中。在这种情况下，在一个序列中维持相同的预测模式。在一个序列中预测模式没有改变的情况下，如图9所示，无需切换依赖于先前预测模式的差分的基础。因此，减轻了差分计算的复杂度并且容易安装装置。此外，还可以减少扩展标志和预测模式参数的编码量。
(3)针对各片的预测参数的编码
如参照图3B和3C所述的，在已知方法中，针对每个图片对用于色域预测的预测参数和预测模式参数进行编码并且将这两者插入PPS中。然而，在假定针对图像的各局部区域使用不同色域的情况下，针对每个片对预测参数和预测模式参数的差分进行编码是有益的。例如，在图10所示的示例中，将基本层图像IMB1划分成四个瓦片(tile)TB1、TB2、TB3和TB4。将增强层图像IME1划分成四个瓦片TE1、TE2、TE3和TE4。四个瓦片示出利用不同摄像头拍摄的视频。例如，基本层图像IMB1可以是来自安装于四个地点的摄像头的合成视频的低分辨率版本，并且增强层图像IME1可以是同一合成视频的高分辨率版本。例如，假定使用BT.2020作为瓦片TE2和TE4中的色域，并且假定使用BT.709作为基本层和增强层的其它瓦片中的色域。在这种情况下，通过对与瓦片TE2和TE4相对应的片的片头中的预测模式参数和预测参数进行编码，可以针对每个瓦片预测最佳色域并且可以提高编码效率。
(4)用于加权预测的句法的重新使用
图8中所例示的色域预测的预测参数的句法和与HEVC中所引入的加权预测相关联的参数的句法相似。加权预测是为了提高应用了淡入或淡出等效果的视频中的帧间预测的预测精度而引入的技术。图11是示出非专利文献1中所定义的加权预测关联参数的句法的说明图。
在图11中，第2行中的“luma_log2_weight_denom”和第4行中的“delta_chroma_log2_weight_denom”关于加权预测中可使用的L0基准帧和L1基准帧，分别共通地指定辉度成分和色差成分的权重的分母的值。第5行～第20行关于L0基准帧指定其余的加权预测关联参数。在可以进行双向预测的情况下，第21行～第38行关于L1基准帧指定其余的加权预测关联参数。在非专利文献1中说明了各个参数的含义。
以下的表1示出图11所示的加权预测关联参数与图8所例示的色域预测的参数之间的映射的示例。从表1可以理解，在图8所例示的色域预测的参数中，可以将除扩展标志“color_gamut_prediction_flag”和预测模式参数“color_prediction_model”以外的所有参数映射到用于加权预测的任何参数。例如，各个参数的任务不同，这是因为加权预测关联参数的值不必表示相对于先前值的差分，但相互映射的参数的类型相同。由于在色域预测中仅存在一个基准帧(基本层图像)，因此不需要变量“num_ref_idx_10_active_minus1”和与基准帧编号相对应的索引i。
表1
加权预测关联参数 色域预测参数
－ color_gamut_prediction_flag
－ color_prediction_model
luma_log2_weight_denom delta_luma_log2_gain_denom
delta_chroma_log2_weight_denom delta_chroma_log2_gain_denom
num_ref_idx_10_active_minus1 不需要
luma_weight_10_flag[i] luma_gain_color_gamut_flag
chroma_weight_10_flag[i] chroma_gain_color_gamut_flag
delta_luma_weight_10[i] delta_luma_gain_color_gamut
luma_offset_10[i] delta_luma_offset_color_gamut
delta_chroma_weight_10[i][j] delta_chroma_gain_color_gamut[j]
delta_chroma_offset_10[i][j] delta_chroma_offset_color_gamut[j]
因此，在实施例中，例如，无损编码部16可以对头(片头)中具有与加权预测关联参数共同的句法的色域预测的预测参数的差分进行编码。因而，无需定义新的句法，降低了句法的冗余性，从而容易确保安装编码器和解码器以及升级版本时的兼容性。可以在SPS、PPS或片头中分开地对扩展标志“color_gamut_prediction_flag”和预测模式参数“color_prediction_model”进行编码。可以附加地对如下标志进行编码，其中该标志表示是否对加权预测关联参数和用于色域预测的参数中的任意参数进行编码。
淡入和淡出等效果通常同样适用于基本层和增强层这两者。因此，为了提高编码效率，在这些层之间重新使用加权预测关联参数是有益的。在增强层中重新使用基本层的加权预测关联参数的情况下，无损编码部16不对增强层特有的加权预测关联参数编码。在这种情况下，非专利文献1中所定义的图11的句法不被用于增强层中的加权预测。因而，通过代替加权预测关联参数而对同一句法中的色域预测的预测参数的差分进行编码，可以高效地利用句法的定义。在这种情况下，可以不使用用于L1基准帧的参数的句法(图11中的第21行～第38行)。此外，可以将与基准帧的数量(-1)相对应的变量的值“num_ref_idx_10_active_minus1”视为零(即，进行了色域转换的基本层图像的数量为1)。
在另一实施例中，还可以将加权预测关联参数编码在增强层中并且可以重新使用一些加权预测关联参数。例如，可以重新使用由图11所示的“luma_log2_weight_denom”和“delta_chroma_log2_weight_denom”指定的分母作为辉度成分和色差成分的增益的分母。在这种情况下，无损编码部16不对图8所示的“delta_luma_log2_gain_denom”和“delta_chroma_log2_gain_denom”编码。可以减少色域预测额外所需的编码量，因而可以提高编码效率。
(5)两个版本的预测参数的供给
如前所述，在色域预测的预测参数重新使用加权预测关联参数的句法的情况下，可以不使用用于L1基准帧的参数的句法。然而，在变形例中，可以通过重新使用用于L0基准帧的参数的句法和用于L1基准帧的参数的句法两者来供给色域预测的两个版本的预测参数。
例如，在利用预测模式设置部42设置了自适应参数模式或者评价了自适应参数模式的编码效率或预测精度的情况下，色域预测部40的参数计算部43计算增益gi和偏移oi(其中，i＝1,2,3)的第一版本。参数计算部43还计算增益gi和偏移oi(其中，i＝1,2,3)的第二版本。然后，色域转换部44选择性地使用预测参数的第一版本和第二版本，以预测增强层的图像，即生成用于层间预测的基准图像。参数计算部43可以计算相对于预测参数的第一版本的先前值的差分以及相对于预测参数的第二版本的先前值的差分。无损编码部16将关于第一版本计算出的差分编码至与加权预测关联参数共同的句法的L0基准帧的部分。此外，无损编码部16将关于第二版本计算出的差分编码至与加权预测关联参数共同的句法的L1基准帧的部分。
以下将说明两种用于切换预测增强层的图像时要使用的版本的示例性方法。
(5-1)第一方法
在第一方法中，根据像素值所属的频带来选择性地使用预测参数的第一版本和第二版本。这里，像素值的频带不是限制性的，并且可以与关于辉度成分的亮度和关于色差成分的鲜艳度相对应。
图12是示出根据像素值所属的频带选择性地使用预测参数的说明图。在图12中，示出了表示辉度成分(Y)的像素值的范围和表示色差成分(Cb/Cr)的像素值的范围的两个条。在位深度为8位的情况下，该范围为0～255。使用边界值作为基准将辉度成分的范围划分成下频带Pb11和上频带Pb12。在图12的示例中，辉度成分的边界值等于128(即，该范围的中间)。在辉度成分的像素值(例如，上采样图像的辉度成分的像素值)属于频带Pb11的情况下，色域转换部44可以在根据该像素值计算预测像素值时使用预测参数的第一版本。在辉度成分的像素值属于频带Pb12的情况下，色域转换部44可以在根据该像素值计算预测像素值时使用预测参数的第二版本。使用两个边界值作为基准将色差成分的范围划分成内频带Pb21和外频带Pb22。在图12的示例中，色差成分的边界值等于64和191(即，该范围的1/4值和3/4值)。在色差成分的像素值(例如，上采样图像的辉度成分的像素值)属于频带Pb21的情况下，色域转换部44可以在根据该像素值计算预测像素值时使用预测参数的第一版本。在色差成分的像素值属于频带Pb22的情况下，色域转换部44可以在根据该像素值计算预测像素值时使用预测参数的第二版本。
在编码器和解码器两者中可以预先已知用于切换要使用的版本的边界值。相反，无损编码部16可以进一步对用于指定边界值的边界信息编码。例如，对于辉度成分，边界信息例如可以表示要与范围中间的基准(例如，在位深度为8位的情况下为128)相加的、针对辉度成分的调整值。对于色差成分，边界信息可以表示从等于范围的1/4的第一基准值中减去的和与等于范围的3/4的第二基准值相加的、针对色差成分的调整值。
图13是简单地表示根据第一方法实现的预测模型的辉度成分的曲线图。图13中的曲线图的横轴与基本层的辉度成分的像素值相对应，并且利用例如BT.709来表示该像素值。纵轴与增强层的辉度成分的像素值相对应，并且利用例如BT.2020来表示该像素值。粗线表示根据基本层的像素值使用自适应参数模式的增益和偏移预测的增强层的预测像素值的轨迹。该轨迹示出在横轴上的边界值Yborder的左侧的频带Pb11及其右侧的频带Pb12中具有不同的斜率和截距的折线形式。在可以使用描绘具有这种折线形式的轨迹的预测模型的情况下，与预测模型具有完全线性形式(即，具有直线形式的轨迹)的已知方法相比，可以减少色域预测的预测误差。边界值Yborder可以等于基本层的辉度成分的像素值的最大值Ymax的一半(Ymax/2)、或者可以等于通过将调整值dY与Ymax/2相加所获得的值。调整值dY的附加编码意味着可以自适应地控制边界值Yborder。在这种情况下，作为色域预测的预测模型的灵活性的扩展结果，可以进一步提高预测精度。
图14是示出根据参照图12所述的方法的句法的示例的说明图。图14所示的句法中的行数与图11所示的加权预测关联参数的句法的行数相对应。在加权预测关联参数的句法中，为了说明简便，在附图中没有示出用于L1基准帧的参数的部分。参照图14，在第2行之后定义了附加标志“inter_layer_pred_flag”。在将该句法用于色域预测参数的情况下，将该标志“inter_layer_pred_flag”设置为“真”。第13行之后的参数“delta_pix_value_luma[i]”是上述针对亮度信息的边界信息。例如，参数“delta_pix_value_luma[i]”针对亮度成分指定与范围中间的基准值相加的辉度成分的调整值。第18行之后的参数“delta_pix_value_chroma[i][j]”是上述针对色差成分的边界信息。例如，参数“delta_pix_value_chroma[i][j]”针对色差成分指定从与范围的1/4相等的第一基准值中减去的及与范围的3/4相等的第二基准值相加的色差成分的调整值。图14所示的附加参数可以不包括在片头中而是包括在片头的扩展中。
(5-2)第二方法
在第二方法中，根据像素所属的图像区域来选择性地使用预测参数的第一版本和第二版本。这里，图像区域可以与可通过对图片、片或瓦片进行划分而形成的各区域相对应。
图15是示出根据像素所属的图像区域选择性地使用预测参数的说明图。参照图15，示出了图像IM2。图像IM2例如可以是可从上采样部41输出的上采样图像。将图像IM2划分成上部图像区域PA1和下部图像区域PA2。例如，色域转换部44在计算属于图像区域PA1的像素的预测像素值的情况下，可以使用预测参数的第一版本，并且在计算属于图像区域PA2的像素的预测像素值的情况下，可以使用预测参数的第二版本。
在编码器和解码器两者中可能预先已知用于切换要使用的版本的区域边界(例如，将图片、片或瓦片等同地划分成两个部分的边界)。相反，无损编码部16还可以对用于指定区域边界的边界信息编码。该边界信息例如可以是按光栅扫描顺序指定在区域边界之后继续的初始LCU(图中的LCU Lborder)的信息。在区域边界之后继续的初始LCU可以利用从图片、片或瓦片的预定部位起计数的LCU的数量来指定、或者可以由初始LCU的头中所包括的标志来指定。在前者情况中，预定部位可以是图片、片或瓦片的开头、或者可以是中点(例如，LCU的总数的准确一半的点)。在后者情况下，可以通过仅将1位标志添加至编码参数来自适应地控制两个版本的预测参数的切换所用的区域边界。在HEVC的已知规格中，没有对直接表示片的大小的大小信息进行编码。因此，通常，解码器在片的解码期间(在片的解码完成之前)没有识别片的大小。因此，即使在区域边界固定(例如，等同地将片划分成两个部分的边界)的情况下，对指定区域边界的边界信息进行附加编码也是有益的。
图16是示出根据参照图15所述的方法的句法的示例的说明图。图16所示的句法中的行编号与图11所示的加权预测关联参数的句法的行编号相对应。在加权预测关联参数的句法中，为了说明简便，在图中没有示出用于L1基准帧的参数的部分。参照图16，在第2行之后定义了与图14所示的标志类似的附加标志“inter_layer_pred_flag”。在将该句法用于色域预测参数的情况下，将该标志“inter_layer_pred_flag”设置为“真”。该标志之后的参数“delta_num_ctb”是上述的边界信息。参数“delta_num_ctb”是利用LCU的数量指定按光栅扫描顺序在区域边界之后继续的初始LCU的信息。在从图片、片或瓦片的中点起计数LCU的数量的情况下，参数“delta_num_ctb”可以表示正或负整数。图16所示的附加参数也可以不包括在片头中而是包括在片头的扩展中。
在针对各图像区域可以使用不同版本的预测参数的情况下，可以将针对各图像区域的最佳预测模型应用于色域预测。例如，增益和偏移的最佳组合在风景图中的蓝天区域和其它区域之间是不同的。在这种情况下，通过使用针对各区域优化的增益和偏移来预测色域预测，可以减少色域预测的预测误差，因而可以提高编码效率。可以自适应地控制边界信息的附加编码，该边界信息指定意味着边界区域的点的区域边界。在这种情况下，通过根据图像的内容移动区域边界，可以进一步降低色域预测的预测误差。
(5-3)针对各颜色成分的控制
在变形例中，如该部分所述的供给两个版本的预测参数的方法可以仅应用于辉度成分而不应用于色差成分。在这种情况下，为了预测色差成分的色域，与像素值所属的频带或像素所属的图像区域无关地使用如下预测参数(通常为增益和偏移)，该预测参数可以被编码至加权预测关联参数的句法中的针对L0基准帧的部分并且可以从该部分解码。可以将针对L1基准帧的部分中所包括的针对色差成分的参数设置为可通过可变长编码映射到最短代码项的任何值(例如零)(在颜色成分的色域预测中可以忽略该值)。通常，色差成分对主观图像质量的贡献小于辉度成分的贡献。因此，通过这样选择性地抑制色差成分的色域预测的精度，可以减少预测参数的编码量而仅略微牺牲图像质量。
在色度格式表示色差成分的分辨率等于辉度成分的分辨率的情况下，可以将两个版本的预测参数供给至辉度成分和色差成分这两者。在色度格式表示色差成分的分辨率低于辉度成分的分辨率的情况下，可以将仅一个版本的预测参数供给至色差成分。例如，在色度格式为4:2:0的情况下，在垂直和水平这两个方向上色差成分的分辨率低于辉度成分的分辨率。在色度格式为4:2:2的情况下，在水平方向上色差成分的分辨率低于辉度成分的分辨率。在这些情况下，色域预测的预测精度的劣化对编码效率的影响小于辉度成分的影响。因此，通过在这些情况下仅粗略地对色差成分进行色域预测，可以有效地减少预测参数的编码量。
(6)执行移位的定时的控制
如上所述，图像大小、色域和位深度在高清晰度(HD)电视和超高清晰度(UHD)电视之间是不同的。在单独执行用于对该三个属性进行转换的处理的情况下，整个层间处理所需的处理成本大幅增加。因此，JCTVC-O0194(Alireza Aminlou等人于2013年10月23日～11月1日所著的“SCE4:Test 5.1results on bit-depth and color-gamut scalability”)提出了通过将移位计算插入上采样的滤波计算来抑制处理成本。
图17A～17C是示出JCTVC-O0194中所提出的用于抑制层间预测的处理成本的方法的第一说明图。在图17A的示例中，基本层的图像大小为2K(例如，1920×1080个像素)，色域为BT.709，并且为深度为8位。增强层的图像大小为4K(例如，3840×2160个像素)，色域为BT.2020，并且位深度为10位。在层间预测中，上采样部41连同上采样一起执行移位(步骤S1)。例如，在滤波计算中，两项相加可以对应于左移1位，并且四项相加可以对应于左移2位。因此，可以与上采样大致同时执行移位。之后，色域转换部44对从上采样部41输入的上采样之后的图像的色域进行转换(步骤S3)。这里，色域转换可以是与加权预测类似的线性转换。
在图17B的示例中，基本层的图像大小为2K，色域为BT.709，并且位深度为8位。增强层的图像大小为2K，色域为BT.2020,，并且位深度为10位。在层间预测中，由于分辨率在层之间相同，上采样部41仅执行移位(步骤S2)。之后，色域转换部44对从上采样部41输入的上采样之后的图像的色域进行转换(步骤S3)。
在图17C的示例中，基本层的图像大小为2K，色域为BT.709，并且位深度为8位。增强层的图像大小为4K，色域为BT.709，并且位深度为10位。在层间预测中，上采样部41进行上采样和移位(步骤S1)。之后，由于色域在层之间相同，因此色域转换部44不对色域进行转换。
在图17A～17C的情况中，由于同时进行上采样和移位，因此与单独进行上采样和移位的情况相比，抑制了层间预测所需的处理成本。另一方面，在图17B的情况中，尽管色域转换包括与移位相似的计算，但与色域转换独立地执行移位。因此，从处理成本的角度看存在改进的空间。
因此，在实施例中，还假定色域转换部44能够在色域转换的计算中执行移位。特别地，在假定重新使用用于加权预测的句法的情况下，可以如下表示色域转换的计算。
数学式3
X k , Pred = w k 2 n k X k + o k - - - ( 7 )
在等式(7)中，Xk是转换之后的第k个颜色成分的像素值，并且Xk,pred是第k个颜色成分的像素值。此外，wk、nk和ok是权重(增益)的分子、权重的分母的二进制算法和应用于第k个颜色成分的偏移。这里，在层之间的位深度之差为m位的情况下，可以如下表示色域转换部44与色域转换同时进行m位的移位(左偏移)时的计算。
数学式4
X k , Pred = w k 2 ( n k - m ) X k + ( o k < < m ) - - - ( 8 )
在可以与上采样同时执行移位或者可以与色域转换同时执行移位的情况下，存在执行移位的定时在编码器和解码器之间(或者在具有不同实现的解码器之间)不同的可能性。例如，在不考虑编码器与色域转换同时执行移位的情况下解码器与上采样同时执行移位时，层间预测的预测劣化。因此，在本实施例中，无损编码部16还对移位控制标志编码，该移位控制标志控制执行移位的定时。例如，在增强层的位深度大于基本层的位深度的情况下，移位控制标志是如下控制参数，该控制参数表示层间预测时的移位是与色域转换同时执行还是与上采样同时执行。
图18A～18C是示出用于抑制层间预测的处理成本的新方法的第一说明图。图18A的示例中的基本层和增强层的属性与图17A的属性相同。然而，移位控制标志表示“1”(移位与加权预测同时执行)。在这种情况下，在层间预测中，上采样部41执行上采样而不执行移位来提高位深度(步骤S4)。之后，与以上等式(8)相同，色域转换部44对从上采样部41输入的上采样之后的图像的色域进行转换并且同时执行移位(步骤S6)。
图18B的示例中的基本层和增强层的属性与图17B的属性相同。然而，移位控制标志表示“1”(与加权预测同时执行移位)。在这种情况下，在层间预测中，上采样部41不执行移位和上采样。之后，与以上等式(8)相同，色域转换部44对基本层的图像的色域进行转换并且同时执行移位(步骤S6)。
图18C的示例中的基本层和增强层的属性与图17C的属性相同。然而，移位控制标志表示“0”(与上采样同时执行移位)。在这种情况下，在层间预测中，上采样部41执行上采样和移位(步骤S5)。由于层之间的色域相同，因此色域转换部44不执行色域转换。
在将图17A～17C与图18A～18C相比较时可以理解，特别是针对图像大小在层之间不改变的第二示例(图17B和18B)，利用新方法减少了处理步骤。在该新方法中，存在移位控制标志和自适应地切换进行位移的定时，由此可以使层间预测的处理步骤的数量最小化。
图19是示出根据参照图18A～18C所述的方法的句法的示例的说明图。图19所示的句法中的行编号与图11所示的加权预测关联参数的句法的行编号相对应。在加权预测关联参数的句法中，为了说明简便，在附图中没有示出用于L1基准帧的参数的部分。参照图19，在第1行之后定义了在层ID不为零(即，层是增强层)的情况下编码的两个编码参数“weighted_prediction_and_bit_shift_luma_flag”和“weighted_prediction_and_bit_shift_chroma_flag”。在这些编码参数中，前者是用于控制执行辉度成分的移位的定时的移位控制标志。后者是用于控制执行色差成分的移位的定时的移位控制标志。这些标志在同时执行移位和色域转换时被设置为“真”，并且在同时执行移位和上采样时被设置为“假”。由于可以将图像大小和位深度定义为针对各颜色成分不同，因此可以通过针对辉度成分和色差成分单独对移位控制标志进行编码，来根据属性的定义灵活地控制执行移位的定时。这里，本发明不限于这里的示例，但可以针对辉度成分和色差成分这两者对单个移位控制标志进行编码。在位深度在层之间相同的情况下，可以省略移位控制标志的编码或者可以将该标志设置为具体值(例如，零)。即使不是在层间预测中而是在层内的帧间预测中使用图19的句法进行加权预测的情况下，也可以省略移位控制标志的编码或者可以将该标志设置为具体值(例如，零)。
<3.根据实施例的用于编码的处理流程>
[3-1.示意流程]
图20是示出根据实施例的用于编码的示例处理流程的示例的流程图。为了说明简便，从图20中省略了与根据本发明的技术不直接相关的处理步骤。
参照图20，BL编码部1a首先执行针对基本层的编码处理以生成基本层的编码流(步骤S11)。
公共存储器2缓存在针对基本层的编码处理中所生成的基本层的图像(解码图像或预测误差图像中的一个或这两者)以及在层之间重新使用的参数(步骤S12)。在层之间重新使用的参数可以包括加权预测关联参数。
接着，EL编码部1b执行针对增强层的编码处理以生成增强层的编码流(步骤S13)。在这里执行的针对增强层的编码处理中，利用色域预测部40对公共存储器2所缓存的基本层的图像进行上采样，从而对色域进行转换。然后，可以使用色域转换之后的基本层的图像作为关于层间预测的基准图像。
然后，多路复用部3对通过BL编码部1a生成的基本层的编码流和通过EL编码部1b生成的增强层的编码流进行多路复用，以生成多层多路复用流(步骤S14)。
[3-2.色域预测处理]
(1)第一示例
图21是示出针对增强层的编码处理中的色域预测处理的流程的第一示例的流程图。针对各图片或片重复这里所述的色域预测处理。
参照图21，上采样部41首先根据基本层与增强层之间的分辨率比率对从公共存储器2所获取的基本层的图像进行上采样(步骤S20)。
接着，预测模式设置部42设置图片(或片)中用于色域预测的预测模式的候选当中的一个预测模式(步骤S22)。预测模式设置部42可以设置预先定义的预测模式、或者可以设置基于针对预测模式的各候选的编码效率或预测精度的评价而动态选择的预测模式。
接着，无损编码部16对表示预测模式设置部42所设置的预测模式的预测模式参数进行编码(步骤S25)。将由无损编码部16编码后的预测模式参数插入例如PPS或片头中。
后续处理根据预测模式设置部42所设置的预测模式而分支(步骤S26和S28)。例如，在所设置的预测模式是自适应参数模式的情况下，参数计算部43计算色域的预测(转换)要使用的最佳增益和最佳偏移的值(步骤S30)。参数计算部43计算所计算出的最佳增益和最佳偏移与其先前值之间的差分。然后，无损编码部16对参数计算部43所计算出的增益和偏移的差分进行编码(步骤S32)。将由无损编码部16编码后的预测参数的差分插入例如PPS或片头中。
在所设置的预测模式是自适应参数模式或固定参数模式的情况下，色域转换部44通过根据等式(4)～(6)、将上采样之后的基本层的像素值与自适应地计算出的增益或固定增益相乘然后再与偏移相加，来计算每个像素的预测像素值(步骤S34)。
在所设置的预测模式是移位模式的情况下，色域转换部44通过根据等式(1)～(3)、使上采样之后的基本层的像素值向左偏移预定的移位量，来计算每个像素的预测像素值(步骤S36)。
在计算了要处理的图片或片中的所有预测像素值的情况下，色域转换部44将色域转换之后的基本层的图像(即作为色域预测的结果的预测图像)存储在帧存储器25中(步骤S38)。
之后，在存在后续未处理的图片或片的情况下，处理返回至步骤S20，并且对后续图片或片重复上述处理(步骤S40)。
(2)第二示例
图22是示出针对增强层的编码处理中的色域预测处理的流程的第二示例的流程图。
参照图22，预测模式设置部42首先设置序列中用于色域预测的预测模式的候选当中的一个预测模式(步骤S21)。接着，无损编码部16对表示预测模式设置部42所设置的预测模式的预测模式参数进行编码(步骤S23)。将由无损编码部16编码后的预测模式参数插入SPS中。
针对序列中的各图片或片重复步骤S24～S40的处理。
上采样部41首先根据基本层与增强层之间的分辨率比率来对从公共存储器2所获取的基本层的图像进行上采样(步骤S24)。
此外，处理根据预测模式设置部42所设置的预测模式而分支(步骤S26和S28)。例如，在所设置的预测模式是自适应参数模式的情况下，参数计算部43计算色域的预测(转换)要使用的最佳增益和最佳偏移的值(步骤S30)。参数计算部43计算所计算出的最佳增益和偏移与其先前值之间的差分。然后，无损编码部16对参数计算部43所计算出的增益和偏移的差分进行编码(步骤S32)。将由无损编码部16编码后的预测参数的差分插入例如PPS或片头中。
在所设置的预测模式是自适应参数模式或固定参数模式的情况下，色域转换部44通过根据等式(4)～(6)、将上采样之后的基本层的像素值与自适应计算出的增益或固定的增益相乘然后再与偏移相加，来计算每个像素的预测像素值(步骤S34)。
在所设置的预测模式是移位模式的情况下，色域转换部44通过根据等式(1)～(3)、使上采样之后的基本层的像素值向左偏移预定位移量，来计算每个像素的预测像素值(步骤S36)。
在计算了要处理的图片或片中的所有预测像素值的情况下，色域转换部44将色域转换之后的基本层的图像(即作为色域预测的结果的预测图像)存储在帧存储器25中(步骤S38)。
之后，在序列中存在后续未处理的图片或片的情况下，处理返回至步骤S24并且对后续图片或片重复上采样和色域转换(步骤S40)。在针对序列中的所有图片或所有片的色域转换结束的情况下，进一步判断是否存在后续序列(步骤S42)。在存在后续序列的情况下，处理返回至步骤S21并且对后续序列重复上述处理。
(3)第三示例
图23是示出针对增强层的编码处理中的色域预测处理的流程的第三示例的流程图。
参照图23，预测模式设置部42首先设置序列中用于色域预测的预测模式的候选当中的一个预测模式(步骤S21)。接着，无损编码部16对表示预测模式设置部42所设置的预测模式的预测模式参数进行编码(步骤S23)。将由无损编码部16编码后的预测模式参数插入SPS中。
针对序列中的各片重复步骤S24～S41的处理。
上采样部41根据基本层与增强层之间的分辨率比率来对从公共存储器2所获取的基本层的图像进行上采样(步骤S24)。这里，上采样的滤波计算可以包括或者可以不包括用于层间预测的移位。
此外，处理根据预测模式设置部42所设置的预测模式而分支(步骤S26和S28)。例如，在所设置的预测模式是自适应参数模式的情况下，参数计算部43计算色域的预测(转换)要使用的最佳增益和最佳偏移的值(步骤S30)。参数计算部43计算所计算出的最佳增益和偏移与其先前值之间的差分。然后，无损编码部16通过重新使用加权预测关联参数的句法来对所计算出的增益和偏移的差分进行编码(步骤S33)。将由无损编码部16编码后的预测参数的差分插入片头中。在该句法中采用上述的移位控制标志的情况下，这里还可以将编码后的移位控制标志插入片头中。
在所设置的预测模式是自适应参数模式或固定参数模式的情况下，色域转换部44通过根据等式(4)～(6)、将上采样之后的基本层的像素值与自适应计算出的增益或固定的增益相乘然后再与偏移相加，来计算每个像素的预测像素值(步骤S34)。在步骤S24中没有执行移位的情况下，这里的预测像素值的计算可以包括移位。
在所设置的预测模式是移位模式的情况下，色域转换部44通过根据等式(1)～(3)、使上采样之后的基本层的像素值向左偏移预定位移量，来计算每个像素的预测像素值(步骤S36)。
在计算了要处理的图片或片中的所有预测像素值的情况下，色域转换部44将色域转换之后的基本层的图像(即作为色域预测的结果的预测图像)存储在帧存储器25中(步骤S38)。
之后，在序列中存在后续未处理的片的情况下，处理返回至步骤S24并且对后续片重复上采样和色域转换(步骤S41)。在针对序列中的所有片的色域转换结束的情况下，进一步判断是否存在后续序列(步骤S42)。在存在后续序列的情况下，处理返回至步骤S21并且对后续序列重复上述处理。
(4)第四示例
图24是示出针对增强层的编码处理中的色域预测处理的流程的第四示例的流程图。
参照图24，预测模式设置部42首先设置序列中的用于色域预测的预测模式的候选当中的一个预测模式(步骤S21)。接着，无损编码部16对表示预测模式设置部42所设置的预测模式的预测模式参数进行编码(步骤S23)。将由无损编码部16编码后的预测模式参数插入SPS中。
针对序列中的各片重复步骤S24～S41的处理。
上采样部41根据基本层与增强层之间的分辨率比率来对从公共存储器2所获取的基本层的图像进行上采样(步骤S24)。这里，上采样的滤波计算可以包括或者可以不包括用于层间预测的移位。
此外，处理根据预测模式设置部42所设置的预测模式而分支(步骤S26和S28)。例如，在所设置的预测模式是自适应参数模式的情况下，参数计算部43计算色域的预测(转换)要使用的最佳增益和最佳偏移的第一版本(步骤S31a)。同样，参数计算部43计算增益和偏移的第二版本(步骤S31b)。第一版本和第二版本各自可以包括针对像素值的范围内的第一频带和第二频带而设置的最佳值。作为代替，第一版本和第二版本各自可以包括针对第一图像区域和第二图像区域而设置的最佳值。参数计算部43针对第一版本和第二版本各自计算增益和偏移与其先前值之间的差分。然后，无损编码部16将针对第一版本和第二版本各自所计算出的预测参数的差分编码至加权预测关联参数的句法的针对L0基准帧的部分和针对L1基准帧的部分(步骤S33b)。将由无损编码部16编码后的预测参数的差分插入片头中。在句法中采用上述的移位控制标志的情况下，这里还可以将编码后的移位控制标志插入片头中。
除在步骤S34中可以根据像素值所属的频带或像素所属的图像区域来切换预测参数的版本这一事实以外，后续处理的流程可以与参照图23所述的第三示例的处理的流程相同。在步骤S33b中，无损编码部16可以另外将边界信息编码至例如片头或该片头的扩展名中，其中，边界信息指定用于切换预测参数的版本的频带之间的边界值或图像之间的区域边界。
(5)处理顺序的变形示例
根据已知方法，在层间预测中，在进行上采样(必要时执行移位)之后执行色域转换。图21～24的流程图也遵循该处理顺序。然而，由于色域转换的处理成本与要转换的像素的数量成比例，因此从处理成本的角度来看，可能不认为对通过上采样增加后的像素执行色域转换这一事实是最佳的。此外，对移位之后具有扩展的位深度的像素执行色域转换这一事实意味着计算色域转换所需的处理资源(例如，寄存器中所需的位数)也增加。因此，在变形例中，在增强层的空间分辨率(图像大小)高于基本层的空间分辨率的情况下，色域预测部40可以通过对基本层的图像的色域进行转换、然后对转换后的图像进行上采样，来预测增强层的图像。
图25A是示出已知的层间预测的处理顺序的示例的说明图。在图25A中，例如，示出与图17A的处理步骤相同的两个处理步骤。首先，可以通过上采样和移位来使基本层的片数据中所包括的图像的图像大小和位深度(例如，2K/8位)增加(至4K/10位)。接着，根据预测参数将上采样之后的图像的色域转换成增强层的色域。
图25B是示出根据变形例的新层间预测的处理顺序的示例的说明图。在该变形例中，色域预测部40首先根据预测参数将基本层的片数据中所包括的图像的色域转换成增强层的色域。接着，色域预测部40通过上采样来使色域转换之后的图像的图像大小(例如，2K)增加(例如，至4K)。可以与色域转换同时执行移位或者可以与上采样同时执行移位。可以利用移位控制标志来指定执行移位的定时。根据该新的处理顺序，由于与已知处理顺序的情况相比、要通过色域转换进行转换的位深度和像素数减少，因此进一步抑制了层间预测的处理成本。
<4.实施例中的EL解码部的结构示例>
[4-1.整体结构]
图26是示出图5所示的EL解码部6b的结构示例的框图。参照图26，EL解码部6b包括累积缓存器61、无损解码部62、逆量化部63、逆正交变换部64、相加部65、回路滤波器66、排序缓存器67、数模(D/A)转换部68、帧存储器69、选择器70和71、帧内预测部80、帧间预测部85以及色域预测部90。
累积缓存器61使用存储介质来临时累积从解多路复用部5输入的增强层的编码流。
无损解码部62按照编码时所使用的编码方案根据从累积缓存器61输入的增强层的编码流解码增强层的量化数据。无损解码部62对插入编码流的头区域中的信息进行解码。由无损解码部62解码的信息可以包括例如与帧内预测有关的信息和与帧间预测有关的信息。还可以在增强层中解码用于色域预测的参数。无损解码部62将量化数据输出至逆量化部63。无损解码部62将与帧内预测有关的信息输出至帧内预测部80。无损解码部62将与帧间预测有关的信息输出至帧间预测部85。无损解码部62将用于色域预测的参数输出至色域预测部90。
逆量化部63对从无损解码部62输入的、编码时所使用的量化步骤中的量化数据进行逆量化，以恢复增强层的变换系数数据。逆量化部63将所恢复的变换系数数据输出至逆正交变换部64。
逆正交变换部64根据编码时所使用的正交变换方案对从逆量化部63输入的变换系数数据进行逆正交变换，以生成预测误差数据。逆正交变换部64将所生成的预测误差数据输出至相加部65。
相加部65将从逆正交变换部64输入的预测误差数据和从选择器71输入的预测图像数据相加以生成解码图像数据。然后，相加部65将所生成的解码图像数据输出至回路滤波器66和帧存储器69。
与EL编码部1b的回路滤波器24相同，回路滤波器66包括：去块滤波器，用于降低块失真；样本自适应偏移滤波器，用于向各像素值添加偏移值；以及自适应回路滤波器，用于使与原始图像的误差最小化。回路滤波器66对从相加部65输入的解码图像数据进行滤波并将滤波之后的解码图像数据输出至排序缓存器67和帧存储器69。
排序缓存器67对从回路滤波器66输入的图像进行排序以生成时间序列的图像数据。然后，排序缓存器67将所生成的图像数据输出至D/A转换部(DAT)68。
D/A转换部68将从排序缓存器67输入的具有数字格式的图像数据转换成具有模拟格式的图像信号。然后，D/A转换部68通过将该模拟图像信号输出至例如与图像解码装置60连接的显示器(未示出)来显示增强层的图像。
帧存储器69使用存储介质来存储从相加部65输入的滤波之前的解码图像数据、从回路滤波器66输入的滤波之后的解码图像数据和从色域预测预测部90输入的基本层的基准图像数据。
选择器70根据无损解码部62所获取的模式信息，针对图像中的各块在帧内预测部80和帧间预测部85之间切换来自帧存储器69的图像数据的输出目的地。例如，在指定了帧内预测模式的情况下，选择器70将从帧存储器69供给的滤波之前的解码图像数据作为基准图像数据输出至帧内预测部80。在指定了帧间预测模式的情况下，选择器70将滤波之后的解码图像数据作为基准图像数据输出至帧间预测部85。在帧内预测部80或帧间预测部85中进行层间预测时，选择器70将基本层的基准图像数据供给至帧内预测部80或帧间预测部85。
选择器71根据无损解码部62所获取的模式信息在帧内预测部80和帧间预测部85之间切换要供给至相加部65的预测图像数据的输出源。例如，在指定了帧内预测模式的情况下，选择器71将从帧内预测部80输出的预测图像数据供给至相加部65。在指定了帧间预测模式的情况下，选择器71将从帧间预测部85输出的预测图像数据供给至相加部65。
帧内预测部80基于从无损解码部62输入的与帧内预测有关的信息和来自帧存储器69的基准图像数据来进行增强层的帧内预测处理，以生成预测图像数据。针对每个PU进行帧内预测处理。在将帧内BL预测或帧内残差预测指定为帧内预测模式的情况下，帧内预测部80使用基本层中的与预测目标块相对应的同位置块作为基准块。在帧内BL预测的情况下，帧内预测部80基于基准块的解码图像来生成预测图像。在帧内残差预测的情况下，帧内预测部80基于基准块的预测误差图像来预测帧内预测的预测误差，并且生成添加了所预测出的预测误差的预测图像。帧内预测部80将所生成的增强层的预测图像数据输出至选择器71。
帧间预测部85基于从无损解码部62输入的与帧间预测有关的信息和来自帧存储器69的基准图像数据来进行增强层的帧间预测处理(运动补偿处理)，以生成预测图像数据。针对每个PU进行帧间预测处理。在指定了帧间残差预测作为帧间预测模式的情况下，帧间预测部85使用基本层中的与预测目标块相对应的同位置块作为基准块。在帧间残差预测的情况下，帧间预测部85基于基准块的预测误差图像来预测帧间预测的预测误差，并且生成添加了所预测出的预测误差的预测图像。帧间预测部85将所生成的增强层的预测图像数据输出至选择器71。
色域预测部90根据基本层与增强层之间的分辨率比率来对公共存储器7中所缓存的基本层的图像(解码图像或预测误差图像)进行上采样。在增强层的图像与基本层的图像具有不同的色域的情况下，色域预测部90将基本层的上采样图像的色域转换成与增强层的图像相同的色域。在实施例中，假定基本层的色域和增强层的色域之间针对各颜色成分独立的线性关系，色域预测部90通过根据基本层的图像近似预测增强层的图像来对色域进行转换。可以将由色域预测部90进行了色域转换的、基本层的图像存储在帧存储器69，以在利用帧内预测部80或帧间预测部85的层间预测中用作基准图像。色域预测部90从无损解码部62获取表示针对色域预测的预测模式的预测模式参数。在预测模式参数表示自适应参数模式的情况下，色域预测部90还从无损解码部62获取与预测参数的先前值的差分。色域预测部90使用从无损解码部62获取到的参数来根据上采样之后的基本层的图像预测增强层的图像。
[4-2.色域预测部的具体结构]
图27是示出图26所示的色域预测部90的示例结构的框图。参照图27，色域预测部90包括上采样部91、预测模式设置部92、参数计算部93和色域转换部94。
(1)上采样部
上采样部91根据基本层与增强层之间的分辨率比率对从公共存储器7获取到的基本层的图像进行上采样。更具体地，上采样部91通过利用预定义的滤波器系数对基本层的图像进行滤波来计算根据分辨率比率顺次扫描的各插值像素的插值像素值。因而，用作基准块的基本层的图像的空间分辨率可以增加至与增强层的分辨率相同的分辨率。上采样部91将上采样之后的图像输出至色域转换部94。
(2)预测模式设置部
预测模式设置部92在色域预测部90中的针对色域预测的预测模式的候选当中设置由通过无损解码部62解码的预测模式参数所表示的预测模式。预测模式的候选可以包括上述的移位模式、固定参数模式和自适应参数模式。在实施例中，预测模式设置部92可以根据从PPS解码得到的预测模式参数来设置预测模式。在另一实施例中，预测模式设置部92可以根据从片头解码得到的预测模式参数来设置预测模式。在又一实施例中，预测模式设置部92可以根据从SPS解码得到的预测模式参数来设置预测模式。在从SPS解码得到预测模式参数的情况下，在一个序列中可以维持相同的预测模式。
(3)参数计算部
在通过预测模式设置部92设置了自适应参数模式的情况下，参数计算部93使用由无损解码部62解码得到的预测参数的差分来计算色域预测要使用的预测参数。这里，预测参数包括等式(4)～(6)中所表示的增益gi和偏移oi(其中，i＝1,2,3)。
更具体地，在自适应参数模式中，参数计算部93通过将从无损解码部62获取到的增益和偏移的差分与增益和偏移的先前值相加来计算增益和偏移的最新值。这里，先前值例如可以是在针对各图片计算增益和偏移时针对先前图片所计算出的值。在针对各片计算增益和偏移的情况下，先前值可以是针对位于与先前图片相同位置处的片所计算出的值。在最新的预测模式参数表示自适应参数模式并且先前的预测模式参数表示移位模式的情况下，参数计算部93将由无损解码部62解码得到的差分与对应于移位量的预测参数值相加。在最新的预测模式参数表示自适应参数模式并且先前的预测模式参数表示固定参数模式的情况下，参数计算部93将由无损解码部62解码得到的差分与预先定义的固定预测参数值相加。在图9中示出与增益和偏移的差分相加的先前值(差分的基准)。参数计算部93将所计算出的增益和偏移的最新值输出至色域转换部94。由于增益的值可以包括分数值，因此可以根据解码得到的差分来分别计算增益的分母和分子的差分。因此，参数计算部93可以根据解码得到的差分来计算分母和分子中的每一个。色域转换部94的增益的相乘可以通过作为整数的分子相乘以及与分母的相除相对应的偏移计算来进行。增益的分母的值的范围可以仅局限于2的整数倍以降低计算成本。在这种情况下，可以使用分母的值的以2为底的对数作为预测参数。
(4)色域转换部
色域转换部94根据预测模式设置部92所设置的预测模式将从上采样部91输入的上采样之后的基本层的图像的色域转换成与增强层的图像的色域相同的色域。例如，在设置了移位模式的情况下，色域转换部94通过根据等式(1)～(3)、使上采样之后的基本层的像素值向左偏移预定移位量nshift，来计算预测像素值。在设置了固定参数模式的情况下，色域转换部94通过根据等式(4)～(6)、使上采样之后的基本层的像素值与固定增益相乘然后再与固定偏移相加，来计算预测像素值。在设置了自适应参数模式的情况下，代替固定的增益和偏移，色域转换部94使用参数计算部93自适应地计算出的增益和偏移来计算预测像素值。因而，生成了用于层间预测的基准图像。色域转换部94将这样生成的用于层间预测的基准图像(进行了色域转换的基本层的图像)存储在帧存储器69中。
图8中示出由无损解码部62解码的预测模式参数和预测参数(各颜色成分的增益和偏移)的差分的句法的示例。可以通过无损解码部62从增强层的编码流中解码这些参数。例如，图8所示的句法可以包括在PPS中或者可以包括在片头中。如上所述，从片头中解码预测模式参数和预测参数的差分的示例在针对图像的各局部区域使用不同的色域的用途中是有益的。此外，可以从各序列的SPS中解码扩展标志“color_gamut_prediction_flag”和预测模式参数“color_prediction_model”。在这种情况下，在一个序列中维持相同的预测模式。
在实施例中，无损解码部62可以根据表1所示的映射来从具有与加权预测关联参数共同的句法的头(片头)中解码色域预测的预测参数的差分。通过重新使用句法，降低了句法的冗余性，因而容易确保安装编码器和解码器以及升级版本时的兼容性。然而，可以从SPS、PPS或片头中单独解码扩展标志“color_gamut_prediction_flag”和预测模式参数“color_prediction_model”。无损解码部62可以对表示加权预测关联参数和用于色域预测的参数之一是否编码的标志进行解码，并且可以根据解码后的标志来对用于色域预测的参数进行解码。在层之间重新使用加权预测关联参数的情况下，无损解码部62可以不对增强层特有的加权预测关联参数进行解码，并且作为代替，可以利用相同句法对色域预测的预测参数的差分进行解码。在这种情况下，可以不使用针对L1基准帧的参数的句法(图11的第21行～第38行)。可以将与基准帧数(-1)相对应的变量“num_ref_idx_l0_active_minus1”的值视为零(即，进行了色域转换的基本层图像的数量为1)。
在另一实施例中，无损解码部62可以重新使用一些加权预测关联参数来进行色域预测。例如，可以重新使用由图11所示的“luma_log2_weight_denom”和“delta_chroma_log2_weight_denom”指定的分母作为辉度成分和色差成分的增益的分母。在这种情况下，无损解码部62不对图8所示的“delta_luma_log2_gain_denom”和“delta_chroma_log2_gain_denom”进行解码。
在变形例中，无损解码部62可以从具有与加权预测关联参数共同句法的L0基准帧部分中解码色域预测的预测参数的第一版本的差分，并且可以从句法的L1基准帧部分中解码色域预测的预测参数的第二版本的差分。在这种情况下，参数计算部93使用关于第一版本的解码后的差分来计算色域预测的预测参数的第一版本，并且使用关于第二版本的解码后的差分来计算色域预测的预测参数的第二版本。然后，色域转换部94选择性地使用预测参数的第一版本和第二版本来预测增强层的图像，即生成用于层间预测的基准图像。
在变形例中，例如，色域转换部94可以根据像素值所属的频带在预测参数的第一版本和预测参数的第二版本之间选择要使用的版本。与用于切换要使用的版本的频带之间的边界相对应的边界值可以是针对编码器和解码器这两者已知的，或者可以自适应地设置该边界值。在自适应地设置边界值的情况下，色域转换部94根据通过无损解码部62进一步解码后的边界信息所指定的边界值来确定像素值所属的频带。然后，色域转换部94可以基于该确定结果在预测参数的第一版本和第二版本之间选择要使用的版本。
在上述变形例中，例如，色域转换部94可以替代地根据像素所属的图像区域在预测参数的第一版本和第二版本之间选择要使用的版本。用于切换要使用的版本的区域边界可以是针对编码器和解码器这两者预先已知的、或者可以是自适应地设置的。在自适应地设置了区域边界的情况下，色域转换部94根据由通过无损解码部62进一步解码后的边界信息所指定的边界区域来确定像素所属的图像区域。然后，色域转换部94可以基于该确定结果在预测参数的第一版本和第二版本之间选择要使用的版本。
根据变形例，与已知方法相比，色域预测的预测误差减小，因而减少了预测误差数据的编码量。结果，可以提高编码效率。如上所述，提供两个版本的预测参数的方法可以仅应用于辉度成分而不应用于色差成分。
在实施例中，在增强层的位深度大于基本层的位深度的情况下，认为色域转换部94能够在预测增强层的图像时同时执行移位和色域转换。无损解码部62对移位控制标志进行解码作为增强层的控制参数，移位控制标志表示是否与色域转换同时执行层间预测时的移位。在移位控制标志表示与色域转换同时执行移位的情况下，色域转换部94与色域转换同时执行移位。否则，例如，色域转换部94与上采样同时执行移位。因而，自适应地切换执行移位的定时，由此可以使层间预测的处理步骤的数量最小化。结果，与已知方法相比，可以抑制层间预测的处理成本。无损解码部62可以针对辉度成分和色差成分单独对移位控制标志进行解码。在这种情况下，可以根据各颜色成分的设置(图像大小和位深度的设置)来进行更灵活的控制。通常，如图19所示，可以从片头中解码移位控制标志。然而，本发明不限于该示例，而且可以从诸如SPS或PPS的其它点处解码移位控制标志。
<5.根据实施例的用于解码的处理流程>
[5-1.示意性流程]
图28是示出根据实施例的解码时的示意性处理流程的示例的流程图。为了说明简便，从附图中省略了与本发明的技术不直接有关的处理步骤。
参照图28，解多路复用部5首先将多层多路复用流解多路复用成基本层的编码流和增强层的编码流(步骤S60)。
接着，BL解码部6a执行基本层的解码处理以根据基本层的编码流重构基本层的图像(步骤S61)。
公共存储器7缓存在针对基本层的解码处理中所生成的基本层的图像(解码图像和预测误差图像之一或这两者)以及在层之间重新使用的参数(步骤S62)。在层之间重新使用的参数可以包括加权预测关联参数。
接着，EL解码部6b执行针对增强层的解码处理以重构增强层的图像(步骤S63)。在本文所执行的针对增强层的解码处理中，通过色域预测部90对公共存储器7所缓存的基本层的图像进行上采样，由此对色域进行转换。可以使用色域转换之后的基本层的图像作为层间预测中的基准图像。
[5-2.色域预测处理]
(1)第一示例
图29是示出针对增强层的解码处理中的色域预测处理的流程的第一示例的流程图。针对各图片或片重复这里所述的色域预测处理。
参照图29，首先，上采样部91根据基本层与增强层之间的分辨率比率对从公共存储器7所获取的基本层的图像进行上采样(步骤S70)。
无损解码部62从PPS或片头中解码表示要针对色域预测设置的预测模式的预测模式参数(步骤S72)。然后，预测模式设置部92在图片(或片)中设置由解码后的预测模式参数表示的预测模式(步骤S75)。
根据由预测模式设置部92所设置的预测模式对后续处理进行分支(步骤S76和S78)。例如，在所设置的预测模式是自适应参数模式的情况下，无损解码部62从PPS或片头中解码增益和偏移的值与其先前值之间的差分(步骤S80)。然后，参数计算部93通过将解码后的增益和偏移的差分与增益和偏移的先前值相加来计算针对最新的图片或片要使用的增益和偏移(步骤S82)。
在所设置的预测模式是自适应参数模式或固定参数模式的情况下，色域转换部94通过根据等式(4)～(6)、将上采样之后的基本层的像素值与自适应地计算出的或固定的增益相乘然后再与偏移相加，来计算各像素的预测像素值(步骤S84)。
在所设置的预测模式是移位模式的情况下，色域转换部94通过根据等式(1)～(3)、使上采样之后的基本层的像素值向左偏移预定移位量，来计算各像素的预测像素值(步骤S86)。
在计算了片中要处理的所有预测像素值时，色域转换部94将色域转换之后的基本层的图像(即作为色域预测的结果的预测图像)存储在帧存储器69中(步骤S88)。
之后，在存在后续未处理的图片或片的情况下，处理返回至步骤S70并且针对后续的图片或片重复上述处理(步骤S90)。
(2)第二示例
图30是示出针对增强层的解码处理中的色域预测处理的流程的第二示例的流程图。
参照图30，无损解码部62首先从SPS中解码表示要针对色域预测设置的预测模式的预测模式参数(步骤S71)。然后，预测模式设置部92在序列中设置由解码后的预测模式参数表示的预测模式(步骤S73)。
针对序列中的各图片或片重复步骤S74～S90的处理。
首先，上采样部91根据基本层与增强层之间的分辨率比率对从公共存储器7所获取的基本层的图像进行上采样(步骤S74)。
此外，根据由预测模式设置部92所设置的预测模式对处理进行分支(步骤S76和S78)。例如，在所设置的预测模式是自适应参数模式的情况下，无损解码部62从PPS或片头中解码增益和偏移的值与其先前值之间的差分(步骤S80)。然后，参数计算部93通过将解码后的增益和偏移的差分分别与增益和偏移的先前值相加来计算针对最新的图片或片要使用的增益和偏移(步骤S82)。
在所设置的预测模式是自适应参数模式或固定参数模式的情况下，色域转换部94通过根据等式(4)～(6)、将上采样之后的基本层的像素值与自适应地计算出的或固定的增益相乘然后再与偏移相加，来计算各像素的预测像素值(步骤S84)。
在所设置的预测模式是移位模式的情况下，色域转换部94通过根据等式(1)～(3)、使上采样之后的基本层的像素值向左偏移预定的移位量，来计算各像素的预测像素值(步骤S86)。
在计算了片中要处理的所有预测像素值的情况下，色域转换部94将色域转换之后的基本层的图像(即作为色域预测的结果的预测图像)存储在帧存储器69中(步骤S88)。
之后，在序列中存在后续未处理的图片或片的情况下，处理返回至步骤S74并且对后续的图片或片重复上采样和色域转换(步骤S90)。在结束了对于序列中的所有图片或所有片的色域转换时，进一步确定是否存在后续序列(步骤S92)。在存在后续序列的情况下，处理返回至步骤S71并且对于后续序列重复上述处理。
(3)第三示例
图31是示出针对增强层的解码处理中的色域预测处理的流程的第三示例的流程图。
参照图31，无损解码部62首先从SPS中解码表示要针对色域预测设置的预测模式的预测模式参数(步骤S71)。然后，预测模式设置部92在序列中设置由解码后的预测模式参数表示的预测模式(步骤S73)。
针对序列中的各片重复步骤S74～S91的处理。
首先，上采样部91根据基本层与增强层之间的分辨率比率对从公共存储器7所获取的基本层的图像进行上采样(步骤S74)。
此外，根据由预测模式设置部92所设置的预测模式对处理进行分支(步骤S76和S78)。例如，在所设置的预测模式是自适应参数模式的情况下，无损解码部62从片头中解码如下差分：通过重新使用加权预测关联参数的句法编码后的增益和偏移的值与先前值之间的差分(步骤S81)。然后，参数计算部93通过将解码后的增益和偏移的差分分别与增益和偏移的先前值相加来计算针对最新的片要使用的增益和偏移。
在所设置的预测模式是自适应参数模式或固定参数模式的情况下，色域转换部94通过根据等式(4)～(6)、将上采样之后的基本层的像素值与自适应地计算出的或固定的增益相乘然后再与偏移相加，来计算各像素的预测像素值(步骤S84)。根据可以从编码流中解码的移位控制标志，本文中的预测像素值的计算可以包括用于层间预测的移位。此外，移位可以包括在步骤S74中的上采样的滤波计算中。
在所设置的预测模式是移位模式的情况下，色域转换部94通过根据(1)～(3)、使上采样之后的基本层的像素值向左偏移预定移位量，来计算各像素的预测像素值(步骤S86)。
在计算了片中要处理的所有预测像素值时，色域转换部94将色域转换之后的基本层的图像(即作为色域预测的结果的预测图像)存储在帧存储器69中(步骤S88)。
之后，在序列中存在后续未处理的片的情况下，处理返回至步骤S74并且对后续片重复上采样和色域转换(步骤S91)。在结束了对于序列中的所有片的色域转换时，进一步确定是否存在后续序列(步骤S92)。在存在后续序列的情况下，处理返回至步骤S71并且对于后续序列重复上述处理。
第四示例
图32是示出在针对增强层的解码处理中的色域预测处理的流程的第四示例的流程图。
参照图32，首先，无损解码部62从SPS中解码表示针对色域预测要设置的预测模式的预测模式参数(步骤S71)。然后，预测模式设置部92在序列中设置由解码后的预测模式参数表示的预测模式(步骤S73)。
针对序列中的各片重复步骤S74～S91的处理。
首先，上采样部91根据基本层与增强层之间的分辨率比率对从公共存储器7所获取的基本层的图像进行上采样(步骤S74)。
此外，根据由预测模式设置部92所设置的预测模式对处理进行分支(步骤S76和S78)。例如，在所设置的预测模式是自适应参数模式的情况下，无损解码部62从加权预测关联参数的句法的L0基准帧部分和L1基准帧部分解码预测参数的第一版本和第二版本的差分(步骤S81b)。然后，参数计算部93通过关于第一版本将解码后的增益和偏移的差分与增益和偏移的先前值相加来计算针对最新的片要使用的预测参数的第一版本(步骤S83a)。同样地，参数计算部93通过关于第二版本将解码后的增益和偏移的差分与增益和偏移的先前值相加来计算针对最新的片要使用的预测参数的第二版本(步骤S83b)。第一版本和第二版本可以分别包括被设置用于像素值的范围内的第一频带和第二频带的最佳值。作为代替，第一版本和第二版本分别可以包括被设置用于第一图像区域和第二图像区域的最佳值。
除了在步骤S84中可以根据像素值所属的频带或像素所属的图像区域来切换预测参数的版本这一事实以外，后续处理的流程可以与参照图31所述的第三示例的流程相同。在步骤S81b中，无损解码部62可以另外从例如片头或片头的扩展部中解码边界信息，该边界信息指定用于切换预测参数的版本的频带之间的边界值或图像区域之间的区域边界。
(5)处理顺序的变形例
图29～32的流程图示出在执行上采样之后执行色域转换的示例。然而，如参照图25A和25B所述的，在变形例中，在增强层的空间分辨率(图像大小)高于基本层的空间分辨率的情况下，色域预测部90可以通过对基本层的图像的色域进行转换、然后对转换后的图像进行上采样，来预测增强层的图像。根据该处理顺序，由于与已知处理顺序的情况相比，要通过色域转换转换的像素数和位深度减少，因此进一步抑制了层间预测的处理成本。
<6.示例应用>
[6-1.各种产品的应用]
可以将根据上述实施例的图像编码装置10和图像解码装置60应用于各种电子设备，诸如用于卫星广播、诸如有线TV的有线广播、因特网上的分布和经由蜂窝通信对终端的分布等的发送器和接收器；将图像记录在诸如光盘、磁盘或闪速存储器等的介质中的记录装置；以及从这种存储介质再现图像的再现装置等。以下将说明四个示例应用。
(1)第一应用示例
图33是示出应用上述实施例的电视装置的示意性结构的示例的图。电视装置900包括天线901、调谐器902、解多路复用器903、解码器904、视频信号处理单元905、显示器906、音频信号处理单元907、扬声器908、外部接口909、控制单元910、用户接口911和总线912。
调谐器902从经由天线901接收到的广播信号中提取期望信道的信号并对所提取的信号进行解调。然后，调谐器902将通过解调所获得的编码比特流输出至解多路复用器903。也就是说，在电视装置900中，调谐器902具有作为接收其中图像被编码的编码流的传输部件的作用。
解多路复用器903从编码比特流中分离要观看的节目中的视频流和音频流并将分离出的各流输出至解码器904。解多路复用器903还从编码比特流中提取诸如EPG(电子节目指南)的辅助数据并将所提取的数据供给至控制单元910。这里，解多路复用器903可以在扰频的情况下对编码比特流进行解扰。
解码器904对从解多路复用器903输入的视频流和音频流进行解码。然后，解码器904将通过解码处理生成的音频数据输出至视频信号处理单元905。此外，解码器904将通过解码处理生成的音频数据输出至音频信号处理单元907。
视频信号处理单元905再现从解码器904输入的视频数据并将该视频显示在显示器906上。视频信号处理单元905还可以将经由网络供给的应用画面显示在显示器96上。视频信号处理单元905还可以根据设置对视频数据执行诸如降低噪声的附加处理。此外，视频信号处理单元905还可以生成诸如菜单、按钮或光标等的GUI(图形用户界面)的图像并将所生成的图像叠加在输出图像上。
显示器906由从视频信号处理单元905供给的驱动信号驱动并将视频或图像显示在显示装置(诸如液晶显示器、等离子显示器或OELD(有机电致发光显示器))的视频画面上。
音频信号处理单元907对从解码器904输入的音频数据进行诸如D/A转换和放大的再现处理并从扬声器908输出该音频。音频信号处理单元907还可以对音频数据执行诸如噪声降低的附加处理。
外部接口909是使电视装置900与外部装置或网络相连接的接口。例如，解码器904可以对经由外部接口909接收到的视频流或音频流进行解码。这意味着在电视装置900中，外部接口909还具有作为接收其中图像被编码的编码流的传输部件的作用。
控制单元910包括诸如CPU的处理器以及诸如RAM和ROM的存储器。存储器存储CPU所执行的程序、程序数据、EPG数据和经由网络所获取的数据。存储器中所存储的程序例如由CPU在电视装置900的启动时读取并且执行。通过执行该程序，CPU例如根据从用户接口911输入的操作信号来控制电视装置900的操作。
用户接口911连接至控制单元910。用户接口911例如包括用户操作电视装置900所用的按钮和开关、以及接收远程控制信号的接收部。用户接口911经由这些组件检测用户操作，生成操作信号，并将所生成的操作信号输出至控制单元910。
总线912使调谐器902、解多路复用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口909和控制单元910相互连接。
以上述方式配置的电视装置900中的解码器904具有根据上述实施例的图像解码装置60的功能。因而，在电视装置900对色域相互不同的层进行色域预测的情况下，可以在实现高预测精度的同时抑制编码量的增加。
(2)第二应用示例
图34是示出应用上述实施例的移动电话的示意性结构的示例的图。移动电话920包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、摄像头单元926、图像处理单元927、解多路复用单元928、记录/再现单元929、显示器930、控制单元931、操作单元932和总线933。
天线921连接至通信单元922。扬声器924和麦克风925连接至音频编解码器923。操作单元932连接至控制单元931。总线933使通信单元922、音频编解码器923、摄像头单元926、图像处理单元927、解多路复用单元928、记录/再现单元929、显示器930和控制单元931相互连接。
移动电话920进行如下操作：诸如发送/接收音频信号、发送/接收电子邮件或图像数据、对图像摄像、或者以包括音频呼叫模式、数据通信模式、摄影模式和视频电话模式的各种操作模式记录数据。
在音频呼叫模式中，麦克风925所生成的模拟音频信号被供给至音频编解码器923。然后，音频编解码器923将该模拟音频信号转换成音频数据，对转换后的音频数据进行A/D转换，并压缩该数据。之后，音频编解码器923将压缩后的音频数据输出至通信单元922。通信单元922对音频数据进行编码和调制以生成传输信号。然后，通信单元922将所生成的传输信号经由天线921发送至基站(未示出)。此外，通信单元922放大经由天线921所接收的无线电信号，对该信号的频率进行转换，并且获取接收信号。之后，通信单元922对接收信号进行解调和解码以生成音频数据并将所生成的音频数据输出至音频编解码器923。音频编解码器923展开音频数据，对该数据进行D/A转换，并且生成模拟音频信号。然后，音频编解码器923通过将所生成的音频信号供给至扬声器924来输出该音频。
在数据通信模式中，例如，控制单元931根据经由操作单元932的用户操作来生成构成电子邮件的字符数据。控制单元931还将字符显示在显示器930上。此外，控制单元931根据从用户经由操作单元931的发送指示生成电子邮件数据并将所生成的电子邮件数据输出至通信单元922。通信单元922对电子邮件数据进行编码和调制以生成传输信号。然后，通信单元922将所生成的传输信号经由天线921发送至基站(未示出)。通信单元922还放大经由天线921所接收到的无线电信号，对该信号的频率进行转换，并且获取接收信号。之后，通信单元922对接收信号进行解调和解码，恢复电子邮件数据，并将恢复后的电子邮件数据输出至控制单元931。控制单元931将电子邮件的内容显示在显示器930上并将该电子邮件数据存储在记录/再现单元929的存储介质中。
记录/再现单元929包括可读取且可写入的任意存储介质。例如，存储介质可以是诸如RAM或闪速存储器的内置存储介质，或者可以是诸如硬盘、磁盘、磁光盘、光盘、USB(未分配空间位图)存储器或存储卡的外部安装的存储介质。
在摄影模式中，例如，摄像头单元926对被摄体进行摄像，生成图像数据，并将所生成的图像数据输出至图像处理单元927。图像处理单元927对从摄像头单元926输入的图像数据进行编码并将编码流存储在记录/再现单元929的存储介质中。
在视频电话模式中，例如，解多路复用单元928对图像处理单元927编码后的视频流和从音频编解码器923输入的音频流进行多路复用，并将多路复用流输出至通信单元922。通信单元922对该流进行编码和调制以生成传输信号。通信单元922随后将所生成的传输信号经由天线921发送至基站(未示出)。此外，通信单元922放大经由天线921所接收的无线电信号，对该信号的频率进行转换，并且获取接收信号。传输信号和接收信号可以包括编码比特流。然后，通信单元922对接收信号进行解调和解码以恢复流，并将所恢复的流输出至解多路复用单元928。解多路复用单元928从所输入的流中分离视频流和音频流并将该视频流和音频流分别输出至图像处理单元927和音频编解码器923。图像处理单元927对视频流进行解码以生成视频数据。然后，该视频数据被供给至显示器930，其中该显示器930显示一系列图像。音频编解码器923展开音频流并对该音频流进行D/A转换以生成模拟音频信号。然后，音频编解码器923将所生成的音频信号供给至扬声器924以输出音频。
以上述方式配置的移动电话920中的图像处理单元927具有根据上述实施例的图像编码装置10和图像解码装置60的功能。因而，在移动电话920对色域相互不同的层进行色域预测的情况下，可以在实现高预测精度的同时抑制编码量的增加。
(3)第三应用示例
图35是示出应用上述实施例的记录/再现装置的示意性结构的示例的图。记录/再现装置940对所接收到的广播节目的音频数据和视频数据进行编码并将该数据记录在例如记录介质中。记录/再现装置940还可以对从其它装置获取到的音频数据和视频数据进行编码并将该数据记录在例如记录介质中。响应于用户指示，例如，记录/再现装置940将记录介质中所记录的数据再现在监视器和扬声器上。此时，记录/再现装置940对音频数据和视频数据进行解码。
记录/再现装置940包括调谐器941、外部接口942、编码器943、HDD(硬盘驱动器)944、盘驱动器945、选择器946、解码器947、OSD(在屏显示器)948、控制单元949和用户接口950。
调谐器941从经由天线(未示出)接收到的广播信号中提取期望信道的信号，并且对所提取的信号进行解调。然后，调谐器941将通过解调所获得的编码比特流输出至选择器946。也就是说，调谐器941在记录/再现装置940中具有传输部件的作用。
外部接口942是使记录/再现装置940与外部装置或网络连接的接口。外部接口942可以是例如IEEE 1394接口、网络接口、USB接口或闪速存储器接口。例如，将经由外部接口942接收到的视频数据和音频数据输入至编码器943。也就是说，在记录/再现装置940中外部接口942具有传输部件的作用。
在从外部接口942输入的视频数据和音频数据没有编码的情况下，编码器943对该视频数据和音频数据进行编码。之后，编码器943将编码比特流输出至选择器946。
HDD 944将压缩有诸如视频和音频的内容数据的编码比特流、各种程序和其它数据记录在内部硬盘中。HDD 944在再现视频和音频时从硬盘读出这些数据。
盘驱动器945从安装至盘驱动器的记录介质中读取数据并将数据记录至该记录介质中。安装至盘驱动器945的记录介质可以是例如DVD盘(诸如DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R或DVD+RW)或蓝光(Blu-ray，注册商标)盘。
选择器946选择在记录视频和音频时从调谐器941或编码器943输入的编码比特流，并将所选择的编码比特流输出至HDD 944或盘驱动器945。另一方面，在再现视频和音频时，选择器946将从HDD 944或盘驱动器945输入的编码比特流输出至解码器947。
解码器947对编码比特流进行解码以生成视频数据和音频数据。然后，解码器904将所生成的视频数据输出至OSD 948并将所生成的音频数据输出至外部扬声器。
OSD 948再现从解码器947输入的视频数据并显示视频。OSD 948还可以将诸如菜单、按钮或光标等的GUI的图像叠加在所显示的视频上。
控制单元949包括诸如CPU的处理器以及诸如RAM和ROM的存储器。存储器存储CPU所执行的程序以及程序数据。例如，存储器中所存储的程序由CPU在启动记录/再现装置940时读取并执行。通过执行该程序，CPU例如根据从用户接口950输入的操作信号来控制记录/再现装置940的操作。
用户接口950连接至控制单元949。例如，用户接口950包括用户操作记录/再现装置940所用的按钮和开关、以及接收远程控制信号的接收部。用户接口950经由这些组件检测用户操作，生成操作信号，并将所生成的操作信号输出至控制单元949。
以上述方式配置的记录/再现装置940中的编码器943具有根据上述实施例的图像编码装置10的功能。另一方面，解码器947具有根据上述实施例的图像解码装置60的功能。因而，在记录/再现装置940对色域相互不同的层进行色域预测的情况下，可以在实现高预测精度的同时抑制编码量的增加。
(4)第四应用示例
图36示出应用上述实施例的图像捕获装置的示意结构的示例。摄像装置960对被摄体摄像，生成图像，对图像数据进行编码，并将该数据记录在记录介质中。
摄像装置960包括光学块961、摄像单元962、信号处理单元963、图像处理单元964、显示器965、外部接口966、存储器967、介质驱动器968、OSD 969、控制单元970、用户接口971和总线972。
光学块961连接至摄像单元962。摄像单元962连接至信号处理单元963。显示器965连接至图像处理单元964。用户接口971连接至控制单元970。总线972使图像处理单元964、外部接口966、存储器967、介质驱动器968、OSD 969和控制单元970相互连接。
光学块961包括调焦透镜和光圈机构。光学块961在摄像单元962的成像面上形成被摄体的光学图像。摄像单元962包括诸如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)的图像传感器并且进行光电转换以将成像面上所形成的光学图像转换成作为电气信号的图像信号。随后，摄像单元962将该图像信号输出至信号处理单元963。
信号处理单元963对从摄像单元962输入的图像信号进行各种摄像头信号处理，诸如拐点校正、伽玛校正和颜色校正。信号处理单元963将进行了摄像头信号处理的图像数据输出至图像处理单元964。
图像处理单元964对从信号处理单元963输入的图像数据进行编码并生成编码数据。然后，图像处理单元964将所生成的编码数据输出至外部接口966或介质驱动器968。图像处理单元964还对从外部接口966或介质驱动器968输入的编码数据进行解码以生成图像数据。然后，图像处理单元964将所生成的图像数据输出至显示器965。此外，图像处理单元964可以将从信号处理单元963输入的图像数据输出至显示器965以显示图像。此外，图像处理单元964可以将从OSD 969获取到的显示数据叠加在显示器965上所输出的图像上。
OSD 969生成诸如菜单、按钮或光标的GUI的图像并将所生成的图像输出至图像处理单元964。
外部接口966例如被配置成USB输入/输出端子。例如在打印图像时，外部接口966使摄像装置960与打印机连接。此外，根据需要将驱动器连接至外部接口966。例如，将诸如磁盘或光盘的可移除介质安装至驱动器，以使得可以将从可移除介质读取的程序安装至摄像装置960。外部接口966还可以被配置为连接至诸如LAN或因特网的网络的网络接口。也就是说，外部接口966在摄像装置960中具有传输部件的作用。
安装至介质驱动器968的记录介质可以是诸如磁盘、磁光盘、光盘或半导体存储器的可读取且可写入的任意可移除介质。此外，例如，可以将记录介质固定地安装至介质驱动器968，以使得配置成诸如内置硬盘驱动器或SSD(固态驱动器)的不可传输的存储单元。
控制单元970包括诸如CPU的处理器以及诸如RAM和ROM的存储器。存储器存储CPU所执行的程序以及程序数据。存储器中所存储的程序由CPU在启动摄像装置960时读取并执行。通过执行该程序，CPU例如根据从用户接口971输入的操作信号来控制摄像装置960的操作。
用户接口971连接至控制单元970。例如，用户接口971包括用户操作摄像装置960所用的按钮和开关。用户接口971经由这些组件检测用户操作，生成操作信号，并将所生成的操作信号输出至控制单元970。
以这种方式配置的摄像装置960中的图像处理单元964具有根据上述实施例的图像编码装置10和图像解码装置60的功能。因而，在摄像装置960对色域相互不同的层进行色域预测的情况下，可以在实现高预测精度的同时抑制编码量的增加。
[6-2.可伸缩视频编码的各种用途]
可以在各种用途中享受上述的可伸缩视频编码的优点。以下将说明用途的三个示例。
(1)第一示例
在第一示例中，使用可伸缩视频编码来进行数据的选择性传输。参照图37，数据传输系统1000包括流存储装置1001和传送服务器1002。传送服务器1002经由网络1003连接至一些终端装置。网络1003可以是有线网络或无线网络或者它们的组合。作为终端装置的示例，图37示出了PC(个人计算机)1004、AV装置1005、平板装置1006和移动电话1007。
流存储装置1001例如存储包括由图像编码装置10所生成的多路复用流的流数据1011。该多路复用流包括基本层(BL)的编码流和增强层(EL)的编码流。传送服务器1002读取流存储装置1001中所存储的流数据1011并将所读取的流数据1011的在至少一部分经由网络1003传送至PC1004、AV装置1005、平板装置1006和移动电话1007。
在向终端装置传送流时，传送服务器1002基于诸如终端装置的能力或通信环境的一些条件选择要传送的流。例如，传送服务器1002可以通过不传送超过终端装置可以处理的图像质量的高图像质量的编码流来避免终端装置的延迟或者处理器的溢出或过载的发生。传送服务器1002还可以通过不传送高图像质量的编码流来避免网络1003的通信频带被占据。另一方面，在不存在要避免的风险或基于用户的契约或一些条件而认为适当的情况下，传送服务器1002可以将整个多路复用流传送至终端装置。
在图37的示例中，传送服务器1002从流存储装置1001读取流数据1011。然后，传送服务器1002将流数据1011直接传送至具有高处理能力的PC 1004。由于AV装置1005的处理能力低，因此传送服务器1002生成仅包含从流数据1011提取的基本层的编码流的流数据1012并将流数据1012传送至AV装置1005。传送服务器1002将流数据1011直接传送至能够以高通信速率进行通信的平板装置1006。由于移动电话1007能够以低通信速率进行通信，因此传送服务器1002将仅包含基本层的编码流的流数据1012传送至移动电话1007。
通过以此方式使用多路复用流，可以自适应地调整要发送的流量。与单独对各层进行编码的情况相比，流数据1011的编码量减少，因而即使传送整个流数据1011，也可以减轻针对网络1013的负荷。此外，节省了流存储装置1011的存储器资源。
终端装置的硬件性能针对各装置而不同。另外，在终端装置上运行的应用程序的能力不同。此外，网络1003的通信能力改变。数据传输可用的能力由于其它流量而可能时刻改变。因而，在开始流数据的传送之前，传送服务器1002可以通过与传送目的地终端装置发送信号来获取与硬件性能和终端装置的应用程序能力有关的终端信息以及与网络1003的通信能力有关的网络信息。然后，传送服务器1002可以基于所获取的信息选择要传送的流。
顺便提及，可以利用终端装置提取要解码的层。例如，PC 1004可以将从所接收的多路复用流提取并解码得到的基本层图像显示在其画面上。在通过从所接收的多路复用流提取基本层的编码流来生成流数据1012之后，PC 1004可以使存储介质存储流数据1012或将该流数据传送至其它装置。
图37所示的数据传输系统1000的结构仅是示例。数据传输系统1000可以包括任意数量的流存储装置1001、传送服务器1002、网络1003和终端装置。
(2)第二示例
在第二示例中，使用可伸缩视频编码来经由多个通信信道传输数据。参照图38，数据传输系统1100包括广播站1101和终端装置1102。广播站1101在地上信道1111上广播基本层的编码流1121。广播站1101还将增强层的编码流1122经由网络1112广播至终端装置1102。
终端装置1102具有用以接收广播站1101所广播的地面广播的接收功能并且经由地上信道1111接收基本层的编码流1121。终端装置1102还具有与广播站1101进行通信的通信功能并且经由网络1112接收增强层的编码流1122。
例如，在接收到基本层的编码流1121之后，响应于用户的指令，终端装置1102可以从所接收的编码流1121解码基本层图像并将该基本层图像显示在画面上。可选地，终端装置1102可以使存储介质存储解码后的基本层图像或将该基本层图像传送至其它装置。
例如，在经由网络1112接收到增强层的编码流1122之后，响应于用户的指令，终端装置1102可以通过将基本层的编码流1121与增强层的编码流1122多路复用来生成多路复用流。终端装置1102还可以从增强层的编码流1122解码增强层图像以将该增强层图像显示在画面上。可选地，终端装置1102可以使存储介质存储解码后的增强层图像或将该增强层图像传送至其它装置。
如上所述，可以针对各层经由不同的通信信道发送多路复用流中所包含的各层的编码流。因此，可以通过使负荷分布在各个信道上来减少通信延迟或溢出的发生。
可以根据一些条件动态地选择用于传输的通信信道。例如，可以经由带宽较宽的通信信道来传输数据量相对较大的基本层的编码流1121，而可以经由带宽较窄的通信信道来传输数据量相对较小的增强层的编码流1122。可以根据通信信道的带宽来切换传输特定层的编码流1122的通信信道。因此，可以更加有效地减轻各个信道的负荷。
图38所示的数据传输系统1100的结构仅是示例。数据传输系统1100可以包括任意数量的通信信道和终端装置。这里所述的系统的结构还可应用于除广播以外的其它用途。
(3)第三示例
在第三示例中，使用可伸缩视频编码来进行视频的存储。参照图39，数据传输系统1200包括摄像装置1201和流存储装置1202。摄像装置1201对通过对被摄体1211进行摄像所生成的图像数据进行可伸缩编码，以生成多路复用流1221。多路复用流1221包括基本层的编码流和增强层的编码流。然后，摄像装置1201将多路复用流1221供给至流存储装置1202。
流存储装置1202针对各模式以不同的图像质量存储从摄像装置1201供给的多路复用流1221。例如，流存储装置1202在常规模式下从多路复用流1221提取基本层的编码流1222，并且存储所提取的基本层的编码流1222。作为对比，在高质量模式下，流存储装置1202按原样存储多路复用流1221。因此，仅在期望记录高质量的视频时，流存储装置1202才存储具有大量数据的高质量流。因此，可以在限制图像劣化对用户的影响的同时节省存储器资源。
例如，假定摄像装置1201是监控摄像头。在拍摄图像中没有出现监控对象(例如，没有入侵者)的情况下，选择常规模式。在这种情况下，拍摄图像有可能不重要并且优先减少数据量，使得以低图像质量记录视频(即，仅存储基本层的编码流1222)。相反，在拍摄图像中出现监控对象(例如，作为入侵者的被摄体1211)的情况下，选择高质量模式。在这种情况下，拍摄图像可能是重要的，并且优先给予高图像质量，使得以高图像质量记录视频(即，存储多路复用流1221)。
在图39的示例中，由流存储装置1202基于例如图像分析结果来选择模式。然而，本实施例不限于这种示例，并且摄像装置1201可以选择模式。在后一情况中，摄像装置1201在常规模式下可以将基本层的编码流1222供给至流存储装置1202并且在高质量模式下可以将多路复用流1221供给至流存储装置1202。
用于选择模式的选择标准可以是任意标准。例如，可以根据经由麦克风所获取的语音的响度或语音的波形来切换模式。还可以定期切换模式。此外，可以响应于用户的指令来切换模式。此外，可选择的模式的数量可以是任何数量，只要不超过层级化层的数量即可。
图39所示的数据传输系统1200的结构仅是示例。数据传输系统1200可以包括任意数量的摄像装置1201。这里所述的系统的结构还可应用于除监控摄像头以外的其它用途。
[6-3.其它]
(1)多视图编解码器的应用
多视图编解码器是一种多层编解码器并且是用以对所谓的多视图视频进行编码和解码的图像编码系统。图40是示出多视图编解码器的说明图。参照图40，示出从三个视点所拍摄的三个视图帧的序列。将视图ID(view_id)附加至各视图。在多个这些视图中，指定一个视图作为基本视图。将除基本视图以外的视图称为非基本视图。在图40的示例中，视图ID为“0”的视图是基本视图并且视图ID为“1”或“2”的视图是非基本视图。在以层级方式对这些视图进行编码的情况下，各视图可以对应于层。如图40的箭头所示，通过参考基本视图的图像(还可以参考其它非基本视图的图像)来对非基本视图的图像进行编码和解码。
图41是示出支持多视图编解码器的图像编码装置10v的示意性结构的框图。参照图41，图像编码装置10v包括第一层编码部1c、第二层编码部1d、公共存储器2和多路复用部3。
除了代替基本层图像而接收基本视图图像作为输入以外，第一层编码部1c的功能与使用图4所述的BL编码部1a的功能相同。第一层编码部1c对基本视图图像进行编码以生成第一层的编码流。除了代替增强层图像而接收非基本视图图像作为输入以外，第二层编码部1d的功能与使用图4所述的EL编码部1b的功能相同。第二层编码部1d对非基本视图图像进行编码以生成第二层的编码流。公共存储器2存储这些层之间共同使用的信息。多路复用部3对第一层编码部1c所生成的第一层的编码流和第二层编码部1d所生成的第二层的编码流进行多路复用以生成多层多路复用流。
图42是示出支持多视图编解码器的图像解码装置60V的示意性结构的框图。参照图42，图像解码装置60v包括解多路复用部5、第一层解码部6c、第二层解码部6d和公共存储器7。
解多路复用部5将多层多路复用流解多路复用成第一层的编码流和第二层的编码流。除了代替基本层图像而接收其中编码了基本视图图像的编码流作为输入以外，第一层解码部6c的功能与使用图5所述的BL解码部6a的功能相同。第一层解码部6c从第一层的编码流中解码基本视图图像。除了代替增强层图像而接收其中编码了非基本视图图像的编码流作为输入以外，第二层解码部6d的功能与使用图5所述的EL解码部6b的功能相同。第二层解码部6d从第二层的编码流中解码非基本视图图像。公共存储器7存储这些层之间共同使用的信息。
在对多视图图像数据进行编码或解码并且在视图之间色域不同的情况下，可以根据本发明的技术来对视图之间的色域的转换进行控制。因而，与可伸缩视频编码的情况相同，在可以实现色域预测的高预测精度的同时，还可以在多视图编解码器中抑制编码量的增加。
(2)对流媒体技术的应用
本公开的技术还可应用于流媒体协议。在MPEG-DASH(经由HTTP的动态自适应流媒体)中，例如，预先利用流服务器来准备具有诸如分辨率的相互不同的参数的多个编码流。然后，流媒体服务器从多个编码流中动态地选择用于流媒体的适当数据并且传送所选择的数据。在这种流媒体协议中，可以根据本发明的技术来控制编码流之间的色域的预测。
<7.结论>
以上已经参考图1～42详细说明了本公开的技术的实施例。在上述实施例中，从编码流中解码相对于如下预测参数的先前值的差分，其中该预测参数是在根据第一层(例如，基本层)的图像预测与第一层具有不同的色域的第二层(例如，增强层)的图像时所使用的。使用解码后的差分来计算预测参数并且使用所计算出的预测参数来预测第二层的图像。即使在针对色域的预测(转换)动态地改变最佳预测参数的情况下，针对每个帧认为参数值的变化很小。因此，与对预测参数值本身进行编码的方法相比，可以在利用对上述差分进行编码和解码的方法在色域可伸缩性方面实现高预测精度的同时，抑制编码量的增加。
在上述实施例中，用于预测色域的预测参数包括与第一层的各色域成分的像素值相乘的增益和偏移。增益和偏移的最佳值针对各帧没有大幅改变。因此，应用用于对增益和偏移的上述差分进行编码和解码的方法是有益的。本发明不限于该示例，而可以仅对增益和偏移之一的差分进行编码和解码。可以针对与增益相对应的分母和分子之一计算差分、或者可以针对分母和分子这两者计算差分。
在上述实施例中，在预测模式参数表示自适应参数模式的情况下，使用利用差分所计算出的预测参数来预测第二层的图像。因此，本发明的技术不仅可应用于使用自适应参数模式的情况，而且还可应用于从包括移位模式和固定参数模式的多种预测模式的候选中选择了预测模式的情况。
在实施例中，即使在先前帧与最新帧之间预测模式不同的情况下，也可以使用与移位量相对应的预测参数值或固定预测参数值作为差分的基准。因此，可以在针对各帧选择最佳预测模式的情况下，将预测参数的差分编码在除起始帧以外的所有帧中。
在实施例中，可以针对各序列对预测模式参数进行编码和解码。在这种情况下，由于在一个序列中预测模式没有改变，因此可以减轻差分计算的复杂度。结果，容易安装装置。此外，可以减少预测模式参数所用的编码量。
在实施例中，可以针对各片解码预测参数的差分。在针对图像的各局部区域使用不同的色域的情况下，可以针对各局部区域预测最佳色域，由此可以提高编码效率。
在实施例中，从具有与加权预测关联参数共同的句法的头中解码预测参数的差分。在这种情况下，降低了句法的冗余性，因而容易确保安装编码器和解码器时以及升级版本时的兼容性。在变形例中，可以利用加权预测关联参数的句法的L0基准帧部分和L1基准帧部分这两者来对用于色域预测的两个版本的预测参数进行编码和解码。在这种情况下，由于可以使用灵活性更大且预测精度高的色域预测模型，因此可以提高色域可伸缩性的编码效率。
在实施例中，可以对如下控制参数进行编码和解码，其中该控制参数表示是否与色域转换同时执行层间预测时的移位。在这种情况下，自适应地切换执行移位的定时(例如，与上采样同时或者与色域转换同时)，并且可以抑制层间预测的处理成本。在变形例中，可以在执行上采样之前执行色域转换。在这种情况下，由于要执行色域转换的像素数较少，因此可以进一步降低色域转换的处理成本。
本说明书中所述的术语“CU”、“PU”和“TU”是指HEVC中的包括与各个块相关联的句法的逻辑单位。在仅关注作为图像的一部分的各个块的情况下，可以利用术语“编码块(CB)”、“预测块(PB)”和“变换块(TB)”来指代这些块。通过按四叉树形状对编码树块(CTB)进行层级划分来形成CB。一整个四叉树与CTB相对应并且将与CTB相对应的逻辑单位称为编码树单位(CTU)。HEVC中的CTB和CB在以下方面具有与H.264/AVC中的宏块相同的角色：CTB和CB都是编码处理的处理单位。然而，CTB和CB在以下方面不同于宏块：CTB和CB的大小不是固定的(宏块的大小通常为16×16个像素)。从16×16个像素的大小、32×32个像素的大小和64×64个像素的大小中选择CTB的大小，并且利用编码流中的参数来指定CTB的大小。CB的大小可以根据CTB的划分深度而改变。
这里主要说明了将诸如与色域预测的控制有关的信息的各种信息多路复用至编码流的头并从编码侧发送至解码侧。然而，发送这些信息的方法不限于这种示例。例如，可以将这些信息作为与编码位流相关联的单独数据来发送或记录，而无需多路复用至编码比特流。这里，术语“关联”是指使得比特流中所包括的图像(可以是诸如片或块的图像的一部分)和与当前图像相对应的信息在解码时建立链接。即，可以在与图像(或比特流)不同的发送路径上发送信息。还可以将该信息记录在与图像(或比特流)不同的记录介质(或相同记录介质的不同记录区域)中。此外，可以利用诸如多个帧、一个帧或帧内的一部分等的任意单位来使信息或图像(或比特流)彼此相关联。
以上已经参考附图说明了本发明的优选实施例，然而，当然，本发明不限于以上示例。本领域的技术人员可以在所附权利要求书的范围内发现各种改变和变形，并且应当理解，这些改变和变形自然落在本发明的技术范围内。
另外，还可以如下配置本技术。
(1)一种图像处理设备，包括：解码部，被配置成对相对于如下预测参数的先前值的差分进行解码，其中所述预测参数是在根据第一层的图像预测具有与所述第一层不同的色域的第二层的图像时所使用的；以及预测部，被配置成使用利用由所述解码部所解码的所述差分而计算出的所述预测参数来根据所述第一层的图像预测所述第二层的图像。
(2)根据(1)所述的图像处理设备，其中，所述预测参数包括与所述第一层的像素值相乘的增益以及偏移。
(3)根据(1)或(2)所述的图像处理设备，其中，所述解码部还对表示预测模式的预测模式参数进行解码。在预测模式参数表示自适应参数模式的情况下，预测部使用预测参数来预测第二层的图像。
(4)根据(3)所述的图像处理设备，其中，所述解码部针对每个片对所述预测参数的差分进行解码。
(5)根据(3)或(4)所述的图像处理设备，其中，在最新的预测模式参数表示自适应参数模式并且先前的预测模式参数表示移位模式的情况下，所述预测部通过将由所述解码部解码后的差分与对应于移位量的预测参数值相加，来计算最新的预测参数。
(6)根据(3)～(5)中任一项所述的图像处理设备，其中，在最新的预测模式参数表示自适应参数模式并且先前的预测模式参数表示固定参数模式的情况下，所述预测部通过将由所述解码部解码后的差分与预先定义的固定预测参数值相加，来计算最新的预测参数。
(7)根据(3)或(4)所述的图像处理设备，其中，所述解码部针对每个序列对所述预测模式参数进行解码。
(8)根据(1)～(7)中任一项所述的图像处理设备，其中，所述解码部从具有与加权预测关联参数共同的句法的头中解码所述差分。
(9)根据(8)所述的图像处理设备，其中，所述解码部不对所述第二层中的加权预测关联参数进行解码，并且在所述第二层中重新使用所述第一层的加权预测关联参数。
(10)根据(8)或(9)所述的图像处理设备，其中，
使用从与所述加权预测关联参数共同的所述句法中的针对L0基准帧的部分中解码的差分来计算所述预测参数的第一版本，
使用从与所述加权预测关联参数共同的所述句法中的针对L1基准帧的部分中解码的差分来计算所述预测参数的第二版本，以及
所述预测部选择性地使用所述所述预测参数的第一版本和所述所述预测参数的第二版本来预测所述第二层的图像。
(11)根据(10)所述的图像处理设备，其中，所述预测部根据像素值所属的频带来在所述所述预测参数的第一版本和所述所述预测参数的第二版本之间选择要使用的版本。
(12)根据(11)所述的图像处理设备，其中，所述解码部还对边界信息进行解码，所述边界信息指定用于切换至要使用的版本的边界值。
(13)根据(10)所述的图像处理设备，其中，所述预测部根据像素所属的图像区域来在所述所述预测参数的第一版本和所述所述预测参数的第二版本之间选择要使用的版本。
(14)根据(13)所述的图像处理设备，其中，所述解码部还对边界信息进行解码，所述边界信息指定用于切换至要使用的版本的区域边界。
(15)根据(1)～(14)中任一项所述的图像处理设备，其中，
在所述第二层的位深度比所述第一层的位深度深的情况下，所述解码部还对如下控制参数进行解码，其中所述控制参数表示是否与色域转换同时执行预测所述第二层的图像时的移位，以及
在所述控制参数表示与所述色域转换同时执行预测所述第二层的图像时的移位的情况下，所述预测部不是与上采样同时而是与所述色域转换同时执行所述移位。
(16)根据(15)所述的图像处理设备，其中，所述解码部分别针对辉度成分和色差成分来对所述控制参数进行解码。
(17)根据(1)～(16)中任一项所述的图像处理设备，其中，在所述第二层的空间分辨率高于所述第一层的空间分辨率的情况下，所述预测部使用所述预测参数来对所述第一层的图像的色域进行转换，然后通过对转换后的图像执行上采样来预测所述第二层的图像。
(18)一种图像处理方法，包括以下步骤：
解码相对于如下预测参数的先前值的差分，其中所述预测参数是在根据第一层的图像预测具有与所述第一层不同的色域的第二层的图像时所使用的；以及
使用利用解码后的差分所计算出的所述预测参数，来根据所述第一层的图像预测所述第二层的图像。
(19)一种图像处理设备，包括：
预测部，被配置根据第一层的图像预测具有与所述第一层不同的色域的第二层的图像，其中，在解码所述第二层的图像时参考所述第一层的图像；以及
编码部，被配置成对相对于所述预测部所使用的预测参数的先前值的差分进行编码。
(20)根据(19)所述的图像处理设备，其中，所述预测参数包括与所述第一层的像素值相乘的增益以及偏移。
(21)根据(19)或(20)所述的图像处理设备，其中，在基于所述差分来预测所述第二层的图像的情况下，所述编码部还对预测模式参数进行编码，所述预测模式参数表示自适应参数模式作为预测模式。
(22)根据(21)所述的图像处理设备，其中，所述编码部针对每个片对所述预测参数的差分进行编码。
(23)根据(21)或(22)所述的图像处理设备，其中，在最新的预测模式参数表示所述自适应参数模式并且先前的预测模式参数表示移位模式的情况下，所述编码部对通过从所述预测参数的最新值中减去与移位量相对应的参数值而计算出的差分进行编码。
(24)根据(21)～(23)中任一项所述的图像处理设备，其中，
在最新的预测模式参数表示所述自适应参数模式并且先前的预测模式参数表示固定参数模式的情况下，所述编码部对通过从所述预测参数的最新值中减去预先定义的固定参数值而计算出的差分进行编码。
(25)根据(21)或(22)所述的图像处理设备，其中，所述编码部针对每个序列对所述预测模式参数进行编码。
(26)根据(19)～(25)中任一项所述的图像处理设备，其中，所述编码部将所述差分编码在具有与加权预测关联参数共同的句法的头中。
(27)根据(26)所述的图像处理设备，其中，所述编码部不对所述第二层中的加权预测关联参数进行编码，并且在所述第二层中重新使用所述第一层的加权预测关联参数。
(28)根据(26)或(27)所述的图像处理设备，其中，
所述预测部选择性地使用所述预测参数的第一版本和所述预测参数的第二版本来预测所述第二层的图像，以及
所述编码部将以所述所述预测参数的第一版本所计算出的差分编码至与所述加权预测关联参数共同的所述句法中的针对L0基准帧的部分，并且将以所述所述预测参数的第二版本所计算出的差分编码至与所述加权预测关联参数共同的所述句法中的针对L1基准帧的部分。
(29)根据(28)所述的图像处理设备，其中，所述预测部根据像素值所属的频带来在所述所述预测参数的第一版本和所述所述预测参数的第二版本之间选择要使用的版本。
(30)根据(29)所述的图像处理设备，其中，所述编码部还对边界信息进行编码，所述边界信息指定用于切换至要使用的版本的边界值。
(31)根据(28)所述的图像处理设备，其中，所述预测部根据像素所属的图像区域来在所述所述预测参数的第一版本和所述所述预测参数的第二版本之间选择要使用的版本。
(32)根据(31)所述的图像处理设备，其中，所述编码部还对边界信息进行编码，所述边界信息指定用于切换至要使用的版本的区域边界。
(33)根据(19)～(32)中任一项所述的图像处理设备，其中，在所述第二层的位深度比所述第一层的位深度深的情况下，所述编码部还对如下控制参数进行编码，其中所述控制参数表示是否与色域转换同时进行预测所述第二层的图像时的移位。
(34)根据(33)所述的图像处理设备，其中，所述编码部分别针对辉度成分和色差成分对所述控制参数进行编码。
(35)根据(19)～(34)中任一项所述的图像处理设备，其中，在所述第二层的空间分辨率高于所述第一层的空间分辨率的情况下，所述预测部使用所述预测参数来对所述第一层的图像的色域进行转换，然后通过对转换后的图像进行上采样来预测所述第二层的图像。
(36)一种图像处理方法，包括以下步骤：
根据第一层的图像预测具有与所述第一层不同的色域的第二层的图像，其中，在解码所述第二层的图像时参考所述第一层的图像；以及
对相对于用于预测所述第二层的图像的预测参数的先前值的差分进行编码。
附图标记列表
10,10v 图像编码装置(图像处理设备)
16 无损编码部
40 色域预测部
60,60v 图像解码装置(图像处理设备)
62 无损解码部
90 色域预测部

Claims (20)

1.一种图像处理设备，包括：
解码部，被配置成对相对于如下预测参数的先前值的差分进行解码，其中所述预测参数是在根据第一层的图像预测具有与所述第一层不同的色域的第二层的图像时所使用的；以及
预测部，被配置成使用利用由所述解码部所解码的所述差分而计算出的所述预测参数来根据所述第一层的图像预测所述第二层的图像。
2.根据权利要求1所述的图像处理设备，其中，所述预测参数包括与所述第一层的像素值相乘的增益以及偏移。
3.根据权利要求1所述的图像处理设备，其中，所述解码部针对每个片对所述预测参数的差分进行解码。
4.根据权利要求1所述的图像处理设备，其中，所述解码部从具有与加权预测关联参数共同的句法的头中解码所述差分。
5.根据权利要求4所述的图像处理设备，其中，
使用从与所述加权预测关联参数共同的所述句法中的针对L0基准帧的部分所解码的差分来计算所述预测参数的第一版本，
使用从与所述加权预测关联参数共同的所述句法中的针对L1基准帧的部分所解码的差分来计算所述预测参数的第二版本，以及
所述预测部选择性地使用所述所述预测参数的第一版本和所述所述预测参数的第二版本来预测所述第二层的图像。
6.根据权利要求5所述的图像处理设备，其中，所述预测部根据像素值所属的频带来在所述所述预测参数的第一版本和所述所述预测参数的第二版本之间选择要使用的版本。
7.根据权利要求5所述的图像处理设备，其中，所述预测部根据像素所属的图像区域来在所述所述预测参数的第一版本和所述所述预测参数的第二版本之间选择要使用的版本。
8.根据权利要求1所述的图像处理设备，其中，
在所述第二层的位深度比所述第一层的位深度深的情况下，所述解码部还对如下控制参数进行解码，其中所述控制参数表示是否与色域转换同时执行预测所述第二层的图像时的移位，以及
在所述控制参数表示与所述色域转换同时执行预测所述第二层的图像时的移位的情况下，所述预测部不是与上采样同时而是与所述色域转换同时执行所述移位。
9.根据权利要求1所述的图像处理设备，其中，在所述第二层的空间分辨率高于所述第一层的空间分辨率的情况下，所述预测部使用所述预测参数来对所述第一层的图像的色域进行转换，然后通过对转换后的图像进行上采样来预测所述第二层的图像。
10.一种图像处理方法，包括以下步骤：
解码相对于如下预测参数的先前值的差分，其中所述预测参数是在根据第一层的图像预测具有与所述第一层不同的色域的第二层的图像时所使用的；以及
使用利用解码后的差分所计算出的所述预测参数，来根据所述第一层的图像预测所述第二层的图像。
11.一种图像处理设备，包括：
预测部，被配置根据第一层的图像预测具有与所述第一层不同的色域的第二层的图像，其中，在解码所述第二层的图像时参考所述第一层的图像；以及
编码部，被配置成对相对于所述预测部所使用的预测参数的先前值的差分进行编码。
12.根据权利要求11所述的图像处理设备，其中，所述预测参数包括与所述第一层的像素值相乘的增益和偏移。
13.根据权利要求11所述的图像处理设备，其中，所述编码部针对每个片对所述预测参数的差分进行编码。
14.根据权利要求11所述的图像处理设备，其中，所述编码部将所述差分编码在具有与加权预测关联参数共同的句法的头中。
15.根据权利要求14所述的图像处理设备，其中，
所述预测部选择性地使用所述预测参数的第一版本和所述预测参数的第二版本来预测所述第二层的图像，以及
所述编码部将以所述所述预测参数的第一版本所计算出的差分编码至与所述加权预测关联参数共同的所述句法中的针对L0基准帧的部分，并且将以所述所述预测参数的第二版本所计算出的差分编码至与所述加权预测关联参数共同的所述句法中的针对L1基准帧的部分。
16.根据权利要求15所述的图像处理设备，其中，所述预测部根据像素值所属的频带来在所述所述预测参数的第一版本和所述所述预测参数的第二版本之间选择要使用的版本。
17.根据权利要求15所述的图像处理设备，其中，所述预测部根据像素所属的图像区域来在所述所述预测参数的第一版本和所述所述预测参数的第二版本之间选择要使用的版本。
18.根据权利要求11所述的图像处理设备，其中，在所述第二层的位深度比所述第一层的位深度深的情况下，所述编码部还对如下控制参数进行编码，其中所述控制参数表示是否与色域转换同时执行预测所述第二层的图像时的移位。
19.根据权利要求11所述的图像处理设备，其中，在所述第二层的空间分辨率高于所述第一层的空间分辨率的情况下，所述预测部使用所述预测参数来对所述第一层的图像的色域进行转换，然后通过对转换后的图像进行上采样来预测所述第二层的图像。
20.一种图像处理方法，包括以下步骤：
根据第一层的图像预测具有与所述第一层不同的色域的第二层的图像，其中，在解码所述第二层的图像时参考所述第一层的图像；以及
对相对于用于预测所述第二层的图像的预测参数的先前值的差分进行编码。
CN201480001387.0A 2013-04-05 2014-03-14 图像处理设备和图像处理方法 Active CN104380739B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2013079140 2013-04-05
JP2013-079140 2013-04-05
JP2013273228 2013-12-27
JP2013-273228 2013-12-27
PCT/JP2014/056935 WO2014162849A1 (ja) 2013-04-05 2014-03-14 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
CN104380739A true CN104380739A (zh) 2015-02-25
CN104380739B CN104380739B (zh) 2018-10-26

Family

ID=51658150

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480001387.0A Active CN104380739B (zh) 2013-04-05 2014-03-14 图像处理设备和图像处理方法

Country Status (8)

Country Link
US (1) US9838716B2 (zh)
EP (1) EP2843951B1 (zh)
JP (1) JP6345650B2 (zh)
CN (1) CN104380739B (zh)
BR (1) BR112014029917A2 (zh)
MX (1) MX344000B (zh)
RU (1) RU2665308C2 (zh)
WO (1) WO2014162849A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104956679A (zh) * 2013-12-27 2015-09-30 索尼公司 图像处理装置和图像处理方法
CN107439013A (zh) * 2015-04-17 2017-12-05 高通股份有限公司 用于高动态范围和宽色域视频译码的动态范围调整
CN107810520A (zh) * 2015-07-03 2018-03-16 华为技术有限公司 图像处理装置和方法
CN111414999A (zh) * 2020-04-27 2020-07-14 新智数字科技有限公司 一种设备运行状态的监测方法及装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5850214B2 (ja) * 2011-01-11 2016-02-03 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
WO2015005025A1 (ja) * 2013-07-12 2015-01-15 ソニー株式会社 画像処理装置及び画像処理方法
WO2015143119A1 (en) * 2014-03-19 2015-09-24 Arris Enterprises, Inc. Scalable coding of video sequences using tone mapping and different color gamuts
JP6065934B2 (ja) 2015-04-08 2017-01-25 ソニー株式会社 映像信号処理装置および撮像システム
WO2017061189A1 (ja) * 2015-10-05 2017-04-13 シャープ株式会社 画像復号装置または画像符号化装置のための画像予測装置
GB2598255B (en) * 2016-02-17 2022-07-27 V Nova Int Ltd Physical adapter, signal processing equipment, methods and computer programs
CA3051660A1 (en) * 2017-02-03 2018-08-09 Sony Corporation Transmission device, transmission method, reception device, and reception method
JP7015639B2 (ja) * 2017-03-16 2022-02-03 株式会社ミマキエンジニアリング 色変換装置、色変換方法、及びインクジェット記録装置
KR20210117327A (ko) 2019-01-25 2021-09-28 미디어텍 인크. 비디오 코딩에서 비선형 적응적 루프 필터링을 위한 방법 및 장치
US11546587B2 (en) 2019-04-11 2023-01-03 Mediatek Inc. Adaptive loop filter with adaptive parameter set

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090175338A1 (en) * 2008-01-04 2009-07-09 Segall Christopher A Methods and Systems for Inter-Layer Image Prediction Parameter Determination

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2420021C2 (ru) * 2009-03-24 2011-05-27 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ сжатия изображений и видеопоследовательностей
JP5539592B2 (ja) * 2010-09-14 2014-07-02 サムスン エレクトロニクス カンパニー リミテッド 多階層画像符号化及び復号装置及び方法
JP2012065081A (ja) * 2010-09-15 2012-03-29 Hitachi Ltd 画像符号化方法、画像復号化方法、画像符号化装置及び画像復号化装置
US8787459B2 (en) * 2010-11-09 2014-07-22 Sony Computer Entertainment Inc. Video coding methods and apparatus
US20140198846A1 (en) * 2013-01-16 2014-07-17 Qualcomm Incorporated Device and method for scalable coding of video information

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090175338A1 (en) * 2008-01-04 2009-07-09 Segall Christopher A Methods and Systems for Inter-Layer Image Prediction Parameter Determination

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BENJAMIN BROSS: "High Efficiency Video Coding (HEVC) text specification draft 10 (for FDIS & Last Call)", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC)OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11，12TH MEETING》 *
JIANLE CHEN 等: "Description of scalable video coding technology proposal by Qualcomm", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 11TH MEETING》 *
LOUIS KEROFSKY: ""Color Gamut Scalable Video Coding: New Result", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 12TH MEETING》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104956679A (zh) * 2013-12-27 2015-09-30 索尼公司 图像处理装置和图像处理方法
CN107439013A (zh) * 2015-04-17 2017-12-05 高通股份有限公司 用于高动态范围和宽色域视频译码的动态范围调整
CN107810520A (zh) * 2015-07-03 2018-03-16 华为技术有限公司 图像处理装置和方法
US10504234B2 (en) 2015-07-03 2019-12-10 Huawei Technologies Co., Ltd. Image processing apparatus and method
CN107810520B (zh) * 2015-07-03 2020-11-10 华为技术有限公司 图像处理装置和方法
CN111414999A (zh) * 2020-04-27 2020-07-14 新智数字科技有限公司 一种设备运行状态的监测方法及装置
CN111414999B (zh) * 2020-04-27 2023-08-22 新奥新智科技有限公司 一种设备运行状态的监测方法及装置

Also Published As

Publication number Publication date
US20150103901A1 (en) 2015-04-16
JP6345650B2 (ja) 2018-06-20
CN104380739B (zh) 2018-10-26
EP2843951A4 (en) 2016-01-20
EP2843951B1 (en) 2019-01-02
BR112014029917A2 (pt) 2017-07-25
RU2014148134A3 (zh) 2018-03-13
MX344000B (es) 2016-12-02
WO2014162849A1 (ja) 2014-10-09
US9838716B2 (en) 2017-12-05
EP2843951A1 (en) 2015-03-04
MX2014014491A (es) 2015-03-09
RU2665308C2 (ru) 2018-08-28
JPWO2014162849A1 (ja) 2017-02-16
RU2014148134A (ru) 2016-06-20

Similar Documents

Publication Publication Date Title
US12132936B2 (en) Image processing device and image processing method
RU2690211C1 (ru) Устройство и способ обработки изображений
CN104380739B (zh) 图像处理设备和图像处理方法
KR102161017B1 (ko) 화상 처리 장치 및 적어도 하나의 컴퓨터 판독가능한 기억 매체
CN104956679B (zh) 图像处理装置和图像处理方法
RU2639250C2 (ru) Устройство обработки изображения и способ обработки изображения
KR102242722B1 (ko) 디코딩 디바이스, 디코딩 방법, 인코딩 디바이스, 및 인코딩 방법
CN104956675A (zh) 图像处理装置和图像处理方法
CN102714734A (zh) 图像处理设备和方法
CN104380740A (zh) 编码装置、编码方法、解码装置和解码方法
US20150016522A1 (en) Image processing apparatus and image processing method
US20150036744A1 (en) Image processing apparatus and image processing method
CN104221389A (zh) 图像处理装置和方法
MX2015003591A (es) Dispositivo y metodo para procesamiento de imagen.
CN102301723A (zh) 图像处理设备和方法
CN104620586A (zh) 图像处理装置和方法
WO2015053116A1 (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法
CN105230017A (zh) 图像编码装置和方法以及图像解码装置和方法
JPWO2015005025A1 (ja) 画像処理装置及び画像処理方法
CN104584551A (zh) 解码装置、解码方法、编码装置以及编码方法
CN105409217A (zh) 图像处理装置、图像处理方法和计算机可读介质
CN105659610A (zh) 图像处理设备和方法
CN104854868A (zh) 图像处理设备和方法
CN104854869A (zh) 图像处理装置及方法
JP6477930B2 (ja) 符号化装置および符号化方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant