CN106576176A

CN106576176A - 图像编码设备和方法以及图像解码设备和方法

Info

Publication number: CN106576176A
Application number: CN201580031473.0A
Authority: CN
Inventors: 中神央二
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2014-06-20
Filing date: 2015-06-05
Publication date: 2017-04-19
Anticipated expiration: 2035-06-05
Also published as: CN106576176B; JP6555541B2; EP3160144A4; US11627309B2; MY180962A; MX2016016454A; AU2020202419B2; CN111836048A; BR112016028745A2; US20200221080A1; JP6741126B2; JP2020174400A; AU2015278082A1; CN111836049A; BR112016028745A8; US20170118466A1; AU2020202419A1; US20210289196A1; MX2021015798A; US20230224459A1

Abstract

本公开涉及一种图像编码设备和方法以及一种图像解码设备和方法，由此可以提高帧内块复制(IntraBC)内编码效率。在本技术中，示出了图片分成4个片(片#0到片#3)的实例。在禁止参考不同片的情况下，来自片#2内的当前编码树单元(CTU)的可用参考范围仅仅是在片#2内解码的部分；例如，不能参考片#1的块。与之相比，在本技术的情况下，可用参考范围也包括解码的不同片(片#0和片#1)；例如，可以参考从片#2内的当前CTU至片#1的任何块，如图5所示。本公开可以应用于例如图像处理设备中。

Description

图像编码设备和方法以及图像解码设备和方法

技术领域

本公开涉及图像编码设备和方法以及图像解码设备和方法。更具体而言，本公开涉及图像编码设备和方法以及图像解码设备和方法，其可以提高帧内块复制(IntraBC)的编码效率。

背景技术

近年来，通过使用图像信息特有的冗余性实施用于通过正交变换(例如，离散余弦变换)和运动补偿压缩图像信息的编码方法来压缩图像的设备已经普及用于处理作为数字信息的图像信息并且如此实现了高效信息传输和累积。该编码方法可以是运动图像专家组(MPEG)、H.264、MPEG-4Part 10(高级视频编码，在后文中也称为AVC)等。

目前，为了实现比H.264/AVC的编码效率更高的编码效率，开发了称为高效视频编码(HEVC)的编码方法，作为JCTVC(联合协作小组-视频编码)的标准，JCTVC为ITU-T和ISO/IEC的联合标准组织。

而且，在HEVC中，考虑范围扩展(HEVC范围扩展)，以便支持高端格式，例如，具有色差信号格式(例如，4:2:2和4:4:4)的图像以及用于屏幕内容的轮廓(例如，参考非专利文献1)。

同时，帧内块复制(IntraBC)是在画面内执行运动补偿的编码工具。IntraBC称为有助于提高编码人工图像的效率的工具，例如，计算机画面或CG图像。

然而，IntraBC不用作上述HEVC范围扩展的技术，并且被视为屏幕内容编码(SCC)扩展的标准化技术。

引用列表

非专利文献

非专利文献1：David Flynn,Joel Sole,and Teruhiko Suzuki,“HighEfficiency Video Coding(HEVC),Range Extension text specification:Draft 4”,JCTVC-N1005_v1,2013.8.8

发明内容

本发明要解决的问题

在此处，低延迟对于SCC应用很重要。因此，在HEVC方案中，需要使用片分割。

然而，在画面分成片的情况下，IntraBC的编码效率的提高显著变小。这是因为IntraBC不能参考当前片以外的任何数据。

鉴于那些情况创作本公开，并且本公开旨在提高IntraBC的编码效率。问题的解决方案

根据本公开的一个方面，一种图像编码设备包括：设定单元，其设定控制信息，用于控制跨片的画面内运动预测；编码单元，其根据由所述设定单元设定的控制信息，编码图像以生成位流；以及传输单元，其传输由所述设定单元设定的控制信息以及由所述编码单元生成的位流。

所述设定单元可以将参考许可标记设定为控制信息，所述参考许可标记表示针对按照光栅扫描顺序当前片以及在所述当前片之前的片的解码结果的参考许可。

所述设定单元可以在图片参数集(PPS)内设定参考许可标记。

所述设定单元可以将参数设定为控制信息，所述参数表示具有可参考的解码结果的先前片的数量。

所述设定单元可以将打开/关闭标记设定为控制信息，所述打开/关闭标记表示是否可以执行跨片的画面内运动预测。

所述设定单元可以在序列参数集(SPS)或视频参数集(VPS)内设定打开/关闭标记。

在波前平行处理(WPP)为“打开”时，所述设定单元可以限制参考的范围，并且设定所述参考许可标记。

在铺片分割未“打开”时，所述设定单元可以设定所述参考许可标记。

在时间运动约束铺片集SEI(MCTS-SEI)为“打开”时，所述设定单元可以将所述参考许可标记设定为“关闭”。

根据本公开的一个方面，一种图像编码方法由图像编码设备实施并且包括：设定控制信息，用于控制跨片的画面内运动预测；根据设定的控制信息，编码图像以生成位流；并且传输设定的控制信息以及生成的位流。

本公开的另一个方面，一种图像解码设备包括：接收单元，其接收通过编码图像所生成的位流；提取单元，其从由所述接收单元接收的位流中提取控制信息，所述控制信息被设计成用于控制跨片的画面内运动预测；以及解码单元，其使用由提取单元提取的控制信息，解码由所述接收单元接收的位流以生成图像。

所述提取单元可以提取参考许可标记作为控制信息，所述参考许可标记表示针对按照光栅扫描顺序当前片以及在所述当前片之前的片的解码结果的参考。

所述提取单元可以从图片参数集(PPS)中提取参考许可标记。

所述提取单元可以提取参数作为控制信息，所述参数表示具有可参考的解码结果的先前片的数量。

所述提取单元可以提取打开/关闭标记作为控制信息，所述打开/关闭标记表示是否可以执行跨片的画面内运动预测。

所述提取单元可以从序列参数集(SPS)和视频参数集(VPS)中提取打开/关闭标记。

在波前平行处理(WPP)为“打开”时，所述提取单元可以限制参考的范围，并且提取所述参考许可标记。

在铺片分割为“打开”时，所述提取单元可以提取所述参考许可标记。

在时间运动约束的铺片集SEI(MCTS-SEI)为“打开”时，所述提取单元可以提取被设定为“关闭”的所述参考许可标记。

根据本公开的另一个方面，一种图像解码方法由图像解码设备实施并且包括：接收通过编码图像所生成的位流；从接收的位流中提取控制信息，所述控制信息被设计成用于控制跨片的画面内运动预测；并且使用提取的控制信息，解码接收的位流以生成图像。

在本公开的一个方面，设定用于控制跨片的画面内运动预测的控制信息，并且根据设定的控制信息，编码图像以生成位流。然后，传输设定的控制信息以及生成的位流。

在本公开的另一个方面，接收通过编码图像所生成的位流，并且从接收的位流中提取用于控制跨片的画面内运动预测的控制信息。然后，使用提取的控制信息，解码接收的位流并且生成图像。

应注意的是，上述图像编码设备和图像解码设备可以是独立的图像处理设备，或者可以是形成图像编码设备和图像解码设备的内部块。

本发明的效果

根据本公开的一个方面，可以编码图像。具体地，可以提高IntraBC的编码效率。

根据本公开的另一个方面，可以解码图像。具体地，可以提高IntraBC的编码效率。

应注意的是，本技术的效果不限于在本文中描述的效果，并且可以包括在本公开中描述的任何效果。

附图说明

图1是用于解释编码单元的实例结构的示图。

图2是示出SPS和PPS的实例语法的表格。

图3是示出根据本技术的语义的实例的表格。

图4是示出VPS的实例语法的表格。

图5是示出根据本技术的画面分成4个片的实例的示图。

图6是示出intraBC_ref_prev_slice_num是1的情况的示图。

图7是用于解释本技术和WPP的组合的示图。

图8是用于解释本技术和WPP的组合的示图。

图9是用于解释本技术和铺片分割的组合的示图。

图10是用于解释有利效果的表格。

图11是用于解释本技术和MCTS-SEI的组合的示图。

图12是示出加入MCTS-SEI消息的语义中的NOTE的实例的表格。

图13是示出应用本技术的编码设备的第一实施方式的实例配置的方框图。

图14是示出在图13示出的编码单元的实例配置的方框图。

图15是用于解释流生成过程的流程图。

图16是用于解释参数集设定过程的流程图。

图17是用于解释在图15示出的编码处理的流程图。

图18是用于解释在图15示出的编码处理的流程图。

图19是用于说明图17示出的帧内预测处理的流程图。

图20是示出应用本公开的解码设备的第一实施方式的实例配置的方框图。

图21是示出在图20示出的解码单元的实例配置的方框图。

图22是用于解释由在图20示出的解码设备执行的图像生成过程的流程图。

图23是用于解释参数集提取过程的流程图。

图24是用于详细解释解码过程的流程图。

图25是用于详细解释片解码过程的流程图。

图26是示出计算机的硬件的实例配置的方框图。

图27是示出多视点图像编码方法的实例的示图。

图28是示出应用本公开的多视点图像编码设备的实例配置的示图。

图29是示出应用本公开的多视点图像解码设备的实例配置的示图。

图30是示出分层图像编码方法的实例的示图。

图31是用于解释空间可扩展编码的实例的示图。

图32是用于解释时间可扩展编码的实例的示图。

图33是用于解释信噪比可扩展编码的实例的示图。

图34是示出应用本公开的分层图像编码设备的实例配置的示图。

图35是示出应用本公开的分层图像解码设备的实例配置的示图。

图36是示意性示出应用本公开的电视设备的实例配置的示图。

图37是示意性示出应用本公开的便携式电话设备的实例配置的示图。

图38是示意性示出应用本公开的记录/再现设备的实例配置的示图。

图39是示意性示出应用本公开的成像设备的实例配置的示图。

图40是示出可扩展编码的使用实例的方框图。

图41是示出可扩展编码的另一个使用实例的方框图。

图42是示出可扩展编码的又一个使用实例的方框图。

图43示意性示出应用本公开的视频机的实例配置。

图44示意性示出应用本公开的视频处理器的实例配置。

图45示意性示出应用本公开的视频处理器的另一个实例配置。

具体实施方式

下面是用于执行本公开的方式(在后文中称为实施方式)的描述。应注意的是，按照以下顺序进行解释。

0、概述

1、第一实施方式(编码设备和解码设备)

2、第二实施方式(计算机)

3、第三实施方式(多视点图像编码设备和多视点图像解码设备)

4、第四实施方式(分层图像编码设备和分层图像解码设备)

5、第五实施方式(电视设备)

6、第六实施方式(便携式电话设备)

7、第七实施方式(记录/再现设备)

8、第八实施方式(成像设备)

9、可扩展编码的实例应用

10、实施方式的其他实例

<0、概述>

(编码方法)

下面结合高效视频编码(HEVC)应用于图像编码和解码中的实例情况，描述本技术。

<编码单元的说明>

图1是用于解释作为HEVC中的编码单元的编码单元(CU)的示图。

在HEVC中，要处理具有大量图像帧的图像，例如，4000×2000像素的超高清(UHD)图像，因此，将编码单元尺寸定为16×16像素不是最佳的方式。有鉴于此，CU限定为HEVC中的编码单元。

CU起着与AVC中的宏模块相似的作用。具体而言，CU分成PU或分成TU。

应注意的是，CU的尺寸等于由随着序列改变的2次方幂的像素表示的正方形。具体而言，通过在水平方向和垂直方向对LCU进行适当次数的2分割，作为最大尺寸的CU，来设定CU，使得CU不小于作为最小尺寸的CU的最小编码单元(SCU)。即，在LCU被分层时，CU的尺寸是分层等级的尺寸，直到获得SCU，使得更高层级的尺寸是具有低于更高层等级的一个层级的CU的尺寸的1/4。

例如，在图1，LCU的尺寸是128，并且SCU的尺寸是8。因此，LCU的分层深度(Depth)是0到4，并且分层深度等级的数量是5。即，对应于CU的分割数量是0到4中的一个。

应注意的是，指定LCU和SCU的尺寸的信息包含在SPS内。而且，对应于CU的分割数量用“split_flag”表示，表示在每个分层等级是否进一步分割CU。在非专利文献1中具体描述CU。

TU的尺寸可以用“split_transform_flag”指定，类似于用于CU的“split_flag”。在帧间预测和帧内预测中的TU的最大分割数量在SPS中分别指定为“max_transform_hierarchy_depth_inter”和“max_transform_hierarchy_depth_intra”。

此外，在本说明书中，编码树单元(CTU)是包括LCU的编码树块(CTB)和用于基于LCU(等级)进行处理的参数的单元。进一步，构成CTU的CU是包括编码块(CB)和用于基于CU(等级)进行处理的参数的单元。

(模式选择)

同时，为了通过AVC和HEVC编码方法实现更高的编码效率，关键在于选择合适的预测模式。

在称为联合模型(JM)(在http://iphome.hhi.de/suehring/tml/index.htm可获得)的参考软件H.264/MPEG-4AVC中实现的方法可以用作这种选择方法的实例。

在JM中，可以选择下面描述的两个模式确定方法：高复杂度模式和低复杂度模式。通过这两种方法中的任一种，计算关于每个预测模式Mode的成本函数值，并且选择使成本函数值最小的预测模式，作为用块或宏块的最佳模式。

在以下表达式(1)中表示高复杂度模式中的成本函数。

成本(模式∈Ω)＝D+λ*R...(1)

在此处，Ω表示用于编码块或宏块的候选模式的全集，并且D表示在当前预测模式中进行编码时在解码的图像与输入图像之间的差分能量。λ表示作为量化参数函数提供的拉格朗日不确定乘数。R表示在当前模式中进行编码的情况下的总位速率，包括正交变换系数。

即，为了在高复杂度模式中进行编码，需要在所有候选模式中执行临时编码处理，以计算以上的参数D和R，因此，需要大量计算。

在以下表达式(2)中表示在低复杂度模式中的成本函数。

成本(模式∈Ω)＝D+QP2Quant(QP)*HeaderBit...(2)

在此处，D与高复杂度模式中的D不同，并且表示在预测图像与输入图像之间的差分能量。QP2Quant(QP)表示量化参数QP的函数，HeaderBit表示与不包括正交变换系数并且属于片头(例如，运动矢量和模式)的信息相关的位速率。

即，在低复杂度模式中，需要针对每个候选模式执行预测处理，但是不需要解码图像。因此，不需要执行编码处理。因此，计算量比高复杂度模式中的计算量小。

(IntraBC)

帧内块复制(IntraBC)是用于在画面内执行运动补偿的编码工具。IntraBC称为有助于提高编码人工图像(例如，计算机画面或CG图像)的效率的工具。

然而，IntraBC不用作上述HEVC范围扩展的技术，并且被视为用于屏幕内容编码(SCC)扩展的标准化技术。

在IntraBC的情况下，仅仅传输向量值。因此，在画面分成片时，当前块与其他片之间的关系是不清晰的。另一方面，在时间预测的情况下，通过组合参考列表和索引以及向量值，使当前块与参考帧之间的关系变得清楚。

施加的局限性在于使得向量值变成基于当前片中的数据的值。通过这种方式，毫无疑义地禁止参考当前片以外的任何片。

由于以上原因，IntraBC的效果变得更小，并且在画面分成片以实现低延迟传输的情况下，编码效率变得更差。

有鉴于此，本技术建议传输intra_BC_ref_prev_slice_flag，其为参考许可标记，用于表明IntraBC参考先前片的解码结果。在intra_BC_ref_prev_slice_flag的值是0(默认值)时，IntraBC可以仅仅参考当前片。在intra_BC_ref_prev_slice_flag的值是1时，IntraBC可以不仅参考当前片，而且可以参考先前片中的块。应注意的是，该标记表示片之间的关系，因此，适当地设定在图片参数集(PPS)中。

而且，在本技术的派生1中，例如，PPS中的称为intraBC_ref_prev_slice_num的参数使得在intraBC_ref_prev_slice_flag是1时可以参考的先前片的数量是清楚的。

例如，在intraBC_ref_prev_slice_num是5并且当前片编号是10时，可以参考具有片编号5到10的图像。例如，如果当前片编号小于5，则可以参考片0到当前片的图像。进一步，为了保存位速率，“intraBC_ref_prev_slice_num＝0”可以表示所有先前片。

进一步，在本技术的派生2中，sps_crossslice_intraBC_enable_flag作为用于控制IntraBC的工具的打开和关闭以参考先前片的解码结果的打开/关闭标记，并添加至序列参数集(SPS)中。仅仅在sps_crossslice_intraBC_enable_flag为真时，对intraBC_ref_prev_slice_flag进行解析。应注意的是，用于控制工具的打开和关闭的该标记可以不添加至SPS中，而是可以添加至视频参数集(VPS)中。

(SPS和PPS的实例语法)

图2是示出SPS和PPS的实例语法的表格。在图2的实例中，PPS的语法显示在SPS的语法下方。

在SPS中，作为表示要执行IntraBC的标记的intra_block_copy_enabled_flag被写入，并且在intra_block_copy_enabled_flag下面加入sps_crossslice_intraBC_enable_flag，作为如本技术的派生2的上述打开/关闭标记。仅仅在sps_crossslice_intraBC_enable_flag为真时，对sps_crossslice_intraBC_enable_flag进行解析。

在PPS中，加入intra_BC_ref_prev_slice_flag，其为本技术的上述参考许可标记。仅仅在作为加入SPS中的打开/关闭标记的sps_crossslice_intraBC_enable_flag为真时，对intra_BC_ref_prev_slice_flag进行解析。此外，在intra_BC_ref_prev_slice_flag之下，加入intraBC_ref_prev_slice_num，其为本技术的派生1的上述参数。仅仅在intra_BC_ref_prev_slice_flag为真时，对intraBC_ref_prev_slice_num进行解析。

应注意的是，用于控制IntraBC(跨片的画面内运动预测)的信息(例如，上述标记和参数)在后文中统称为IntraBC控制信息。而且，使用IntraBC控制信息的帧内预测模式将在后文中称为IntraBC模式。

(语义的实例)

图3是示出根据本技术的语义的实例的表格。在图3的实例中，如下定义sps_crossslice_intraBC_enable_flag、intraBC_ref_prev_slice_flag以及intraBC_ref_prev_slice_num。

等于1的sps_crossslice_intraBC_enable_flag表示intraBC_rev_prev_slice_flag在CVS中可以具有等于1的值；

等于1的intraBC_ref_prev_slice_flag表示在当前片中的编码模式是IntraBC(＝predModeIntraBc等于1)的预测单元可以参考先前解码的片数据，该数据在当前图片中按照解码顺序位于当前片之前。等于0的intraBC_ref_prev_slice_flag表示编码模式是IntraBC的预测单元不参考先前编码的片数据。在不存在时，intraBC_ref_prev_slice_flag的值推断为0；

intraBC_ref_prev_slice_num表示编码模式在当前片中是IntraBC的预测单元可以参考的一个或多个片段。如下获得片段的集合。

假设C是在当前图片中的片的顺序(例如，0用于第一片)。并且如下计算A。

A＝(C-intraBC_ref_prev_slice_num)<0 0:(C-intraBC_ref_prev_slice_num)

然后，第X个片段(其中，X在A到C的范围内)是由语法表示的目标片段。

(VPS的实例语法)

图4是示出VPS的实例语法的表格。在图4示出的VPS中，在图2示出的SPS中的sps_crossslice_intraBC_enable_flag写为vps_crossslice_intraBC_enable_flag。

(详细描述)

图5是示出根据本技术的画面分成4个片(片#0到#3)的实例的示图。

在禁止参考不同片的情况下，可以从片#2中的当前CTU可以参考的范围仅仅是片#2中的解码部分，因此，例如，不能参考片#1中的任何块。

在本技术的情况下，另一方面，解码的不同片(片#0和片#1)包含在可参考的范围内，因此，例如，如图5所示，可以从片#2中的当前CTU参考片#1内的块。

图6是示出在示出5的实例中intraBC_ref_prev_slice_num是1的情况的示图。

由于intraBC_ref_prev_slice_num是1，所以如图6所示，可以从片#2中的当前CTU参考片#1，其为在当前片之前的一个片。不可以参考片#0。因此，在图6示出的实例情况下，可以从片#2中的当前CTU参考片#1中的任何块。

(与WPP的组合)

图7和图8是用于解释本技术和波前平行处理(WPP)的组合的示图。

WPP是在PPS中的entropy_coding_sync_enabled_flag是1时执行的处理。存在执行WPP的两种方法。第一种方法是多片编码的方法，一个片作为一个CTU列。第二种是使用entry_poit_offset的编码方法，一个片是一个图片。由于在第二种方法的情况下可以应用上述本技术，所以下面描述第一种方法。

在WPP功能打开时，一个片是一个CTU列。因此，如果禁止参考不同片，则仅仅在左边相邻的CTU是从当前CTU可参考的范围，并且可以参考仅仅在左边相邻的CTU。

根据本技术，另一方面，在WPP功能打开时，参考范围不限于整个片#0，而是限于CTU，直到位于当前CTU的右上方的CTU。这是因为WPP的设计造成在CTU列之间具有等于2个CTU的解码时间延迟。

即，在片#1中的最左边的CTU是当前CTU时，如图7所示，位于片#0内并且直接位于当前CTU之上的CTU以及位于片#0内并且位于当前CTU的右上方的CTU形成可参考的范围。

而且，在片#1中从左边开始的第二CTU是当前CTU时，如图8所示，位于片#0内并且位于当前CTU的左上方的CTU、位于片#0内并且直接位于当前CTU之上的CTU、位于片#0内并且位于当前CTU的右上方的CTU、在片#1内位于当前CTU的左边的相邻CTU形成可参考的范围。

通过这种方式，本技术和WPP可以组合。

(与铺片分割的组合)

图9是用于解释本技术和铺片分割的组合的示图。

铺片分割是在PPS中的tiles_enabled_frag是1时执行的处理。铺片在HEVC中规定为用于平行处理的工具。铺片是图片的分割单元。在图像压缩信息中，每个铺片的行尺寸和列尺寸基于SPS或PPS中的LCU来指定。

包含在每个铺片内的LCU按照光栅扫描顺序处理，并且包含在每个图片内的铺片按照光栅扫描顺序处理。片还可以包括多个铺片，并且在铺片内可以存在片边界。

在画面垂直分成两个部分或者被铺片分成片#0和片#1的情况下，例如，如果禁止参考不同的片，则从当前CTU可以参考的范围仅仅是片#1中的铺片。

根据本技术，另一方面，作为参考许可标记的intra_BC_ref_prev_slice_flag设定为1，使得可以参考解码的不同片。因此，在铺片分割功能打开时，允许参考片#0，片#0包括不同的铺片并是与片#1中的当前CTU不同的片，如图9所示。

(有利效果)

图10是用于解释有利效果的表格。

在禁止参考不同片的情况下，可以在片之间执行独立解码。在本技术的情况下，另一方面，不能执行IntraBC，除非指定的片被完全解码。因此，不能在片之间执行独立的解码。

在禁止参考不同片的情况下，IntraBC不能参考先前的片，因此，编码效率变得更差。根据本技术，另一方面，IntraBC可以参考先前的片，因此，提高了编码效率。

(与MCTS-SEI的组合)

图11是用于解释本技术和时间运动约束的铺片集SEI(MCTS-SEI)的组合的示图。

MCTS-SEI是用于SHVC的草案(JCTVC-Q1008_V2)内的SEI。通过使用MCTS-SEI，可以仅仅从位流中提取指定铺片内的数据，使得可以独立解码指定的铺片。应注意的是，没有这个SEI，就不能独立地仅仅解码画面内的一些铺片。

在图11示出的实例中，图片分成10×6个铺片。在由粗框表示的区域内的铺片mcts_id[0]是图片的一部分，但是可以仅仅提取和解码这些铺片(这种解码在后文中称为独立解码)。

类似地，在使用虚线绘制的框内的铺片mcts_id[1]还可以被独立解码。MCTS-SEI可以指定复杂区域内的铺片集，例如，在图11示出的mcts_id[0]和mcts_id[1]。

因此，在由MCTS-SEI指定的铺片集内的片中，intraBC_ref_prev_slice_flag需要设定为0。

这是因为禁止参考除了当前铺片/片以外的铺片/片。

图12是示出加入MCTS-SEI消息的语义中的NOTE的实例的表格。

为了组合本技术和MCTS-SEI，根据JCTVC-Q1008_V2，在图12示出的NOTE加入MCTS-SEI消息的语义中。

NOTE-在intraBC_ref_prev_slice_flag等于1时，帧内块复制处理可能需要铺片之间的解码依赖性。促进编码器在铺片中设定intraBC_ref_prev_slice_flag等于0，其由时间运动约束的铺片集选择。

接下来，描述上述本技术对特定装置的实例应用。

<第一实施方式>

(编码设备的实施方式的实例配置)

图13是示出应用本公开的编码设备的实施方式的实例配置的方框图。

图13示出的编码设备10包括设定单元11、编码单元12以及传输单元13，并且编码设备10通过符合HEVC的方法编码图像。

具体而言，编码设备10的设定单元11设定VPS、SPS、PPS、VUI、SEI等。具体地，设定单元11在SPS和PPS内设定IntraBC控制信息。设定单元11给编码单元12提供已经设定的参数集，例如，VPS、SPS、PPS、VUI以及SEI。

将基于帧的图像输入编码单元12中。通过参考从设定单元11提供的参数集，编码单元12通过符合HEVC的方法编码输入图像。具体地，根据从设定单元11中提供的SPS和PPS中的IntraBC控制信息，编码单元12在应用本技术的IntraBC模式中执行预测处理，并且进行帧内预测。编码单元12从作为编码结果获得的编码数据并且从参数集中生成编码流，并且将编码流提供给传输单元13。

传输单元13将从编码单元12中提供的编码流传输给稍后描述的解码设备。

(编码单元的实例配置)

图14是示出在图13示出的编码单元12的实例配置的方框图。

在图14示出的编码单元12包括A/D转换器31、画面重排缓冲器32、算术运算单元33、正交变换单元34、量化单元35、无损(lossless，可逆)编码单元36、累积缓冲器37、逆量化单元38、逆正交变换单元39以及加法单元40。编码单元12还包括去块过滤器41、自适应偏移滤波器42、自适应回路滤波器43、帧存储器44、开关45、帧内预测单元46、运动预测/补偿单元47、预测图像选择单元48以及速率控制单元49。

编码单元12的A/D转换器31对作为要编码的当前对象输入的基于帧的图像执行A/D转换。A/D转换器31将作为转换的数字信号的图像输出至画面重排缓冲器32，并且将图像储存到画面重排缓冲器32内。

画面重排缓冲器32重排按照显示顺序储存的图像的帧，使得根据GOP结构，按照编码顺序排列图像的帧。画面重排缓冲器32将重排的图像提供给算术运算单元33、帧内预测单元46以及运动预测/补偿单元47。

算术运算单元33通过从画面重排缓冲器32提供的图像中减去从预测图像选择单元48提供的预测图像，来执行编码。算术运算单元33将得到的图像作为残余误差信息(差值)输出给正交变换单元34。应注意的是，在不从预测图像选择单元48提供任何预测图像时，算术运算单元33将从画面重排缓冲器32读取的图像作为残余误差信息输出至正交变换单元34。

正交变换单元34针对每个TU对从算术运算单元33提供的残余误差信息执行正交变换处理。在正交变换处理之后，正交变换单元34将正交变换结果提供给量化单元35。

量化单元35量化从正交变换单元34提供的正交变换结果。量化单元35将作为量化结果获得的量化值提供给无损编码单元36。

无损编码单元36从帧内预测单元46获取表示最佳帧内预测模式的信息(该信息在后文中称为帧内预测模式信息)。无损编码单元36还从运动预测/补偿单元47获取表示最佳帧间预测模式的信息(该信息在后文中称为帧间预测模式信息)、运动矢量、用于识别参考图像的信息等。

无损编码单元36还从自适应偏移滤波器42获取关于偏移滤波器的偏移过滤信息，并且从自适应回路滤波器43获取滤波器系数。

无损编码单元36对从量化单元35提供的量化值执行无损编码，例如，可变长度编码(例如，上下文自适应的可变长度编码(CAVLC))或算术编码(例如，上下文自适应的二进制算术编码(CABAC))。

无损编码单元36还对与编码相关的编码信息执行无损编码，该信息是帧内预测模式信息和仅仅在IntraBC模式的情况下的IntraBC矢量、或帧间预测模式信息、运动矢量、用于识别参考图像的信息、偏移过滤信息以及滤波器系数。无损编码单元36向累积缓冲器37提供经受无损编码的编码信息以及量化值，作为要储存的编码数据。

应注意的是，经受无损编码的编码信息可以是关于经受无损编码的量化值的头信息(例如，片头)。

累积缓冲器37暂时储存从无损编码单元36提供的编码数据。累积缓冲器37还将储存的编码数据与从图13示出的设定单元11提供的参数集一起作为编码流提供给传输单元13。

从量化单元35输出的量化值也输入逆量化单元38中。逆量化单元38逆向量化该量化值。逆量化单元38将作为逆量化的结果获得的正交变换结果提供给逆正交变换单元39。

逆正交变换单元39针对每个TU对从逆量化单元38提供的正交变换结果执行逆正交变换处理。例如，由逆离散余弦变换(IDCT)或逆离散正弦变换(IDST)执行逆正交变换。逆正交变换单元39将作为逆正交变换处理的结果获得的残余误差信息提供给加法单元40。

加法单元40将从逆正交变换单元39提供的残余误差信息添加至从预测图像选择单元48提供的预测图像，以执行解码。加法单元40将解码图像提供给去块滤波器41和帧存储器44。

去块(deblocking)滤波器41对从加法单元40提供的解码图像执行自适应去块过滤处理，以去除块失真。将得到的图像提供给自适应偏移滤波器42。

自适应偏移滤波器42对经受去块滤波器41的自适应去块过滤处理的图像执行自适应偏移过滤(样本自适应偏移(SAO))处理，主要用于去除回响。

具体而言，自适应偏移滤波器42针对作为最大的编码单元的每个最大编码单元(LCU)，确定自适应偏移过滤处理的类型，并且计算在自适应偏移过滤处理中要使用的偏移。使用计算的偏移，自适应偏移滤波器42对经受自适应去块过滤处理的图像执行确定类型的自适应偏移过滤处理。

自适应偏移滤波器42向自适应回路滤波器43提供经受自适应偏移过滤处理的图像。自适应偏移滤波器42还向无损编码单元36提供偏移过滤信息，该信息是表示执行的自适应偏移过滤处理的类型和偏移的信息。

例如，自适应回路滤波器43形成有二维威纳滤波器。对于每个LCU，例如，自适应回路滤波器43对从自适应偏移滤波器42提供的并且经受自适应偏移过滤处理的图像执行自适应回路过滤(ALF)过程。

具体而言，对于每个LCU，自适应回路滤波器43计算用在自适应回路过滤处理中的滤波器系数，以便最小化原始图像与经受自适应回路过滤处理的图像之间的残余误差，原始图像为从画面重排缓冲器32输出的图像。然后，使用计算的滤波器系数，针对每个LCU，自适应回路滤波器43对经受自适应偏移过滤处理的图像执行自适应回路过滤处理。

自适应回路滤波器43向帧存储器44提供经受自适应回路过滤处理的图像。自适应回路滤波器43还向无损编码单元36提供在自适应回路过滤处理中使用的滤波器系数。

应注意的是，虽然在该实例中，针对每个LCU执行自适应回路过滤处理，但是在自适应回路过滤处理中的处理单元不限于LCU。然而，可以高效执行处理，其中，自适应偏移滤波器42和自适应回路滤波器43使用相同的处理单元。

帧存储器44储存从自适应回路滤波器43提供的图像以及从加法单元40提供的图像。将储存在帧存储器44内的并且未经受任何过滤处理的图像之中的、与预测单元(PU)相邻的图像作为外围图像通过开关45提供给帧内预测单元46。同时，将储存在帧存储器44内的并且已经受过滤处理的图像作为参考图像通过开关45输出至运动预测/补偿单元47。

SPS和PPS内的IntraBC控制信息从设定单元11提供给帧内预测单元46。使用通过开关45从帧存储器44读取的外围图像，帧内预测单元46针对每个LCU在所有候选帧内预测模式中执行帧内预测处理。同时，帧内预测单元46还根据IntraBC控制信息在IntraBC模式中执行帧内预测。

而且，根据从画面重排缓冲器32读取的图像以及作为帧内预测处理的结果生成的预测图像，帧内预测单元46计算所有候选帧内预测模式的成本函数值(稍后详细描述)。然后，帧内预测单元46确定最佳帧内预测模式，其为具有最小成本函数值的帧内预测模式。

帧内预测单元46将在最佳帧内预测模式中生成的预测图像以及相应的成本函数值提供给预测图像选择单元48。当预测图像选择单元48通知选择在最佳帧内预测模式中生成的预测图像，帧内预测单元46将帧内预测模式信息提供给无损编码单元36。应注意的是，帧内预测模式是表示每个PU的尺寸以及预测方向的模式。如果最佳帧内预测模式是IntraBC模式，则在该阶段，还将IntraBC矢量提供给无损编码单元36。

运动预测/补偿单元47针对每个PU在所有候选帧间预测模式中执行运动预测/补偿处理。具体而言，对于每个PU，运动预测/补偿单元47根据从画面重排缓冲器32提供的图像以及通过开关45从帧存储器44中读取的参考图像，检测所有候选帧间预测模式的运动矢量。然后，针对每个PU，运动预测/补偿单元47根据运动矢量对参考图像执行补偿处理，并且生成预测图像。

在这点上，运动预测/补偿单元47根据从画面重排缓冲器32提供的图像以及预测图像，计算所有候选帧间预测模式的成本函数值，并且确定作为具有最小成本函数值的帧间预测模式的最佳帧间预测模式。然后，运动预测/补偿单元47将最佳帧间预测模式的成本函数值以及相应的预测图像提供给预测图像选择单元48。此外，由预测图像选择单元48通知选择在最佳帧间预测模式中生成的预测图像，运动预测/补偿单元47将帧间预测模式信息、相应的运动矢量、用于识别参考图像的信息等提供给无损编码单元36。应注意的是，帧间预测模式是表示每个PU的尺寸等的模式。

根据从帧内预测单元46和运动预测/补偿单元47提供的成本函数值，预测图像选择单元48确定作为最佳帧内预测模式或最佳帧间预测模式的最佳预测模式，任何一个都具有更小的成本函数值。然后，预测图像选择单元48将在最佳预测模式中的预测图像提供给算术运算单元33和加法单元40。预测图像选择单元48还通知帧内预测单元46或运动预测/补偿单元47选择了最佳预测模式中的预测图像。

根据储存在累积缓冲器37内的编码数据，速率控制单元49控制量化单元35的量化操作速率，以便避免造成溢出或下溢。

(编码设备要执行的处理的描述)

图15是用于解释在图13示出的编码设备10要执行的流生成过程的流程图。

在图15的步骤S11中，编码设备10的设定单元11设定诸如VPS和SPS等参数集。设定单元11将设定的参数集提供给编码单元12。稍后参考图16详细描述该设定过程。

在步骤S12中，编码单元12执行编码处理以通过符合HEVC的方法编码从外面输入的基于帧的图像。稍后参考图17和图18详细描述该编码处理。

在步骤S13中，编码单元12的累积缓冲器37(图14)从设定单元11提供的参数集以及储存的编码数据生成编码流，并且将编码流提供给传输单元13。

在步骤S14中，传输单元13将从设定单元11提供的编码流传输给稍后描述的解码设备110，然后，该过程结束。

现在，参考图16的流程图详细描述图15中的步骤S11的参数集设定过程。在图16示出的实例中，在SPS和PPS中设定IntraBC控制信息。

在步骤S31中，图13示出的设定单元11设定sps_crossslice_intraBC_enable_flag。在步骤S32中，设定单元11确定sps_crossslice_intraBC_enable_flag是否是1。如果在步骤S32中确定sps_crossslice_intraBC_enable_flag是1，则该过程移动到步骤S33。

在步骤S33中，设定单元11设定intraBC_ref_prev_slice_flag。在步骤S34中，设定单元11确定intraBC_ref_prev_slice_flag是否是1。

如果在步骤S34中确定intraBC_ref_prev_slice_flag是1，则该过程移动到步骤S35。在步骤S35中，设定单元11设定intraBC_ref_prev_slice_num。

如果在步骤S32中确定sps_crossslice_intraBC_enable_flag是0，则跳过步骤S33至S35，并且参数集设定过程结束。然后，该过程返回图15中的步骤S11。

如果在步骤S34中确定intraBC_ref_prev_slice_flag是0，则跳过步骤S35，并且参数集设定过程结束。然后，该过程返回在图15中的步骤S11。

接下来，图17和图18是用于详细解释图15中的步骤S12的编码处理的流程图。基于帧的图像从设定单元11输入至A/D转换器31中，并且将IntraBC控制信息提供给帧内预测单元46。

在图17的步骤S61中，编码单元12的A/D转换器31(图14)对作为要编码的当前对象输入的基于帧的图像执行A/D转换。A/D转换器31将作为转换的数字信号的图像输出给画面重排缓冲器32，并且将图像储存到画面重排缓冲器32内。

在步骤S62中，画面重排缓冲器32重排按照显示顺序储存的图像的帧，使得根据GOP结构按照编码顺序排列图像的帧。画面重排缓冲器32将重排的基于帧的图像提供给算术运算单元33、帧内预测单元46以及运动预测/补偿单元47。而且，将IntraBC控制信息从设定单元11提供给帧内预测单元46。

在步骤S63中，帧内预测单元46针对每个LCU在所有候选帧内预测模式中执行帧内预测处理。稍后参考图19详细描述该帧内预测处理。即，根据从画面重排缓冲器32中读取的图像以及作为帧内预测处理的结果生成的预测图像，帧内预测单元46计算所有候选帧内预测模式(包括IntraBC预测模式)的成本函数值。然后，帧内预测单元46确定作为具有最小成本函数值的帧内预测模式的最佳帧内预测模式。帧内预测单元46将最佳帧内预测模式下生成的预测图像以及相应的成本函数值提供给预测图像选择单元48。

同时，在步骤S64中，运动预测/补偿单元47针对每个PU在所有候选帧间预测模式中执行运动预测/补偿处理。运动预测/补偿单元47还根据从画面重排缓冲器32中提供的图像以及预测图像，计算所有候选帧间预测模式的成本函数值，并且确定作为具有最小成本函数值的帧间预测模式的最佳帧间预测模式。然后，运动预测/补偿单元47将最佳帧间预测模式的成本函数值以及相应的预测图像提供给预测图像选择单元48。

在步骤S65中，根据从帧内预测单元46和运动预测/补偿单元47中提供的成本函数值，预测图像选择单元48确定作为最佳帧内预测模式或最佳帧间预测模式的最佳预测模式，任何一个都具有更小的成本函数值。然后，预测图像选择单元48将在最佳预测模式中的预测图像提供给算术运算单元33和加法单元40。

在步骤S65中，预测图像选择单元48确定最佳预测模式是否是最佳帧间预测模式。如果在步骤S65中确定最佳预测模式是最佳帧间预测模式，则预测图像选择单元48通知运动预测/补偿单元47选择在最佳帧间预测模式中生成的预测图像。

然后，在步骤S66中，运动预测/补偿单元47向无损编码单元36提供帧间预测模式信息、运动矢量以及用于识别参考图像的信息，并且该过程移动到步骤S68。

另一方面，如果在步骤S65中确定最佳预测模式不是最佳帧间预测模式，或者确定最佳预测模式是最佳帧内预测模式，则预测图像选择单元48通知帧内预测单元46选择了在最佳帧内预测模式中生成的预测图像。然后，在步骤S67中，帧内预测单元46将帧内预测模式信息提供给无损编码单元36，并且该过程移动到步骤S69。如果最佳帧内预测模式是IntraBC模式，则在该阶段，还将IntraBC矢量提供给无损编码单元36。

在步骤S69中，算术运算单元33通过从画面重排缓冲器32提供的图像中减去由预测图像选择单元48提供的预测图像，来执行编码。算术运算单元33将得到的图像作为残余误差信息输出至正交变换单元34。

在步骤S70中，正交变换单元34针对每个TU对残余误差信息执行正交变换处理。在正交变换处理之后，正交变换单元34将正交变换结果提供给量化单元35。

在步骤S71中，量化单元35量化从正交变换单元34中提供的正交变换结果。量化单元35将作为量化结果获得的量化值提供给无损编码单元36和逆量化单元38。

在步骤S72中，逆量化单元38逆向量化从量化单元35提供的量化值。逆量化单元38将作为逆量化的结果获得的正交变换结果提供给逆正交变换单元39。

在步骤S73中，逆正交变换单元39针对每个TU对从逆量化单元38提供的正交变换结果执行逆正交变换处理。逆正交变换单元39将作为逆正交变换处理的结果获得的残余误差信息提供给加法单元40。

在步骤S74中，加法单元40将从逆正交变换单元39中提供的残余误差信息加入从预测图像选择单元48中提供的预测图像，以执行解码。加法单元40将解码图像提供给去块滤波器41和帧存储器44。

在步骤S75中，去块滤波器41对从加法单元40中提供的解码图像执行去块过滤处理。去块滤波器41将得到的图像提供给自适应偏移滤波器42。

在步骤S76中，对于每个LCU，自适应偏移滤波器42对由去块滤波器41提供的图像执行自适应偏移过滤处理。自适应偏移滤波器42将得到的图像提供给自适应回路滤波器43。对于每个LCU，自适应偏移滤波器42还将偏移过滤信息提供给无损编码单元36。

在步骤S77中，对于每个LCU，自适应回路滤波器43对从自适应偏移滤波器42提供的图像执行自适应回路过滤处理。自适应回路滤波器43将得到的图像提供给帧存储器44。自适应回路滤波器43还向无损编码单元36提供用于自适应回路过滤处理中的滤波器系数。

在步骤S78中，帧存储器44储存从自适应回路滤波器43提供的图像以及从加法单元40提供的图像。通过开关45将储存在帧存储器44内的并且未经受任何过滤处理的图像之中的与PU相邻的图像作为外围图像提供给帧内预测单元46。同时，通过开关45将储存在帧存储器44内的并且已经受过滤处理的图像作为参考图像输出至运动预测/补偿单元47。

在步骤S79中，无损编码单元36对编码信息执行无损编码，例如，帧内预测模式信息或帧间预测模式信息、运动矢量、用于识别参考图像的信息、偏移过滤信息以及滤波器系数。应注意的是，如果在该阶段的预测模式是最佳帧内预测模式，并且最佳帧内预测模式是IntraBC模式，则IntraBC矢量作为编码信息也经受无损编码。

在步骤S80中，无损编码单元36对从量化单元35提供的量化值执行无损编码。然后，无损编码单元36从在步骤S78中的程序中经受无损编码的编码信息以及经受无损编码的量化值，生成编码数据，并且将编码数据提供给累积缓冲器37。

在步骤S81中，累积缓冲器37暂时储存从无损编码单元36提供的编码数据。

在步骤S82中，根据储存在累积缓冲器37内的编码数据，速率控制单元49控制量化单元35的量化操作速率，以便不造成溢出或下溢。然后，该过程返回图15中的步骤S12，并且移动到步骤S13。

现在，参考在图19的流程图，详细描述在图17的步骤S63的帧内预测处理。将IntraBC控制信息(例如，sps_crossslice_intraBC_enable_flag、intra_BC_ref_prev_slice_flag以及intraBC_ref_prev_slice_num)从设定单元11提供给帧内预测单元46。

在步骤S91中，帧内预测单元46将图片分成多个片。在步骤S92中，帧内预测单元46在除了IntraBC模式以外的预测模式中执行帧内预测，以计算成本函数值。

在步骤S93中，帧内预测单元46确定sps_crossslice_intraBC_enable_flag是否是1。如果在步骤S93中确定sps_crossslice_intraBC_enable_flag是1，则该过程移动到步骤S94。

在步骤S94中，帧内预测单元46搜索IntraBC的运动矢量。在步骤S95中，帧内预测单元46确定是否完成搜索范围内的搜索。如果在步骤S95中确定未完成搜索范围内的搜索，则该过程移动到步骤S96。

在步骤S96中，帧内预测单元46改变搜索点。在步骤S97中，帧内预测单元46确定在步骤S96中从先前搜索点改变的搜索点是否位于当前片内。

如果在步骤S97中确定搜索点不位于片内，则该过程移动到步骤S98。在步骤S98中，帧内预测单元46确定intra_BC_ref_prev_slice_flag是否是1。如果在步骤S98中确定intra_BC_ref_prev_slice_flag是1，则该过程移动到步骤S99。

在步骤S99中，帧内预测单元46确定搜索点的位置是否在由intraBC_ref_prev_slice_num指定的范围内。

如果在步骤S99中确定搜索点的位置不在由intraBC_ref_prev_slice_num指定的范围内，则该过程返回步骤S96，随后重复这些程序。如果在步骤S98中确定intra_BC_ref_prev_slice_flag不是1，则该过程返回步骤S96，随后，重复这些程序。

如果在步骤S99中确定搜索点的位置在由intraBC_ref_prev_slice_num指定的范围内，则该过程移动到步骤S100。如果在步骤S97中确定搜索点位于片内，则该过程也移动到步骤S100。

在步骤S100中，帧内预测单元46计算在IntraBC模式中的成本函数值。对应于在IntraBC模式中的最小成本的IntraBC矢量储存在存储器(未示出)内。在步骤S101中，帧内预测单元46确定在步骤S100中计算的成本函数值是否小于最小成本。

如果在步骤S101中确定成本函数值小于最小成本，则该过程移动到步骤S102。在步骤S102中，更新存储器内的IntraBC矢量以及最小成本，并且该过程返回步骤S96。然后，重复程序。

如果在步骤S101中确定成本函数值不小于最小成本，则该过程返回步骤S96，随后，重复程序。

如果在步骤S95中确定是否完成搜索范围内的搜索，则该过程移动到步骤S103。如果在步骤S93中确定sps_crossslice_intraBC_enable_flag不是1，则该过程也移动到步骤S103。

在步骤S103中，帧内预测单元46根据成本函数值，确定最佳帧内预测模式，并且结束帧内预测处理。

(解码设备的实施方式的实例配置)

图20是示出应用本公开的解码设备的实施方式的实例配置的方框图。解码设备解码从在图13示出的编码设备10传输的编码流。

图20中的解码设备110包括接收单元111、提取单元112以及解码单元113。

解码设备110的接收单元111接收从图13示出的编码设备10传输的编码流，并且将编码流提供给提取单元112。

提取单元112从由接收单元111提供的编码流中提取参数集(例如，VPS、SPS以及PPS)以及编码数据，并且将参数集和编码数据提供给解码单元113。具体地，提取单元112从SPS和PPS中提取IntraBC控制信息。

解码单元113通过符合HEVC的方法解码从提取单元112提供的编码数据。在这点，根据从提取单元112提供的SPS和PPS中的IntraBC控制信息，解码单元113平行或依次执行解码处理。解码单元113输出作为解码结果获得的图像。

(解码单元的实例配置)

图21是示出在图20中示出的解码单元113的实例配置的方框图。

图21示出的解码单元113包括累积缓冲器131、无损解码单元132、逆量化单元133、逆正交变换单元134、加法单元135、去块滤波器136、自适应偏移滤波器137、自适应回路滤波器138以及画面重排缓冲器139。解码单元113还包括D/A转换器140、帧存储器141、开关142、帧内预测单元143、运动补偿单元144以及开关145。

解码单元113的累积缓冲器131从图20中示出的提取单元112接收和累积编码数据。累积缓冲器131将累积的编码数据提供给无损解码单元132。

无损解码单元132通过对从累积缓冲器131提供的编码数据执行无损解码(例如，可变长度解码或算术解码)，来获得量化值和编码信息。无损解码单元132将量化值提供给逆量化单元133。应注意的是，来自提取单元112的IntraBC控制信息输入至无损解码单元132。根据来自提取单元112的IntraBC控制信息，无损解码单元132控制确定是平行执行随后的片解码处理还是依次执行随后的片解码处理。

无损解码单元132还将帧内预测模式信息(包括IntraBC模式信息)等作为编码信息提供给帧内预测单元143。如果帧内预测模式信息表示IntraBC模式，则在该阶段，还将IntraBC矢量提供给帧内预测单元143。无损解码单元132还相运动补偿单元144提供运动矢量、帧间预测模式信息、用于识别参考图像的信息等。

无损解码单元132进一步向开关145提供帧内预测模式信息或帧间预测模式信息作为编码信息。无损解码单元132将偏移过滤信息作为编码信息提供给自适应偏移滤波器137。无损解码单元132将滤波器系数作为编码信息提供给自适应回路滤波器138。

逆量化单元133、逆正交变换单元134、加法单元135、去块滤波器136、自适应偏移滤波器137、自适应回路滤波器138、帧存储器141、开关142、帧内预测单元143以及运动补偿单元144执行与由在图14示出的逆量化单元38、逆正交变换单元39、加法单元40、去块滤波器41、自适应偏移滤波器42、自适应回路滤波器43、帧存储器44、开关45、帧内预测单元46以及运动预测/补偿单元47执行的过程相似的过程，以解码图像。

具体而言，通过与用于图14中示出的逆量化单元38的方式相似的方式，设计逆量化单元133。逆量化单元133针对每个TU对来自无损解码单元132的量化值进行逆向量化。逆量化单元133将所获得的正交变换结果提供给逆正交变换单元134。

通过与用于图14中示出的逆正交变换单元39的方式相似的方式，设计逆正交变换单元134。逆正交变换单元134对从逆量化单元133提供的正交变换结果执行逆正交变换处理。逆正交变换单元134将作为逆正交变换处理的结果获得的残余误差信息提供给加法单元135。

加法单元135通过将从逆正交变换单元134提供的残余误差信息加入从开关145提供的预测图像中，执行解码。加法单元135将解码图像提供给去块滤波器136和帧存储器141。

去块滤波器136对从加法单元135提供的图像执行自适应去块过滤处理，并且将得到的图像提供给自适应偏移滤波器137。

使用由从无损解码单元132提供的偏移过滤信息表示的偏移，自适应偏移滤波器137针对每个LCU还对经受自适应去块过滤处理的图像执行由偏移过滤信息表示的类型的自适应偏移过滤处理。自适应偏移滤波器137向自适应回路滤波器138提供经受自适应偏移过滤处理的图像。

使用从无损解码单元132提供的滤波器系数，，自适应回路滤波器138针对每个LCU对从自适应偏移滤波器137提供的图像执行自适应回路过滤处理。自适应回路滤波器138将得到的图像提供给帧存储器141和画面重排缓冲器139。

画面重排缓冲器139逐帧地储存从自适应回路滤波器138提供的图像。画面重排缓冲器139按照原始显示顺序(而非编码顺序)重排储存的图像的帧，并且将重排的图像提供给D/A转换器140。

D/A转换器140对从画面重排缓冲器139提供的基于帧的图像执行D/A转换，并且输出图像。

帧存储器141储存从自适应回路滤波器138提供的图像以及从加法单元135提供的图像。通过开关142将储存在帧存储器141内的并且未经受任何过滤处理的图像之中的与PU相邻的图像作为外围图像提供给帧内预测单元143。同时，通过开关142将储存在帧存储器141内的并且经受过滤处理的图像作为参考图像输出给运动补偿单元144。

使用通过开关142从帧存储器141读取的外围图像，帧内预测单元143在由从无损解码单元132提供的帧内预测模式信息表示的最佳帧内预测模式中执行帧内预测处理。在IntraBC模式的情况下，还从无损解码单元132发送IntraBC矢量，并且使用IntraBC矢量，在IntraBC模式中执行帧内预测。帧内预测单元143将得到的预测图像提供给开关145。

运动补偿单元144通过开关142从帧存储器141中读取参考图像，该参考图像由从无损解码单元132提供的、用于识别参考图像的信息识别。使用从无损解码单元132提供的运动矢量和参考图像，运动补偿单元144在由从无损解码单元132提供的帧间预测模式信息表示的最佳帧间预测模式中执行运动补偿处理。运动补偿单元144将得到的预测图像提供给开关145。

在从无损解码单元132提供帧内预测模式信息时，开关145将从帧内预测单元143提供的预测图像提供给加法单元135。另一方面，在从无损解码单元132提供帧间预测模式信息时，开关145将从运动补偿单元144提供的预测图像提供给加法单元135。

(解码设备要执行的过程的描述)

图22是用于解释由图20中示出的解码设备110执行的图像生成过程的流程图。

在图22中的步骤S111中，解码设备110的接收单元111接收从图13中示出的编码设备10传输的编码流，并且将编码流提供给提取单元112。

在步骤S112中，提取单元112从由接收单元111提供的编码流中提取编码数据，并且将编码数据提供给解码单元113。

在步骤S113中，提取单元112从接收单元111提供的编码流中提取参数集(例如，VPS、SPS以及PPS)，并且将参数集提供给解码单元113。具体地，提取单元112从SPS和PPS中提取IntraBC控制信息。

在步骤S114中，根据需要使用从提取单元112提供的参数集，解码单元113通过符合HEVC的方法执行解码处理，以解码从提取单元112提供的编码数据。应注意的是，根据从提取单元112提供的SPS和PPS中的IntraBC控制信息，解码单元113平行或独立执行解码处理。稍后，参考图23描述该解码处理。然后，该过程结束。

现在，参考图23中的流程图详细描述在图22中的步骤S114的解码处理。

在步骤S121中，无损解码单元132解码访问单元(AU)的所有片头。

在步骤S122中，无损解码单元132解码N个分割的片。

在步骤S123中，无损解码单元132确定sps_crossslice_intraBC_enable_flag是否是1。如果在步骤S123中确定sps_crossslice_intraBC_enable_flag是1，则该过程移动到步骤S124。

在步骤S124中，无损解码单元132确定intra_BC_ref_prev_slice_flag是否是1。如果在步骤S124中确定intra_BC_ref_prev_slice_flag是1，则该过程移动到步骤S125。

在步骤S125中，无损解码单元132促使逆量化单元133和位于随后级的相应元件依次解码片0到N-1。

另一方面，如果在步骤S123中确定sps_crossslice_intraBC_enable_flag不是1，或者如果在步骤S124中确定intra_BC_ref_prev_slice_flag不是1，则该过程移动到步骤S126。

在步骤S126中，无损解码单元132促使逆量化单元133和随后级的相应元件平行解码片0到N-1。

应注意的是，稍后参考图25描述在步骤S125和S126中的片解码处理。

现在，参考图24中的流程图，描述在图22中的步骤S114的解码处理的另一个实例。

在步骤S141中，无损解码单元132解码访问单元(AU)的所有片头。

在步骤S142中，无损解码单元132解码N个分割的片。

在步骤S143中，无损解码单元132确定sps_crossslice_intraBC_enable_flag是否是1。如果在步骤S143中确定sps_crossslice_intraBC_enable_flag是1，则该过程移动到步骤S144。

在步骤S144中，无损解码单元132确定intra_BC_ref_prev_slice_flag是否是1。如果在步骤S144中确定intra_BC_ref_prev_slice_flag是1，则该过程移动到步骤S145。

在步骤S145中，无损解码单元132根据每个片的intraBC_ref_prev_slice_num参考片之间的依赖性关系，并且针对每个片确定片是否具有依赖性关系。

如果在步骤S145中确定片是具有依赖性关系的片，则该过程移动到步骤S146。在步骤S146中，无损解码单元132促使逆量化单元133和随后级的相应元件依次解码片X(X是具有依赖性关系的片的片编号)。

另一方面，如果在步骤S145中确定片不是具有依赖性关系的片，则该过程移动到步骤S147。在步骤S147中，无损解码单元132促使逆量化单元133和随后级的相应元件平行解码片Y(Y是没有依赖性关系的片的片编号)。

如果在步骤S143中确定sps_crossslice_intraBC_enable_flag不是1，或者如果在步骤S144中确定intra_BC_ref_prev_slice_flag不是1，则该过程移动到步骤S148。

在步骤S148中，无损解码单元132促使逆量化单元133和随后级的相应元件平行解码片0到N-1。

通过以上方式，根据IntraBC控制信息，在解码设备110中平行或依次处理片。

应注意的是，稍后参考图25描述在步骤S146到S148中的片解码处理。

现在，参考在图25中的流程图描述片解码处理。由无损解码单元132对片平行或者依次执行该处理。

在图25的步骤S161中，解码单元113的累积缓冲器131(图21)从在图20中示出的提取单元112接收和累积基于帧的编码数据。累积缓冲器131将累积的编码数据提供给无损解码单元132。

在步骤S162中，无损解码单元132对从累积缓冲器131提供的编码数据执行无损解码，以获得量化值和编码信息。无损解码单元132将量化值提供给逆量化单元133。

无损解码单元132还将帧内预测模式信息等作为编码信息提供给帧内预测单元143。无损解码单元132还向运动补偿单元144提供运动矢量、帧间预测模式信息、用于识别参考图像的信息等。

无损解码单元132进一步向开关145提供帧内预测模式信息或帧间预测模式信息作为编码信息。无损解码单元132将偏移过滤信息作为编码信息提供给自适应偏移滤波器137，并且将滤波器系数提供给自适应回路滤波器138。

在步骤S163中，逆量化单元133逆向量化从无损解码单元132提供的量化值。逆量化单元133将作为逆量化的结果获得的正交变换结果提供给逆正交变换单元134。

在步骤S164中，逆正交变换单元134对从逆量化单元133提供的正交变换结果执行逆正交变换处理。

在步骤S165中，运动补偿单元144确定是否从无损解码单元132提供帧间预测模式信息。如果在步骤S165中确定提供帧间预测模式信息，则该过程移动到步骤S166。

在步骤S166中，运动补偿单元144根据从无损解码单元132提供的参考图像识别信息来读取参考图像，并且使用运动矢量和参考图像，在由帧间预测模式信息表示的最佳帧间预测模式中执行运动补偿处理。运动补偿单元144通过开关145将得到的预测图像提供给加法单元135，然后，该过程移动到步骤S168。

如果在步骤S165中确定未提供帧间预测模式信息，或者如果将帧内预测模式信息提供给帧内预测单元143，则该过程移动到步骤S167。

在步骤S167中，帧内预测单元143确定由帧内预测模式信息表示的帧内预测模式是否是IntraBC模式。如果在步骤S167中确定该模式不是IntraBC模式，则该过程移动到步骤S168。

在步骤S168中，使用通过开关142从帧存储器141中读取的外围图像，帧内预测单元143在由帧内预测模式信息表示的帧内预测模式(并非IntraBC模式)中执行帧内预测处理。帧内预测单元143通过开关145将作为帧内预测处理的结果生成的预测图像提供给加法单元135，并且该过程然后移动到步骤S171。

如果在步骤S167中确定该模式是IntraBC模式，则该过程移动到步骤S169。在步骤S169中，帧内预测单元143从无损解码单元132接收IntraBC矢量。在步骤S170中，使用通过开关142从帧存储器141读取的外围图像，帧内预测单元143在IntraBC模式中执行帧内预测处理。帧内预测单元143通过开关145将作为帧内预测处理的结果生成的预测图像提供给加法单元135，并且该过程然后移动到步骤S171。

在步骤S171中，加法单元135通过将从逆正交变换单元134提供的残余误差信息加入从开关145提供的预测图像，来执行解码。加法单元135将解码图像提供给去块滤波器136和帧存储器141。

在步骤S172中，去块滤波器136对从加法单元135提供的图像执行去块过滤处理，以去除块失真。去块滤波器136将得到的图像提供给自适应偏移滤波器137。

在步骤S173中，根据从无损解码单元132提供的偏移过滤信息，自适应偏移滤波器137针对每个LCU对经受去块滤波器136进行的去块过滤处理的图像执行自适应偏移过滤处理。自适应偏移滤波器137向自适应回路滤波器138提供经受自适应偏移过滤处理的图像。

在步骤S174中，使用从无损解码单元132提供的滤波器系数，自适应回路滤波器138针对每个LCU对从自适应偏移滤波器137提供的图像执行自适应回路过滤处理。自适应回路滤波器138将得到的图像提供给帧存储器141和画面重排缓冲器139。

在步骤S175中，帧存储器141储存从加法单元135提供的图像以及从自适应回路滤波器138提供的图像。通过开关142将储存在帧存储器141内的并且未经受任何过滤处理的图像之中的与PU相邻的图像作为外围图像提供给帧内预测单元143。同时，通过开关142将储存在帧存储器141内的并且经受过滤处理的图像作为参考图像输出给运动补偿单元144。

在步骤S176中，画面重排缓冲器139逐帧地储存从自适应回路滤波器138提供的图像，按照原始显示顺序(而非编码顺序)重排储存的图像的帧，并且将重排的图像提供给D/A转换器140。

在步骤S177中，D/A转换器140对从画面重排缓冲器139提供的基于帧的图像执行D/A转换，并且输出图像。然后，该过程返回图23中的步骤S146到S148中的一个或者在图24中的步骤S125或S126，然后，结束。

通过以上方式，可以提高IntraBC的编码效率。

在以上实例中，符合HEVC的方法用作编码方法。然而，本技术不限于以上方法，并且可以使用某种其他编码/解码方法。

应注意的是，本公开可以应用于图像编码设备和图像解码设备中，例如，与在HEVC中一样，在通过网络介质(例如，卫星广播、有线电视、互联网或便携式电话)接收通过正交变换(例如，离散余弦变换和运动补偿)压缩的图像信息(位流)时，使用这些图像编码设备和图像解码设备。本公开还可以应用于图像编码设备和图像解码设备中，在储存介质(例如，光盘或磁盘或闪速存储器)上处理压缩的图像信息时，使用这些图像编码设备和图像解码设备。

<第二实施方式>

(应用本公开的计算机的描述)

上述系列过程可以由硬件执行，并且还可以由软件执行。在系列过程由软件执行时，构成软件的程序安装到计算机内。在此处，计算机可以是包含在专用硬件内的计算机，或者可以是可以执行各种功能的通用个人电脑，在其内安装有各种程序。

图26是示出根据程序执行上述系列过程的计算机的硬件的实例配置的方框图。

在计算机中，中央处理单元(CPU)201、只读存储器(ROM)202以及随机存取存储器(RAM)203通过总线204彼此连接。

输入/输出接口205进一步连接至总线204。输入单元206、输出单元207、储存单元208、通信单元209以及驱动器210连接至输入/输出接口205。

输入单元206由键盘、鼠标、麦克风等构成。输出单元207由显示器、扬声器等构成。储存单元208由硬盘、非易失性存储器等构成。通信单元209由网络接口等构成。驱动器210驱动可移除介质211，例如，磁盘、光盘、磁光盘或半导体存储器。

在具有上述配置的计算机中，例如，CPU 201通过输入/输出接口205和总线204将储存在储存单元208内的程序载入RAM 203内，并且执行该程序，使得执行上述系列过程。

例如，由计算机、(CPU 201)执行的程序可以记录在作为要提供的封装介质的可移除介质211上。可替换地，可以通过有线或无线传输介质(例如，局域网、互联网或数字卫星广播)，提供程序。

在计算机中，在可移除介质211安装在驱动器210上时，可以通过输入/输出接口205将程序安装到储存单元208内。程序还可以通过有线或无线传输介质由通信单元209接收，并且安装在储存单元208内。而且，程序可以预先安装在ROM 202或储存单元208内。

应注意的是，由计算机执行的程序可以是用于根据在本说明书中描述的顺序，在时间顺序中执行处理的程序，或者可以是用于平行执行处理或者根据需要(例如，在存在呼叫时)执行处理的程序。

<3、第三实施方式>

(应用于多视点图像编码和多视点图像解码)

上述系列过程可以应用于多视点图像编码和多视点图像解码中。图27示出了多视点图像编码方法的实例。

如图27所示，多视点图像包括多个视点的图像。多视点图像的视点包括仅仅使用其自身的视图的图像而不使用其他视图的图像编码/解码的基本视图以及使用其他视图(view，视点)的图像编码/解码的非基本视图。非基本视图可以使用基本视图的图像处理，或者可以使用其他非基本视图的图像处理。

在编码/解码在图27示出的多视点图像的情况下，编码/解码相应视图的图像，并且根据上述第一实施方式的方法可以应用于相应视图的编码/解码中。通过这种方式，可以提高IntraBC的编码效率。因此，增大编码效率。

进一步，在编码/解码相应视图时，可以共享在根据上述第一实施方式的方法中使用的参数。更具体而言，在编码/解码相应视图时，可以共享作为编码信息的VPS、SPS、PPS等。在编码/解码相应视图时，当然可以共享除了那些参数集以外的必要信息。

通过这种方式，可以防止传输冗余信息，并且可以减少要传输的信息的量(位速率)(或者可以防止降低编码效率)。

(多视点图像编码设备)

图28是示出执行上述多视点图像编码的多视点图像编码设备的示图。如图28所示，多视点图像编码设备600包括编码单元601、编码单元602以及多路复用器603。

编码单元601编码基本视图图像，并且生成基本视图图像编码流。编码单元602编码非基本视图图像，并且生成非基本视图图像编码流。多路复用器603将在编码单元601中生成的基本视图图像编码流以及在编码单元602中生成的非基本视图图像编码流多路复用，以生成多视点图像编码流。

编码设备10(图13)可以用作多视点图像编码设备600的编码单元601和编码单元602。即，在编码每个视图时，可以提高IntraBC的编码效率。而且，在两个编码单元之间使用相同标记和参数(例如，在图像之间与处理相关的语法元素)，编码单元601和编码单元602可以执行编码(或共享标记和参数)。因此，可以防止降低编码效率。

(多视点图像解码设备)

图29是示出执行上述多视点图像解码的多视点图像解码设备的示图。如图29所示，多视点图像解码设备610包括多路分用器611、解码单元612以及解码单元613。

多路分用器611对通过多路复用基本视图图像编码流和非基本视图图像编码流所形成的多视点图像编码流进行多路分用，并且提取基本视图图像编码流和非基本视图图像编码流。解码单元612解码由多路分用器611提取的基本视图图像编码流，并且获得基本视图图像。解码单元613解码由多路分用器611提取的非基本视图图像编码流，并且获得非基本视图图像。

解码设备110(图20)可以用作多视点图像解码设备610的解码单元612和解码单元613。即，可以提高IntraBC的编码效率。而且，在两个解码单元之间使用相同标记和参数(例如，在图像之间与处理相关的语法元素)，解码单元612和解码单元613可以执行解码(或共享标记和参数)。因此，可以防止降低编码效率。

<4、第四实施方式>

(应用于分层图像编码和分层图像解码)

上述系列过程可以应用于分层图像编码和分层图像解码(可扩展的编码和可扩展的解码)。图30示出了分层图像编码方法的实例。

执行分层图像编码(可扩展编码)，以将图像分成层(分层)，并且通过这种方式逐层编码这些层，使得预定参数具有可扩展功能。分层图像解码(可扩展解码)是与分层图像编码对应的解码。

如图30所示，在将图像分层时，具有可扩展功能的预定参数用作参考，并且单个图像分成多个图像(多个层)。即，分层图像(可分层图像)包括具有彼此不同的预定参数的值的层的图像。该分层图像的层包括仅仅使用其自身层的图像而不使用其他层的图像编码/解码的基本层以及使用其他层的图像编码/解码的非基本层(也称为增强层)。非基本层可以使用基本层的图像进行处理，或者可以使用其他非基本层的图像进行处理。

通常，非基本层形成有在其自身图像与另一层的图像之间的差异图像的数据，以便减少冗余。例如，在图像分成两层(即，基本层和增强层(也称为增强层))的情况下，在仅仅使用基本层的数据时，获得比原始图像的质量更低的质量的图像，并且在组合基本层的数据和非基本层的数据时，获得原始图像(或高质量图像)。

由于图像通过这种方式分层时，根据情况可以容易获得具有各种质量的图像。对于具有低处理能力的终端，例如，便携式电话，仅仅传输关于基本层的图像压缩信息，使得再现具有低空间和时间分辨率或差图像质量的运动图像。对于具有高处理能力的终端(例如，电视机或个人计算机)，仅仅传输关于基本层和增强层的图像压缩信息，使得能够再现具有高空间和时间分辨率或高图像质量的运动图像。通过这种方式，可以从服务器传输根据终端或网络的能力的图像压缩信息，而没有任何转码处理。

在编码/解码图30中示出的分层图像的实例的情况下，编码/解码相应层的图像，并且根据上述第一实施方式的方法可以应用于编码/解码相应层。通过这种方式，可以提高IntraBC的编码效率。因此，增大编码效率。

进一步，在编码/解码相应层时，可以共享在根据上述第一实施方式的方法中使用的标记和参数。更具体而言，在编码/解码相应层时，可以共享作为编码信息的VPS、SPS、PPS等。在编码/解码相应层时，当然可以共享除了那些参数集以外的必要信息。

(可扩展的参数)

在这种分层图像编码和分层图像解码(可扩展编码和可扩展解码)中，根据需要使用具有可扩展功能的参数。例如，在图31中示出的空间分辨率可以用作这种参数(空间可扩展性)。在这种空间可扩展性的情况下，图像分辨率在层之间改变。具体而言，在这种情况下，每个图片分成两层，即，具有比原始图像的空间分辨率更低的空间分辨率的基本层以及在与基本层组合时可以实现原始空间分辨率的增强层，如图31所示。层的该数量当然仅仅是实例，并且每个图片可以分层成任何合适数量的层。

可替换地，例如，具有这种可扩展性的参数可以是时间分辨率(时间可扩展性)，如图32所示。在该时间可扩展性的情况下，帧速率在层之间变化。即，在这种情况下，每个图片分成两层，即，具有比原始运动图像的帧速率更低的帧速率的基本层以及在与基本层组合时可以实现原始帧速率的增强层，如图32所示。层的该数量当然仅仅是一个实例，并且每个图片可以分层成任何合适数量的层。

进一步，例如，具有这种可扩展性的参数可以是信噪比(SNR)(SNR可扩展性)。在该SNR可扩展性的情况下，SN比在层之间改变。具体而言，在这种情况下，每个图片分成两层，即，具有比原始图像的SNR更低的SNR的基本层以及在与基本层组合时可以实现原始SNR的增强层，如图33所示。层的该数量当然仅仅是一个实例，并且每个图片可以分成任何合适数量的层。

除了以上参数以外的某些其他参数当然可以用作具有可扩展性的参数。例如，位深度可以用作具有可扩展性的参数(位深度可扩展性)。在该位深度可扩展性的情况下，位深度在层之间改变。在这种情况下，例如，基本层形成有8位图像，并且将增强层加入基本层中，以获得10位图像。

可替换地，色度格式可以用作具有可扩展性(色度可扩展性)的参数。在该色度可扩展性的情况下，色度格式在层之间改变。在这种情况下，例如，基本层形成有具有4:2:0格式的分量图像，并且将增强层加入基本层中，以获得具有4:2:2格式的分量图像。

(分层图像编码设备)

图34是示出执行上述分层图像编码的分层图像编码设备的示图。如图34所示，分层图像编码设备620包括编码单元621、编码单元622以及多路复用器623。

编码单元621编码基本层图像，并且生成基本层图像编码流。编码单元622编码非基本层图像，并且生成非基本层图像编码流。多路复用器623多路复用在编码单元621中生成的基本层图像编码流以及在编码单元622中生成的非基本层图像编码流，以生成分层图像编码流。

编码设备10(图13)可以用作分层图像编码设备620的编码单元621和编码单元622。即，可以提高IntraBC的编码效率。而且，使用在两个编码单元之间是相同的标记和参数(例如，在图像之间与处理相关的语法元素)，编码单元621和编码单元622可以在帧内预测等中控制过滤处理(或共享标记和参数)。因此，可以防止降低编码效率。

(分层图像解码设备)

图35是示出执行上述分层图像解码的分层图像解码设备的示图。如图35所示，分层图像解码设备630包括多路分用器631、解码单元632以及解码单元633。

多路分用器631多路分用通过多路复用基本层图像编码流和非基本层图像编码流所形成的分层图像编码流，并且提取基本层图像编码流和非基本层图像编码流。解码单元632解码由多路分用器631提取的基本层图像编码流，并且获得基本层图像。解码单元633解码由多路分用器631提取的非基本层图像编码流，并且获得非基本层图像。

解码设备110(图20)可以用作分层图像解码设备630的解码单元632和解码单元633。即，可以提高IntraBC的编码效率。而且，使用在两个解码单元之间的相同标记和参数(例如，在图像之间与处理相关的语法元素)，解码单元632和解码单元633可以执行解码(或共享标记和参数)。因此，可以防止降低编码效率。

<第五实施方式>

(电视设备的实例配置)

图36示意性示出应用本公开的电视设备的实例配置。电视设备900包括天线901、调谐器902、多路分用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908以及外部接口单元909。电视设备900进一步包括控制单元910、用户接口单元911等。

调谐器902从在天线901接收的广播波信号中选择期望的频道，并且执行解调。将得到的编码位流输出给多路分用器903。

多路分用器903从编码位流中提取要观看的节目的视频和音频数据包，并且将提取的数据包的数据输出给解码器904。多路分用器903还将数据的数据包(例如，电子节目指南(EPG))提供给控制单元910。应注意的是，在执行加扰时，多路分用器等消除加扰。

解码器904执行数据包解码处理，并且将通过解码处理生成的视频数据输出给视频信号处理单元905并且将音频数据输出给音频信号处理单元907。

视频信号处理单元905根据用户设定使视频数据经受去噪声和视频处理等。视频信号处理单元905生成在显示单元906上要显示的节目的视频数据，或者通过基于通过网络提供的应用程序的过程，生成图像数据等。视频信号处理单元905还生成视频数据，用于显示菜单屏幕等以用于项目选择，并且在节目的视频数据上叠加生成的视频数据。根据通过这种方式生成的视频数据，视频信号处理单元905生成驱动信号以驱动显示单元906。

根据来自视频信号处理单元905的驱动信号，显示单元906驱动显示装置(例如，液晶显示元件)，以显示节目的视频。

音频信号处理单元907使音频数据经受诸如去噪声等预定的处理，并且对经处理的音频数据执行D/A转换过程和放大过程。将得到的音频数据作为音频输出提供给扬声器908。

外部接口单元909是用于与外部装置或网络连接的接口，并且传输和接收数据，诸如视频数据和音频数据。

用户接口单元911连接至控制单元910。用户接口单元911形成有操作开关、遥控信号接收单元等，并且根据用户操作将操作信号提供给控制单元910。

控制单元910形成有中央处理单元(CPU)、存储器等。存储器储存CPU要执行的程序、CPU进行处理所需要的各种数据、EPG数据、通过网络获得的数据等。在预定的时间(例如，激活电视设备900的时间)，由CPU读取和执行储存在存储器内的程序。CPU执行程序，以控制相应的元件，以便电视设备900根据用户操作来操作。

应注意的是，在电视设备900中，提供总线912，以用于使调谐器902、多路分用器903、视频信号处理单元905、音频信号处理单元907、外部接口单元909等连接至控制单元910。

在如上设计的电视设备中，解码器904具有该应用程序的解码设备(解码方法)的功能。因此，在编码流的解码处理中，可以提高IntraBC的编码效率。

<第六实施方式>

(便携式电话设备的实例配置)

图37示意性示出应用本公开的便携式电话设备的实例配置。便携式电话设备920包括通信单元922、音频编解码器923、相机单元926、图像处理单元927、多路复用/分路单元928、记录/再现单元929、显示单元930以及控制单元931。那些元件通过总线933彼此连接。

而且，天线921连接至通信单元922，并且扬声器924和麦克风925连接至音频编解码器923。进一步，操作单元932连接至控制单元931。

便携式电话设备920在各种模式(例如，音频通信模式和数据通信模式)中执行各种操作，例如，传输和接收音频信号、传输和接收电子邮件和图像数据、图像捕获以及数据记录。

在音频通信模式中，在麦克风925生成的音频信号转换成音频数据，并且在音频编解码器923压缩该数据。将压缩的数据提供给通信单元922。通信单元922对音频数据执行调制处理、频率转换处理等，以生成传输信号。通信单元922还将传输信号提供给天线921，并且将传输信号传输给基站(未示出)。通信单元922还放大在天线921接收的信号，并且执行频率转换处理、解调处理等。将得到的音频数据提供给音频编解码器923。音频编解码器923解压缩音频数据，并且将音频数据转换成模拟音频信号，以输出给扬声器924。

在数据通信模式中执行邮件传输的情况下，控制单元931接收通过操作该操作单元932输入的文本数据，并且在显示单元930上显示输入的文本。此外，根据通过操作单元932的用户指令等，控制单元931生成并且将邮件数据提供给通信单元922。通信单元922对邮件数据执行调制处理、频率转换处理等，并且通过天线921传输得到的传输信号。通信单元922还放大在天线921上接收的信号，并且执行频率转换处理、解调处理等，以解压缩邮件数据。将该邮件数据提供给显示单元930，并且显示邮件内容。

应注意的是，便携式电话设备920可以促使记录/再现单元929将接收的邮件数据储存到储存介质内。储存介质是可重写的储存介质。例如，储存介质可以是半导体存储器(例如，RAM或内部闪速存储器)、硬盘或可移除介质(例如，磁盘、磁光盘、光盘、通用串行总线(USB)存储器或存储卡)。

在数据通信模式中传输图像数据的情况下，在相机单元926上生成的图像数据提供给图像处理单元927。图像处理单元927对图像数据执行编码处理，以生成编码数据。

多路复用/分路单元928通过预定的技术多路复用在图像处理单元927上生成的编码数据以及从音频编解码器923提供的音频数据，并且将多路复用的数据提供给通信单元922。通信单元922对多路复用的数据执行调制处理、频率转换处理等，并且通过天线921传输得到的传输信号。通信单元922还放大在天线921上接收的信号，并且执行频率转换处理、解调处理等，以解压缩多路复用的数据。将该多路复用的数据提供给多路复用/分路单元928。多路复用/分路单元928分割多路复用的数据，并且将编码数据提供给图像处理单元927，并且将音频数据提供给音频编解码器923。图像处理单元927对编码数据执行解码处理，以生成图像数据。将该图像数据提供给显示单元930，以显示接收的图像。音频编解码器923将音频数据转换成模拟音频信号，并且将模拟音频信号提供给扬声器924，使得输出接收的声音。

在如上设计的便携式电话设备中，图像处理单元927具有该应用程序的编码设备和解码设备(编码方法和解码方法)的功能。因此，可以提高IntraBC的编码效率。

<第七实施方式>

(记录/再现设备的实例配置)

图38示意性示出应用本公开的记录/再现设备的实例配置。例如，记录/再现设备940在记录介质上记录所接收的广播节目的音频数据和视频数据，并且在根据来自用户的指令时，将记录的数据提供给用户。例如，记录/再现设备940还可以从另一个装置中获得音频数据和视频数据，并且在记录介质上记录数据。进一步，记录/再现设备940解码和输出在记录介质上记录的音频数据和视频数据，使得监视装置等可以显示图像并且输出声音。

记录/再现设备940包括调谐器941、外部接口单元942、编码器943、硬盘驱动器(HDD)单元944、硬盘驱动器945、选择器946、解码器947、屏幕上显示(OSD)单元948、控制单元949以及用户接口单元950。

调谐器941从在天线(未示出)上接收的广播信号中选择期望的频道。调谐器941解调期望的频道的接收信号，并且将得到的编码位流输出给选择器946。

外部接口单元942形成有IEEE1394接口、网络接口单元、USB接口、闪速存储器接口等中的至少一个。外部接口单元942是用于与外部装置、网络、存储卡等连接的接口，并且接收数据，例如，要记录的视频数据和音频数据等。

编码器943对从外部接口单元942提供的并且未被编码的视频数据和音频数据执行预定的编码，并且将编码位流输出给选择器946。

HDD单元944在内部硬盘上记录内容数据(例如，音频和声音)、各种程序、其他数据等，并且在再现等时从硬盘读取数据。

硬盘驱动器945在安装的光盘上执行信号记录和再现。例如，光盘可以是DVD盘(例如，DVD视频、DVD-RAM、DVD-R、DVD-RW、DVD+R或DVD+RW)或蓝光(注册商标)光盘。

选择器946在视频和音频记录时从调谐器941或编码器943中选择编码位流，并且将编码位流提供给HDD单元944或硬盘驱动器945。在视频和音频再现时，选择器946还将从HDD单元944或硬盘驱动器945输出的编码位流提供给解码器947。

解码器947对编码位流执行解码处理。解码器947将通过执行解码处理所生成的视频数据提供给OSD单元948。解码器947还将通过执行解码处理所生成的音频数据输出。

OSD单元948生成视频数据，用于显示菜单屏幕等以用于项目选择，并且在从解码器947中输出的视频数据上叠加视频数据。

用户接口单元950连接至控制单元949。用户接口单元950形成有操作开关、遥控信号接收单元等，并且根据用户操作将操作信号提供给控制单元949。

控制单元949形成有CPU、存储器等。存储器储存CPU要执行的程序以及CPU进行处理所需要的各种数据。在预定的时间，例如，激活记录/再现设备940的时间，由CPU读取和执行储存在存储器内的程序。CPU执行程序，以控制相应的元件，以便记录/再现设备940根据用户操作来操作。

在如上设计的记录/再现设备中，编码器943具有该应用程序的编码设备(编码方法)的功能。因此，可以提高IntraBC的编码效率。而且，解码器947还具有该应用程序的解码设备(解码方法)的功能。因此，可以提高IntraBC的编码效率。

<第八实施方式>

(成像设备的实例配置)

图39示意性示出应用本公开的成像设备的实例配置。成像设备960拍摄对象的图像，并且促使显示单元显示对象的图像或在记录介质上记录图像作为图像数据。

成像设备960包括光学模块961、成像单元962、相机信号处理单元963、图像数据处理单元964、显示单元965、外部接口单元966、内存单元967、介质驱动器968、OSD单元969以及控制单元970。此外，用户接口单元971连接至控制单元970。进一步，图像数据处理单元964、外部接口单元966、内存单元967、介质驱动器968、OSD单元969、控制单元970等通过总线972彼此连接。

光学模块961形成有聚焦透镜、光圈等。光学模块961在成像单元962的成像表面上形成对象的光学图像。成像单元962形成有CCD或CMOS图像传感器，通过光电转换根据光学图像生成电信号，并且将电信号提供给相机信号处理单元963。

相机信号处理单元963对从成像单元962提供的电信号执行各种相机信号处理，例如，拐点(knee)校正、伽玛校正以及颜色校正。相机信号处理单元963将经受相机信号处理的图像数据提供给图像数据处理单元964。

图像数据处理单元964对从相机信号处理单元963提供的图像数据执行编码处理。图像数据处理单元964将通过编码处理生成的编码数据提供给外部接口单元966和介质驱动器968。图像数据处理单元964还对从外部接口单元966和介质驱动器968提供的编码数据执行解码处理。图像数据处理单元964将通过解码处理生成的图像数据提供给显示单元965。图像数据处理单元964还执行处理以将从相机信号处理单元963提供的图像数据提供给显示单元965，或者在图像数据上叠加从OSD单元969获得的显示数据并且将图像数据提供给显示单元965。

OSD单元969生成形成有符号、字符或数字的菜单屏幕或显示数据，例如，图标，并且将这种数据输出给图像数据处理单元964。

例如，外部接口单元966形成有USB输入/输出端，并且在执行图像打印时连接至打印机。必要时，驱动器也连接至外部接口单元966，并且可移除介质(例如，磁盘或光盘)根据需要安装在驱动器上。必要时，安装从这种可移除磁盘中读取的计算机程序。进一步，外部接口单元966包括连接至预定网络(例如，LAN或因特网)的网络接口。例如，控制单元970根据来自用户接口单元971的指令，从介质驱动器968中读取编码数据，并且可以通过网络将编码数据从外部接口单元966提供给与其连接的另一个设备。控制单元970还可以通过外部接口单元966获得通过网络从另一个设备提供的编码数据或图像数据，并且将编码数据或图像数据提供给图像数据处理单元964。

由介质驱动器968驱动的记录介质可以是可读/可重写的可移除介质，例如，磁盘、磁光盘、光盘或半导体存储器。此外，记录介质可以是任何类型的可移除介质，并且可以是磁带装置、磁盘或存储卡。记录介质当然可以是非接触式集成电路(IC)卡等。

可替换地，介质驱动器968和记录介质可以整合，并且可以形成有固定的储存介质，例如，内部硬盘驱动器或固态驱动器(SSD)。

控制单元970形成有CPU。内存单元967储存由控制单元970要执行的程序、控制单元970进行处理所需要的各种数据等。在预定的时间，例如，激活成像设备960的时间，由控制单元970读取和执行储存在存储器967内的程序。控制单元970执行程序，以控制相应的元件，以便成像设备960根据用户操作来操作。

在如上设计的成像设备中，图像数据处理单元964具有该应用程序的编码设备和解码设备(编码方法和解码方法)的功能。因此，在编码或解码编码流时，可以提高IntraBC的编码效率。

<可扩展编码的实例应用>

(第一系统)

接下来，描述经受可扩展编码(分层编码)的可扩展编码数据的具体使用实例。如在图40的实例中所示，可扩展编码用于选择要传输的数据。

在图40示出的数据传输系统1000中，分布服务器1002读取储存在可扩展编码数据储存单元1001内的可扩展编码数据，并且通过网络1003将可扩展编码数据分配给终端，例如，个人计算机1004、视听(AV)装置1005、平板装置1006或便携式电话装置1007。

这样做，分布服务器1002根据终端装置的能力、通信环境等，选择和传输合适质量的编码数据。如果分布服务器1002传输不必要地高质量数据，则终端装置不必获得高质量图像，并且这种高质量数据传输可能造成延迟或溢出。而且，这种高质量数据可能不必要地占据通信带，或者不必要地增大终端装置上的负荷。另一方面，如果分布服务器1002传输不必要地低质量数据，则终端装置可能不能获得足够高质量的图像。因此，分布服务器1002读取储存在可扩展编码数据储存单元1001内的可扩展编码数据，并且将读取的可扩展编码数据作为具有适合终端装置的能力、通信环境的质量的编码数据。

例如，可扩展编码数据储存单元1001储存可扩展地编码的可扩展编码数据(BL+EL)1011。可扩展编码数据(BL+EL)1011是包含基本层和增强层的编码数据，并且在解码时，可以提供基本层的图像和增强层的图像。

分布服务器1002根据用于传输数据的终端装置的能力、通信环境等选择适当的层，并且读取该层的数据。例如，对于具有高处理能力的个人计算机1004和平板装置1006，分布服务器1002从可扩展编码数据储存单元1001中读取高质量可扩展编码数据(BL+EL)1011，并且照原样传输可扩展编码数据(BL+EL)1011。另一方面，对于具有低处理能力的AV装置1005和便携式电话装置1007，例如，分布服务器1002从可扩展编码数据(BL+EL)1011中提取基本层的数据，并且传输提取的数据，作为可扩展编码数据(BL)1012，该数据是具有与可扩展编码数据(BL+EL)1011相同的内容的数据，但是具有比可扩展编码数据(BL+EL)1011更差的质量。

在通过这种方式使用可扩展编码数据时，可以容易调整数据量。因此，可以防止延迟和溢出，并且可以防止在终端装置或通信介质上的负荷不必要地增大。而且，可扩展编码数据(BL+EL)1011具有在层之间减小的冗余，因此，可以使数据量比每层的编码层作为单独数据处理的情况更小。因此，可以更高效率地使用可扩展编码数据储存单元1001的储存区域。

应注意的是，各种装置可以用作终端装置，例如，从个人计算机1004到便携式电话装置1007的终端装置，因此，硬件性能在终端装置之间改变。由于终端装置要执行的应用程序改变，所以软件性能也改变。进一步，用作通信介质的网络1003可以是有线或无线通信网络(例如，互联网或局域网(LAN))或包括有线网络和无线网络的任何通信网络系统。数据传输能力在通信网络之间改变。数据传输能力可能关于其他通信等进一步改变。

有鉴于此，分布服务器1002可以在开始数据传输之前与作为数据传输目的地的终端装置通信，并且获得与终端装置的能力相关的信息(例如，终端装置的硬件性能和终端装置要执行的应用程序(软件)的性能)以及与通信环境相关的信息，例如，网络1003可以使用的带宽。进一步，根据在此处获得的信息，分布服务器1002可以选择适当的层。

应注意的是，可以在终端装置内执行层提取。例如，个人计算机1004可以解码传输的可扩展编码数据(BL+EL)1011，并且显示基本层的图像和增强层的图像。而且，个人计算机1004可以从传输的可扩展编码数据(BL+EL)1011中提取基本层的可扩展编码数据(BL)1012，将可扩展编码数据(BL)1012传输给另一个装置，或者解码可扩展编码数据(BL)1012，以显示基本层的图像。

当然可以根据需要确定可扩展编码数据储存单元1001、分布服务器1002、网络1003以及终端装置的数量。而且，在上述实例中，分布服务器1002将数据传输给终端装置。然而，使用实例不限于此。数据传输系统1000可以是任何合适的系统，在将经受可扩展编码的编码数据传输给终端装置时，该系统根据终端装置的能力、通信环境等选择适当的层。

(第二系统)

如在图41的实例中所示，可扩展编码还用于通过通信介质传输。

在图41示出的数据传输系统1100中，广播站1101通过地面广播1111传输基本层的可扩展编码数据(BL)1121。广播站1101还通过形成有有线和/或无线通信网络的网络1112传输增强层的可扩展编码数据(EL)1122(在将可扩展编码数据(EL)1122封包之后)。

终端装置1102具有从广播站1101接收地面广播1111的功能，并且接收通过地面广播1111传输的基本层的可扩展编码数据(BL)1121。终端装置1102进一步具有通过网络1112执行通信的通信功能，并且接收通过网络1112传输的增强层的可扩展编码数据(EL)1122。

根据用户指令等，终端装置1102通过解码通过地面广播1111获得的基本层的可扩展编码数据(BL)1121来获得图像，储存可扩展编码数据(BL)1121，或者将可扩展编码数据(BL)1121传输给另一个装置。

而且，根据用户指令等，终端装置1102通过将通过地面广播1111获得的基本层的可扩展编码数据(BL)1121和通过网络1112获得的增强层的可扩展编码数据(EL)1122组合，来获得可扩展编码数据(BL+EL)，通过解码可扩展编码数据(BL+EL)来获得增强层的图像，储存可扩展编码数据(BL+EL)，或者将可扩展编码数据(BL+EL)传输给另一个装置。

如上所述，例如，可以针对每层通过不同通信介质传输可扩展编码数据。因此，负荷可以分散，并且可以防止延迟和溢出。

而且，可以根据情况，为每层选择用于传输的通信介质。例如，可以通过具有宽带宽的通信介质，传输具有较大数据量的基本层的可扩展编码数据(BL)1121，并且可以通过具有窄带宽的通信介质，传输具有较小数据量的增强层的可扩展编码数据(EL)1122。而且，可以根据网络1112可以使用的带宽，在网络1112与地面广播1111之间切换用于传输增强层的可扩展编码数据(EL)1122的通信介质。这同样当然适用于任何其他层的数据。

在通过这种方式进行控制时，可以进一步减少因数据传输造成的负荷的增大。

当然可以酌情确定层的数量，并且还可以酌情确定用于传输的通信介质的数量。还可以酌情确定作为数据分布目的地的终端装置1102的数量。进一步，在上述实例中，广播站1101提供广播。然而，使用实例不限于此。数据传输系统1100可以是将经受可扩展编码的编码数据分成层的任何合适的系统，并且通过两个或多个线路执行传输。

(第三系统)

如在图42的实例中所示，可扩展编码还用于通过储存编码数据。

在图42示出的成像系统1200中，成像设备1201对通过拍摄对象1211所获得的图像数据执行可扩展编码，并且将图像数据作为可扩展编码数据(BL+EL)1221传输给可扩展编码数据储存装置1202。

可扩展编码数据储存装置1202在这种情况下以合适的质量水平储存从成像设备1201提供的可扩展编码数据(BL+EL)1221。例如，在正常时间，可扩展编码数据储存装置1202从可扩展编码数据(BL+EL)1221中提取基本层的数据，并且储存提取的数据，作为具有低质量和小数据量的基本层的可扩展编码数据(BL)1222。另一方面，在观察时间，例如，可扩展编码数据储存装置1202照原样储存具有大数据量的高质量可扩展编码数据(BL+EL)1221。

通过这种方式，可扩展编码数据储存装置1202可以仅仅在必要时储存高质量图像。因此，可以防止数据量增大，同时防止因图像质量退化造成的每个图像的值降低。因此，可以提高储存区域的可用性。

例如，成像设备1201是监控摄像头。在图像内未捕捉到任何监控对象(例如，入侵者)的情况下(在正常时间)，图像的内容非常可能不重要。因此，优先考虑减少数据量，并且以低质量水平储存图像数据(可扩展编码数据)。另一方面，在图像内捕捉到监控对象作为对象1211(在观察时间)的情况下，图像的内容非常可能是重要。因此，优先考虑图像质量，并且以高质量水平储存图像数据(可扩展编码数据)。

应注意的是，例如，可扩展编码数据储存装置1202可以通过分析图像，确定当前时间是否是正常时间或者当前时间是否是观察时间。可替换地，成像设备1201可以进行确定，并且将确定结果传输给可扩展编码数据储存装置1202。

应注意的是，任何合适的标准可以用作确定当前时间是否是正常时间或者当前时间是否是观察时间的标准，并且可以酌情确定使用图像的内容作为确定标准。除了图像的内容以外的条件当然也可以用作确定标准。例如，正常时间和观察时间可以根据记录的语音音量或波形进行切换，可以以预定的时间间隔切换，或者可以根据外部指令(例如，用户指令)切换。

此外，在上述实例中，在正常时间和观察时间的两种状态之间切换状态。然而，可以酌情确定状态的数量。例如，可以在三种或更多种状态之间切换状态，例如，正常时间、低水平观察时间、观察时间以及高水平观察时间。然而，可切换状态的上限数量取决于可扩展编码数据中的层数。

而且，成像设备1201可以根据情况确定可扩展编码中的层数。例如，在正常时间，成像设备1201可以生成具有低质量和小数据量的基本层的可扩展编码数据(BL)1222，并且将可扩展编码数据(BL)1222提供给可扩展编码数据储存装置1202。此外，另一方面，在观察时间，例如，成像设备1201可以生成具有高质量和大数据量的基本层的可扩展编码数据(BL+EL)1221，并且将可扩展编码数据(BL+EL)1221提供给可扩展编码数据储存装置1202。

在上述实例中，描述了监控摄像头。然而，成像设备1201可以酌情使用，并且不限于监控摄像头。

<实施方式的其他实例>

虽然上面描述了应用本公开的装置、系统等的实例，但是本公开不限于此，并且可以实施为安装在上述装置上的任何结构或者实施为系统内的装置，例如，用作系统大规模集成(LSI)等的处理器、使用处理器等的模块、使用模块等的单元以及具有加入该单元中的其他功能的装置(或在装置中的结构)。

(视频机的实例配置)

现在，参考图43，描述了本公开上述为装置的实例情况。图43示意性示出应用本公开的视频机的实例配置。

近年来，电子设备变成多功能的。在电子设备的开发和制造过程中，不仅销售或提供这种电子设备内的一个结构或者制造具有一个功能的结构，而且目前，在很多情况下，通过组合具有相关功能的结构，来制造具有各种功能的一个装置。

在图43示出的视频机1300是这种多功能结构，并且通过组合具有与图像编码和解码(或者编码或解码、或编码和解码)相关的功能的装置和与该功能相关的另一个功能来形成视频机1300。

如图43所示，视频机1300包括模块(例如，视频模块1311、外部存储器1312、功率管理模块1313以及前端模块1314)以及具有相关功能的装置，例如，连接装置1321、相机1322以及传感器1323。

通过整合彼此相关的元件的功能来形成模块，并且该模块用作具有集成功能的元件。虽然不限制其特定的物理结构，但是可以通过将电子电路元件(例如，具有相应功能的处理器、电阻以及电容)放在接线板等上，来形成模块，并且该模块可以整合在其上。可替换地，通过组合一个模块和另一个模块、处理器等，可以形成新模块。

在图43中示出的实例情况下，通过组合具有与图像处理相关的功能的结构，形成视频模块1311，并且该模块包括应用处理器、视频处理器、宽带调制解调器1333以及RF模块1334。

通过将具有预定功能的结构整合到片上系统(SoC)的半导体芯片内，形成处理器，并且例如，一些处理器称为系统大规模集成(LSI)。具有预定功能的结构可以是逻辑电路(硬件结构)，可以是包括CPU、ROM以及RAM的结构和通过这些元件执行的程序(软件结构)，或者可以是通过组合这两个结构所形成的结构。例如，处理器可以包括逻辑电路、CPU、ROM以及RAM，一个功能可以由逻辑电路(硬件结构)实现，并且其他功能可以由CPU执行的程序(软件结构)实现。

在图43中的应用处理器1331是执行与图像处理相关的应用的处理器。由应用处理器1331执行的应用可以不仅执行算术处理，而且必要时控制视频模块1311内部和外部的结构，例如，视频处理器1332，以实现预定的功能。

视频处理器1332是具有与图像编码和解码(编码和/或解码)相关的功能的处理器。

宽带调制解调器1333是执行与通过宽带网络(例如，互联网或公用电话网络)进行的有线或无线(或有线和无线)宽带通信相关的处理的处理器(或模块)。例如，宽带调制解调器1333可以通过对数据执行数字调制，来将要传输的数据(数字信号)转换成模拟信号，并且通过解调模拟信号，来将接收的模拟信号转换成数据(数字信号)。例如，宽带调制解调器1333可以对期望的信息执行数字调制/解调，例如，视频处理器1332要处理的图像数据、通过编码图像数据所生成的流、应用程序以及设定数据。

RF模块1334是对要通过天线传输或接收的射频(RF)信号执行频率转换、调制/解调、放大、过滤处理等的模块。例如，RF模块1334通过对由宽带调制解调器1333生成的基带信号执行频率转换等，来生成RF信号。例如，RF模块1334还通过对通过前端模块1314接收的RF信号执行频率转换等，来生成基带信号。

应注意的是，如在图43中的虚线1341所示，应用处理器1331和视频处理器1332可以整合并且形成为一个处理器。

外部存储器1312是设置在视频模块1311外面的模块，并且具有由视频模块1311使用的储存装置。外部存储器1312的储存装置可以由任何物理结构实施。通常，储存装置通常用于储存大量数据，例如，基于帧的图像数据。因此，储存装置优选地由比较廉价的、大容量半导体存储器来实施，例如，动态随机存取存储器(DRAM)。

功率管理模块1313管理和控制对视频模块1311的电力供应(视频模块1311内的各个结构)。

前端模块1314是向RF模块1334提供前端功能的模块(在天线的传输和接收端的电路)。如图35中所示，例如，前端模块1314包括天线单元1351、滤波器1352以及放大单元1353。

天线单元1351包括传输和接收无线电信号的天线以及围绕该天线的外围结构。天线单元1351将从放大单元1353提供的信号作为无线电信号传输，并且将接收的无线电信号作为电信号(RF信号)提供给滤波器1352。滤波器1352对通过天线单元1351接收的RF信号执行过滤处理等，并且将经处理的RF信号提供给RF模块1334。放大单元1353放大从RF模块1334提供的RF信号，并且将放大的RF信号提供给天线单元1351。

连接装置1321是具有与和外面的连接相关的功能的模块。连接装置1321可以具有任何类型的物理结构。例如，连接装置1321包括具有符合除了宽带调制解调器1333符合的通信标准以外的标准的通信功能的结构以及外部输入/输出端等。

例如，连接装置1321可以包括具有符合无线通信标准(例如，蓝牙(注册商标名)、IEEE 802.11(例如，无线保真(Wi-Fi：注册商标名)、近场通信(NFC)、或红外线数据协会(IrDA))的通信功能的模块以及传输和接收符合标准的信号的天线等。可替换地，连接装置1321可以包括具有符合电缆通信标准(例如，通用串行总线(USB)或高清晰度多媒体接口(注册商标名)(HDMI))的通信功能的模块以及符合标准的端子。连接装置1321可以具有一些其他数据(信号)传输功能等，例如，模拟输入/输出端。

连接装置1321可以包括作为数据(信号)传输目的地的装置。例如，连接装置1321可以包括在记录介质(例如，磁盘、光盘、磁光盘或半导体存储器)上执行数据读取和写入的驱动器(不仅包括用于可移除介质的驱动器，而且包括硬盘、固态驱动器(SSD)、网络连接存储器(NAS)等)。连接装置1321还可以包括图像或声音输出装置(监视器、扬声器等)。

相机1322是具有拍摄对象并且获得对象的图像数据的功能的模块。通过由相机1322进行的拍摄所获得的图像数据提供给视频处理器1332并且被编码。

传感器1323是具有传感器功能的模块，例如，声音传感器、超声传感器、光学传感器、照度传感器、红外线传感器、图像传感器、旋转传感器、角度传感器、角速度传感器、速度传感器、加速度传感器、倾斜传感器、磁识别传感器、震动传感器、或温度传感器。例如，由传感器1323检测的数据提供给应用处理器1331，并且由应用程序使用。

上面描述为模块的结构可以体现为处理器，并且上面描述为处理器的结构可以体现为模块。

在如上所述设计的视频机1300中，本公开可以应用于稍后描述的视频处理器1332中。因此，视频机1300可以体现为应用本公开的装置。

(视频处理器的实例配置)

图44示意性示出应用本公开的视频处理器1332(图43)的实例配置。

在图44示出的实例情况下，视频处理器1332具有接收视频信号和音频信号的输入并且通过预定的方法编码这些信号的功能以及解码经编码的视频数据和音频数据以及再现和输出视频信号和音频信号的功能。

如图44所示，视频处理器1332包括视频输入处理单元1401、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403、视频输出处理单元1404、帧存储器1405以及存储器控制单元1406。视频处理器1332还包括编码/解码引擎1407、视频基本流(ES)缓冲器1408A和1408B、以及音频ES缓冲器1409A和1409B。视频处理器1332进一步包括音频编码器1410、音频解码器1411、多路复用器(MUX)1412、多路分用器(DMUX)1413以及流缓冲器1414。

例如，视频输入处理单元1401获取从连接装置1321(图43)中输入的视频信号，并且将视频信号转换成数字图像数据。第一图像放大/缩小单元1402对图像数据执行格式转换、图像放大/缩小处理等。第二图像放大/缩小单元1403根据通过视频输出处理单元1404在输出目的地的格式，对图像数据执行图像放大/缩小处理，或者与第一图像放大/缩小单元1402一样，执行格式转换、图像放大/缩小处理等。视频输出处理单元1404对图像数据执行格式转换、到模拟信号的转换等，并且例如，将结果作为再现的视频信号输出给连接装置1321(图43)。

帧存储器1405是在视频输入处理单元1401、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403、视频输出处理单元1404以及编码/解码引擎1407之间共享的图像数据存储器。帧存储器1405设计为半导体存储器，例如，DRAM。

存储器控制单元1406从编码/解码引擎1407接收同步信号，并且根据对写入访问管理表格1406A内的帧存储器1405的访问计划，控制对帧存储器1405的写入和读取访问。根据由编码/解码引擎1407、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403等执行的处理，由存储器控制单元1406更新访问管理表格1406A。

编码/解码引擎1407执行图像数据编码处理以及解码作为通过编码图像数据所生成的数据的视频流的处理。例如，编码/解码引擎1407编码从帧存储器1405中读取的图像数据，并且将编码的图像数据作为视频流依次写入视频ES缓冲器1408A内。而且，例如，编码/解码引擎1407从视频ES缓冲器1408B中依次读取和解码视频流，并且将解码的视频流作为图像数据依次写入帧存储器1405内。在编码和解码时，编码/解码引擎1407将帧存储器1405用作工作区域。例如，在开始宏块的处理时，编码/解码引擎1407还将同步信号输出给存储器控制单元1406。

视频ES缓冲器1408A缓冲由编码/解码引擎1407生成的视频流，并且将视频流提供给多路复用器(MUX)1412。视频ES缓冲器1408B缓冲从多路分用器(DMUX)1413中提供的视频流，并且将视频流提供给编码/解码引擎1407。

音频ES缓冲器1409A缓冲由音频编码器1410生成的音频流，并且将音频流提供给多路复用器(MUX)1412。音频ES缓冲器1409B缓冲从多路分用器(DMUX)1413中提供的音频流，并且将音频流提供给音频解码器1411。

例如，音频编码器1410对从连接装置1321(图43)输入的音频信号等执行数字转换，并且通过预定的方法(例如，MPEG音频方法或AudioCode数字3(AC3))编码音频信号。音频编码器1410将作为通过编码音频信号所生成的数据的音频流依次写入音频ES缓冲器1409A内。音频解码器1411解码从音频ES缓冲器1409B中提供的音频流，例如执行到模拟信号的转换，并且将结果作为再现的音频信号提供给连接装置1321(图43)等。

多路复用器(MUX)1412多路复用视频流和音频流。在该多路复用中可以使用任何方法(或者任何格式可以用于由多路复用生成的位流)。在该多路复用中，多路复用器(MUX)1412还可以将预定的头信息等加入位流中。即，多路复用器(MUX)1412可以通过执行多路复用来转换流格式。例如，多路复用器(MUX)1412多路复用视频流和音频流，以将该格式转换成作为具有用于传输的格式的位流的传输流。而且，多路复用器(MUX)1412多路复用视频流和音频流，以例如执行到文件格式的数据(文件数据)的转换以用于记录。

多路分用器(DMUX)1413通过与由多路复用器(MUX)1412执行的多路复用兼容的方法，多路分用通过多路复用视频流和音频流所生成的位流。具体而言，多路分用器(DMUX)1413从自流缓冲器1414中读取的位流中提取视频流和音频流(或者分离视频流和音频流)。即，多路分用器(DMUX)1413可以通过执行多路分用来转换流格式(由多路复用器(MUX)1412执行的转换的逆向转换)。例如，多路分用器(DMUX)1413通过流缓冲器1414获取从例如连接装置1321或宽带调制解调器1333(均在图43示出)中提供的传输流，并且多路分用传输流，以将传输流转换成视频流和音频流。而且，例如，多路分用器(DMUX)1413通过流缓冲器1414获取通过连接装置1321(图43)从任何类型的记录介质中读取的文件数据，并且多路分用文件数据，以将文件数据转换成视频流和音频流。

流缓冲器1414缓冲位流。例如，流缓冲器1414缓冲从多路复用器(MUX)1412中提供的传输流，并且在预定的时间或者响应于来自外面的请求等，将传输流提供给例如连接装置1321或宽带调制解调器1333(均在图43示出)。

而且，例如，流缓冲器1414缓冲从多路复用器(MUX)1412中提供的文件数据，并且在预定的时间或者响应于来自外面的请求等，将文件数据提供给连接装置1321(图43)等，以将文件数据记录到任何类型的记录介质内。

进一步，流缓冲器1414缓冲通过例如连接装置1321或宽带调制解调器1333(均在图43示出)获得的传输流，并且在预定的时间或者响应于来自外面的请求等，将传输流提供给多路分用器(DMUX)1413。

而且，例如，流缓冲器1414缓冲在连接装置1321(图43)中从任何类型的记录介质中读取的文件数据，并且在预定的时间或者响应于来自外面的请求等，将文件数据提供给多路分用器(DMUX)1413。

接下来，描述具有以上配置的视频处理器1332的实例操作。例如，从连接装置1321(图43)等输入视频处理器1332中的视频信号在视频输入处理单元1401中被转换成具有预定格式(例如，4:2:2Y/Cb/Cr格式)的数字图像数据，并且将该数字图像数据顺次写入帧存储器1405内。数字图像数据也读入第一图像放大/缩小单元1402或第二图像放大/缩小单元1403内，经受到预定格式(例如，4:2:0Y/Cb/Cr格式)的格式转换并且经受放大/缩小处理，并且再次写入帧存储器1405内。该图像数据由编码/解码引擎1407编码，并且作为视频流写入视频ES缓冲器1408A内。

同时，从连接装置1321(图43)等中输入视频处理器1332中的音频信号由音频编码器1410编码，并且作为音频流写入音频ES缓冲器1409A内。

在视频ES缓冲器1408A内的视频流以及在音频ES缓冲器1409A内的音频流读入多路复用器(MUX)1412内，然后被多路复用，并且转换成传输流或文件数据等。由多路复用器(MUX)1412生成的传输流由流缓冲器1414缓冲，然后，通过连接装置1321或宽带调制解调器1333(均在图43示出)输出到外部网络。而且，由多路复用器(MUX)1412生成的文件数据由流缓冲器1414缓冲，输出给例如连接装置1321(图43)，并且记录到任何类型的记录介质内。

同时，例如，通过连接装置1321或宽带调制解调器1333(均在图43示出)从外部网络输入视频处理器1332中的传输流由流缓冲器1414缓冲，然后由多路分用器(DMUX)1413多路分用。而且，在连接装置1321(图43)等中从任何类型的记录介质中读取的并且输入视频处理器1332中的文件数据由流缓冲器1414缓冲，然后，由多路分用器(DMUX)1413多路分用。即，输入视频处理器1332中的传输流或文件数据由多路分用器(DMUX)1413分成视频流和音频流。

音频流通过音频ES缓冲器1409B提供给音频解码器1411，然后被解码以再现音频信号。同时，将视频流写入视频ES缓冲器1408B内，然后，由编码/解码引擎1407依次读取和解码，并且写入帧存储器1405内。解码的图像数据通过第二图像放大/缩小单元1403经受放大/缩小处理，并且写入帧存储器1405内。然后，解码的图像数据读入视频输出处理单元1404内，经受到预定格式(例如，4:2:2Y/Cb/Cr格式)的格式转换，并且进一步转换成模拟信号，使得再现和输出视频信号。

在本公开应用于如上设计的视频处理器1332中的情况下，根据任何上述实施方式的本公开可以应用于编码/解码引擎1407中。即，例如，编码/解码引擎1407可以具有根据第一实施方式的编码设备和解码设备的功能。据此，视频处理器1332可以实现与上面参考图1到图25描述的效果相似的效果。

应注意的是，在编码/解码引擎1407中，本公开(或根据一个上述实施方式的图像编码设备和图像解码设备的功能)可以由硬件(例如，逻辑电路)体现，可以由软件(例如，嵌入程序)体现，或者可以由硬件和软件体现。

(视频处理器的另一个实例配置)

图45示意性示出应用本公开的视频处理器1332(图43)的另一个实例配置。在图45示出的实例情况下，视频处理器1332具有通过预定的方法编码和解码视频数据的功能。

更具体而言，如图45所示，视频处理器1332包括控制单元1511、显示接口1512、显示引擎1513、图像处理引擎1514以及内部存储器1515。视频处理器1332还包括编解码器引擎1516、存储器接口1517、多路复用器/多路分用器(MUX DMUX)1518、网络接口1519以及视频接口1520。

控制单元1511控制视频处理器1332中的各个处理单元的操作，例如，显示接口1512、显示引擎1513、图像处理引擎1514以及编解码器引擎1516。

如图45所示，例如，控制单元1511包括主CPU 1531、次CPU 1532以及系统控制器1533。主CPU 1531执行程序等，用于控制视频处理器1332中的各个处理单元的操作。主CPU1531根据程序等生成控制信号，并且将控制信号提供给相应处理单元(或者控制各个处理单元的操作)。次CPU 1532起着针对主CPU 1531的辅助作用。例如，次CPU 1532执行主CPU1531要执行的程序等的子处理、子例程等。系统控制器1533控制主CPU 1531和次CPU 1532的操作，例如，由主CPU 1531和次CPU 1532执行的指定程序。

在控制单元1511的控制下，例如，显示接口1512将图像数据输出给连接装置1321(图43)。显示接口1512将数字图像数据转换成模拟信号，并且例如，照原样将作为再现的视频信号的图像数据或数字图像数据输出给连接装置1321(图43)的监视装置等。

在控制单元1511的控制下，显示引擎1513对图像数据执行各种转换处理，例如，格式转换、尺寸转换以及色域转换，以便符合显示图像的监视装置等的硬件规范。

在控制单元1511的控制下，图像处理引擎1514对图像数据执行预定的图像处理，例如，过滤处理，以用于提高图像质量。

内部存储器1515是在显示引擎1513、图像处理引擎1514以及编解码器引擎1516之间共享的存储器，并且在视频处理器1332内提供。例如，内部存储器1515用于在显示引擎1513、图像处理引擎1514以及编解码器引擎1516之间的数据交换。内部存储器1515储存从显示引擎1513、图像处理引擎1514或编解码器引擎1516中提供的数据，并且需要时(例如，响应于请求)将数据提供给显示引擎1513、图像处理引擎1514或编解码器引擎1516。内部存储器1515可以形成有任何储存装置。通常，内部存储器1515通常用于储存小容量的数据，例如，基于块的图像数据和参数。因此，内部存储器1515优选地形成有具有较小容量(与外部存储器1312相比)但是具有高响应速度的半导体存储器，例如，静态随机存取存储器(SRAM)。

编解码器引擎1516执行与图像数据的编码和解码相关的处理。编解码器引擎1516与任何编码/解码方法兼容，并且兼容方法的数量可以是1或者可以是2或更大。例如，编解码器引擎1516具有与编码/解码方法兼容的编解码器功能，并且可以通过从这些方法之中选择的一种方法，编码图像数据或者解码经编码的数据。

在图45示出的实例中，编解码器引擎1516包括MPEG-2视频1541、AVC/H.264 1542、HEVC/H.265 1543、HEVC/H.265(可扩展)1544、HEVC/H.265(多视点)1545以及MPEG-DASH1551，作为与编解码器相关的处理的功能块。

MPEG-2视频1541是通过MPEG-2编码或解码图像数据的功能块。AVC/H.264 1542是通过AVC编码或解码图像数据的功能块。HEVC/H.2651543是通过HEVC编码或解码图像数据的功能块。HEVC/H.265(可扩展)1544是通过HEVC对图像数据执行可扩展编码或可扩展解码的功能块。HEVC/H.265(多视点)1545是通过HEVC对图像数据执行多视点编码或多视点解码的功能块。

MPEG-DASH 1551是通过经由HTTP的MPEG动态自适应流媒体(MPEG-DASH)传输和接收图像数据的功能块。MPEG-DASH是用于使用超文本传输协议(HTTP)传送视频流的技术，并且其一个特征在于，从具有彼此不同分辨率的预定编码数据块之中，为每个段选择和传输适当的编码数据块。MPEG-DASH 1551生成符合标准的流，并且对流传输执行控制等。关于编码/解码图像数据，MPEG-DASH 1551使用上述MPEG-2视频1541到HEVC/H.265(多视点)1545。

存储器接口1517是用于外部存储器1312的接口。从图像处理引擎1514和编解码器引擎1516提供的数据通过存储器接口1517提供给外部存储器1312。同时，从外部存储器1312中读取的数据通过存储器接口1517提供给视频处理器1332(图像处理引擎1514或编解码器引擎1516)。

多路复用器/多路分用器(MUX DMUX)1518多路复用或多路分用与图像相关的各种数据，例如，编码数据的位流、图像数据以及视频信号。在该多路复用/多路分用中，可以使用任何方法。例如，在多路复用时，多路复用器/多路分用器(MUX DMUX)1518不仅将数据块整合成一块，而且将预定的头信息等加入数据中。在多路分用时，多路复用器/多路分用器(MUX DMUX)1518可以不仅将一个数据组分成几块，而且，将预定的头信息等加入每块分割的数据中。即，多路复用器/多路分用器(MUX DMUX)1518可以通过执行多路复用/多路分用来转换数据格式。例如，多路复用器/多路分用器(MUX DMUX)1518可以将位流转换成作为具有用于传输的格式的位流的传输流，或者通过多路复用位流，转换成具有用于记录的文件格式的数据(文件数据)。通过多路分用，当然还可以进行逆向转换。

例如，网络接口1519是用于宽带调制解调器1333和连接装置1321(均在图43示出)的接口。例如，视频接口1520是用于连接装置1321和相机1322(均在图43示出)的接口。

接下来，描述该视频处理器1332的实例操作。例如，在通过连接装置1321或宽带调制解调器1333(均在图43示出)从外部网络中接收传输流时，传输流通过网络接口1519被提供给多路复用器/多路分用器(MUX DMUX)1518，被多路分用，并且由编解码器引擎1516解码。例如，通过由编解码器引擎1516执行的解码所获得的图像数据经受通过图像处理引擎1514进行的预定的图像处理，经受通过显示引擎1513进行的预定的转换，并且通过显示接口1512提供给连接装置1321(图43)等，以便在监视器上显示图像。而且，通过由编解码器引擎1516执行的解码所获得的图像数据再次由编解码器引擎1516编码，由多路复用器/多路分用器(MUX DMUX)1518多路复用并且转换成文件数据，通过视频接口1520输出给连接装置1321(图43)等，并且记录到任何类型的记录介质内。

进一步，通过编码图像数据所生成的并且由连接装置1321(图43)等从记录介质(未示出)中读取的编码数据的文件数据通过视频接口1520提供给多路复用器/多路分用器(MUX DMUX)1518，被多路分用，并且由编解码器引擎1516解码。通过由编解码器引擎1516执行的解码所获得的图像数据经受通过图像处理引擎1514进行的预定的图像处理，经受通过显示引擎1513进行的预定的转换，并且通过显示接口1512提供给连接装置1321(图43)等，以便在监视器上显示图像。而且，通过由编解码器引擎1516执行的解码所获得的图像数据再次由编解码器引擎1516编码，由多路复用器/多路分用器(MUX DMUX)1518多路复用并且转换成传输流，例如，通过网络接口1519提供给连接装置1321或宽带调制解调器1333(均在图43示出)，并且传输给另一个设备(未示出)。

应注意的是，例如，使用内部存储器1515或外部存储器1312，在视频处理器1332中的相应处理单元之间进行图像数据和其他数据的交换。此外，例如，功率管理模块1313控制向控制单元1511的电力供应。

在本公开应用于如上设计的视频处理器1332的情况下，根据任何上述实施方式的本公开可以应用于编解码器引擎1516中。即，例如，编解码器引擎1516可以具有形成根据第一实施方式的编码设备和解码设备的功能块。进一步，在如上设计编解码器引擎1516时，视频处理器1332可以实现与上面参考图1到图25描述的效果相似的效果。

应注意的是，在编解码器引擎1516中，本公开(或根据任何上述实施方式的图像编码设备和图像解码设备的功能)可以由硬件(例如，逻辑电路)体现，可以由软件(例如，嵌入程序)体现，或者可以由硬件和软件体现。

虽然上面描述了视频处理器1332的两个实例配置，但是视频处理器1332可以具有除了上述两个实例配置以外的任何合适的配置。而且，视频处理器1332可以形成为单个半导体芯片，或者可以形成为半导体芯片。例如，视频处理器1332可以形成为半导体堆叠的三维叠层LSI。可替换地，视频处理器1332可以形成有LSI。

(设备的实例应用)

视频机1300可以包含在处理图像数据的各种设备内。例如，视频机1300可以包含在电视设备900(图36)、便携式电话设备920(图37)、记录/再现设备940(图38)、成像设备960(图39)等内。在视频机1300包含在设备内时，该设备可以实现与上面参考图1到图25描述的效果相似的效果。

视频机1300还可以包含在终端装置内，例如，在图40示出的数据传输系统1000中的个人计算机1004、AV装置1005、平板装置1006或便携式电话装置1007、在图41示出的数据传输系统1100中的广播站1101和终端装置1102、以及在图42示出的成像系统1200中的成像设备1201和可扩展编码数据储存装置1202。在视频机1300包含在设备内时，该设备可以实现与上面参考图1到图25描述的效果相似的效果。

应注意的是，上述视频机1300内的甚至一个元件可以体现为应用本公开的结构，只要这个元件包括视频处理器1332。例如，视频处理器1332可以体现为应用本公开的视频处理器。而且，由上述虚线1341表示的处理器、视频模块1311等可以体现为应用本公开的处理器、模块等。进一步，例如，视频模块1311、外部存储器1312、功率管理模块1313以及前端模块1314可以组合到应用本公开的视频单元1361内。通过任何以上结构，可以实现与上面参考图1到图25描述的效果相似的效果。

即，与视频机1300一样，包括视频处理器1332的任何结构可以包含在处理图像数据的各种设备内。例如，视频处理器1332、由虚线1341表示的处理器、视频模块1311或视频单元1361可以包含在电视设备900(图36)、便携式电话设备920(图37)、记录/再现设备940(图38)、成像设备960(图39)、终端装置(例如，在图40示出的数据传输系统1000中的个人计算机1004、AV装置1005、平板装置1006以及便携式电话装置1007、在图41示出的数据传输系统1100中的广播站1101和终端装置1102、以及在图42示出的成像系统1200中的成像设备1201和可扩展编码数据储存装置1202)内。在应用本公开的一个结构包含在设备内时，该设备可以实现与上面参考图1到图25描述的效果相似的效果，与在视频机1300的情况下一样。

应注意的是，在本说明书中，描述了各种信息块(例如，VPS和SPS)与编码数据多路复用并且从编码侧传输给解码侧的实例。然而，传输信息的方法不限于以上实例。例如，信息块可以作为与编码数据相关联的单独数据传输或记录，而不与编码数据多路复用。在此处，术语“相关联”表示允许包含在位流内的图像(可以是诸如片或块等图像的一部分)在解码时链接至对应于图像的信息。即，可以通过与编码数据的传输路径不同的传输路径，传输信息。可替换地，可以在除了用于编码数据的记录介质以外的记录介质中(或者在位于相同的记录介质内的不同区域中)记录信息。而且，信息和编码数据可以以任何单位彼此相关联，例如，在一些帧、一个帧或帧的一部分的单位。

此外，在本说明书中，系统表示元件(设备、模块(部件)等)的组件，并非需要在相同的外壳内提供所有的元件。有鉴于此，容纳在不同的外壳并且通过网络彼此连接的设备形成系统，并且具有容纳在一个外壳内的模块的一个设备也是系统。

在本说明书中描述的有利效果仅仅是实例，并且本技术的有利效果不限于此，并且可以包括其他效果。

应注意的是，本公开的实施方式不限于上述实施方式，并且在不背离本公开的范围的情况下，可以对其进行各种修改。

例如。本公开还可以应用于编码设备和解码设备中，其实施除了HEVC以外的编码方法并且可以执行变换跳跃。

本公开还可以应用于编码设备和解码设备中，其用于通过网络介质(例如，卫星广播、有线电视、互联网或便携式电话)接收编码流，或者用于处理储存介质(例如，光盘或磁盘或闪速存储器)内的编码流。

进一步，可以在云计算配置中实施本公开，其中，通过网络在装置之间共享一个功能，并且由彼此配合的装置执行处理。

此外，参考上面描述的流程图描述的各个步骤可以由一个装置执行或者可以在装置之间共享。

在一个步骤中包括不止一个处理的情况下，包含在该步骤中的处理可以由一个装置执行或者可以在装置之间共享。

虽然上面参考附图描述了本公开的优选实施方式，但是本公开不限于那些实例。显然，本领域的技术人员可以在本文中要求的技术精神的范围内进行各种变化或修改，并且应理解的是，那些变化或修改在本公开的技术范围内。

应注意的是，还可以在下面描述的结构中实施本技术。

(1)一种图像编码设备，包括：

设定单元，被配置成设定控制信息，用于控制跨片的画面内运动预测；

编码单元，被配置成根据由所述设定单元设定的控制信息，编码图像以生成位流；以及

传输单元，被配置成传输由所述设定单元设定的控制信息以及由所述编码单元生成的位流。

(2)根据(1)所述的图像编码设备，其中，所述设定单元将参考许可标记设定为控制信息，所述参考许可标记表示允许参考当前片和按照光栅扫描顺序在所述当前片之前的片的解码结果。

(3)根据(2)所述的图像编码设备，其中，所述设定单元在图片参数集(PPS)内设定参考许可标记。

(4)根据(1)到(3)中任一项所述的图像编码设备，其中，所述设定单元将参数设定为控制信息，所述参数表示具有可参考的解码结果的先前片的数量。

(5)根据(1)到(4)中任一项所述的图像编码设备，其中，所述设定单元将打开/关闭标记设定为控制信息，所述打开/关闭标记表示是否能够执行跨片的画面内运动预测。

(6)根据(5)所述的图像编码设备，其中，所述设定单元在序列参数集(SPS)和视频参数集(VPS)中的一个内设定打开/关闭标记。

(7)根据(2)到(6)中任一项所述的图像编码设备，其中，在波前平行处理(WPP)“打开”时，所述设定单元限制参考的范围，并且设定所述参考许可标记。

(8)根据(2)到(6)中任一项所述的图像编码设备，其中，在铺片分割“打开”时，所述设定单元设定所述参考许可标记。

(9)根据(2)到(6)中任一项所述的图像编码设备，其中，在时间运动约束的铺片集SEI(MCTS-SEI)“打开”时，所述设定单元将所述参考许可标记设定为“关闭”。

(10)一种由图像编码设备实施的图像编码方法，

所述图像编码方法包括：

设定控制信息，用于控制跨片的画面内运动预测；

根据设定的控制信息，编码图像以生成位流；并且

传输设定的控制信息以及生成的位流。

(11)一种图像解码设备，包括：

接收单元，被配置成接收通过编码图像所生成的位流；

提取单元，被配置成从由所述接收单元接收的位流中提取控制信息，所述控制信息被设计成用于控制跨片的画面内运动预测；以及

解码单元，被配置成使用由提取单元提取的控制信息，解码由所述接收单元接收的位流以生成图像。

(12)根据(11)所述的图像解码设备，其中，所述提取单元提取参考许可标记，作为控制信息，所述参考许可标记表示允许参考当前片以及按照光栅扫描顺序在所述当前片之前的片的解码结果。

(13)根据(12)所述的图像解码设备，其中，所述提取单元从图片参数集(PPS)中提取参考许可标记。

(14)根据(11)到(13)中任一项所述的图像解码设备，其中，所述提取单元提取参数，作为控制信息，所述参数表示具有可参考的解码结果的先前片的数量。

(15)根据(11)到(14)中任一项所述的图像解码设备，其中，所述提取单元提取打开/关闭标记，作为控制信息，所述打开/关闭标记表示是否可以执行跨片的画面内运动预测。

(16)根据(15)所述的图像解码设备，其中，所述提取单元从序列参数集(SPS)和视频参数集(VPS)中的一个中提取打开/关闭标记。

(17)根据(12)到(16)中任一项所述的图像解码设备，其中，在波前平行处理(WPP)“打开”时，所述提取单元限制参考的范围，并且提取所述参考许可标记。

(18)根据(12)到(16)中任一项所述的图像解码设备，其中，在铺片分割“打开”时，所述提取单元提取所述参考许可标记。

(19)根据(12)到(16)中任一项所述的图像解码设备，其中，在时间运动约束的铺片集SEI(MCTS-SEI)“打开”时，所述提取单元提取设定为“关闭”的所述参考许可标记。

(20)一种由图像解码设备实施的图像解码方法，

所述图像解码方法包括：

接收通过编码图像所生成的位流；

从接收的位流中提取控制信息，所述控制信息被设计成用于控制跨片的画面内运动预测；并且

使用提取的控制信息，解码接收的位流以生成图像。

符号说明

10：编码设备

11：设定单元

12：编码单元

13：传输单元

46：帧内预测单元

110：解码设备

111：接收单元

112：提取单元

113：解码单元

143：帧内预测单元

Claims

1.一种图像编码设备，包括：

设定单元，被配置成设定控制信息，所述控制信息用于控制跨片的画面内运动预测；

编码单元，被配置成根据由所述设定单元设定的所述控制信息，编码图像以生成位流；以及

传输单元，被配置成传输由所述设定单元设定的所述控制信息以及由所述编码单元生成的所述位流。

2.根据权利要求1所述的图像编码设备，其中，所述设定单元将参考许可标记设定为所述控制信息，所述参考许可标记表示允许参考当前片以及按照光栅扫描顺序在所述当前片之前的片的解码结果。

3.根据权利要求2所述的图像编码设备，其中，所述设定单元在图片参数集(PPS)内设定所述参考许可标记。

4.根据权利要求2所述的图像编码设备，其中，所述设定单元将参数设定为所述控制信息，所述参数表示具有可参考的解码结果的先前片的数量。

5.根据权利要求2所述的图像编码设备，其中，所述设定单元将打开/关闭标记设定为所述控制信息，所述打开/关闭标记表示是否能够跨片执行所述画面内运动预测。

6.根据权利要求5所述的图像编码设备，其中，所述设定单元在序列参数集(SPS)和视频参数集(VPS)中之一内设定所述打开/关闭标记。

7.根据权利要求2所述的图像编码设备，其中，在波前平行处理(WPP)为“打开”时，所述设定单元限制参考的范围，并且设定所述参考许可标记。

8.根据权利要求2所述的图像编码设备，其中，在铺片分割为“打开”时，所述设定单元设定所述参考许可标记。

9.根据权利要求2所述的图像编码设备，其中，在时间运动约束铺片集SEI(MCTS-SEI)为“打开”时，所述设定单元将所述参考许可标记设定为“关闭”。

10.一种由图像编码设备实施的图像编码方法，

所述图像编码方法包括：

设定控制信息，所述控制信息用于控制跨片的画面内运动预测；

根据设定的所述控制信息，编码图像以生成位流；并且

传输设定的所述控制信息以及生成的所述位流。

11.一种图像解码设备，包括：

接收单元，被配置成接收通过编码图像所生成的位流；

提取单元，被配置成从由所述接收单元接收的实施位流中提取控制信息，所述控制信息被设计成用于控制跨片的画面内运动预测；

以及

解码单元，被配置成使用由所述提取单元提取的所述控制信息，解码由所述接收单元接收的所述位流，以生成图像。

12.根据权利要求11所述的图像解码设备，其中，所述提取单元提取参考许可标记作为所述控制信息，所述参考许可标记表示允许参考当前片以及按照光栅扫描顺序在所述当前片之前的片的解码结果。

13.根据权利要求12所述的图像解码设备，其中，所述提取单元从图片参数集(PPS)中提取所述参考许可标记。

14.根据权利要求12所述的图像解码设备，其中，所述提取单元提取参数作为所述控制信息，所述参数表示具有可参考的解码结果的先前片的数量。

15.根据权利要求12所述的图像解码设备，其中，所述提取单元提取打开/关闭标记作为所述控制信息，所述打开/关闭标记表示是否能够执行跨片的画面内运动预测。

16.根据权利要求15所述的图像解码设备，其中，所述提取单元从序列参数集(SPS)和视频参数集(VPS)中之一中提取所述打开/关闭标记。

17.根据权利要求12所述的图像解码设备，其中，在波前平行处理(WPP)为“打开”时，所述提取单元限制参考的范围，并且提取所述参考许可标记。

18.根据权利要求12所述的图像解码设备，其中，在铺片分割为“打开”时，所述提取单元提取所述参考许可标记。

19.根据权利要求12所述的图像解码设备，其中，在时间运动约束的铺片集SEI(MCTS-SEI)为“打开”时，所述提取单元提取被设定为“关闭”的所述参考许可标记。

20.一种由图像解码设备实施的图像解码方法，所述图像解码方法包括：

接收通过编码图像所生成的位流；

从接收的所述位流中提取控制信息，所述控制信息被设计成用于控制跨片的画面内运动预测；并且

使用提取的所述控制信息，解码接收的所述位流以生成图像。