CN107683606B

CN107683606B - 图像处理装置和图像处理方法

Info

Publication number: CN107683606B
Application number: CN201680030966.7A
Authority: CN
Inventors: 中神央二
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2015-06-05
Filing date: 2016-05-25
Publication date: 2021-11-05
Anticipated expiration: 2036-05-25
Also published as: JPWO2016194721A1; EP3306925A4; EP3306925A1; US20180124411A1; JP6711353B2; CN107683606A; EP3306925B1; KR20180016348A; US11140400B2; WO2016194721A1

Abstract

本公开涉及图像处理装置和图像处理方法，其使得能够减小在执行利用画面内的相关性的帧内BC预测时的处理负荷。限制单元限制当前块的运动矢量用于利用画面内的相关性的帧内BC预测，这样，当前块外围的像素不被用于当前块的帧内BC预测。例如，本公开可被应用于编码装置，其例如在使用类似于高效视频编码(HEVC)的系统而执行基于编码单元(CU)的编码时，执行帧内BC预测。

Description

图像处理装置和图像处理方法

技术领域

本公开涉及图像处理装置和图像处理方法，更具体地，涉及能够减小在执行利用画面内的相关性的帧内BC预测时减小处理负荷的图像处理装置和图像处理方法。

背景技术

近年来，通过采用编码系统以数字方式处理图像信息并压缩和编码图像的装置变得越来越广泛，其中，通过诸如离散余弦变换的正交变换和运动补偿、利用特定于图像的冗余来有效的传输和积累信息，来对图像进行压缩。该编码系统包括MPEG(运动画面专家小组)、H.264/H.264/MPEG-4 Part10Advanced Video Coding(以下称为H.264/AVC或AVC/H.264)，等等。

目前，为了进一步提高H.264/AVC的编码效率的目的，被称为HEVC(高效视频编码)的编码系统正在由JCTVC(联合协作团队-视频编码)标准化，JCTVC是由ITU-T和ISO/IEC合作的标准化机构。

此外，Range Extension(HEVC)已被讨论，用于支持例如high-end格式，例如HEVC中的诸如4：2：2和4：4：4的色差信号格式图像、画面内容的简档等(例如，见非专利文献1)。

顺便提及，帧内块复制(帧内BC)是一种编码工具，它通过利用画面内的相关性并在画面内执行运动补偿，来进行预测。已知帧内BC是这样的工具，它有助于提高计算机画面和诸如CG图像的人工图像的编码效率。帧内BC不能被用作上述HEVC Range Extension的扩展的技术，并且，不断在讨论用于标准化画面内容编码(SCC)扩展的技术(例如，见非专利文献2)。

在当前帧内BC预测中，可参考按照编码顺序的当前块之前的所有区域、其中，当前块是作为当前图片中的当前编码目标的CU(编码单元)。然而，在诸如去块滤波处理和SAO(采样自适应偏移)的滤波处理中，特定CU周围的区域受到该CU的影响。因此，在对当前块编码时，未在当前块周围的可参考区域的区域中执行滤波处理。因此，通过在滤波处理之前参考当前图片中的可参考区域，执行帧内BC预测。

另一方面，帧间预测中的参考图片是与当前图片不同的参考图片。因此，在对当前块编码时，对参考图片中的所有区域进行滤波处理。因此，通过在滤波处理后参考所述参考图片，执行帧间预测。

如上所述，在当前的帧内BC预测中，按照编码顺序的当前块之前的所有区域可被参考。因此，参考滤波处理之前的图片，这与帧间预测不同。因此，有必要将滤波处理之前的图片暂时维持在缓存等中，并且，存储频带和处理负荷增加。此外，安装成本也增加了。

此外，在并行执行编码的情况下，当前块的相邻像素的解码不能在对当前块编码的时刻之前完成。因此，不能参考按照编码顺序的当前块之前的所有区域。因此，在当前的帧内BC预测中，难以通过并行执行编码来减小处理负载。

引用列表

非专利文献

非专利文献1：Jill Boyce,et al.“Draft high efficiency video coding(HEVC)version 2,combined format range extensions(RExt),scalability(SHVC),andmulti-view(MV-HEVC)extensions”,JCTVC-R1013_v6,2014.10.1

非专利文献2：Rajan Joshi,et al.“High Efficiency Video Coding(HEVC)Screen Content Coding:Draft 3”,JCTVC-T1005,2015.2.10-2015.2.17

发明内容

技术问题

如上所述，希望减小在执行利用画面内的相关性的帧内BC时的处理负荷。

鉴于上述情况做出了本公开，以便减小在执行利用画面内的相关性的帧内BC时的处理负荷。

对问题的解决方案

根据本公开的一个方面的图像处理装置是这样的图像处理装置，其包括限制单元，其限制被用于利用画面内的相关性的预测的当前块的运动矢量，使得当前块的外围像素不被用于当前块的预测。

根据本公开的一个方面的图像处理方法对应于本公开的上述方面的图像处理装置。

在本公开的一个方面，限制要用于利用画面中的相关性的预测的当前块的运动矢量，使得当前块的外围像素不被用于当前块的预测。

注意，根据本公开的所述方面的图像处理装置可以通过使计算机执行程序来实现。

此外，为了实现根据本公开的所述方面的图像处理装置，通过经由传输介质将由计算机执行的程序发送或将其记录在记录介质上，可以提供由计算机执行的程序。

根据本公开的所述方面的图像处理装置可以是独立装置，也可以是构成单个装置的内部块。

发明的有益效果

根据本公开的一个方面，能够预测图像。此外，根据本公开的一个方面，可以减小在执行利用画面内的相关性的帧内BC预测时的处理负荷。

应该指出的是，这里所描述的效果不一定是限制性的，且可给出在当前公开中描述的任何效果。

附图说明

图1是示出应用了本公开的编码装置的实施例的配置示例的框图；

图2是示出帧内BC预测单元的配置示例的框图；

图3是示出参考范围的示例的图；

图4是描述图1的编码装置的编码处理的流程图；

图5是描述图1的编码装置的编码处理的流程图；

图6是描述帧内BC预测处理的细节的流程图；

图7是示出应用了本公开的解码装置的实施例的配置示例的框图；

图8是描述图7的解码装置的解码处理的流程图；

图9是示出计算机的硬件的配置示例的框图；

图10是示出应用了本公开的电视装置的示意性配置示例的框图；

图11是示出应用了本公开的移动电话的示意性配置示例的框图；

图12是示出应用了本公开的记录再现装置的示意性配置示例的框图；

图13是示出应用了本公开的成像装置的示意性配置示例的框图；

图14是示出应用了本公开的视频设备的示意性配置示例的框图；

图15是示出应用了本公开的视频处理器的示意性配置示例的框图；

图16是示出应用了本公开的视频处理器的另一示意性配置示例的框图。

具体实施方式

下文中，将描述用于进行本公开的模式(下文中称为实施例)。注意，将以下面的次序给出描述。

1、第一实施例：编码装置和解码装置(图1至8)

2、第二实施例：计算机(图9)

3、第三实施例：电视装置(图10)

4、第四实施例：移动电话(图11)

5、第五实施例：记录再现装置(图12)

6、第六实施例：成像装置(图13)

7、第六实施例：视频设备(图14至16)

<第一实施例>

(编码装置的实施例的配置示例)

图1是示出应用了本公开的作为图像处理装置的编码装置的实施例的配置示例的框图。

图1的编码装置70包括A/D转换单元71、画面重排缓冲器72、运算单元73、正交变换单元74、量化单元75、可逆编码单元76、累积缓冲器77、生成单元78、逆量化单元79、逆正交变换单元80、以及加法单元81。此外，编码装置70包括滤波器82、帧存储器85、切换器86、帧内预测单元87、运动预测/补偿单元89、预测图像选择单元92和比率控制单元93。编码装置70按照符合HEVC的制式，以帧为单位编码图片。

编码单元是具有递归分层结构的编码单元(CU)。具体而言，通过将画面水平地分成固定大小的CTU(编码树单元)、并垂直地平分这样的CTU任意次数而设置CU。CU的最大大小是LCU(最大编码单元)，最小大小是SCU(最小编码单元)。此外，CU被分为PU(预测单元)或TU(变换单元)。

编码装置的A/D转换单元71以已作为编码目标输入的帧为单位，对画面进行A/D转换。A/D转换单元71将作为转换后的数字信号的图片输出到画面记录缓冲器72，以存储它。

画面重排缓冲器72以用于以取决于GOP结构的方式编码的次序，对以显示次序布置的、以帧为单位存储的图片进行重排。画面重排缓冲器72将重排的图片设置为当前图片，并将当前图片各自的CU依次设置为当前块。屏幕重排缓冲器72将当前块输出到运算单元73、帧内预测单元87和运动预测/补偿单元89。

运算单元73通过从画面重排缓冲器72提供的当前块中减去从预测图像选择单元92提供的预测图像，来执行编码。运算单元73将所得图片作为残差信息输出到正交变换单元74。注意，如果未从预测图像选择单元92提供预测图像，则运算单元73将已从画面重排缓冲器72读取的当前块按原样输出到正交变换单元74，作为残差信息。

正交变换单元74逐TU对来自运算单元73的残差信息进行正交变换。正交变换单元74将正交变换产生的正交变换系数提供给量化单元75。

量化单元75对从正交变换单位74提供的正交变换系数进行量化。量化单元将量化的正交变换系数提供到可逆编码单元76。

可逆编码单元76从帧内预测单元87获取指示最佳帧内预测模式的帧内预测模式信息。此外，可逆编码单元76确定指示最佳帧间预测模式的帧间预测模式信息、运动矢量和参考图片，并从运动预测/补偿单元89获取参考图片特定信息等。此外，可逆编码单元76从滤波器82获取关于自适应偏移滤波器处理的偏移滤波器信息。

可逆编码单元76对从量化单元75提供的量化的正交变换系数执行可逆编码，如可变长度编码(例如，CAVLC(基于上下文的自适应可变长度编码)等)、算术编码(例如，CABAC(上下文自适应二进制算术编码)等)。

此外，可逆编码单元76对帧内预测模式信息、或帧间预测模式信息、运动矢量及参考图片特定信息、以及偏移滤波信息等执行可逆编码，作为有关编码的编码信息。可逆编码单元76将可逆编码后的编码信息等添加到可逆编码后的正交变换系数中，并将它们作为编码数据提供给累积缓冲器77。

累积缓冲器77临时存储从可逆编码单元76提供的编码数据。此外，累积缓冲器77将存储的编码数据提供给生成单元78。

生成单元78从诸如SPS(序列参数集)和PPS(图片参数集)、以及从累积缓冲器77提供的编码数据，生成编码流。生成单元78将其输出。

此外，已从量化单元75输出量化的正交变换系数也被输入到逆量化单元79。逆量化单元79按照与量化单元75的量化方法相对应的方法，对量化单元75量化的正交变换系数进行逆量化。逆量化单元79将从逆量化产生的正交变换系数提供到逆正交变换单元80。

逆正交变换单元80按照与正交变换单元74的正交变换方法相对应的方法，逐TU对从逆量化单元79提供的正交变换系数执行逆正交变换。逆正交变换单元80将所得残差信息提供给加法单元81。

加法单元81通过将从逆正交变换单元80提供的残差信息加到从预测图像选择单元92提供的预测图像，来解码当前块。注意，如果未从预测图像选择单元92提供预测图像，则加法单元81将从逆正交变换单元80提供的残差信息设置为解码结果。加法单元81将当前块提供给帧存储器85和滤波器82。

滤波器82保持已从加法单元81提供的当前块，作为编码的CU。滤波器82使用从加法单元81提供的当前块、以及与保持的当前块相邻的编码的CU(以下简称为相邻块)，用于围绕当前块和相邻块之间的边界对与边界垂直布置的每组最多三个像素执行去块滤波处理。

滤波器82对去块滤波处理后的像素执行SAO处理。作为SAO处理的类型，有边缘偏移处理和频带偏移处理，并且，逐LCU选择它们。

通过使用围着作为处理目标的像素而水平、垂直或斜向布置的两个像素的像素值，执行边缘偏移处理。因此，通过使用其它相邻CU，执行围绕相邻CU之间的边界的与边界垂直布置的每次最多一个像素的边缘偏移处理。

滤波器82将SAO处理后的像素提供到帧存储器85。此外，滤波器82将指示所执行的SAO处理的类型和偏移的信息作为偏移滤波信息提供到可逆编码单元76。

帧存储器85由例如DRAM(动态随机存取存储器)构成。帧存储器85存储从加法单元81提供的去块滤波处理之前的当前块的一部分、以及从滤波器82提供的SAO处理之后的像素。已存储在帧存储器85中的去块滤波处理之前的像素中的与PU相邻的像素经由切换器86被提供到帧内预测单元87，作为外围像素。

此外，已在帧存储器85中存储的SAO处理之后的当前图片、以及按照编码顺序在当前图片之前的SAO处理之后的图片经由切换器86被输出到运动预测/补偿单元89，作为参考图片的候选。

帧内预测单元87通过使用经由切换器86从帧存储器85读取的外围像素，对成为候选的所有帧内预测模式执行逐PU的帧内预测处理。

此外，帧内预测单元87逐PU计算关于所有帧内预测模式的代价函数值(后面将详细描述)，其中，所有帧内预测模式基于从画面重排缓冲器72提供的当前块、以及由帧内预测处理产生的预测图像而成为候选。然后，帧内预测单元87逐PU确定其代价函数值最小的帧内预测模式，作为最佳帧内预测模式。

帧内预测单元87向预测图像选择单元92提供关于当前块的在最佳帧内预测模式的基础上生成的预测图像、以及相应的代价函数值。当被通知了由预测图像选择单元92选择了在最佳帧内预测模式上生成的预测图像时，帧内预测单元87将当前块的每个PU的帧内预测模式信息提供给可逆编码单元76。

注意，代价函数值也被称为RD(比率失真)代价，且是基于高复杂度模式或低复杂度模式的方法而被计算出的，所述模式是由例如作为H.264/AVC系统中的参考软件的JM(联合模型)定义的。注意，H.264/AVC系统中的参考软件被发布在http://iphome.hhi.de/ suehring/tml/index.htm。

运动预测/补偿单元89逐PU对成为候选的所有PU模式执行帧间预测和帧内BC预测。例如，PU模式是表示针对于CU划分PU的系统的模式。

具体地，运动预测/补偿单元89在每种PU模式上将当前图片和按照编码顺序的先前图片的编码区域划分为PU大小的区域，并将那些区域依次设置为搜索区域，其中，当前图片的水平和垂直分辨率已变为4倍。

此外，运动预测/补偿单元89将当前图片中除去当前块的外围像素等的预定范围设置为要被用于检测当前块的运动矢量的参考范围。如果在参考范围内存在搜索区域，则运动预测/补偿单元89经由切换器86从帧存储器85读取SAO处理后的当前图片的搜索区域，作为参考图片的参考块的候选。

运动预测/补偿单元89确定从画面重排缓冲器72提供的当前块的每个PU和参考图片的参考块的候选之间的相关值。如果确定的相关值大于保留的相关值，则运动预测/补偿单元89对于每个PU模式的每个PU确定与该相关值对应的当前块的PU、以及参考图片的参考块的候选之间的整数像素精度的运动矢量，作为帧间BC预测的最佳矢量。运动预测/补偿单元89对每个PU模式的每个PU保留帧内BC预测的最佳矢量和相应的相关值。运动预测/补偿单元89针对每个PU模式的每个PU，根据帧内BC预测的最佳矢量，对参考图片的参考块的候选执行补偿处理，并生成预测图像。

另外，如果搜索区域位于按照编码顺序的当前图片之前的图片内，则运动预测/补偿单元89从帧存储器85读取与SAO处理之后的图片的搜索区域相对应区域，作为参考图片的参考块的候选。运动预测/补偿单元89使当前块以及参考图片的参考块的候选的水平和垂直分辨率变为4倍。

运动预测/补偿单元89确定分辨率已变为4倍的当前块的每个PU和参考图片的参考块的候选之间的相关值。如果确定的相关值大于保留的相关值，则运动预测补偿单元89对每个PU模式的每个PU确定与该相关值相对应的当前块的PU和参考图片的参考块的候选之间的1/4像素精度的运动矢量，作为对帧间预测的最佳矢量。运动预测/补偿单元89对每个PU模式的每个PU保留帧间预测的最佳矢量和相应的相关值。运动预测/补偿单元89针对每个PU模式的每个PU，根据帧间预测的最佳矢量而对参考图片的参考块的候选执行补偿处理，并生成预测图像。

此外，基于当前块和预测图像，运动预测/补偿单元89逐PU对变为候选的所有PU模式计算关于帧内预测和帧内BC预测的代价函数值。运动预测/补偿单元89逐PU确定代表代价函数值最小的PU模式的模式、以及帧间预测还是帧内BC预测，作为最佳帧间预测模式。然后，运动预测/补偿单元89向预测图像选择单元92提供关于当前块的在最佳帧间预测模式中生成的预测图像、以及相应的代价函数值。

当被通知了由预测图像选择单元92选择了在最佳帧间预测模式中生成的预测图像时，运动预测/补偿单元89将参考图片的候选确定为参考图片。然后，运动预测/补偿单元89向可逆编码单元76提供运动矢量、参考图片特定信息和与该预测图像相对应的帧间预测模式信息。

基于从帧内预测单元87和运动预测/补偿单元89提供的代价函数值，预测图像选择单元92确定对应的代价函数值较小的最佳帧内预测模式和最佳帧间预测模式的任一个，作为最佳预测模式。然后，预测图像选择单元92将最佳预测模式的预测图像提供给运算单元73和加法单元81。此外，预测图像选择单元92将最佳预测模式的预测图像的选择通知给帧内预测单元87或运动预测/补偿单元89。

根据在累积缓冲器77中累积的编码数据，比率控制单元93控制量化单元75的量化操作的比率，以防止溢出或下溢。

(帧内BC预测单元的配置示例)

图2是示出执行图1的运动预测/补偿单元89的帧内BC预测等的帧内BC预测单元的配置示例的框图。

图2中的帧内BC预测单元100由限制单元101、检测单元102和预测单元103构成。

限制单元101将当前图片的当前块中除去外围像素等的预定范围设置为要用于检测当前块的运动矢量的参考范围。也就是说，限制单元101将当前块的运动矢量限制为用于帧内BC预测，使得当前块的外围像素不用于当前块的帧内BC预测。限制单元101向检测单元102提供参考范围。

如果搜索区域存在于从限制单元101提供的参考范围内，则检测单元102经由切换器86从帧存储器85读取SAO处理之后的搜索区域，作为参考图片的参考块的候选。

检测单元102确定从画面重排序缓冲器72提供的当前块的每个PU和参考图片的参考块的候选之间的相关值。如果确定的相关值大于保留相关值，则检测单元102对每个PU模式的每个PU确定与该相关值相对应的当前块的PU和参考图片的参考块的候选之间的整数像素精度的运动矢量，作为帧内BC预测的最佳矢量。检测单元102保留帧内BC预测的最佳矢量和相应的相关值。然后，一旦将当前图片的所有编码区域设置为搜索区域，则检测单元102在每个PU模式下将每个PU的帧内BC预测的最佳矢量提供给预测单元103。

基于从检测单元102提供的最佳矢量，预测单元103针对每个PU模式的每个PU，对参考图片的参考块的候选执行补偿处理，从而执行帧内BC预测，并生成预测图像。此外，预测单元103逐PU根据从画面重排缓冲器72提供的当前块和预测图像，对成为候选的所有PU模式计算关于帧内BC预测的代价函数值。预测单元103输出计算的代价函数值和预测图像。

将以上述方式从帧内BC预测单元100输出的代价函数值和与每个PU模式的帧间预测相对应的代价函数值相比较。由此确定最佳帧间预测模式。

(参考范围的例子)

图3是示出参考范围的示例的图。

在图3的示例中，作为编码目标的图像被分为7(水平)×5(垂直)CU。

如果当前块是中心处的CU 111，则由存在于CU 111之上、或位于与CU111相同的垂直位置、以及存在于CU 111的左手侧的CU形成的CU组112已被编码。另一方面，CU 111和由存在于CU 111之下、或位于与CU 111相同的垂直位置、以及存在于CU 111的右手侧的CU形成的CU组113尚未被编码。

此外，如上所述，在去块滤波处理中，从CU中的相邻CU的边界起与该边界垂直地布置的最多三个像素受该相邻CU影响。此外，在SAO处理中，从CU中的相邻CU的边界起与该边界垂直地布置的最多1个像素受该相邻CU影响。

因此，如图3所示，在CU组112内的区域114上可能还未执行SAO处理，其中从CU组112和CU组113之间的边界起与该边界垂直地对应于三个像素而布置CU组112内的区域114。因此，限制单元101从参考范围中排除CU组112的区域114，其与CU组113的水平或垂直距离等于或小于相当于三像素的距离。

由此，可以通过使用已执行了SAO处理的CU组112的区域114之外的区域来执行帧内BC预测。因此，有必要提供用于帧内BC预测的缓存，这与在去块滤波处理和SAO处理之前暂时将CU 112保留在缓存等中、并将其用于帧内BC预测的情况不同。结果，可以防止存储器频带、处理负荷和安装成本的增加。

当从参考范围中排除区域114时，CU 111内的PU 115的运动矢量(mvLX[0]z>>2，mvLX[1]>>2)满足以下表达式(1)的条件。

[表达式1]

if(xB|+(mvLX[0]＞＞2)+nPbW＜xCb-3)

yB|+(mvLX[1]＞＞2)+nPbH＜yCb+nCbS-3

else

yB|+(mvLX[1]＞＞2)+nPbH＜yCb-3…(1)

注意，xBL和yBL分别为PU 115的左上顶点的x坐标和y坐标。此外，nPbW和nPbH分别为PU 115的水平大小和垂直大小。此外，xCb和yCb分别为CU 111的左上顶点的x坐标和y坐标的Cu 111。

另外，如果编码处理是通过WPP(波前并行处理)对当前图片并行执行的，则为了使参考范围可参考，限制单元101从参考范围中排除从包括CU 111的CTU向右偏离2N个CTU又向上偏离N个CTU的CTU、以及该CTU右侧和右上侧的CTU。

在图3的示例中，CU是CTU，且N为1。因此，限制单元101从参考范围中排除区域118。区域118包括从CU 111上面的CU向右偏离了2个CU的CU 117、以及CU 117右侧和右上侧的CU。

如上所述，帧内BC预测中的参考范围是排除了CU组112内的区域114和区域118的区域。因此，具有等于PU 115的大小、且与CU 111左相邻的块119、以及具有等于PU 115的大小、且与CU 111上相邻的块120不被用于检测PU的运动矢量。虽然要用于运动矢量的图像以此方式被限制，但对编码效率的影响是微不足道的。

注意，xCb和yCb不需要为CU 111，而可为包括CU 111的CTU的左上顶点的x坐标和y坐标。

(编码装置的处理的描述)

图4和5是描述图1的编码装置70的编码处理的流程图。

在图4的步骤S31中，编码装置70的A/D转换单元71对作为编码目标输入的以帧为单位的画面进行A/D转换，并将作为转换后的数字信号的图片输出到画面重排缓冲器72，以便存储它。

在步骤S32，画面重排缓冲器72将按照显示次序布置、以帧为单位存储的图片重新排序，以便以取决于GOP结构的方式进行编码。画面重排缓冲器72将以帧为单位记录的画面设置为当前图片，并依次将当前图片各自的CU作为当前块。画面重排缓冲器72将当前块提供给运算单元73、帧内预测单元87和运动预测/补偿单元89。

在步骤S33，帧内预测单元87逐PU使用经由切换器86从帧存储器85读取的外围像素，以对成为候选的所有帧内预测模式执行帧内预测处理。此外，帧内预测单元87逐PU根据从画面重排缓冲器72提供的当前块和源自帧内预测处理的预测图像，对成为候选的所有帧内预测模式计算代价函数值。预测单元103输出计算的代价函数值和预测图像。然后，帧内预测单元87逐PU确定最小代价函数值最小的帧内预测模式，作为最佳帧内预测模式。

帧内预测单元87针对于当前块，向预测图像选择单元92提供关于最佳帧内预测模式生成的预测图像、以及相应代价函数值。当由预测图像选择单元92通知了在最佳帧内预测模式上生成的预测图像的选择时，帧内预测单元87向可逆编码单元76提供帧内预测模式信息。

此外，运动预测/补偿单元89逐PU对成为候选的所有PU模式执行帧间预测和帧内BC内预测。此外，运动预测/补偿单元89基于当前块和从帧间预测和帧内BC内预测得到的预测图像，逐PU计算成为候选的所有PU模式的帧间预测和帧内BC内预测的代价函数值。运动预测/补偿单元89逐PU确定表示代价函数值最小的PU模式、以及帧间预测或者帧内BC预测的模式，作为，作为最佳帧间预测模式。然后，运动预测/补偿单元89针对当前块，向预测图像选择单元92提供在最佳帧间预测模式上生成的预测图像、以及相应的代价函数值的最小值。

在步骤S34，基于从帧内预测单元87和运动预测/补偿单元89提供的代价函数值，预测图像选择单元92确定最佳帧内预测模式和最佳帧间预测模式中的对应代价函数值最小的一个，作为最佳预测模式。然后，预测图像选择单元92将最佳预测模式的预测图像提供给运算单元73和加法单元81。

在步骤S35，预测图像选择单元92确定最佳预测模式是否为最佳帧间预测模式。如果在步骤S35确定最佳预测模式是最佳帧间预测模式，则预测图像选择单元92向图像预测/补偿单元89通知在最佳帧间预测模式上生成的预测图像的选择。

在步骤S36，运动预测/补偿单元89向可逆编码单元76提供与预测图像选择单元92选择的预测图像相对应的帧间预测模式信息、运动矢量和参考图片特定信息。然后，处理过程进行到步骤S38。

另一方面，如果在步骤S35中确定最佳预测模式不是最佳帧间预测模式，换句话说，如果最佳预测模式是最佳帧内预测模式，则预测图像选择单元92向帧内预测单元87通知对在最佳帧内预测模式上产生的预测图像的选择。然后，在步骤S37，帧内预测单元87将与预测图像选择单元92选择的预测图像相对应的帧内预测模式信息提供给可逆编码单元76，以使处理前进到步骤S38。

在步骤S38，运算单元73通过从自画面重排缓冲器72提供的当前块中减去从预测图像选择单元92提供的预测图像，执行编码。运算单元73将所得图像作为残差信息输出到正交变换单元74。

在步骤S39，正交变换单元74逐TU对来自运算单元73的残差信息执行正交变换，并将所得的正交变换系数提供到量化单元75。

在步骤S40，量化单元75对从正交变换单元74提供的正交变换系数进行量化，并将量化的正交变换系数提供到可逆编码单元76和逆量化单元79。

在图5的步骤S41中，逆量化单元79对从量化单元75提供的量化系数进行逆量化，并将所得正交变换系数提供到逆正交变换单元80。

在步骤S42，逆正交变换单元80逐TU对从逆量化单元79提供的正交变换系数进行逆正交变换，并将所得残差信息提供到加法单元81。

在步骤S43，加法单元81将从逆正交变换单元80提供的残差信息和从预测图像选择单元92提供的预测图像相加，并对当前块解码。加法单元81将解码的当前块提供给帧存储器85和滤波器82。滤波器82保留从加法单元81提供的当前块，作为编码的CU。

在步骤S44，滤波器82使用从加法单元81提供的当前块以及相邻块，以对围绕当前块与相邻块之间的边界而与该边界垂直布置的每组最多三个像素进行去块滤波处理。

在步骤S45，滤波器82对去块滤波处理后的像素进行SAO处理。滤波器82将SAO处理后的像素提供到帧存储器85。此外，滤波器82将指示所执行的SAO处理的类型和偏移的信息提供到可逆编码单元76，作为偏移滤波信息。

在步骤S46，帧存储器85存储从加法单元81提供的去块滤波处理前的当前块的一部分、以及从滤波器82提供的SAO处理后的像素。已被存储在帧存储器85中的去块滤波处理前的像素中的与PU相邻的像素经由切换器86被提供到帧内预测单元87，作为外围像素。

此外，已存储在帧存储器85中的SAO处理后的当前图片、以及按编码次序在当前图片之前的SAO处理后的图片经由开关86被输出到运动预测补偿单元89，作为参考图片的候选。

在步骤S47，可逆编码单元76对作为编码信息的帧内预测模式信息或帧间预测模式信息、运动矢量和参考图片特定信息、以及偏移滤波信息进行可逆编码。

在步骤S48，可逆编码单元76对从量化单元75提供的量化的正交变换系数进行可逆编码。然后，可逆编码单元76从在步骤S47的处理中可逆编码的编码信息、以及被可逆编码的正交变换系数生成编码数据，并将其提供给累积缓冲器77。

在步S49，累积缓冲器77暂时累积从可逆编码单元76提供的编码数据。

在步骤S50，基于在累积缓冲器77中累积的编码数据，比率控制单元93量化单元75的量化操作的比率，以防止溢出或下溢。

在步骤S51，生成单元78从在累积缓冲器77中存储的编码数据生成编码流，并将其输出。

注意，尽管为了简化描述，假定在图4和5的编码处理中不断执行帧内预测处理、以及帧内BC预测和帧间预测，但实际上，以取决于图片类型等的方式，仅可执行其中之一。

图6是描述帧内BC预测处理的细节的流程图，其中，执行图4的步骤S33中的处理的帧内BC预测等。

在图6的步骤S61，运动预测/补偿单元89的限制单元101(图2)确定当前块的参考范围，并将其提供给检测单元102。对每个PU模式执行步骤S62到S70的处理。

在步骤S62，检测单元102确定运动预测/补偿装置89是否已设置了新的搜索区域。如果在步骤S62确定尚未设置新的搜索区域，则检测单元102待机，直到设置了新的搜索区域。

另一方面，如果是在步骤S62确定已设置新的搜索区域，则在步骤S63，检测单元102确定新设置的搜索区域是否存在于当前图片中。

如果在步骤S63确定搜索区域存在于当前图片中，则在步骤S64，检测单元102确定该搜索区域是否存在于从限位单元101提供的参考范围内。

如果在步骤S64确定该搜索区域存在于参考范围内，则检测单元102经由切换器86，从帧存储器85读取SAO处理之后的搜索区域，作为参考图片的参考块的候选。

然后，在步骤S65，检测单元102确定从画面重排缓冲器72提供的当前块的每个PU、以及参考图片的参考块的候选之间的相关值。在步骤S66，检测单元102逐PU确定在步骤S65确定的相关值是否大于与保留的最佳矢量相对应的相关值。如果在步骤S66中确定相关值大于与最佳矢量相对应的相关值，则处理前进到步骤S67。

在步骤S67、检测单元102将与在步骤S65确定的相关值相对应的当前块的PU、以及参考图片的参考块的候选之间的整数像素精度的运动矢量设置为最佳矢量，并保留最佳矢量和对应的相关值。然后，处理前进到步骤S68。

另外，如果在步骤S63确定搜索区域内不存在于当前图片内，如果在步骤S64确定搜索区域不存在于参考范围内，或如果在步骤S66确定相关值不大于与最佳矢量相对应的相关值，则处理前进到步骤S68。

在步骤S68，检测单元102确定当前图片的所有编码区域是否已被运动预测/补偿单元89设置为搜索区域。如果在步S68确定未将所有区域设置为搜索区域，则处理返回步骤S62。然后，重复步骤S62至S68的处理，直到所有区域被设置为搜索区域。

另一方面，如果在步骤S68确定以将所有区域设置为了搜索区域，则检测单元102将保留的每个PU的最佳矢量提供到预测单元103。然后，在步骤S69，基于从检测单元102提供的最佳矢量，预测单元103逐PU对参考图片的参考块的候选执行补偿处理，从而执行帧内BC预测，并生成预测图像。

在步S70，基于从画面重排缓冲器72提供的当前块和预测图像，预测单元103逐PU计算代价函数值。预测单元103输出代价函数值和预测图像。

运动预测/补偿单元89将以上述方式从帧内BC预测单元100输出的代价函数值和与每个PU模式的帧间预测相对应的代价函数值进行比较。由此确定最佳帧间预测模式。

如上所述，编码装置70将当前块的运动矢量限制为用于帧内BC预测，使得当前图片中的参考范围以外的区域不被用于当前块的预测。因此，例如，在帧内BC预测中，可将SAO处理后的图片作为参考图片参考。结果，不必为帧内BC预测的参考图片准备缓存等，并可防止在执行帧内BC预测时的处理负荷和安装成本的增加。

(解码装置的实施例的配置示例)

图7是示出作为应用了本公开的图像处理装置的解码装置的实施例的配置示例的框图，该解码装置解码从图1的编码装置70发送的编码流。

图7的解码装置130包括累积缓冲器131、可逆解码单元132、逆量化单元133，逆正交变换单元134、加法单元135、滤波器136、画面重排缓冲器139和D/A转换单元140。此外，解码装置130包括帧存储器141、切换器142、帧内预测单元143、运动补偿单元147和切换器148。

解码装置130的累积缓冲器131从图1的编码装置70接收编码流并累积它。累积缓冲器131依次将累积的编码流的每个CU的编码数据提供给可逆解码单元132作为当前块的编码数据。注意，编码流的参数集以取决于需要的方式被提供给解码装置130的各个块，并用于处理。

可逆解码单元解码132对应于图1的可逆编码单元76的可逆编码，对来自累积缓冲器131的编码数据执行可逆解码，从而获得量化的正交变换系数和编码信息。可逆解码单元132将量化的正交变换系数提供到逆量化单元133。进一步，可逆解码单元132将作为编码信息的帧内预测模式信息等提供到帧内预测单元143，并将参考图片特定信息、运动矢量、帧间预测模式信息等提供到运动补偿单元147。

此外，可逆解码单元132将作为编码信息的帧内预测模式信息或帧间预测模式信息提供给切换器148。可逆解码单元132将作为编码信息的偏移滤波信息提供给滤波器136。

逆量化单元133、逆正交变换单元134、加法单元135、滤波器136、帧存储器141、切换器142、帧内预测单元143和运动补偿单元147分别执行类似于图1的逆量化单元79、逆正交变换单元80、加法单元81、滤波器82、帧存储器85、切换器86、帧内预测单元87和运动预测/补偿单元89的处理。由此，解码当前块。

具体地，逆量化单元133对来自可逆解码单元132的量化的正交变换系数进行逆量化，并将所得到的正交变换系数提供到逆正交变换单元134。

逆正交变换单元134逐TU对来自逆量化单元133的正交变换系数执行逆正交变换。逆正交变换单元134将来自逆正交变换的残差信息提供到加法单元135。

加法单元135将从逆正交变换单元134提供的残差信息加到从切换器148提供的预测图像，由此解码当前块。注意，如果未从切换器148提供预测图像，则加法单元135将从逆正交变换单元134提供的残差信息设置为解码结果。加法单元135将从解码产生的当前块提供给帧存储器141和滤波器136。

滤波器136保留从加法单元135提供的当前块，作为编码的CU。滤波器136使用从加法单元135提供的当前块以及相邻块，以对围绕当前块与相邻块之间的边界而与该边界垂直布置的每组最多三个像素进行去块滤波处理。

滤波器136通过使用从可逆解码单元132提供的偏移滤波信息表示的偏移，对去块滤波处理后的像素执行由偏移滤波器信息表示的类似的SAO处理。滤波器136将SAO处理后的像素提供到帧存储器141和画面重排缓冲器139。

画面重排缓冲器139以帧为单位存储从滤波器136提供的SAO处理之后的像素。画面重排缓冲器139将以帧为单位、以编码次序存储的图片以原始显示次序重新排序，并将其提供给D/A转换单元140。

D/A转换单元140对从画面重排缓冲器139提供的画面进行D/A转换，并将其输出。

帧存储器141由例如DRAM构成。帧存储器141存储从加法单元135提供的去块滤波处理前的当前块的一部分、以及从滤波器136提供的SAO处理后的像素。已被存储在帧存储器141中的去块滤波处理前的像素中的与PU相邻的像素经由切换器142被提供到帧内预测单元143，作为外围像素。

此外，存储在帧存储器141中的SAO处理后的当前图片、以及按编码次序在当前图片之前的SAO处理后的图片经由开关142被输出到运动预测补偿单元89，作为参考图片。

帧内预测单元143逐PU使用经由切换器142从帧存储器141读取的外围像素，以在从可逆解码单元132提供的帧内预测模式信息指示的最佳帧内预测模式上执行帧内预测处理。帧内预测单元143将所得到的预测图像提供给切换器148。

运动补偿单元147逐PU执行基于从可逆解码单元132提供的帧间预测模式信息、参考图片特定信息和运动向量的运动补偿处理。

具体地，运动补偿单元147经由切换器142从帧存储器141读取参考图片特定信息指定的参考图片。运动补偿单元147使用参考图片和运动矢量，以对由帧间预测模式信息指示的最佳帧间预测模式执行运动补偿处理。运动补偿单元147将所得到的预测图像提供给切换器148。

如果从可逆解码单元132提供帧内预测模式信息，则切换器148将从帧内预测单元143提供的预测图像提供给加法单元135。另一方面，如果从可逆解码单元132提供帧间预测模式信息，则切换器148将从运动补偿单元147提供的预测图像提供给加法单元135。

(解码装置的处理的描述)

图8是描述图7的解码装置130的解码处理的流程图。

在图8的步骤S131中，解码装置130的累积缓冲器131从图1的编码装置70接收编码流，并将其累积。累积缓冲器131依次将累积的编码流的每个CU的编码数据提供给可逆解码单元132，作为当前块的编码数据。

在步骤S132，可逆解码单元对来自累积缓冲器131的编码数据执行与图1的可逆编码单元76的可逆编码相对应的可逆解码，如可变长度解码和算术解码，从而获得量化的正交变换系数和编码信息。可逆解码单元132将量化的正交变换系数提供到逆量化单元133。此外，可逆解码单元132将作为编码信息的帧内预测模式信息等提供到帧内预测单元143，并将参考图片特定信息、运动矢量、帧间预测模式信息等提供到运动补偿单元147。

在步骤S133，逆量化单元133对从可逆解码单元132提供的量化的正交变换系数进行逆量化，并将产生的正交变换系数提供到逆正交变换单元134。

在步骤134，逆正交变换单元134对来自逆量化单元133的正交变换系数进行逆正交变换，并将产生的残差信息加法单元135。逐PU执行步骤S136至S141、以及步骤S148的处理。

在步骤S135，运动补偿单元147确定是否已从可逆解码单元132提供了作为处理目标的PU的帧间预测模式信息。如果在步骤S135确定帧间预测模式信息已被提供，则处理前进到步骤S136。

在步骤S136，运动补偿单元147确定作为处理目标的PU的帧间预测模式信息所表示的最佳帧间预测模式是否为表示帧内BC预测的模式。如果在步骤S136确定最佳帧间预测模式是表示帧内BC预测的模式，则处理前进到步骤S137。

在步骤S137，运动补偿单元147基于从可逆解码单元132提供的作为处理目标的PU的参考图片特定信息，确定参考图片是否为当前图片。

如果在步骤S137中确定参考图片是当前图片，则在步骤S138，确定与作为处理目标的PU尺寸相同的块是否在参考范围内，其中所述块与当前块中的作为处理目标的PU之间的矢量是从可逆解码单元132提供的运动矢量。参考范围是由运动补偿单元147基于当前块确定的，如在限制单元101中那样。

如果在步骤S138中确定与作为处理目标的PU尺寸相同的块在参考范围内(其中所述块与当前块中的作为处理目标的PU之间的矢量是从可逆解码单元132提供的运动矢量)，则处理前进到步骤S139。

在步骤S139，运动补偿单元147基于作为处理目标的PU的帧间预测模式信息所表示的PU模式、以及运动矢量，从帧存储器141读取当前图片，从而对作为处理目标的PU执行帧内BC预测。运动补偿单元147将产生的预测图像提供到切换器148，以使处理前进到步骤S142。

另一方面，如果在步S136确定最佳帧间预测模式不是代表帧内BC预测模式的模式，换句话说，如果最优帧间预测模式为代表帧间预测的模式，则处理前进到步骤S140。

在步骤S140，运动补偿单元147基于作为处理目标的PU的帧间预测模式信息所表示的PU模式、参考图片特定信息、以及运动矢量，从帧存储器141读取参考图片，从而对作为处理目标的PU执行帧间预测。运动补偿单元147将产生的预测图像提供到切换器148，以使处理前进到步骤S142。

另一方面，如果在步骤S135确定帧间预测模式信息尚未被提供，换句话说，如果帧内预测模式信息已被提供到帧内预测单元143，则处理前进到步骤S141。

在步骤S141，帧内预测单元143通过使用经由切换器142从帧存储器141读取的外围像素，对当前块执行由帧内预测模式信息指示的最佳帧内预测模式的帧内预测处理。帧内预测单元143将源自帧内预测处理的预测图像经由切换器148提供到加法单元135，以使处理前进到步骤S142。

在步骤S142，加法单元135将从逆正交变换单元134提供的残差信息加到从切换器148提供的预测图像。加法单元135将从解码产生的当前块提供给帧存储器141和滤波器136。滤波器136保留从加法单元135提供的当前块，作为编码的CU。

在步骤S143，滤波器136使用从加法单元135提供的当前块以及相邻块，以对围绕当前块与相邻块之间的边界而与该边界垂直布置的每组最多三个像素进行去块滤波处理。

在步骤S144，滤波器136通过使用从可逆解码单元132提供的偏移滤波信息表示的偏移，对去块滤波处理后的像素执行由偏移滤波器信息表示的类似的SAO处理。滤波器136将SAO处理后的像素提供到帧存储器141和画面重排缓冲器139。

在步骤S145，帧存储器141存储从加法单元135提供的去块滤波处理前的当前块的一部分、以及从滤波器136提供的SAO处理后的像素。已被存储在帧存储器141中的去块滤波处理前的像素中的与PU相邻的像素经由切换器142被提供到帧内预测单元143，作为外围像素。在帧存储器141中存储的SAO处理后的当前图片、以及按照编码次序在当前图片之前的SAO处理后的图片经由切换器142被输出到运动补偿单元147，作为参考图片。

在步骤S146，画面重排缓冲器139以帧为单位存储从滤波器136提供的SAO处理之后的像素，并将以帧为单位、以编码次序存储的图片以原始显示次序重新排序。画面重排缓冲器139将排序后的图片提供给D/A转换单元140。

在步骤S147，D/A转换单元140对从画面重排缓冲器139提供的画面进行D/A转换，并输出它。然后，处理终止。

另一方面，如果在步骤S137确定参考图片不是当前图片，或如果确定与作为处理目标的PU尺寸相同的块在参考范围内(其中所述块与当前块中的作为处理目标的PU之间的矢量是从可逆解码单元132提供的运动矢量)，处理前进到步骤S148。在步骤S148，解码装置130对作为处理目标的PU执行预定的错误处理，并且，处理终止。

如上所述，解码装置130通过使用当前块的运动矢量来执行帧内BC预测，限制当前块的运动矢量，使得当前图片中除了参考范围以外的区域不被用于当前块的预测。因此，例如，在帧内BC预测中，可将SAO处理后的图片作为参考图片参考。结果，不必为帧内BC预测的参考图片准备缓存等，并可防止在执行帧内BC预测时的处理负荷和安装成本的增加。

注意，虽然在第一实施例中，从参考范围中排除距尚未编码的CU组113的水平或垂直距离在三个像素内的区域114，但可从参考范围中排除距尚未编码的CU组113的水平或垂直距离在N个像素(其中N为4的倍数)内的区域。在这种情况下，即使编码处理和解码处理逐CU或逐PU被并行执行，对当前块编码时已完成了帧内BC预测中的可参考范围的解码。因此，帧内BC预测可被执行。因此，可通过逐CU或逐PU并行执行编码处理和解码处理来减小处理负荷。

<第二实施例>

(应用了本公开的计算机的描述)

上述系列处理可以由硬件执行，也可以由软件执行。如果系列处理是由软件执行的，那么，配置该软件的程序就被安装到计算机中。这里，计算机包括并入专用硬件的计算机、通用个人计算机，例如，能够通过安装各种程序等来执行各种功能。

图9是示出根据程序执行上述系列处理的计算机的硬件的配置示例的框图。

在该计算机中，CPU(中央处理单元)201、ROM(只读存储器)202、RAM(随机存取存储器)203与总线204彼此连接。

输入/输出接口205进一步连接到总线204。输入单元206、输出单元207、存储单元208、通信单元209和驱动器210连接到输入/输出接口205。

输入单元206由键盘、鼠标、麦克风等构成。输出单元207由显示器、扬声器等构成。存储单元208由硬盘、非易失性存储器等构成。通信单元209由网络接口等构成。驱动器210驱动可移动介质211，例如磁盘、光盘、磁光盘和半导体存储器。

如上所述，在这样配置的计算机中，例如，CPU 201经由输入/输出接口205和总线204将存储在存储单元208中的程序加载到RAM 203中，并执行它们。以这种方式执行上述系列处理。

由计算机(CPU 201)执行的程序可以例如被记录在可移动介质211上，所述可移动介质为包介质等。此外，可以通过有线或无线传输介质，如局域网、因特网和数字卫星广播来提供程序。

在计算机中，通过安装在驱动器210上的可移动介质211，程序可以通过输入/输出接口205被安装到存储单元208中。此外，可经由有线或无线传输介质，由通信单元209接收程序并将其安装到存储单元208中。另外，程序可以预先被安装到ROM 202和存储单元208中。

注意，由计算机执行的程序可为这样的程序，其中，以在本说明书中描述的时序执行处理，或者，也可同时或在必要时(例如，调用时)执行处理。

<第三实施例>

(电视装置的配置示例)

图10示出了应用了本公开的电视装置的示意性配置。电视装置900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908和外部接口单元909。此外，电视装置900包括控制单元910、用户接口单元911等。

调谐器902从由天线901接收的广播波信号中选择期望频道，执行解调，并将所得的编码比特流输出到解复用器903。

解复用器903从编码比特流中提取作为观看目标的节目的视频和音频分组，并将所提取的分组的数据输出到解码器904。此外，解复用器903将诸如EPG(电子节目指南)的数据分组提供给控制单元910。注意，如果正在执行扰码，则通过解复用器等来取消扰码。

解码器904执行分组的解码处理，并将由解码处理生成的视频数据输出到视频信号处理单元905，将由解码处理产生的音频数据到音频信号处理单元907。

视频信号处理单元905根据用户的设置对视频数据进行噪声消除和视频处理等。视频信号处理单元905根据基于经由网络提供的应用的处理等，生成显示在显示单元906上的节目的视频数据、图像数据等。此外，视频信号处理单元905生成用于显示菜单屏幕等的视频数据，以选择项目，例如，并将其叠加在节目的视频数据上。视频信号处理单元905基于由此产生的视频数据来生成驱动信号，以驱动显示单元906。

显示单元906基于来自视频信号处理单元905的驱动信号来驱动显示装置(例如，液晶显示元件等)，用于显示节目的视频等。

音频信号处理单元907对音频数据进行预定处理，例如噪声消除，对处理后的音频数据进行D/A转换处理和放大处理，并将其提供给扬声器908。以这种方式执行音频输出。

外部接口单元909是用于连接到外部装置和网络的接口，并发送和接收诸如视频数据和音频数据的数据。

用户接口单元911连接到控制单元910。用户接口单元911由操作开关、遥控信号接收单元等构成，并向控制单元910提供与用户操作相对应的操作信号。

控制单元910由CPU(中央处理单元)、存储器等构成。存储器存储由CPU执行的程序、CPU执行处理所需的各种数据、EPG数据、通过网络获取的数据等。例如，在激活电视装置900时，存储在存储器中的程序在预定时间内由CPU读取和执行。通过执行程序，CPU控制各自的块，使得电视装置900根据用户的操作执行操作。

注意，在电视装置900中，提供了用于将调谐器902、解复用器903、视频信号处理单元905、音频信号处理单元907、外部接口单元909等连接到控制单元910的总线912。

在这样配置的电视装置中，解码器904被提供有本申请的解码装置(解码方法)的功能。因此，可以减少在执行利用画面中的相关性的帧内BC预测时的处理负荷。

<第四实施例>

(移动电话的配置示例)

图11示出应用了本公开的移动电话的示意性配置。

移动电话920包括通信单元922、音频编解码器923、摄像单元926、图像处理单元927、复用/解复用单元928、记录和再现单元929、显示单元930和控制单元931。它们是经由总线933彼此连接的。

此外，天线921连接到通信单元922和扬声器924，且麦克风925连接到音频编解码器923。此外，操作单元932连接到控制单元931。

移动电话920执行各种操作，如发送/接收语音信号、发送/接收电子邮件或图像数据、拍摄图像以及在诸如语音电话模式和数据通信模式的各种模式下记录数据。

在语音电话模式下，在麦克风925生成的语音信号被转换为音频数据，并在音频编解码器923上被进行数据压缩，并被提供给通信单元922。通信单元922对音频数据上执行调制处理、频率转换处理等，并生成传送信号。此外，通信单元922将传送信号提供给天线921，并将其发送到基站(未示出)。此外，通信单元922在天线921接收的接收信号上执行放大、频率转换处理、解调处理等，并将所得的音频数据提供给音频编解码器923。音频编解码器923对音频数据执行数据扩展，并将其转换成模拟语音信号，并将其输出到扬声器924。

此外，对于在数据通信模式下发送邮件，控制单元931接收根据操作单元932的操作而输入的文字字符数据，并在显示单元930上显示输入的文字字符。此外，控制单元931根据操作单元932中的用户指令等生成邮件数据，并将其提供给通信单元922。通信单元922对邮件数据执行调制处理、频率转换处理等，并通过天线921发送所得到的传送信号。此外，通信单元922对天线921所接收的接收信号上执行放大、频率转换处理、解调处理等，并恢复邮件数据。该邮件数据被提供给显示单元930，以显示邮件内容。

注意，移动电话92也能够使存储介质将接收到的邮件数据存储在记录和再现单元929中。存储介质是任意可擦写存储介质。例如，存储介质是半导体存储器，如RAM和内置闪存、硬盘、磁盘、磁光盘、光盘、USB(通用串行总线)存储器或可移动介质，如存储卡。

对于在数据通信模式下发送图像数据，将在摄像单元926生成的图像数据提供给图像处理单元927。图像处理单元927执行图像数据的编码处理，以生成编码数据。

复用/解复用单元928根据预定制式，对在图像处理单元927产生的编码数据、以及从音频编解码器923提供的音频数据进行复用，并将其提供给通信单元922。通信单元922执行复用数据的调制处理、频率转换处理等，并通过天线921发送所得到的传送信号。此外，通信单元922对天线921所接收的接收信号执行放大、频率转换处理、解调处理等，并恢复复用的数据。该复用的数据被提供到复用/解复用单元928。复用/解复用单元928将数据分离，并将编码数据提供到图像处理单元927，将音频数据提供到音频编解码器923。图像处理单元927执行编码数据的解码处理，以生成图像数据。该图像数据被提供给显示单元930，以显示所接收的图像。音频编解码器923将音频数据转换成模拟语音信号，将它们提供给扬声器924，并输出所接收的音频。

在这样配置的移动电话装置中，图像处理单元927被提供有本申请的编码装置和解码装置(编码方法和解码方法)的功能。因此，可以减少在执行利用画面中的相关性的帧内BC预测时的处理负荷。

<第五实施例>

(记录和再现装置的配置示例)

图12示出应用了本公开的记录和再现装置的示意性配置。例如，记录和再现装置940将所接收的广播节目的音频数据和视频数据记录在记录介质上，并且在基于用户的指令的时刻向用户提供记录的数据。此外，例如，记录和再现装置940也能够从其它装置获取音频数据和视频数据，并将它们记录在记录介质上。另外，记录和再现装置940解码并输出记录在记录介质上的音频数据和视频数据，从而使得图像显示和音频输出能够在监视器装置等中被执行。

记录和再现设备940包括调谐器941、外部接口单元942、编码器943、HDD(硬盘驱动器)单元944、盘驱动器945、选择器946、解码器947、OSD(屏上显示)单元948、控制单元949和用户接口单元950。

调谐器941从由天线(未示出)接收的广播信号选择所需频道。调谐器941将通过解调期望频道的接收信号得到的编码比特流输出到选择器946。

外部接口单元942至少由IEEE1394接口，网络接口单元、USB接口、闪存接口等中的任一个构成。外部接口单元942是用于连接到外部装置、网络、存储卡等的接口，并接收诸如视频数据、音频数据等的数据，用于记录。

如果从外部接口单元942提供的视频数据和音频数据未被编码，则编码器943根据预定制式执行编码，并将编码的比特流输出到选择器946。

HDD单元944在内置硬盘上记录诸如视频和音频、各种节目、其他数据等的内容数据，并在复制等时从硬盘读取它们。

盘驱动器945记录并再现关于安装的光盘的信号。光盘，例如，DVD盘(DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等)、

盘等。

选择器946在记录视频和音频时选择来自调谐器941或编码器943的任意编码比特流，并将其提供给HDD单元944和盘驱动器945中的任一个。此外，选择器946在再现视频和音频时，将编码的比特流从HDD单元944或盘驱动器945输出到解码器947。

解码器947执行编码的比特流的解码处理。解码器947向OSD单元948提供通过执行解码处理产生的视频数据。此外，解码器947输出通过执行解码处理产生的音频数据。

OSD单元948生成用于显示菜单屏幕等的视频数据，以选择项目，例如，将它叠加到从解码器947输出的视频数据上，并输出它们。

用户接口单元950连接到控制单元949。用户接口单元950由操作开关、遥控信号接收单元等构成，并根据用户的操作向控制单元949提供操作信号。

控制单元949被配置有CPU、存储器等。存储器存储要由CPU执行的程序、以及CPU执行处理所需的各种数据。存储在存储器中的程序在预定时间(例如，在激活记录和再现装置940时)被CPU读取和执行。通过执行程序，CPU控制各个块，使得记录和再现装置940根据用户的操作而执行操作。

在这样配置的记录和再现装置中，编码器943具有本申请的编码装置(编码方法)的功能，并且，解码器947具有本申请的解码装置(解码方法)的功能。因此，可以减少在执行利用画面中的相关性的帧内BC预测时的处理负荷。

<第六实施例>

(成像装置的配置示例)

图13示出了应用了本公开的成像装置的示意性配置。成像设备960拍摄对象的图像，并使显示单元显示对象的图像，并将其作为图像数据记录在记录介质上。

成像设备960包括光学块961、成像单元962、摄像机信号处理单元963、图像数据处理单元964、显示单元965、外部接口单元966、存储单元967、介质驱动器968、OSD单元969和控制单元970。此外，用户接口单元971连接到控制单元970。此外，图像数据处理单元964、外部接口单元966、存储单元967、介质驱动器968、OSD单元969、控制单元970等经由总线972连接。

光学块961配置有聚焦透镜、光圈机构等。光学块961在成像单元962的成像表面上形成对象的光学图像。成像单元962配置有CCD或CMOS图像传感器，并通过光电转换生成与光学图像相对应的电信号，并将其提供给摄像机信号处理单元963。

摄像机信号处理单元963对从成像单元962提供的电信号执行诸如knee校正、伽马校正和颜色校正的各种摄像机信号处理。摄像机信号处理单元963将摄像机信号处理后的图像数据提供给图像数据处理单元964。

图像数据处理单元964对从摄像机信号处理单元963提供的图像数据进行编码处理。图像数据处理单元964向外部接口单元966和介质驱动器968提供通过执行编码处理生成的编码数据。此外，图像数据处理单元964对从外部接口单元966和介质驱动器968提供的编码数据进行解码处理。图像数据处理单元964将通过执行解码处理生成的图像数据提供给显示单元965。此外，图像数据处理单元964执行将从摄像机信号处理单元963提供的图像数据提供给显示单元965的处理，并将从OSD单元969获取的用于显示的数据提供到显示单元965，同时将用于显示的数据叠加到图像数据上。

OSD单元969生成用于显示的数据，如菜单屏幕和由符号、文字字符或图形形成的图标，并将其输出到图像数据处理单元964。

外部接口单元966由例如USB输入/输出终端等构成，并且在打印图像时连接到打印机。此外，驱动器以取决于需要的方式连接到外部接口单元966，如需要，安装可移动介质，如磁盘和光盘，从它们读取的计算机程序按需要被安装。此外，外部接口单元966包括要连接到诸如LAN和因特网的预定网络的网络接口。例如，控制单元970能够根据来自用户接口单元971的指令从介质驱动器968读取编码数据，并通过外部接口单元966向经由网络连接的其它装置提供该数据。此外，例如，控制单元970能够经由外部接口单元966获取经由网络从其它装置提供的编码数据和图像数据，并将其提供给图像数据处理单元964。

任何可读取和可写的可移动介质，如磁盘、磁光盘、光盘和半导体存储器，都可以用作由介质驱动器968驱动的记录介质。此外，关于记录介质，作为可移动介质的类型也是可选的，且它可以是磁带设备，可以是磁盘，或可以是存储卡。当然，它可能是非接触式IC(集成电路)卡等。

此外，介质驱动器968可以与记录介质集成，并且可以由例如内置硬盘驱动器、SSD(固态驱动器)等非移动存储介质构成。

控制单元970配置有CPU。存储单元967存储要由控制单元970执行的程序、控制单元970执行处理所需的各种类型的数据等。存储在存储单元967中的程序在预定时间(例如，在激活成像装置960时)被控制单元970读取和执行。通过执行程序，控制单元970控制各个块，使得成像装置960根据用户的操作而执行操作。

在这样配置的成像装置中，图像数据处理单元964具有本申请的编码装置和解码装置(编码方法和解码方法)的功能。因此，可以减少在执行利用画面中的相关性的帧内BC预测时的处理负荷。

<第七实施例>

(其它实现示例)

虽然已在上面描述了应用了本公开的设备、系统等的例子，但本公开不限于此，并还可被实现为要被安装到构成这样的装置或系统的装置中的任意配置。这种配置的例子包括作为系统LSI(大规模集成电路)等的处理器、使用多个处理器的模块等、使用多个模块的单元等、以及通过对单元进一步添加其它功能而得到的设备等(即，装置的某些配置)。

(视频设备的配置示例)

将通过图14描述在实现本公开时的示例。图14示出了应用了本公开的视频设备的示意性配置示例。

近年来，电子装置越来越多功能化。在其开发和制造中，为实现其某些配置用于其销售、供货等，有越来越多这样的情况：除了被实现为具有一个功能的配置之外，多个具有相关功能的配置相结合，以被实现为具有多个功能的一个设备。

图14所示的视频设备1300是这样的多功能配置。视频设在1300是通过将具有与图像编码和解码(其一或两者均可能)的功能的设备与具有与该功能相关的其它功能的设备相结合而获得的。

如图14所示，视频设备1300包括：模块组，其包括视频模块1311、外部存储器1312、电源管理模块1313、前端模块1314等；以及具有诸如连接1321、摄像机1322和传感器1323的相关功能的设备。

模块是具有统一功能的组件，它是通过将相互关联的某些组件功能统一而得到的。特定的物理配置是可选的。例如，可以设想：通过在电路板等上排列和统一各自具有功能的多个处理器、诸如电阻器和电容器的电子电路、其它设备等，来获得所述模块。此外，还可以设想：其他模块、处理器等与模块结合，并由此构成新模块。

在图14的示例的情况下，视频模块1311是通过组合具有与图像处理相关的功能的配置而获得的，并包括应用处理器、视频处理器、宽带调制解调器1333和RF模块1334。

处理器是通过在作为SOC(片上系统)的半导体芯片上集成具有预定功能的配置而得到的，且所述配置中的一些被称为系统LSI(大规模集成)等。具有预定功能的这些配置可为逻辑电路(硬件配置)，可为CPU、ROM、RAM等、以及通过使用它们来执行的程序(软件配置)，或可为两者的组合。例如，处理器可以包括逻辑电路和CPU、ROM、RAM等，使得一些功能由逻辑电路(硬件配置)来实现，而其他功能则通过在CPU中执行的程序(软件配置)来实现。

图14的应用处理器1331是执行与图像处理相关的应用的处理器。要在这个应用处理器1331中执行的应用不仅能执行运算处理以实现预定的功能，还可可取决于需要，控制视频模块1311的内部和外部的配置，例如，视频处理器1332等。

视频处理器1332是具有与图像编码/解码(其中之一或全部)相关的功能的处理器。

宽带调制解调器1333是执行与有线和/或无线宽带通信有关的处理的处理器(或模块)，其中要经由因特网和诸如公共电话线网络的宽带线路来执行所述通信。例如，宽带调制解调器1333通过例如数字调制而将要发送的数据(数字信号)转换为模拟信号，并通过解调接收的模拟信号而将接收的模拟信号转换为数据(数字信号)。例如，宽带调制解调器1333能够对诸如要由视频处理器1332处理的图像数据、通过对图像数据编码获得的流、应用程序和设置数据的任意信息进行数字调制和解调。

RF模块1334是对经由天线发送和接收的RF(射频)信号执行频率转换、调制/解调、放大、滤波处理等的模块。例如，RF模块1334对宽带调制解调器1333产生的基带信号进行频率转换等，从而产生RF信号。此外，例如，RF模块1334对经由前端模块1314接收的RF信号进行频率转换等，从而产生基带信号。

注意，如图14中的虚线1341所示，应用处理器1331和视频处理器1332可以被集成和配置为一个处理器。

外部存储器1312是包括要由视频模块1311利用的、在视频模块1311之外提供的存储器件的模块。该外部存储器1312的存储器件可以通过任意物理配置来实现。通常，它经常被用来以帧为单位存储像图像数据这样的大容量数据。因此，例如，通过相对便宜的大容量半导体存储器(如DRAM，动态随机存取存储器)来实现它是理想的。

电源管理模块1313管理和控制对视频模块1311(视频模块1311内的各个配置)的供电。

前端模块1314是向RF模块1334提供前端功能(天线侧的发送和接收端的电路)的模块。如图14所示，前端模块1314包括例如天线单元1351、滤波器1352和放大单元1353。

天线单元1351包括发送/接收无线电信号的天线和外围配置。天线单元1351发送从放大单元1353提供的信号作为无线电信号，并将接收到的无线电信号作为电信号(RF信号)提供给滤波器1352。滤波器1352对经由天线单元1351接收的RF信号执行滤波处理等，并向RF模块1334提供处理后的RF信号。放大单元1353放大从RF模块1334提供的RF信号，并将它们提供给天线单元1351。

连接1321是具有与外部连接相关的功能的模块。连接1321的物理配置是可选的。例如，连接1321包括具有由宽带调制解调器1333所覆盖的通信标准以外的通信功能的配置、外部输入/输出端子等。

例如，连接1321可以包括具有符合无线通信标准的通信功能的模块、发送/接收符合这样的标准的信号的天线等，所述无线通信标准如

IEEE 802.11(例如，WiFi(Wireless Fidelity，注册商标、NFC(近场通信)和IrDA(Infrared Data Association)。此外，例如，连接1321可包括具有符合诸如USB(通用串行总线)和

(高清晰度多媒体接口)的有线通信标准的通信功能的模块、以及符合这些标准的端子。此外，例如，连接1321可以具有模拟输入/输出端子等的其它数据(信号)的传送功能等。

注意，连接1321可以包括作为数据(信号)的传送目的地的设备。例如，连接1321可以包括驱动器，其从/在诸如磁盘、光盘、磁光盘和半导体存储器(不仅包括可移动介质的驱动器，还可为硬盘、SSD(固态驱动器)、NAS(网络附加存储)，等)的记录介质上读取和写入数据。此外，连接1321可以包括图像和声音的输出设备(监视器、扬声器等)。

摄像机1322是具有拍摄对象并获得对象的图像数据的功能的模块。例如，通过摄像机1322的拍摄所获得的图像数据被提供给视频处理器1332，并被编码。

传感器1323是具有任何传感器的功能的模块，所述传感器例如为声音传感器、超声波传感器、光电传感器、照度传感器、红外传感器、图像传感器、旋转传感器、角度传感器、角速度传感器、速度传感器、加速度传感器、倾斜传感器、磁模式识别传感器、震动传感器、或温度传感器。例如，传感器1323检测到的数据被提供给应用处理器1331，并根据应用等被使用。

作为模块的上述配置可以作为处理器或上述配置被实现，反之，处理器可被实现为模块。

在具有如上所述的配置的视频设备1300中，本公开可被应用于视频处理器1332，如后所述。因此，视频设备1300可被实现为应用本公开的设备。

(视频处理器的配置示例)

图15示出了应用了本公开的视频处理器1332(图14)的示意性配置示例。在图15的示例的情况下，视频处理器1332具有接收视频信号和音频信号的输入并根据预定的制式对其进行编码的功能、以及对编码的视频数据和音频数据进行解码并再现和输出视频信号和音频信号的功能。

如图15所示，视频处理器1332包括视频输入处理单元1401、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403、视频输出处理单元1404、帧存储器1405和存储控制单元1406。此外，视频处理器1332包括编码/解码引擎1407、视频ES(基本流)的缓冲器1408A和1408B、以及音频ES缓冲器1409A和1409B。此外，视频处理器1332包括音频编码器1410、音频解码器1411、复用器(MUX)1412、解复用器(DMUX)1413和流缓冲器1414。

视频输入处理单元1401例如获取从连接1321(图14)等输入的视频信号，并将其转换为数字图像数据。第一图像放大/缩小单元1402对图像数据执行格式转换、图像放大/缩小处理等。第二图像放大/缩小单元1403以取决于经由视频输出处理单元1404的输出目的地的格式的方式，对图像数据执行图像放大/缩小处理，并进行格式转换、图像放大/缩小处理等，如在第一图像放大/缩小单元1402中那样。例如，视频输出处理单元1404对图像数据执行格式转换，将其转换为模拟信号等，并将它们作为再现的视频信号输出到连接1321(图14)等。

帧存储器1405是用于与视频输入处理单元1401、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403、视频输出处理单元1404、以及编码/解码引擎1407共享的图像数据的存储器。例如，帧存储器1405被实现为诸如DRAM的半导体存储器。

存储控制单元1406从编码/解码引擎1407接收同步信号，并根据在访问管理表1406A上写入的访问帧存储器1405的时间表，控制用于在/从帧存储器1405写入和读取的访问。存储控制单元1406根据要由编码/解码引擎1407、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403等执行的处理，更新接入管理表1406A

编码/解码引擎1407执行图像数据的编码处理，并执行通过编码图像数据获得的数据流的解码处理。例如，编码/解码引擎1407对从帧存储器1405读取的图像数据编码，并依次将其写到视频ES缓冲器1408A，作为视频流。此外，例如，视频流依次从视频ES缓冲器1408B被读取，并被解码，被顺序写到帧存储器1405，作为图像数据。编码/解码引擎1407使用帧存储器1405作为编码和解码它们的工作区域。此外，例如，编码/解码引擎1407在为每个宏块开始处理时输出同步信号到存储控制单元1406。

视频ES缓冲器1408A缓冲由编码/解码引擎1407生成的视频流，并将其提供给复用器(MUX)1412。视频ES缓冲器1408B缓冲从解复用器(DMUX)1413提供的视频流，并将其提供给编码/解码引擎1407。

音频ES缓冲器1409A缓冲音频编码器1410产生的音频流，并将其提供给复用器(MUX)1412。音频ES缓冲器1409B缓冲从解复用器(DMUX)1413提供的音频流，并将其提供给音频解码器1411。

例如，音频编码器1410对例如从连接1321(图14)等输入的音频信号进行数字转换，并按照例如诸如MPEG音频制式和AC3(Audio Code number 3)制式的预定制式，将其编码。音频编码器1410将作为通过对音频信号编码而得到的数据的音频流顺序写到音频ES缓冲器1409A。音频解码器1411解码从音频ES缓冲器1409B提供的音频流，例如，将其转换成模拟信号等，并将其提供到例如连接1321(图14)等，作为再现的音频信号。

复用器(MUX)1412将视频流与音频流复用。这种复用的方法(即，通过复用产生的比特流格式)是可选的。此外，在这种复用中，复用器(MUX)1412还能够向比特流添加预定报头信息等。也就是说，复用器(MUX)1412能够通过复用来转换流的格式。例如，复用器(MUX)1412将视频流与音频流复用，从而将其转换成传输流，其为用于传送的格式的比特流。此外，例如，复用器(MUX)1412将视频流与音频流复用，从而将其转换成用于记录的格式的文件中的数据(文件数据)。

解复用器(DMUX)1413按照与复用器(MUX)1412的复用相对应的方法，将通过将视频流与音频流复用得到的比特流解复用。也就是说，解复用器(DMUX)1413从自流缓冲器1414读取的比特流提取视频流与音频流(将视频流与音频流彼此分离)。也就是说，解复用器(DMUX)1413能够通过解复用(复用器(MUX)1412的转换的逆转换)，转换流的格式。例如，解复用器(DMUX)1413能够经由流缓冲器1414获取从例如连接1321、宽带调制解调器的1333等(均在图14中)提供的传输流，并将其解复用，由此将其转换为视频流与音频流。此外，例如，解复用器(DMUX)1413能够经由流缓冲器1414，通过例如连接1321(图14)获取从各种记录介质读取的文件数据，并将其解复用，由此将其转换为视频流与音频流。

流缓冲器1414缓冲比特流。例如，流缓冲器1414缓冲从复用器(MUX)1412提供的传输流，并在预定时刻，或基于来自外部的请求等，将其提供到例如连接1321和宽带调制解调器1333(均在图14中)等。

进一步，例如，流缓冲器1414缓冲从复用器(MUX)提供的文件数据，并在预定时刻，或基于来自外部的请求等，将其提供到例如连接1321(图14)等，用于将其记录到各种记录介质上。

此外，流缓冲器1414缓冲例如经由连接1321和宽带调制解调器1333(均在图14中)等获取的传输流，并在预定时刻，或基于来自外部的请求等，将其提供到解复用器(DMUX)1413。

此外，流缓冲器1414缓冲从例如连接1321(图14)等的各种介质读取的文件数据，并在预定时刻，或基于来自外部的请求等，将其提供到解复用器(DMUX)1413。

接下来，将描述具有这种配置的视频处理器1332的操作的示例。例如，在视频输入处理单元1401中，根据诸如4:2:2Y/Cb/Cr制式的预定制式，从连接1321(图14)等输入到视频处理器1332的视频信号被转换为数字图像数据，并依次被写到帧存储器。此数字图像数据由第一图像放大/缩小单元1402或第二图像放大/缩小单元1403读取，被格式转换为预定制式，如4:2:0Y/Cb/Cr制式，并被进行放大/缩小处理，并再次被写到帧存储器1405。此图像数据被编码/解码引擎1407编码，并被写到视频ES缓冲器1408A，作为视频流。

此外，从连接1321(图14)等输入到视频处理器1332的音频信号被音频编码器1410编码，并被写到音频ES缓冲器1409A。

视频ES缓冲器1408A的视频流和音频ES缓冲器1409A的音频流被读取，并被复用器(MUX)1412复用，并被转换成传输流、文件数据等。由复用器(MUX)1412生成的传输流被流缓冲器1414缓冲，然后经由例如连接1321和宽带调制解调器1333(均在图14中)等被输出到外部网络。此外，由复用器(MUX)1412生成的文件数据被流缓冲器1414缓冲，然后被输出到例如连接1321(图14)等，用于将其记录到各种记录介质。

此外，经由例如连接1321和宽带调制解调器1333(均在图14中)等从外部网络输入到视频处理器1332的传输流被流缓冲器1414缓冲，然后被解复用器(DMUX)1413解复用。此外，从例如连接1321(图14)等的各种介质读取、且被输入到视频处理器1332的文件数据被流缓冲器1414缓冲，然后被解复用器(DMUX)1413解复用。也就是说，输入到视频处理器1332的传输流或文件数据被解复用器(DMUX)1413分离为视频流和音频流。

音频流经由音频ES缓冲器1409B被提供到音频解码器1411，并被解码，并再现音频信号。此外，视频流被写在视频ES缓冲器1408B，然后被依次读取，并被编码/解码引擎1407解码，并被写在帧存储器1405。解码的图像数据由第二图像放大/缩小单元1403进行放大/缩小处理，并被写入帧存储器1405。然后，解码后的图像数据由视频输出处理单元1404读取，被格式转换成诸如4:2:2Y/Cb/Cr制式的预定制式，此外被转换成模拟信号。然后，再现和输出视频信号。

在将本公开应用于这样配置的视频处理器1332的情况下，与上述各实施例相关联的本公开只需被应用于编码/解码引擎1407。也就是说，例如，编码/解码引擎1407只需要具有根据第一到第三实施例的编码装置和解码装置的功能。通过这样做，视频处理器1332可获得与参照图1至8描述的上述效果类似的效果。

注意，在编码/解码引擎1407中，本公开(即，根据上述各个实施例的该编码装置和解码装置的功能)可以通过诸如逻辑电路的硬件实现，可通过诸如并入程序的软件实现，也可通过这两者实现。

(视频处理器的另一个配置示例)

图16示出了应用了本公开的视频处理器1332(图14)的另一示意性配置。在图16的示例的情况下，视频处理器1332具有根据预定的制式对视频数据进行编码和解码的功能。

更具体地，如图16所示，视频处理器1332包括控制单元1511、显示接口1512、显示引擎1513、图像处理引擎1514和内部存储器1515。此外，视频处理器1332包括编解码引擎1516、存储接口1517、复用器/解复用器(MUXDMUX)1518、网络接口1519和视频接口1520。

控制单元1511控制视频处理器1332中诸如显示接口1512、显示引擎1513、图像处理引擎1514和编解码引擎1516的各个处理单元的操作。

如图16所示，控制单元1511包括例如主CPU 1531、从CPU 1532和系统控制器1533。主CPU 1531执行用于控制视频处理器1332中的各个处理单元的操作的程序等。主CPU 1531根据该程序等生成控制信号，并将其提供给各个处理单元(即，控制各处理单元的操作)。从CPU 1532用来协助主CPU1531。例如，从CPU 1532执行要由主CPU 1531执行的程序等的子进程、子例程等。系统控制器1533控制主CPU 1531和从CPU 1532的操作，例如，指定由主CPU1531和从CPU 1532执行的程序。

在控制单元1511的控制下，显示接口1512将图像数据输出到例如连接1321(图14)等。例如，显示接口1512将作为数字数据的图像数据转换为模拟信号，并将其输出到连接1321(图14)的监视器装置等，作为再现的视频信号，或仍作为数字数据的图像数据输出。

在控制单元1511的控制下，显示引擎1513对图像数据执行各种类型的转换处理，如格式转换、大小转换、色域转换，使得其遵循显示该图像的监视器装置等的硬件规范。

在控制单元1511的控制下，图像处理引擎1514对图像数据执行诸如滤波处理的预定图像处理，以改善图像质量。

内部存储器1515是在视频处理器1332内提供、与显示引擎1513、图像处理引擎1514和编解码引擎1516共享的存储器。例如，内部存储器1515被用于在显示引擎1513、图像处理引擎1514和编解码引擎1516之间交换数据。例如，内部存储器1515存储从显示引擎1513、图像处理引擎1514、或编解码引擎1516提供的数据，并以取决于需要的方式(例如，响应于请求)，将该数据提供到显示引擎1513、图像处理引擎1514、或编解码引擎1516。该内部存储器1515可以由任意存储器件实现。通常，它经常被用来存储小容量数据，如以块为单位的图像数据、以及参数。因此，例如，希望通过具有相对(例如，与外部存储器1312相比)小容量、但像SRAM(静态随机存取存储器)那样有高响应速度的半导体存储器来实现它。

编解码引擎1516执行与图像数据的编码和解码相关的处理。可使用任意制式作为编解码引擎1516所覆盖的编码/解码制式，且其数目可以是一个或多个。例如，编解码引擎1516可具有多个编码/解码制式的编解码功能，并可以通过使用从其中选择的一个来执行图像数据的编码、或编码数据的解码。

在图16所示的示例中，编解码引擎1516包括例如MPEG-2视频1541、AVC/H.2641542、HEVC/H.265 1543、HEVC/H.265(Scalable)1544、HEVC/H.265(Multi-view)1545、和MPEG-DASH 1551，作为编解码相关的处理的功能块。

MPEG-2视频1541是根据MPEG-2制式对图像数据进行编码和解码的功能块。AVC/H.264 1542是根据AVC/H.264制式对图像数据进行编码和解码的功能块。HEVC/H.265 1543是根据HEVC对图像数据进行编码和解码的功能块。HEVC/H.265(Scalable)1544是根据HEVC对图像数据进行可缩放编码和可缩放解码的功能块。HEVC/H.265(Multi-view)1545是根据HEVC对图像数据进行多视角编码和多视角解码的功能块。

MPEG-DASH 1551是根据MPEG-DASH(MPEG-Dynamic Adaptive Streaming overHTTP)制式发送/接收图像数据的功能块。MPEG-DASH是通过使用HTTP(超文本传输协议)对视频进行流式转换的技术。MPEG-DASH具有这样的特征之一：从预先准备的分辨率彼此不同的多段编码数据中，以片段为单位选择并传送适合的一段。MPEG-DASH 1551产生与标准兼容的流，对该流进行传输控制等，并通过利用上述MPEG-2视频1541至HEVC/H.265(Multi-view)1545编码/解码图像数据。

存储接口1517是用于外部存储器1312的接口。从图像处理引擎1514和编解码引擎1516提供的数据经由存储接口1517被提供给外部存储器1312。此外，从外部存储器1312读取的数据经由存储接口1517被提供给视频处理器1332(图像处理引擎1514或编解码引擎1516)。

复用器/解复用器(MUX DMUX)1518执行与诸如编码数据的比特流、图像数据、以及视频信号的图像相关的各种类型的图像的复用/解复用。可将任意方法用于此复用/解复用。例如，在复用中，复用器/解复用器(MUX DMUX)1518不仅能够将多段数据统一，还能够向该数据加入预定的头信息等。此外，在解复用中，复用器/解复用器(MUX DMUX)1518不仅能够将单段数据分成多段数据，也能够向每段分离的数据加入预定的头信息等。也就是说，复用器/解复用器(MUX DMUX)1518能够通过复用/解复用而转换数据的格式。例如，复用器/解复用器(MUX DMUX)1518能够复用比特流，从而将其转换成为用于传输的格式的比特流的传输流、或用于记录的文件格式的数据(文件数据)。当然，也可以通过解复用进行其逆转换。

网络接口1519例如为用于宽带调制解调器1333以及连接1321(均在图14中)等的接口。视频接口1520是例如用于连接1321和摄像机1322(均在图14中)等的接口。

接着，将描述这样的视频处理器1332的操作的示例。例如，当通过连接1321和宽带调制解调器1333(均在图14)等经由外部网络接收传输流时，该传输流通过网络接口1519被提供给多路复用器/解复用器(MUX DMUX)1518，并被解复用。然后，传输流由编解码引擎1516解码。例如由图像处理引擎1514对通过编解码引擎1516的解码获得的图像数据进行预定的图像处理。由显示引擎1513对其执行预定转换，并通过显示接口1512将其提供给例如连接1321(图14)等。然后，将该图像显示在监视器上。此外，例如，通过编解码引擎1516对通过编解码引擎1516的解码获得的图像数据重新编码。重新编码后的图像数据通过复用器/解复用器(MUX DMUX)1518被复用，并被转换成文件数据。转换后的文件数据通过视频接口1520输出到例如连接1321(图14)等。然后，文件数据被记录在各种记录介质上。

此外，通过连接1321(图14)等从记录介质(未显示)读取的作为图像数据的编码数据的文件数据通过视频接口1520被提供给复用器/解复用器(MUX DMUX)1518，并被解复用。然后，文件数据由编解码引擎1516解码。通过编解码引擎1516的解码获得的图像数据由图像处理引擎1514进行预定图像处理。由显示引擎1513对其执行预定转换，并通过显示接口1512将其提供给例如连接性1321(图14)等。然后，将该图像显示在监视器上。此外，例如，通过编解码引擎1516对通过编解码引擎1516的解码获得的图像数据重新编码。重新编码后的图像数据通过复用器/解复用器(MUX DMUX)1518被复用，并被转换成传输流。转换后的传输流通过网络接口1519被输出到例如连接1321和宽带调制解调器133(均在图14中)等，并被传送到其它装置(未示出)。

注意，在视频处理器1332中的各个处理单元之间交换图像数据和其它数据是通过例如利用内部存储器1515和外部存储器1312来执行的。此外，电源管理模块1313控制对例如控制器1511的供电。

在将本公开应用于这样配置的视频处理器1332的情况下，与上述各实施例相关联的本公开只需被应用于编解码引擎1516。也就是说，例如，编解码引擎1516只需要具有根据第一至第三实施例实现编码装置和解码装置的功能块。通过编解码引擎1516这样做，视频处理器1332可以获得与上面参照图1至8描述的效果类似的效果。

注意，在编解码引擎1516中，本公开(即，根据上述各个实施例的该编码装置和解码装置的功能)可以通过诸如逻辑电路的硬件来实现，可以通过诸如并入程序的软件来实现，也可以由其两者实现。

上面已示出了视频处理器1332的配置的两个示例。然而，可以对视频处理器1332使用任意配置，并且可以使用上述两个示例以外的其他配置。此外，尽管该视频处理器1332可以被配置为单个半导体芯片，但视频处理器1332可以被配置为多个半导体芯片。例如，它可以是三维堆叠的LSI，其中，堆叠了多个半导体。此外，它可以通过多个LSI实现。

(装置的应用示例)

视频设备1300可被并入处理图像数据的各种装置中。例如，视频设备1300可被并入电视装置900(图10)、移动电话920(图11)、记录和再现装置940(图12)、成像设备960(图13)等。通过并入视频设备1300，该装置可以获得与上面参照图1至8描述的效果类似的效果。

注意，即使上述视频设备1300的每一配置的一部分也可以作为应用了本公开的配置来实现，只要它包括视频处理器1332即可。例如，可将视频处理器1332仅实现为应用了本公开的视频处理器。此外，例如，在虚线1341中所示的处理器、视频模块1311等可被实现为如上所述应用了本公开的处理器、模块等。此外，例如，视频模块1311、外部存储器1312、电源管理模块1313和前端模块1314也可以被组合和实现为应用了本公开的视频单元1361。利用任意配置，可获得与上面参照图1至8描述的效果类似的效果。

也就是说，可将任意配置并入如在视频设备1300的情况中那样处理图像数据的各种装置，只要其包括视频处理器1332即可。例如，虚线1341中所示的视频处理器1332、处理器、视频模块1311、或视频单元1361可被并入电视装置900(图10)、移动电话920(图11)、记录和再现装置940(图12)、成像装置960(图13)等。此外，通过并入应用了本公开的任何配置，如在视频设备1300的情况中那样，该装置可以获得与上面参照图1至8描述的效果类似的效果。

注意，在本说明书中，描述了各种类型的信息与编码数据进行复用、并从编码器侧发送到解码器侧的示例。然而，传输这些信息的技术并不限于这样一个示例。例如，可以将这些信息作为与编码数据相关联的单独数据进行传输或记录，而不必与编码数据复用。这里，术语“关联”意味着比特流的图像(可能是图像的一部分，如宏块条和块)和对应于该图像的信息在解码期间可以相互链接。也就是说，信息可以通过与编码数据所使用的不同的传输信道来传送。此外，信息可以被记录在与编码数据所使用的不同的记录介质(或相同记录介质的另一记录区域)上。此外，信息和编码数据可以以任意单位(例如，多个帧、一帧、帧的一部分等)相互关联。

本公开可被应用于编码装置和解码装置，以在经由网络介质(如卫星广播、有线电视、互联网和移动电话当处理或存储介质上的像光、磁盘和闪存)接收通过正交变换(如离散余弦变换)和诸如MPEG,H.26x等的运动补偿压缩的比特流时、或在诸如光盘、磁盘和闪存的存储介质上处理其时，被使用，

此外，在本说明书中，系统意味着多个组件(装置、模块(组件)等)的集合，且配置的所有元素是否在同个外壳中并不重要。因此，安装在单独的外壳中并经由网络连接的多个装置、以及具有被装在单个外壳中的多个模块的单个装置都是系统。

此外，在本说明书中描述的效果只是说明性的，不是限制性的，可提供其他效果。

此外，本公开的实施例不限于上述实施例，并且可以在不偏离本公开的要点的情况下进行各种修改。

例如，本公开可以采取云计算配置，其中单个功能通过网络被共享，并由多个装置协同处理。

此外，参照上述流程图所述的各个步骤除了由单个装置执行外，还可以由多个装置共享和执行。

此外，如果单个步骤包括多个处理，则除了由单个设备执行之外，单个步骤的多个进程可以被多个装置共享和执行。

本公开还可以采取以下配置。

(1)一种图像处理装置，包括：

限制单元，其限制被用于利用画面内的相关性的预测的当前块的运动矢量，使得所述当前块的外围像素不被用于所述当前块的所述预测。

(2)根据(1)的图像处理装置，还包括：

预测单元，其通过使用参考范围，基于所述限制单元限制的运动矢量而执行所述预测，所述参考范围不包括：包括所述当前块的画面内的所述外围像素。

(3)根据(2)的图像处理装置，被配置为使得：

所述外围像素是：与所述画面内的在所述当前块的编码期间尚未被编码的区域的水平或垂直距离在预定范围内的像素。

(4)根据(3)的图像处理装置，被配置为使得：

预测单元通过使用去块滤波处理和SAO(采样自适应偏移)处理后的参考范围的图像，执行所述预测。

(5)根据(4)的图像处理装置，被配置为使得：

所述预定范围为三个像素内。

(6)根据(3)的图像处理装置，被配置为使得：

所述预定范围为N个像素内，其中N为4的倍数。

(7)根据(1)权利要求1的图像处理装置，被配置为使得：

当前块是CU(编码单元)。

(8)一种图像处理方法，包括：

限制步骤，通过图像处理装置限制被用于利用画面内的相关性的预测的当前块的运动矢量，使得所述当前块的外围像素不被用于所述当前块的所述预测。

附图标记列表

70编码装置；101限制单元；103预测单元。

Claims

1.一种图像处理装置，包括：

限制单元，其通过设置图片中的除了已被编码的第一区域内的边界区域之外的参考范围来限制被用于利用画面内的相关性的帧内块复制预测的当前块的运动矢量，所述边界区域是沿着所述第一区域和尚未被编码的第二区域之间的边界的区域。

2.根据权利要求1所述的图像处理装置，还包括：

预测单元，其通过使用通过所述限制单元设置的所述参考范围，基于所述限制单元限制的所述运动矢量而执行所述预测。

3.根据权利要求2所述的图像处理装置，被配置为使得：

所述边界区域是：与所述第一区域和所述第二区域之间的边界的水平或垂直距离在预定范围内的区域。

4.根据权利要求3所述的图像处理装置，被配置为使得：

所述预测单元通过使用去块滤波处理和SAO(采样自适应偏移)处理后的所述参考范围，执行所述帧内块复制预测。

5.根据权利要求4所述的图像处理装置，被配置为使得：

所述预定范围为三个像素内。

6.根据权利要求3所述的图像处理装置，被配置为使得：

所述预定范围为N个像素内，其中N为4的倍数。

7.根据权利要求1所述的图像处理装置，被配置为使得：

所述当前块是CU(编码单元)。

8.一种图像处理方法，包括：

限制步骤，通过图像处理装置通过设置图片中的除了已被编码的第一区域内的边界区域之外的参考范围来限制被用于利用画面内的相关性的帧内块复制预测的当前块的运动矢量，所述边界区域是沿着所述第一区域和尚未被编码的第二区域之间的边界的区域。