CN104620586A

CN104620586A - 图像处理装置和方法

Info

Publication number: CN104620586A
Application number: CN201380047679.3A
Authority: CN
Inventors: 陆硕; 中神央二
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2012-09-20
Filing date: 2013-09-09
Publication date: 2015-05-13
Anticipated expiration: 2033-09-09
Also published as: CN104641649B; JPWO2014045919A1; WO2014045919A1; JP6256341B2; CN104620586B; US20150201217A1; US20150215652A1; JPWO2014045920A1; US9973784B2; JP6256340B2; US10027988B2; WO2014045920A1; US20180310028A1; US10448057B2; CN104641649A

Abstract

本公开涉及能够抑制块噪声的图像处理装置和方法。在控制单元的控制下，滤波强度确定单元确定每四条线的滤波强度。也就是说，当块边界确定单元已经确定应当应用滤波时，滤波强度确定单元确定应当以强滤波的强度还是应当以弱滤波的强度来应用滤波，并且把确定结果输出给滤波计算单元。在这种情况下，滤波强度确定单元把Bs值包含到用来确定是否用应当应用强滤波的算式中。例如，当使用Bs值时，根据来自控制单元的Bs值的线性函数来设置用于进行确定的阈值。本公开能够应用于例如图像处理装置。

Description

图像处理装置和方法

技术领域

本申请涉及图像处理装置和方法，更具体地涉及能够抑制块噪声的图像处理装置和方法。

背景技术

近年来，一种装置变得流行起来，该装置数字化地处理图像信息，并且为了高效发送和累积信息，采用编码方法对图像进行压缩和编码，该编码方法通过运动补偿和正交变换(例如使用该图像信息特有的冗余的离散余弦变换)来压缩图像。

近来，为了进一步改善H.264/AVC上的编码效率，作为ITU-T和ISO/IEC联合标准化组的JCTVC(联合协作团队-视频编码)已经推出了称为HEVC(高效视频编码)的编码方法的标准(例如，参见非专利文献1)。

在HEVC的当前草案中，采用去块滤波作为内环路滤波。作为去块滤波，给出了一种强滤波和一种弱滤波；通过对块边界使用滤波确定算法来确定采用哪种滤波。

换言之，使用强滤波的确定算法确定是否应用强滤波，并且对于已经确定不应用强滤波的块边界，使用弱滤波的确定算法来确定是否应用弱滤波。

引用列表

非专利文献

非专利文献1：Benjamin Bross,Woo-Jin Han,Jens-Rainer Ohm,Gary J.Sullivan,Thomas Wiegand,"High efficiency video coding(HEVC)text specification draft 8",JCTVC-J1003_d7,2012.7.28

发明内容

本发明要解决的技术问题

但是，如果仍然使用HEVC草案中的强滤波的确定算法，则在块噪声显著的部分经常应用弱滤波。在这种情况下，块噪声仍然存在。

鉴于以上内容做出本申请，并且能够抑制块噪声。

问题解决方案

根据本公开的第一方面的图像处理装置包括：解码单元，所述解码单元通过对以具有层结构的单位编码而获得的编码流进行解码来产生图像；滤波确定单元，所述滤波确定单元使用表示对块边界的去块滤波的强度的强度参数来确定是否应用强滤波，所述块边界是在由所述解码单元产生的图像的块和与该块相邻的相邻块之间的边界；以及滤波单元，所述滤波单元在所述滤波确定单元确定应用强滤波的情况下对所述块边界应用强滤波。

所述滤波确定单元可以使用表示针对所述块边界的去块滤波的强度的强度参数以及表示在去块滤波的确定过程中使用的阈值的确定参数来确定是否应用强滤波。

使用通过把表示强度的参数乘以确定参数而得到的值来确定是否应用强滤波。

滤波确定单元可以使用函数来确定是否应用强滤波，该所述函数中，所述强度参数或确定参数被用作变量。

滤波确定单元可以使用强度参数和确定参数的线性函数来确定是否应用强滤波。

当预测模式是帧内预测时的强度参数大于当预测模式是帧间预测时的强度参数。

所述强度参数是Bs(边界滤波强度)的值。

所述确定参数是在确定是否应用去块滤波以及确定去块滤波的强度选择时使用的beta。

在根据本公开第一方面的图像处理方法中，图像处理装置执行以下步骤：通过对以具有层结构的单位编码而获得的编码流进行解码来产生图像；使用表示对块边界的去块滤波的强度的强度参数来确定是否应用强滤波，所述块边界是在所产生的图像的块和与该块相邻的相邻块之间的边界；以及在确定应用强滤波的情况下对所述块边界应用强滤波。

在本公开的第一方面中，以具有层结构的单位编码的编码流被解码以产生图像。通过使用表示对块边界的去块滤波的强度的强度参数来确定是否应用强滤波，所述块边界是在所产生的图像的块和与该块相邻的相邻块之间的边界；如果确定应用强滤波，则对所述块边界应用强滤波。

图像处理装置可以是独立的装置或者是包含在图像编码装置或图像解码装置中的内部块。

发明效果

根据本申请的第一方面，能够解码图像，并且特别地，能够抑制块噪声。

附图说明

图1是例示图像编码装置的主要结构例子的框图。

图2是用于描述编码处理的流程例子的流程图。

图3是例示图像解码装置的主要结构例子的框图。

图4是用于描述解码处理的流程例子的流程图。

图5是用于描述强滤波的确定算法的图。

图6是例示量化参数和当F1(Bs)＝Bs+2时算式(4)右侧的值之间的关系的图。

图7是例示在图6的情况下，图5的块P和相邻块Q的像素值的例子的图。

图8是例示量化参数和当F2(Bs)＝Bs+2时算式(5)右侧的值之间的关系的图。

图9是例示在图8的情况下，图5的块P和相邻块Q的像素值的例子的图。

图10是例示量化参数和当F3(Bs)＝Bs+2时算式(6)右侧的值之间的关系的图。

图11是例示在图10的情况下，图5的块P和相邻块Q的像素值的例子的图。

图12是用于描述具体例子的图。

图13是例示已经应用了本技术的去块滤波的结构例子的框图。

图14是描述去块滤波处理的流程图。

图15是描述亮度边界的滤波处理的流程图。

图16是例示多视点图像编码方法的例子的图。

图17是例示已经应用本技术的多视点图像编码装置的主要结构例子的图。

图18是例示已经应用本技术的多视点图像解码装置的主要结构例子的图。

图19是例示多视点图像编码方法的例子的图。

图20是例示已经应用本技术的多视点图像编码装置的主要结构例子的图。

图21是例示已经应用本技术的多视点图像解码装置的主要结构例子的图。

图22是例示计算机的主要结构例子的框图。

图23是例示电视机装置的示意结构的例子的框图。

图24是例示蜂窝电话的示意结构的例子的框图。

图25是例示记录/再现装置的示意结构的例子的框图。

图26是例示摄像装置的示意结构的例子的框图。

图27是例示视频设备的示意结构的例子的框图。

图28是例示视频处理器的示意结构的例子的框图。

图29是例示视频处理器的示意结构的另一个例子的框图。

具体实施方式

按照下面顺序描述执行本公开的一种方式(此后称为实施例)：

1.装置和操作的概要；

2.第一实施例(图像编码装置、图像解码装置)；

3.第二实施例(多视点图像编码/解码)；

4.第三实施例(层图像编码/解码)；

5.第四实施例(计算机)；

6.应用例；

7.第五实施例(设备、单元、模块、处理器)

<1.装置和操作的概要>

[图像编码装置的结构示例]

图1例示了作为已经应用本公开的图像处理装置的图像编码装置的一个实施例的结构。

图1例示的图像编码装置通过预测处理来编码图像数据。例如，使用HEVC(高效视频编码)方法等作为编码方法。

注意，在HEVC方法中定义了编码单元(CU，Coding Unit)。Cu也被称为编码树块(CTB)并且是以图片为单位的图像的一部分区域，其作用类似于H.264/AVC方法中的宏块。尽管后者被固定为16×16像素的尺寸，前者的尺寸不是固定的并且将在每个序列的图像压缩信息中规定。

例如，在要被输出的编码数据包含的序列参数集合(SPS,Sequence Parameter Set)中，定义CU的最大尺寸(LCU,LargestCoding Unit)和CU的最小尺寸(SCU,Smallest Coding Unit)。

在每个LCU中，通过在尺寸不会变得小于SCU的尺寸的范围内设置split_flag＝1，该单元可以被分割成更小的CU。当split_flag的值是“1”时，尺寸为2N×2N的CU被分割成低一层的尺寸为N×N的CU。

此外，CU被分割成各区域用作要接受帧内预测或帧间预测的区域(以图片为单位的图像的部分区域)的预测单元(PU,PredictionUnit)，以及被分割成各区域用作要接受正交变换的区域(以图片为单位的图像的部分区域)的变换单元(TU，Transform Units)。目前，在HEVC方法中，除了4×4和8×8正交变换，还可以使用16×16和32×32正交变换。

图1的图像编码装置11包括A/D(模拟/数字)转换单元21、画面重排缓冲器22、计算单元23、正交变换单元24、量化单元25、无损编码单元26以及累积缓冲器27。图像编码装置11包括逆量化单元28、逆正交变换单元29、计算单元30、去块滤波器31a、帧存储器32、选择单元33、帧内预测单元34、运动预测/补偿单元35、预测图像选择单元36以及速率控制单元37。

此外，图像编码装置11在去块滤波器31a和帧存储器32之间包括自适应偏移滤波器41和自适应环路滤波器42。

A/D转换单元21执行输入图像数据的A/D转换，把数据输出给画面重排缓冲器22并且把数据存储在其中。

画面重排缓冲器22按照与GOP(图片组)一致的编码的次序对其中各个帧在存储时已经按照显示次序进行排列的图像进行重排。画面重排缓冲器22把各个帧已经被重排的图像提供给计算单元23。画面重排缓冲器22还把各个帧已经被重排的图像提供给帧内预测单元34和运动预测/补偿单元35。

计算单元23从由画面重排缓冲器22读出的图像中减去由帧内预测单元34或运动预测/补偿单元35经过预测图像选择单元36提供的预测图像，然后把差分信息输出给正交变换单元24。

例如，在对其执行帧内编码的图像的情况下，计算单元23从由画面重排缓冲器22读出的图像中减去由帧内预测单元34提供的预测图像。此外，在对其执行帧间编码的图像的情况下，计算单元23从由画面重排缓冲器22读出的图像中减去由运动预测/补偿单元35提供的预测图像。

正交变换单元24对从计算单元23提供的差分信息执行正交变换，例如离散余弦变换或Karhunen-Loeve变换。正交变换单元24把变换系数提供给量化单元25。

量化单元25对从正交变换单元24输出的变换系数进行量化。量化单元25把经过量化的变换系数提供给无损编码单元26。

无损编码单元26对经过量化的变换系数执行无损编码，例如可变长度编码或算数编码。

无损编码单元26获取来自帧内预测单元34的参数(例如表示帧内预测模式的信息)，以及获取来自运动预测/补偿单元35的参数(例如表示帧间预测模式的信息或运动向量信息)。

无损编码单元26对经过量化的变换系数进行编码并且对获取的参数(语法要素)进行编码，并且使得它们成为编码数据的头信息的一部分(复用)。无损编码单元26把编码数据提供给累积缓冲器27并且在其中累积数据。

例如，在无损编码单元26中，进行无损编码处理，例如可变长度编码或算数编码。可变长度编码例如是CAVLC(上下文自适应可变长度编码)。算数编码例如是CABAC(上下文自适应二进制算数编码)。

累积缓冲器27临时保持从无损编码单元26提供的编码流(数据)。累积缓冲器27在预定的定时把编码数据作为编码图像输出给例如发送路径或后级的记录装置(未示出)。换言之，累积缓冲器27也作为发送编码流的发送单元。

在量化单元25中被量化的变换系数也被提供给逆量化单元28。逆量化单元28按照与量化单元25的量化对应的方法对经过量化的变换系数进行逆量化。逆量化单元28把获得的变换系数提供给逆正交变换单元29。

逆正交变换单元29按照与正交变换单元24的正交变换处理对应的方法对所提供的变换系数进行逆正交变换。经过逆正交变换的输出(恢复的差分信息)被提供给计算单元30。

计算单元30把从帧内预测单元34或运动预测/补偿单元35通过预测图像选择单元36提供的预测图像与从逆正交变换单元29提供的逆正交变换结果(即恢复的差分信息)相加，从而提供局部解码图像(解码图像)。

例如，如果差分信息对应于执行了帧内编码的图像，则计算单元30把帧内预测单元34提供的预测图像与差分信息相加。例如，如果差分信息对应于执行了帧间编码的图像，则计算单元30把运动预测/补偿单元35提供的预测图像与差分信息相加。

作为相加结果的解码图像被提供给去块滤波器31a和帧存储器32。

去块滤波器31a通过适当地执行去块滤波处理来抑制解码图像的块变形。去块滤波器31a具有强(strong)滤波和弱(weak)滤波，利用确定算式来确定使用哪种滤波。强滤波的确定算式包括三个确定算式，并且每个确定算式采用Bs(边界滤波强度)的值加上基于量化参数QP获得的参数beta或tc。参数beta和tc是在与滤波相关的确定中使用的阈值，并且是在确定是否应用去块滤波以及确定强度选择时使用的确定参数。参数tc还是用于滤波自身的参数。Bs的值是代表块边界的强度的强度参数。

通过用户指令可以使去块滤波器31a不可用，并且用户通过操作单元(未示出)的操作把表示是否应用去块滤波的开启/关闭信息输入到去块滤波器31a。上述参数beta和tc各自的偏移默认都是0，如果该值不是0，则用户通过操作单元(未示出)的操作把该值输入到去块滤波器31a。去块滤波器的开启/关闭信息(也被称为DisableDeblockingFilter标志信息)以及参数beta和tc的各自的偏移在无损编码单元26中被编码为去块滤波器的参数，并且被发送给如下所述的图3的图像解码装置51。

去块滤波器31a使用上述的开启/关闭信息、偏移、Bs值、参数beta和tc等对来自计算单元30的图像执行去块滤波处理。去块滤波器31a把滤波处理结果提供给自适应偏移滤波器41。注意，后面将参照图13描述去块滤波器31a的详细结构。

自适应偏移滤波器41对经过去块滤波器31滤波后的图像执行偏移滤波(SAO：采样自适应偏移)处理，特别用于抑制振铃(ringing)。

偏移滤波的类型包括两种类型的带偏移、六种类型的边缘偏移以及无偏移，总共九种类型。自适应偏移滤波器41使用各个区域(例如LCU)的偏移值对经过去块滤波器31a滤波后的图像进行滤波处理，对于该区域，已经针对每个LCU确定了偏移滤波的类型。自适应偏移滤波器41把经过滤波处理后的图像提供给自适应环路滤波器42。

在图像编码装置11中，通过自适应偏移滤波器41计算每个LCU的偏移值并且使用。在无损编码单元26中把所计算的每个LCU的偏移值编码为自适应偏移参数，并且发送给下面描述的图3的图像解码装置51。

自适应环路滤波器42使用滤波系数，以处理为单位(例如LCU)对经过自适应偏移滤波器41滤波的图像进行自适应环路滤波(ALF：AdaptiveLoop Filter)。使用例如二维维纳滤波器(WienerFilter)作为自适应环路滤波器42。当然，可以使用维纳滤波器以外的滤波器。自适应环路滤波器42把滤波处理结果提供给帧存储器32。

虽然图1的例子中没有示出，但是自适应环路滤波器42以处理为单位计算图像编码装置11中的滤波系数，使得原始图像与画面重排缓冲器12的差别被最小化，然后使用。所计算的滤波系数在无损编码单元26中被编码为自适应环路滤波参数并且被发送给后面描述的图3的图像解码装置51。

帧存储器32在预定的定时经由选择单元33把累积的参考图像输出给帧内预测单元34或运动预测/补偿单元35。

例如，在对其执行帧内编码的图像的情况下，帧存储器32通过选择单元33把参考图像提供给帧内预测单元34。例如，在对其执行帧间编码的图像的情况下，帧存储器32通过选择单元33把参考图像提供给运动预测/补偿单元35。

如果从帧存储器32提供的参考图像是对其执行帧内编码的图像，则选择单元33把参考图像提供给帧内预测单元34。此外，如果从帧存储器32提供的参考图像是对其执行帧间编码的图像，则选择单元33把该参考图像提供给运动预测/补偿单元35。

帧内预测单元34执行帧内预测(画面内预测)，以使用画面内的像素值产生预测图像。帧内预测单元34以多种模式(帧内预测模式)执行帧内预测。

帧内预测单元34以所有的帧内预测模式产生预测图像，评估每个预测图像，然后选择最佳的模式。一旦选择了最佳的帧内预测模式，帧内预测单元34就通过预测图像选择单元36把按照该最佳模式产生的预测图像提供给计算单元23或计算单元30。

如上所述，帧内预测单元34适当地把表示所采用的帧内预测模式的帧内预测模式信息提供给无损编码单元26。

对于执行帧间编码的图像，运动预测/补偿单元35使用从画面重排缓冲器22提供的输入图像以及通过选择单元33从帧存储器32提供的参考图像来执行运动预测。运动预测/补偿单元35根据由运动预测检测到的运动向量，通过运动补偿处理产生预测图像(帧间预测图像信息)。

运动预测/补偿单元35通过在所有候选的帧间预测模式中执行帧间预测处理来产生预测图像。运动预测/补偿单元35通过预测图像选择单元36把所产生的预测图像提供给计算单元23或计算单元30。

运动预测/选择单元35把参数(例如表示所采用的帧间预测模式的帧间预测模式信息以及表示所计算的运动向量的运动向量信息)提供给无损编码单元26。

在对其执行帧内编码的图像的情况下，预测图像选择单元36把帧内预测单元34的输出提供给计算单元23或计算单元30。在对其执行帧间编码的图像的情况下，预测图像选择单元36把运动预测/补偿单元35的输出提供给计算单元23或计算单元30。

速率控制单元37基于累积缓冲器27中累积的压缩图像来控制量化单元25的量化操作的速率，使得不会出现上溢或下溢。

[图像编码装置的操作]

将参照图2描述上述图像编码装置11执行的编码处理的流程。

在步骤S11，A/D转换单元21执行输入图像的A/D转换。在步骤S12画面重排缓冲器22存储经过A/D转换之后的图像，并且把已经按照显示顺序排列的图片按照编码顺序重新排列。

如果从画面重排缓冲器22提供的待处理图像是已经针对块执行过帧内处理的图像，则从帧存储器32读出要参考的解码图像并且通过选择单元33将其提供给帧内预测单元34。

基于这些图像，在步骤S13中，帧内预测单元34以所有候选的帧内预测模式对待处理块的各个像素进行帧内预测。作为要参考的解码像素，使用未利用去块滤波器31a对其进行滤波的像素。

通过该处理，在所有候选的帧内预测模式中执行帧内预测，并且针对所有候选的帧内预测模式计算成本函数。基于所计算的成本函数值，选择最佳的帧内预测模式，把通过帧内预测在最佳的帧内预测模式中产生的预测图像和成本函数值提供给预测图像选择单元36。

如果从画面重排缓冲器22提供的待处理图像是要对其执行帧间处理的图像，则从帧存储器32读出要参考的图像并且通过选择单元33将其提供给运动预测/补偿单元35。基于这些图像，在步骤S14，运动预测/补偿单元35执行运动预测/补偿处理。

通过该处理，在所有候选的帧间预测模式中执行运动预测处理，针对所有的候选帧间预测模式计算成本函数值，并且基于所计算的成本函数值决定最佳的帧间预测模式。然后，通过最佳帧间预测模式产生的预测图像及其成本函数值被提供给预测图像选择单元36。

在步骤S15中，预测图像选择单元36基于从帧内预测单元34和运动预测/补偿单元35输出的各自的成本函数值，决定最佳的帧内预测模式和最佳的帧间预测模式中的一个作为最佳的预测模式。然后，预测图像选择单元36选择所决定的最佳的预测模式的预测图像并且将该图像提供给计算单元23和30。如下所述，该预测图像将在步骤S16和S21的计算中使用。

该预测图像的选择信息被提供给帧内预测单元34或运动预测/补偿单元35。如果已经选择了最佳的帧内预测模式中的预测图像，则帧内预测单元34把表示最佳的帧内预测模式的信息(即，与帧内预测相关的参数)提供给无损编码单元26。

如果已经选择了最佳的帧间预测模式中的预测图像，则运动预测/补偿单元35把表示最佳的帧间预测模式的信息以及基于最佳的帧间预测模式的信息(即与运动预测相关的参数)提供给无损编码单元26。基于最佳的帧间预测模式的信息对应于运动矢量信息、参考帧信息、等等。

在步骤S16，计算单元23计算在步骤S12中重排的图像和在步骤S15中选择的预测图像之间的差分。在帧间预测的情况下，预测图像从运动预测/补偿单元35经由预测图像选择单元36提供给计算单元23；在帧内预测的情况下，预测图像从帧内预测单元34经由预测图像选择单元36提供给计算单元23。

差分数据在数据量方面小于原始图像数据。因此，与不进行任何处理就对图像进行编码的情况相比，能够压缩数据量。

在步骤S17中，正交变换单元24对从计算单元23提供的差分信息执行正交变换。具体地说，执行例如离散余弦变换或Karhunen-Loeve变换的正交变换，并且输出变换系数。

在步骤S18中，量化单元25对变换系数进行量化。在该量化中，如下所述在步骤S28的处理中控制速率。

以该方式量化的差分信息被局部解码如下。在步骤S19中，逆量化单元28利用与量化单元25的特性对应的特性对量化单元25量化的变换系数进行逆量化。在步骤S20中，逆正交变换单元29利用与正交变换单元24的特性对应的特性，对已经过逆量化单元28逆量化的变换系数进行逆正交变换。

在步骤S21中，计算单元30把通过预测图像选择单元36输入的预测图像与局部解码的差分信息相加，从而产生局部解码(即局部地被解码)的图像(与计算单元23的输入对应的图像)。

在步骤S22中，去块滤波器31a对从计算单元30输出的图像执行去块滤波处理。在参照图14详细描述的去块滤波处理中，Bs值用来确定强滤波。经过去块滤波器31滤波后的图像被输出给自适应偏移滤波器41。

在去块滤波器31a中使用的开启/关闭信息(通过用户操作经由操作单元输入)以及参数贝塔(beta)和tc各自的偏移被作为去块滤波器的参数提供给无损编码单元26。

在步骤S23中，自适应偏移滤波器41执行自适应偏移滤波处理。通过该处理，利用各个LCU的偏移值对经过去块滤波器31a的滤波处理之后的图像执行滤波处理，其中对于该图像决定了各个LCU的偏移滤波类型。经过滤波以后的图像被提供给自适应环路滤波器42。

针对各个LCU决定的偏移值被作为自适应偏移参数提供给无损编码单元26。

在步骤S24，自适应环路滤波器42对经过自适应偏移滤波器41滤波之后的图像执行自适应环路滤波处理。例如，使用滤波系数以处理为单位对经过自适应偏移滤波器41滤波之后的图像进行滤波处理，滤波处理结果被提供给帧存储器32。

在步骤S25中，帧存储器32存储经过滤波的图像。没有经过去块滤波器31、自适应偏移滤波器41或自适应环路滤波器42滤波的图像也从计算单元30提供给帧存储器32并存储在其中。

另一方面，在步骤S18中量化的变换系数也被提供给无损编码单元26。在步骤S26中，无损编码单元26对从量化单元25输出的量化的变换系数以及所提供的每个参数进行编码。换言之，对差分图像进行无损编码，例如可变长度编码或算数编码，然后压缩。作为要编码的各个参数，给出去块滤波器的参数、自适应偏移滤波器的参数、自适应环路滤波器的参数、量化参数、运动向量信息、参考帧信息、预测模式信息、等等。

在步骤S27中，累积缓冲器27累积编码的差分图像(即编码流)作为压缩图像。累积在累积缓冲器27中的压缩图像被读出并且通过发送路径被发送给解码侧。

在步骤S28中，速率控制单元37基于在累积缓冲器27中累积的压缩图像来控制量化单元25的量化操作的速率，使得不会出现上溢或下溢。

在步骤S28的处理结束时，编码处理结束。

[图像解码装置的结构示例]

图3例示了作为应用了本公开的图像处理装置的图像解码装置的一个实施例的结构。图3例示的图像解码装置51是针对图1的图像编码装置11的解码装置。

由图像编码装置11编码的编码流(数据)从图像编码装置11经过预定发送路径被发送给图像解码装置51，并且在图像解码装置51中被解码。

如图3所示，图像解码装置51包括累积缓冲器61、无损解码单元62、逆量化单元63、逆正交变换单元64、计算单元65、去块滤波器31b、画面重排缓冲器67、以及D/A转换单元68。图像解码装置51包括帧存储器69、选择单元70、帧内预测单元71、运动预测/补偿单元72、以及选择单元73。

此外，图像解码装置51包括位于去块滤波器31b与画面重排缓冲器67和帧存储器69之间的自适应偏移滤波器81和自适应环路滤波器82。

累积缓冲器61还用作接收所发送的编码数据的接收单元。累积缓冲器61接收并累积所发送的编码数据。编码数据是通过图像编码装置11的编码获得的数据。无损解码单元62通过与图1的无损编码单元26的编码方法对应的方法，对按照预定定时从累积缓冲器61读出的编码数据进行解码。

无损解码单元62把解码的参数(例如表示帧内预测模式的信息)提供给帧内预测单元71，并且把例如表示帧间预测模式的信息或运动矢量信息的参数提供给运动预测/补偿单元72。无损解码单元62把解码的去块滤波器的参数提供给去块滤波器31b，并且把解码的自适应偏移参数提供给自适应偏移滤波器81。

逆量化单元63通过与图1的量化单元25的量化方法对应的方法，对通过无损解码单元62的解码获得的系数数据(量化系数)进行逆量化。换言之，逆量化单元63使用从图像编码装置11提供的量化参数，通过与图1的逆量化单元28的方法类似的方法对量化系数进行逆量化。

逆量化单元63把逆量化的系数数据(即正交变换系数)提供给逆正交变换单元64。逆正交变换单元64通过与图1的正交变换单元24的正交变换方法对应的方法，对正交变换系数执行逆正交变换，从而提供与图像编码装置11的正交变换之前的残差数据对应的解码残差数据。

通过逆正交变换获得的解码残差数据被提供给计算单元65。从帧内预测单元71或运动预测/补偿单元72通过选择单元73向计算单元65提供预测图像。

计算单元65把解码残差数据与预测图像相加，从而提供与图像编码装置11的计算单元23减去预测图像之前的图像数据对应的解码图像数据。计算单元65把解码的图像数据提供给去块滤波器31b。

去块滤波器31b通过适当地执行去块滤波处理来抑制解码图像的块失真。去块滤波器31b基本构造与图1的去块滤波器31a类似。换言之，去块滤波器31b包括强滤波和弱滤波，并且利用确定算式来确定采用哪种滤波。强滤波的确定算式包括三个确定算式，在每个算式中，使用Bs值以及基于量化参数QP获得的参数beta或tc。

注意，在图像解码装置51中接收去块滤波器的开启/关闭信息(由图像编码装置11编码)以及参数beta和tc的各自的偏移作为去块滤波器的参数，被无损解码单元62解码，并且被去块滤波器31b使用。

去块滤波器31b使用上述的开启/关闭信息、偏移以及参数beta和tc，对来自计算单元30的图像执行去块滤波处理。去块滤波器31b把滤波处理结果提供给自适应偏移滤波器81。注意，下面参照图14描述去块滤波器31b的详细结构。

自适应偏移滤波器81对经过去块滤波器31滤波之后的图像执行偏移滤波(SAO)处理，尤其用于抑制振铃效应(ringing)。

自适应偏移滤波器81使用各个LCU的偏移值，对经过去块滤波器31b滤波之后的图像执行滤波处理，对于该图像已经决定了每个LCU的偏移滤波的类型。自适应偏移滤波器81把经过滤波的图像提供给自适应环路滤波器82。

注意，用于各个LCU的偏移值是通过图像编码装置11的自适应偏移滤波器41计算的值并且作为自适应偏移参数被编码和发送。通过图像编码装置11编码的用于各个LCU的偏移值在图像解码装置51中被接收作为自适应偏移参数，被无损解码单元62解码，并且被自适应偏移滤波器81使用。

自适应环路滤波器82使用滤波系数，以处理为单位对经过自适应偏移滤波器81滤波之后的图像执行滤波处理，并且把滤波处理结果提供给帧存储器69和画面重排缓冲器67。

虽然在图3的例子中没有示出，但是在图像解码装置51中，通过图像编码装置11的自适应环路滤波器42针对每个LCU计算滤波系数，并且作为自适应环路滤波参数编码和发送的滤波系数被无损解码单元62解码和使用。

画面重排缓冲器67重新排列各个图像。换言之，已经由图1的画面重排缓冲器22出于编码目的而重排的各个帧的顺序被按照原始的显示顺序而重新排列。D/A转换单元68对从画面重排缓冲器67提供的图像执行D/A转换，并且把图像输出给显示图像的显示器(未示出)。

自适应环路滤波器82的输出还被提供给帧存储器69。

帧存储器69、选择单元70、帧内预测单元71、运动预测/补偿单元72和选择单元73分别对应于图像编码装置11的帧存储器32、选择单元33、帧内预测单元34、运动预测/补偿单元35以及预测图像选择单元36。

选择单元70从帧存储器69中读出要进行帧间处理的图像和要被参考的图像，并且把这些图像提供给运动预测/补偿单元72。此外，选择单元70从帧存储器69中读出在帧内预测中使用的图像并且把该图像提供给帧内预测单元71。

从无损解码单元62适当地向帧内预测单元71提供通过解码头信息等获得的表示帧内预测模式的信息。基于该信息，帧内预测单元71根据从帧存储器69获取的参考图像来产生预测图像，并且把产生的预测图像提供给选择单元73。

从无损解码单元62向运动预测/补偿单元72提供通过解码头信息获得的各种信息，例如预测模式信息、运动向量信息、参考帧信息、标志、以及各种参数。

运动预测/补偿单元72基于从无损解码单元62提供的各种信息，根据从帧存储器69获取的参考图像来产生预测图像，并且把产生的预测图像提供给选择单元73。

选择单元73选择由运动预测/补偿单元72或帧内预测单元71产生的预测图像，并且把该图像提供给计算单元65。

[图像解码装置的操作]

参照图4，描述由图像解码装置51执行的解码处理的流程的示例。

当开始解码处理时，在步骤S51中，累积缓冲器61接收所发送的编码流(数据)并且累积该数据。在步骤S52中，无损解码单元62对累积缓冲器61提供的编码数据进行解码。对图1中的无损编码单元26编码的I图片、P图片和B图片进行解码。

在各个图片的解码之前，还解码各种参数的信息，例如运动向量信息、参考帧信息、预测模式信息(帧内预测模式或帧间预测模式)。

如果预测模式是帧内预测模式信息，则预测模式信息被提供给帧内预测单元71。如果预测模式信息是帧间预测模式信息，则与预测模式信息对应的运动向量信息等被提供给运动预测/补偿单元72。此外，去块滤波器的参数和自适应偏移参数被解码并且被分别提供给去块滤波器31b和自适应偏移滤波器81。

在步骤S53中，帧内预测单元71或运动预测/补偿单元72根据从无损解码单元62提供的预测模式信息执行预测图像产生处理。

换句话说，在从无损解码单元62提供了帧内预测模式信息的情况下，帧内预测单元71产生帧内预测模式的帧内预测图像。在从无损解码单元62提供了帧间预测模式信息的情况下，运动预测/补偿单元72执行帧间预测模式的运动预测/补偿处理，从而产生帧间预测图像。

通过该处理，通过帧内预测单元71产生的预测图像(帧内预测图像)或者通过运动预测/补偿单元72产生的预测图像(帧间预测图像)被提供给选择单元73。

在步骤S54中，选择单元73选择预测图像。换句话说，提供由帧内预测单元71产生的预测图像或由运动预测/补偿单元72产生的预测图像。因此，所提供的预测图像被选中并且被提供给计算单元65，并且在下面描述的步骤S57中与逆正交变换单元64的输出相加。

在上述步骤S52中，由无损解码单元62解码的变换系数还被提供给逆量化单元63。在步骤S55中，逆量化单元63利用与图1的量化单元25的特性对应的特性，对无损解码单元62解码的变换系数执行逆量化。

在步骤S56中，逆正交变换单元64利用与图1的正交变换单元24的特性对应的特性，对经过逆量化单元63逆量化的变换系数执行逆正交变换。因此，与图1的正交变换单元24的输入(计算单元23的输出)对应的差分信息被解码。

在步骤S57中，计算单元65把差分信息与在上述步骤S54的处理中选择且通过选择单元73输入的预测图像相加。因此，原始图像被解码。

在步骤S58中，去块滤波器31b对从计算单元65输出的图像执行去块滤波处理。在去块滤波处理中(参照图14详细描述)，在关于强滤波的确定过程中使用Bs值。经过去块滤波器31的滤波之后的图像被输出给自适应偏移滤波器41。在去块滤波处理中，还使用从无损解码单元62提供的作为去块滤波器的参数的开启/关闭信息以及参数beta和tc各自的偏移。

在步骤S59中，自适应偏移滤波器81执行自适应偏移滤波处理。通过该处理，使用各个LCU的偏移值对经过去块滤波器31b滤波的图像进行滤波处理，其中针对该图像已经决定了各个LCU的偏移滤波类型。经过滤波之后的图像被提供给自适应环路滤波器82。

在步骤S60中，自适应环路滤波器82对经过自适应偏移滤波器81滤波之后的图像执行自适应环路滤波处理。利用以处理为单位计算的滤波系数，自适应环路滤波器82以处理为单位对输入图像执行滤波处理，并且把滤波处理结果提供给画面重排缓冲器67和帧存储器69。

在步骤S61中，帧存储器69存储经过滤波的图像。

在步骤S62，画面重排缓冲器67对经过自适应环路滤波器82之后的图像进行重新排列。换言之，按照原始的显示顺序对经过图像编码装置11的画面重排缓冲器22针对编码而重排的各个帧的顺序进行重新排列。

在步骤S63中，D/A转换单元68对来自画面重排缓冲器67的图像执行D/A转换。该图像被输出给显示图像的显示器(未示出)。

当步骤S63的处理结束时，解码处理结束。

<2.第一实施例>

[强滤波的确定条件]

下面，参照图5描述本技术以及HEVC方法中的强滤波的确定算式。

在图5的例子中，示出了包括4×4像素的块P和在右侧与块P相邻的相邻块Q。

在HEVC方法中，使用块P和相邻块Q之间的边界上的三个像素(图中阴影的矩形)来确定是否应用针对它们之间的边界的滤波之中的强滤波。作为HEVC方法中的强滤波的确定算式，使用下面算式(1)至(3)。

[数学式1]

|p3i-p0i|+|q3i-q0i|<(beta>>3) …(1)

[数学式2]

2*(|p2i-2*p1i+p0i|+|q2i-2*q1i+q0i|)<(beta>>2) …(2)

[数学式3]

|p0i-q0i|<((tc*5+1)>>1) …(3)

在图5的例子中，在算式(1)至(3)中，i＝0，3。

在算式(1)和(2)中，确定块中的像素值。算式(1)和(2)表明当块具有梯度值时，容易应用强滤波。相反地，算式(3)确定在块边界处的像素值。

换句话说，如果在待确定的块边界处所有的算式(1)至(3)都是真，则对该块边界使用强滤波；如果至少一个是假，则下面执行弱滤波的确定。

如果在当前情况下仍然使用HEVC方法中的强滤波的确定算式，则在块噪声显著的情况下经常采用弱滤波，在这种情况下会残留块噪声。

鉴于此，希望增加在噪声显著的位置采用强滤波的块边界的数目。

考虑到上述内容，在本技术中，调整强滤波的确定，使得更多地应用强滤波。例如，在强滤波的确定中使用Bs值，如替代算式(1)至(3)的下列算式(4)至(6)所示。

[数学式4]

|p3i-p0i|+|q3i-q0i|<(f1(Bs)*beta>>3) …(4)

[数学式5]

2*(|p2i-2*p1i+p0i|+|q2i-2*q1i+q0i|)<(f2(Bs)*beta>>2) …(5)

[数学式6]

|p0i-q0i|<((f3(Bs)*tc*5+1)>>1) …(6)

在图5的例子中，算式(4)至(6)中i＝0，3。此外，例如，f1(Bs)＝F2(Bs)＝F3(Bs)＝Bs+2。在一般表达式中，F(Bs)＝a*Bs+b；但是函数的状态并不重要。

这里，通过使用量化参数QP从表格中获取在强滤波的确定中使用的参数beta和tc。因此，随着量化参数QP增大，参数beta和tc也增大。由于更大的量化参数趋向于增大量化噪声，在强滤波的确定中使用这些值。但是，在强滤波的确定中，参数beta和tc的值被分割得更小并且在确定中使用；因此，在经常出现块噪声的图像(例如水或自然)中，阈值更小一些。

鉴于此，在本技术中，在强滤波中增大参数beta和tc的值，并且利用更大的阈值执行确定。因此，算式(4)至(6)很容易变成真，并且能够增加应用强滤波的区域。

另外，与帧间预测相比，帧内预测(画面内预测)的预测精度较低并且预测误差(残差信息)更大；因此，导致块噪声。Bs值是表示块边界的强度的参数，并且考虑到预测误差而把Bs值设置为使得该参数在帧内预测的情况下大于在帧间预测的情况下。

换言之，Bs值在HEVC方法中可以是0、1、或2。在0的情况下，不应用去块滤波。在1的情况下，预测模式不是帧内预测；在2的情况下，预测模式是帧内预测。

在帧内预测的情况下，通过把上面的Bs值乘以参数beta和tc的值来使得阈值在确定中被设置得大于在帧间预测的情况。结果，与帧间预测的情况相比，在帧内预测的情况下可以使得应用强滤波的区域更大。

如上所述，通过使用Bs值作为强滤波确定中的阈值，增大了算式(4)至(6)右侧的阈值参数，并且可以在确定中使用大的阈值。因此，算式(4)至(6)容易变成真，并且能够增大应用强滤波的区域。

注意，已经描述了以下例子：在确定算式的右侧的阈值参数中，把Bs值(Bs值的线性函数)乘以参数beta或tc，从而增大强滤波的确定的阈值。

这里，增大强滤波的确定的阈值的方法不限于对Bs值进行乘法运算，例如可以在HEVC方法的算式(1)至(3)的右侧的阈值参数中减小偏置值并且使用。

在这种情况下，与其它预测相比，偏置值在帧内预测中被设置得更小，并且在其它预测中(例如帧间预测)，偏置值被设置得大于在帧内预测中的偏置值。

换言之，根据预测模式改变确定的偏置值并且使用。在这种情况下，能够获得与在确定强滤波的阈值中使用Bs值时获得的效果类似的效果。换句话说，由于在帧内预测中设置的偏置值较小，能够增大确定中的阈值。因此，在帧内预测的情况下，易于应用强滤波。

如上所述，与帧间预测相比，预测误差趋于在帧内预测中增大，在这种情况下，块噪声经常显著地出现。因此，当在帧内预测中应用强滤波时，能够进一步抑制块噪声。

注意，预测模式是表示帧内预测的模式或表示帧间预测的模式。另外，预测模式可以包括，例如帧内预测中的垂直模式和水平模式。

[强滤波确定的详细描述]

图6表示当f1(Bs)＝Bs+2时，量化参数QP和算式(4)右侧的值之间的关系。换句话说，在这种情况下，在Bs值的线性函数中a＝1且b＝2。注意，算式(1)和(4)右侧的值被称为阈值A。

当预测模式不是帧内预测时，Bs值＝1；因此，算式(4)右侧的阈值A为(3*beta)>>3。当预测模式是帧内预测时，Bs值＝2；因此，算式(4)右侧的阈值A为(4*beta)>>3。

因此，对于量化参数QP，图6示出了在HEVC(传统技术)情况下算式(1)右侧的阈值A、在本技术中除了帧内预测以外的预测的情况下算式(4)右侧的阈值A、在本技术中帧内预测的情况下算式(4)右侧的阈值A。

例如，当量化参数QP为51时，阈值A如下：在HEVC的情况下为8；在本技术中除了帧内预测以外的预测的情况下为24；在本技术中帧内预测的情况下为32。

因此，与HEVC情况下的阈值A相比，在本技术中除了帧内预测以外的预测情况下的阈值A更大。另外，在本技术中帧内预测情况下的阈值A大于在本技术中除了帧内预测以外的预测情况下的阈值A。

图7例示了在图6的情况下图5的块P和Q的像素值的例子。在图7的例子中，p3i和q3i表示在HEVC(传统技术)情况下应用强滤波的范围中的像素值，p’3i和q’3i表示在本技术的情况下应用强滤波的范围中的像素值。

换句话说，p’3i-p0i的值以及q’3i-q0i的值大于HEVC情况下的值(p3i-p0i的值以及q3i-q0i的值)。因此，本技术的情况下确定算式(算式(4))对于块边界为真，而在HEVC的情况下确定算式(算式(1))则为假。

图8表示在f2(Bs)＝Bs+2的情况下，量化参数QP和算式(5)右侧的值之间的关系。注意，算式(2)和(5)右侧的值被称为阈值B。

当预测模式是除了帧内预测以外的预测时，Bs值＝1；因此，算式(5)右侧的阈值B为(3*beta)>>2。当预测模式是帧内预测时，Bs值＝2；因此，算式(5)右侧的阈值B为(4*beta)>>2。

因此，对于量化参数QP，图8示出了在HEVC(传统技术)情况下算式(2)右侧的阈值B、在本技术中除了帧内预测以外的预测的情况下算式(5)右侧的阈值B、在本技术中帧内预测的情况下算式(5)右侧的阈值B。

例如，当量化参数QP是51时，阈值B如下：在HEVC情况下为16；在本技术中除了帧内预测以外的预测情况下为48；在本技术中帧内预测情况下为64。

以这种方式，在本技术中除了帧内预测以外的预测情况下的阈值B大于在HEVC情况下的阈值B。在本技术中帧内预测情况下的阈值B大于在本技术中除了帧内预测以外的预测情况下的阈值B。

图9例示了图8的情况下图5的块P和Q的像素值的例子。在图9的例子中，p2i、p1i、q2i和q1i是在HEVC(传统技术)情况下应用强滤波的范围中的像素值。此外，p’2i、p’1i、q’2i和q’1i是本技术情况下应用强滤波的范围中的像素值。

换句话说，与HEVC(p2i-p1i的值和p1i-p0i的值，q3i-q1i的值和q1i-q0i的值)的情况相比，p’2i-p’1i的值和p’1i-p0i的值某种程度上更大，q’3i-q’1i的值和q’1i-q0i的值某种程度上更大。因此，本技术的情况下确定算式(算式(5))对于块边界为真，而在HEVC的情况下确定算式(算式(2))则对于块边界为假。

算式(4)和(5)确定块中的像素值，而算式(6)确定块边界的像素值。

图10表示在f3(Bs)＝Bs+2的情况下，量化参数QP和算式(6)右侧的值之间的关系。算式(3)和(6)右侧的值被称为阈值C。

当预测模式是除了帧内预测以外的预测时，Bs值＝1；因此，算式(6)右侧的阈值C为(3*tc*5+1)>>1。当预测模式是帧内预测时，Bs值＝2；因此，算式(6)右侧的阈值C为(4*tc*5+1)>>1。

因此，对于量化参数QP，图10示出了在HEVC(传统技术)情况下算式(3)右侧的阈值C、在本技术中除了帧内预测以外的预测的情况下算式(6)右侧的阈值C、在本技术中帧内预测的情况下算式(6)右侧的阈值C。

例如，当量化参数QP是53时，在HEVC中除了帧内预测以外的预测的情况下阈值C为50。然而，在HEVC中，在帧内预测的情况下，把QP的值加2，以查找表格外的tc；这样，虽然没有在图10中示出，在HEVC的帧内预测情况下的阈值C为60。另一方面，在本技术中除了帧内预测以外的预测情况下的阈值C为150，并且在本技术中帧内预测情况下的阈值C为200。

这样，在本技术中除了帧内预测以外的预测情况下的阈值C大于在HEVC情况下的阈值C。此外，在本技术中帧内预测情况下的阈值C大于在本技术中除了帧内预测以外的预测情况下的阈值C。

注意，除了块滤波器的强/弱滤波确定以外，tc的值还用于其它部分(滤波处理)中，在本技术中，只在强/弱滤波确定中使用tc和Bs值的乘积。

图11例示了图10的情况下图5的块P和Q的像素值的例子。在图11的例子中，p0i和q0i表示在HEVC(传统技术)情况下应用强滤波的范围中的像素值。此外，p’0i和q’0i是本技术情况下应用强滤波的范围中的像素值。

换句话说，与HEVC(p0i-q0i的值)的情况相比，p’0i-q’0i的值某种程度上更大。因此，本技术的情况下确定算式(算式(6))对于块边界为真，而在HEVC的情况下确定算式(算式(3))则对于块边界为假。

与HEVC的情况相比，算式(4)和(6)有很高的可能性为真。因此，在本技术中，可以在HEVC的情况下不能应用强滤波的块边界处(即，在块噪声显著的区域)应用强滤波。

[具体示例]

下面，参照图12描述HEVC(传统技术)和本技术的一个具体示例。

块边界处的像素值在去块滤波之前从左侧开始为120、121、121、119、147、144、142和140。在图12的例子中，块边界位于像素值119和像素值147之间。

例如，当量化参数QP为37时，算式(1)和(4)左侧的值为：

d＝|120-119|+|147-140|＝8

当量化参数QP为37时，算式(1)右侧的阈值A为4，算式(4)右侧的阈值A为18；因此，在HEVC情况下算式(1)为假，而在本技术情况下算式(4)为真。

类似地，当量化参数QP为37时，算式(2)和(5)左侧的值为：

d＝2*|121-2*121+121|+|147-2*144+142|＝6

这里，当量化参数QP为37时，算式(2)右侧的阈值B为9，算式(5)右侧的阈值B为36；因此，在HEVC情况下的算式(2)为真，在本技术情况下的算式(5)为真。

此外，当量化参数QP为37时，算式(3)和(6)左侧的值为：

d＝|147-119|＝38

这里，当量化参数QP为37时，算式(3)右侧的阈值C为10，算式(6)右侧的阈值C为40；因此，在HEVC情况下的算式(3)为真，在本技术情况下的算式(6)为真。

因此，在HEVC情况下，在块边界不应用强滤波，而是使用例如弱滤波。另一方面，在本技术的情况下，在块边界处应用强滤波。

结果，在HEVC情况下经过去块(弱)滤波的像素值从左侧开始为120、121、124、126、140、141、142和140。在块边界处的像素值为126和140，各个块之间的像素值仍然存在很大差异。

另一方面，在本技术情况下经过去块(强)滤波的像素值从左侧开始为120、124、127、130、135、138、139和140。在块边界处的像素值为130和135，在各个块之间的像素值具有很小的差异。因此，能够使得块噪声更不可见。

例如，难以预测自然的运动(例如河中水流或树叶的抖动)，帧内预测更合适；因此，本技术对于这种图像特别有效。

[去块滤波器的结构示例]

下面将详细描述图1的图像编码装置的去块滤波器31a和图3的图像解码装置的去块滤波器31b。注意，由于图1的图像编码装置的去块滤波器31a和图3的图像解码装置的去块滤波器31b具有基本类似的结构和操作，这些滤波器被总的描述为去块滤波器31。

去块滤波器31a和去块滤波器31b具有以下不同点。在去块滤波器31a的情况下，通过操作单元(未示出)输入关于是否应用去块滤波器的开启/关闭信息以及参数beta和tc的偏移。另一方面，在去块滤波器31b的情况下，在无损解码单元62中接收和解码已经在图像编码装置11中被编码的、关于是否应用去块滤波器的开启/关闭信息以及参数beta和tc的偏移，并且输入。

图13是例示去块滤波器的结构示例的框图。

在图13的例子中，去块滤波器31包括图像存储器101、块边界确定单元102、滤波强度确定单元103、滤波计算单元104、系数存储器105以及控制单元106。

图像存储器101由线存储器形成，并且存储从加法单元30提供的图像数据。图像存储器101读出所存储的图像数据并且把该数据提供给块边界确定单元102、滤波强度确定单元103以及滤波计算单元104。

在除了线边界以外的地方，图像数据可以不存储在图像存储器101中，从加法单元30提供的图像数据可以被提供给各个单元并被处理。但是，在图13的例子中，为了便于描述，通过图像存储器101的图像数据被处理。

块边界确定单元102在控制单元106的控制下，对每八条线得到边界并且计算用于确定的参数，从而对每四条线确定各个块之间的边界。换言之，块边界确定单元102使用从图像存储器101读出的图像数据来得到TU和PU之间的边界，从而得到Bs值。此外，块边界确定单元102通过对与待处理边界相邻的两个区域中的量化参数QP求平均值来计算平均QP(量化参数)，并且基于所计算的平均QP来计算参数tc和beta。

然后，块边界确定单元102通过使用图像存储器101中其间插入有块边界的彼此相邻的两个块的图像数据以及计算的参数来针对每四个线确定是否执行滤波。块边界确定单元102把计算的参数以及边界确定结果提供给滤波强度确定单元103。

滤波强度确定单元103在控制单元106的控制下针对每四条线确定滤波强度。换言之，如果块边界确定单元102已经确定执行滤波，则滤波强度确定单元103在强滤波和弱滤波中的哪种强度下执行滤波处理，并且把确定结果输出给滤波计算单元104。在这种情况下，滤波强度确定单元103在强滤波的确定算式中使用Bs值。

滤波计算单元104在控制单元106的控制下，通过使用图像存储器101中存储的图像数据和从系数存储器105读出的滤波系数，按照滤波强度确定单元103确定的滤波强度针对每四条线执行滤波计算。滤波强度计算单元104把已经执行过滤波处理的图像数据输出给后级中的帧存储器32。

系数存储器105存储在去块滤波处理的滤波计算中使用的滤波系数。系数存储器105读出所存储的滤波系数并且把该滤波系数提供给滤波计算单元104。

控制单元106输入来自操作单元(在解码侧的情况下的无损解码单元62，未示出)的信息(例如去块滤波器的开启/关闭信息、参数beta和tc的偏移值、剪辑处理中的参数)。向控制单元106提供去块滤波器所需的参数，例如预测模式信息或量化参数。

例如，控制单元106把输入信息提供给对应的单元或者基于输入的开启/关闭信息控制去块滤波器31的各个单元。

控制单元106通过控制图像存储器101来存储块中位于下端侧的若干预定线的图像数据以及读出所存储的图像数据。在确定强滤波时，控制单元106控制滤波强度确定单元103使用Bs值。可替换地，控制单元106控制滤波强度确定单元103并且根据预测模式改变偏置值的大小。

[去块滤波处理单元的操作]

下面参照图14的流程图描述图13的去块滤波器31的去块处理。注意，该处理包括图2的步骤S22或图4的步骤S58的处理。

例如，通过操作单元(未示出，在解码侧的情况下为无损解码单元62)向控制单元106输入开启/关闭信息、beta偏移的值、tc偏移的值、剪辑处理中的参数。此外，向控制单元106提供去块滤波器所需的参数，例如预测模式信息或量化参数。

在步骤S101，控制单元106设置滤波器的偏移(beta偏移和tc偏移)，并且把设定的偏移信息提供给滤波强度确定单元103。

在步骤S102，控制单元106基于开启/关闭信息确定去块滤波器是否不可用。如果在步骤S102确定去块滤波器不可用，则去块滤波处理结束。

如果在步骤S102确定去块滤波器并非不可用，则控制单元106将该确定结果通知给块边界确定单元102、滤波强度确定单元103以及滤波计算单元104，处理前进到步骤S103。在此情况下，控制单元106还提供各个单元所需的参数。

在步骤S103，块边界确定单元102以八条线为单位得到TU和PU之间的边界。在步骤S104，块边界确定单元102基于诸如步骤S103得到的TU和PU之间的边界以及来自控制单元106的预测模式信息的信息来得到Bs值。

在步骤S105，块边界确定单元102、滤波强度确定单元103以及滤波计算单元104对亮度边界执行滤波处理。在对亮度边界的滤波处理中，通过下面参照图15描述的步骤S105的处理对亮度信号执行亮度边界的滤波。

在步骤S106，块边界确定单元102、滤波强度确定单元103以及滤波计算单元104对色差边界执行滤波处理。在步骤S106的处理中，对色差信号执行色差边界的滤波。

在步骤S107，控制单元106确定是否所有边界都已经被处理。如果在步骤S107确定尚未完成对所有边界的处理，则处理返回步骤S105，重复步骤S105以及此后的步骤的处理。如果在步骤S107确定所有边界已经被处理，则在步骤S107，处理前进到步骤S108。

在步骤S108，控制单元106确定是否所有CU都已经被处理。如果在步骤S108确定尚未完成对所有CU的处理，则处理返回到步骤S103，重复步骤S103以及其后的处理。

如果在步骤S108确定所有的CU都已经被处理，则去块滤波处理结束。

[亮度边界的滤波处理的示例]

下面参照图15的流程图描述图14的步骤S105中的亮度边界的滤波处理。

块边界确定单元102在步骤S131以八条线为单位确定Bs值是否大于0。如果在步骤S131确定Bs值不大于0，则亮度边界的滤波处理结束。换言之，在这种情况下不对亮度边界执行滤波计算单元104的滤波处理，输出滤波之前的像素值。

如果在步骤S131确定Bs值大于0，则处理前进至步骤S132。在步骤S132，块边界确定单元102以八个线为单位，使用来自图像存储器101的像素值，通过对与待处理边界相邻的两个区域中的量化参数QP求平均值来计算平均QP(量化参数)。从控制单元106提供量化参数QP。

在步骤S133，块边界确定单元102以八条线为单位，基于步骤S132计算的平均QP来计算参数tc和beta。

在步骤S134，块边界确定单元102以四条线为单位执行滤波器的开启/关闭确定。换言之，块边界确定单元102通过使用计算的参数beat或tc等，以四条线为单位执行滤波器的开启/关闭确定。

在步骤S134的开启/关闭确定结果连同所计算的参数(beta，tc，Bs值)一起被作为边界确定结果提供给滤波强度确定单元103。

在步骤S135，在控制单元106的控制下，滤波强度确定单元103使用各个参数来设置确定强滤波的阈值。例如，在步骤S135中，在使用Bs值的情况下，根据来自控制单元106的Bs值的线性函数来设置算式(4)至(6)中的确定的阈值。当改变偏置值时，根据来自控制单元的预测模式改变算式(1)至(3)中的偏置值，并且设置确定中的阈值。

在步骤S136，滤波强度确定单元103使用设置了阈值的算式(4)至(6)，以四条线为单位来确定是否应用强滤波。如果在步骤S136确定算式(4)至(6)为真并且应用强滤波，则处理前进至步骤S137。

步骤S134的开启/关闭确定结果和步骤S137的强滤波确定结果被提供给滤波计算单元104。在这种情况下，参数tc也被提供给滤波计算单元104。

在步骤S137，滤波计算单元104基于来自滤波强度确定单元103的确定结果，对待处理的四条线执行强滤波处理。滤波计算单元104把滤波处理之后的像素值输出给后级。

如果在步骤S136确定应用强滤波，则处理前进至步骤S138。在步骤S138，滤波强度确定单元103以四条线为单位确定是否应用弱滤波。如果在步骤S138确定应用弱滤波，则处理前进至步骤S139。

步骤S134中的开启/关闭确定结果和步骤S138的弱滤波确定结果被提供给滤波计算单元104。在这种情况下，参数tc也被提供给滤波计算单元104。

在步骤S139，滤波计算单元104基于来自滤波强度确定单元103的确定结果，对待处理的四条线使用弱滤波。滤波计算单元104把经过滤波处理之后的像素值输出给后级。

如果在步骤S138确定不使用弱滤波，则处理前进至步骤S140。在这种情况下，滤波计算单元104基于来自滤波强度确定单元103的确定结果，把经过滤波处理之后的像素值输出给后级而不对待处理的四条线做任何处理。

在步骤S140，滤波计算单元104确定针对八条线的处理是否已经完成，如果确定针对八条线的处理已经完成，则亮度信号的去块结束。如果在步骤S140确定针对八条线的处理尚未完成，则处理返回到步骤S134，重复步骤S134和后续处理。

这样，通过使用Bs值或通过减小偏置值，执行强滤波的确定；因此，确定的阈值变得更大，在更多的边界处应用强滤波。这样，在去块处理中，能够适当地应用强滤波。

在上面的描述中，基本上使用HEVC方法作为编码方法。但是，本公开不限于此，可以使用至少包括去块滤波器作为环路滤波的其它编码方法/解码方法。

注意，本公开可以可以应用于当像例如HEVC方法等那样通过正交变换(例如离散余弦变换)压缩图像信息(比特流)且经由网络介质(例如卫星广播、有线电视、因特网或蜂窝电话)接收运动补偿时使用的图像编码装置和图像解码装置。此外，本公开可以应用于在例如光盘、磁盘或闪存的存储介质中的处理中使用的图像编码装置和图像解码装置。

<3.第二实施例>

[应用于多视点图像编码/多视点图像解码]

上述处理可以应用于多视点图像编码/多视点图像解码。图16例示了多视点图像编码方法的一个例子。

如图16所示，多视点图像包括多个视点的图像，多个视点之中预定视点的图像被规定为基础视图的图像。除了基础视图的图像以外的视点的图像被当作非基础视图图像。

在对如图16例示的多视点图像进行编码时，在每个视图(相同视图)中设置去块滤波器的参数，并且可以通过使用去块滤波器的强度参数来确定是否应用强滤波。换言之，在另一个视图中设置的去块滤波器的参数或强滤波的确定结果可以在各个视图(不同视图)中共用。

在这种情况下，在基础视图中设置的去块滤波器的参数或是否应用所确定的强滤波被用在至少一个非基础视图中。可替换地，在基础视图和非基础视图中的至少一个(view_id＝j)中使用在非基础视图(view_id＝i)中设置的去块滤波器的参数或是否应用所确定的强滤波。

这样，在可以在去块处理中适当地使用强滤波。因此，能够抑制块噪声。

[多视点图像编码装置]

图17是例示了上述用于多视点图像编码的多视点图像编码装置的示意图。如图17所示，多视点图像编码装置600包括编码单元601、编码单元602以及复用单元603。

编码单元601对基础视图图像进行编码以产生基础视图图像编码流。编码单元602对非基础视图图像进行编码以产生非基础视图图像编码流。复用单元603把编码单元601中产生的基础视图图像编码流和编码单元602中产生的非基础视图图像编码流复用，从而产生多视点图像编码流。

作为多视点图像编码装置600的编码单元601和编码单元602，可以采用图像编码装置11(图1)。在这种情况下，多视点图像编码装置600设置并发送由编码单元601设置的去块滤波器的参数以及由编码单元602设置的去块滤波器的参数。

由编码单元601设置的去块滤波器的参数可以被设置和发送以在编码单元601和编码单元602中共同使用。相反地，由编码单元602设置的去块滤波器的参数可以被设置和发送以在编码单元601和编码单元602中共同使用。

[多视点图像解码装置]

图18是例示了用于上述多视点图像解码的多视点图像解码装置的视图。如图18所示，多视点图像解码装置610包括解复用单元611、解码单元612以及解码单元613。

解复用单元611对其中复用了基础视图图像编码流和非基础视图图像编码流的多视点图像编码流解复用，从而提取基础视图图像编码流和非基础视图图像编码流。解码单元612对通过解复用单元611提取的基础视图图像编码流进行解码，从而提供基础视图图像。解码单元613对通过解复用单元611提取的非基础视图图像编码流进行解码，从而提供非基础视图图像。

作为多视点图像解码装置610的解码单元612和解码单元613，可以采用多视点图像解码装置5(图3)。在这种情况下，多视点图像解码装置610使用由编码单元601设置并由解码单元612解码的去块滤波器的参数以及由编码单元602设置并由解码单元613解码的去块滤波器的参数进行处理。

注意，由编码单元601(或编码单元602)设置的去块滤波器的参数可以被设置并发送以在编码单元601和编码单元602中共同使用。在这种情况下，多视点图像解码装置610使用由编码单元601(或编码单元602)设置并由解码单元612(或解码单元613)解码的去块滤波器的参数来进行处理。

<4.第三实施例>

[对于层图像编码/层图像解码的应用]

上述处理可以被应用于层图像编码/层图像解码。图19例示了多视点图像编码方法的例子。

如图19所示，层图像(layer image)包括多个层(分辨率)的图像，并且多个分辨率中预定层的图像可以被指定为基础层的图像。除了基础层图像之外的层的图像被作为非基础层图像对待。

在图19所示的层图像编码(空间缩放)的情况下，设定了去块滤波器的参数，通过使用去块滤波器的强度参数可以确定是否应用强滤波。此外，在多个层(不同的层)中，可以共享在其它层中设置的去块滤波器的参数或者强滤波的确定结果。

在这种情况下，在至少一个非基础层中使用在基础层中设置的去块滤波器的参数或所确定的是否应用强滤波。可替换地，在基础层和非基础层(layer_id＝j)中的至少一个中使用在非基础层(layer_id＝i)中设置的去块滤波器的参数或所确定的是否应用强滤波。

这样，可以在去块处理中适当地应用强滤波。结果，能够抑制块噪声。

[层图像编码装置]

图20是例示了用于上述层图像编码的层图像编码装置的示意图。如图20所示，层图像编码装置620包括编码单元621、编码单元622以及复用单元623。

编码单元621对基础层图像进行编码以产生基础层图像编码流。编码单元622对非基础层图像进行编码以产生非基础层图像编码流。复用单元623把编码单元621中产生的基础层图像编码流和编码单元622中产生的非基础层图像编码流进行复用，从而产生层图像编码流。

作为层图像编码装置620中的编码单元621和编码单元622，可以应用图像编码装置11(图1)。在这种情况下，层图像编码装置620设置并发送由编码单元621设置的去块滤波器的参数和由编码单元602设置的去块滤波器的参数。

如上所述，由编码单元621设置的去块滤波器的参数可以被设置并发送以在编码单元621和编码单元622中共同使用。相反地，由编码单元622设置的去块滤波器的参数可以被设置和发送以在编码单元621和编码单元622中共同使用。

[层图像解码装置]

图21是例示用于上述层图像解码的层图像解码装置的示意图。如图21所示，层图像解码装置630包括解复用单元631、解码单元632和解码单元633。

解复用单元631对其中复用了基础层图像编码流和非基础层图像编码流的层图像编码流进行解复用，从而提取基础层图像编码流和非基础层图像编码流。解码单元632对通过复用单元631提取的基础层图像编码流进行解码，从而提供基础层图像。解码单元633对通过复用单元631提供的非基础层图像编码流进行解码，从而提供非基础层图像。

作为层图像编码装置630的解码单元632和解码单元633，可以采用多视点图像解码装置51(图3)。在这种情况下，层图像解码装置630通过使用由编码单元621设置并由解码单元632解码的去块滤波器的参数以及由编码单元622设置且由解码单元633解码的去块滤波器的参数来执行处理。

注意，由编码单元621(或编码单元622)设置的去块滤波器的参数可以被设置和发送以在编码单元621和编码单元622中共同使用。在这种情况下，层图像解码装置630通过使用由编码单元621(或编码单元622)设置且由解码单元632(或解码单元633)解码的去块滤波器的参数来进行处理。

<5.第四实施例>

[计算机的结构示例]

可以使用硬件或软件执行上述处理。在使用软件执行这些处理的情况下，构成软件的程序被安装在计算机中。这里，计算机包括包含在专用硬件中的计算机或能够通过在其中安装各种程序来执行各种功能的多功能个人计算机。

图22是例示利用程序执行上述处理的计算机的硬件的结构示例的框图。

在计算机800中，CPU(中央处理单元)801、ROM(只读存储器)802以及RAM(随机存取存储器)803利用总线804彼此连接。

总线804还连接有输入/输出接口805。输入/输出接口805还具有与其连接的输入单元806、输出单元807、存储单元808、通信单元809以及驱动器810。

输入单元806对应于例如键盘、鼠标、麦克风等。输出单元807对应于例如显示器、扬声器等。存储单元808对应于例如硬盘、非易失性存储器等。通信单元809对应于例如网络接口。驱动器801驱动可移动记录介质811，例如磁盘、光盘、磁光盘或半导体存储器。

在具有上述结构的计算机中，CPU801通过输入/输出接口805和总线804把存储在存储单元808中的程序加载到RAM803中，并且执行该程序，从而执行上述处理。

可以通过在例如作为封装介质的可移除记录介质811中记录并提供程序，来提供由计算机800(CPU801)执行的程序。可以通过有线或无线传输介质来提供程序，例如局域网、因特网或数字卫星广播。

在计算机中，通过把可移除记录介质811附接到驱动器810，可以通过输入/输出接口805把程序安装到存储单元808中。可替换地，可以通过在通信单元809中经由有线或无线传输介质接收程序，可以把程序安装到存储单元808中。进一步可替换地，程序可以预先安装到ROM802或存储单元808中。

要被计算机执行的程序可以是能够按照如本说明书所述的时间序列顺序进行处理或者是能够按照并行或在必要定时(例如当调用时)能够执行处理的程序。

在本说明书中，描述记录在记录介质中的程序的步骤不仅包括按照所述的时间序列顺序执行的处理，而且包括不必按照时间序列执行而是并行或单独执行的处理。

在本说明书中，系统是指包括多个设备(多个装置)的整个设备。

在上面的描述中，作为一个设备(或处理单元)描述的结构可以被分割并构造为多个设备(或处理单元)。相反，上面作为多个设备(或处理单元)描述的结构可以被构造为一个设备(或处理单元)。除了上面描述的结构以外的结构可以添加到各个设备(或处理单元)的结构中。只要整个系统的结构或操作基本相同，一定设备(或处理单元)的结构的一部分额可以包括在另一设备(或处理单元)的结构中。这样，本技术不限于上述实施例，并且可以在不脱离本技术的范围的情况下进行各种修改。

根据上述实施例的图像编码装置和图像解码装置可以被应用于各种电器，该电器包括：发射机或接收机，用于在卫星广播、有线广播(例如有线电视)或因特网上分发，或通过蜂窝通信向终端分发；记录装置，用于在介质(例如光盘、磁盘或闪存)上记录图像；以及再现装置，用于根据这些存储介质再现图像。下面描述四个应用例子。

<6.应用例子>

<第一应用例子：电视接收机>

图23例示了应用上述实施例的电视装置的示意结构的例子。电视装置900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部结构909、控制单元910、用户接口911和总线912。

调谐器902从通过天线901接收的广播信号中提取期望信道的信号，并且解调所提取的信号。调谐器902把通过解调获得的编码比特流输出给解复用器903。换言之，调谐器902扮演电视装置900中用于发送编码有图像的编码流的发送单元的角色。

解复用器903从编码比特流中分离出要观看的节目的视频流和音频流，并且把分离出的流输出给解码器904。解复用器903从编码比特流中提取辅助数据(例如电子节目指南，EPG)，并且把提取的数据提供给控制单元910。注意，解复用器903可以解扰编码比特流，如果该编码比特流已经被加扰的话。

解码器904对从解复用器903输入的视频流和音频流进行解码。解码器904把通过解码处理产生的视频数据输出给视频信号处理单元905。此外，解码器904把通过解码处理产生的音频数据输出给音频信号处理单元907。

视频信号处理单元905再现从解码器904输入的视频数据，并且在显示单元906上显示视频。视频信号处理单元905还可以在显示单元906上显示通过网络提供的应用画面。视频信号处理单元905可以根据设置对视频数据执行附加处理，例如噪声去除(抑制)。此外，视频信号处理单元905可以产生GUI(图形用户界面，例如菜单、按钮或光标)的图像，并且把产生的图像叠加在输出图像上。

通过供应自视频信号处理单元905的驱动信号来驱动显示单元906，并且在显示装置(例如液晶显示器、等离子显示器或有机电致发光显示器OLED(有机EL显示器))的视频屏幕上显示视频或图像。

音频信号处理单元907对从解码器904输出的音频数据执行再现处理，例如D/A转换或放大，并且从扬声器908输出音频。此外，音频信号处理单元907可以对音频信号执行附加处理，例如噪声去除(抑制)。

外部接口909是用于在电视装置900和外部设备或网络之间进行连接的接口。例如，通过外部接口909接收的视频流或音频流可以被解码器904解码。换言之，外部接口909还扮演了电视装置900中用于接收编码有图像的编码流的发送单元的角色。

控制单元910包括处理器(例如CPU)和存储器(例如RAM和ROM)。存储器存储要被CPU执行的程序、程序数据、EPG数据以及通过网络获取的数据等。例如，当启动电视装置900时，通过CPU读取并执行存储在存储器中的程序。通过执行程序，CPU响应于例如从用户接口911输入的操作信号来操作电视装置900。

用户接口911被连接到控制单元910。用户接口911包括，例如，用于用户操作电视装置900的按钮和开关，用于接收遥控信号的接收单元。用户接口911通过这些部件检测用户的操作，从而产生操作信号，并且把产生的操作信号输出给控制单元910。

总线912连接在调谐器902、解复用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口909以及控制单元910之间。

在具有上述结构的电视装置900中，解码器904具有根据上述实施例的图像解码装置的功能。这样，在电视装置900中解码图像时，能够抑制块噪声。

[第二应用例子：蜂窝电话]

图24例示了应用上述实施例的蜂窝电话的示意结构的例子。蜂窝电话920包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、相机单元926、图像处理单元927、复用/分离单元928、记录/再现单元929、显示单元930、控制单元931、操作单元932以及总线933。

天线921连接到通信单元922。扬声器924和麦克风925连接到音频编解码器923。操作单元932连接到控制单元931。总线933连接在通信单元922、音频编解码器923、相机单元926、图像处理单元927、复用/分离单元928、记录/再现单元929、显示单元930以及控制单元931之间。

蜂窝电话920在各种模式中(包括语音呼叫模式、数据通信模式、拍摄模式和视频呼叫模式)执行操作，包括交换音频信号、电子邮件以及图像数据、拍摄图像、以及记录数据。

在语音呼叫模式中，由麦克风925产生的模拟音频信号被提供给音频编解码器923。音频编解码器923通过A/D转换把模拟音频信号转换成音频数据，并且压缩经过转换的音频数据。然后，音频编解码器923把经过压缩的音频数据输出给通信单元922。通信单元922对音频数据进行编码和调制，并且产生发送信号。通信单元922通过天线921把产生的发送信号发送给基站(未示出)。通信单元922放大经由天线922接收的无线信号，转换无线信号的频率，并且获取接收信号。通信单元922然后通过对接收信号进行解调和解码来产生音频数据，并且把产生的音频数据输出给音频编解码器923。音频编解码器923扩展音频数据并且对其执行D/A转换，从而产生模拟音频数据。音频编解码器923把产生的音频信号提供给扬声器924以输出音频。

在数据通信模式中，例如，控制单元931响应于经由操作932的用户操作来产生构成电子邮件的文本数据。控制单元931在显示单元930上显示该文本。控制单元931响应于用户通过操作单元932给出的发送指令来产生电子邮件数据，并且把产生的电子邮件数据输出给通信单元922。通信单元922对电子邮件数据进行编码和调制，并且产生发送信号。通信单元922经由天线921把产生的发送信号发送给基站(未示出)。通信单元922放大经由天线921接收的无线信号，对其频率进行转换，并且获取接收信号。通信单元922然后通过对接收信号进行解调和解码来解压缩电子邮件数据，并且把解压缩的电子邮件数据输出给控制单元931。控制单元931使得显示单元930显示电子邮件的内容，同时，把电子邮件数据存储在记录/再现单元929的存储介质中。

记录/再现单元929具有任意的可读和可写存储介质。例如，存储介质可以是内置类型的存储介质，例如RAM或闪存，或者是可拆卸的存储介质，例如硬盘、磁盘、磁光盘以及光盘、USB(通用串行总线)存储器、或存储卡。

在拍摄模式下，例如，相机单元926拍摄被摄体、产生图像数据，并且把产生的图像数据输出给图像处理单元927。图像处理单元927对从相机单元926输入的图像数据进行编码，并且把编码流存储在记录/再现单元929的存储介质中。

在视频呼叫模式下，例如，复用/分离单元928把通过图像处理单元927编码的视频流与从音频编解码器923输入的音频流复用，并且把复用的流输出给通信单元922。通信单元922对该流编码和调制，并且产生发送信号。然后，通信单元922经由天线921把产生的发送信号发送给基站(未示出)。此外，通信单元922放大经由天线921接收的无线信号并对其进行转换，从而获取接收信号。这些发送信号和接收信号可以包括编码比特流。然后，通信单元922通过对接收信号进行解调和解码来解压缩该流，并且把解压缩的流输出给复用/分离单元928。复用/分离单元928从输入流中分离出视频流和音频流，把视频流输出给图像处理单元927，并且把音频流输出给音频编解码器923。图像处理单元927解码视频流并产生视频数据。视频数据被提供给显示单元930，在显示单元930显示一系列图像。音频编解码器923扩展音频流并且对其执行D/A转换，从而产生模拟音频信号。音频编解码器923把产生的音频信号提供给扬声器924以输出音频。

在具有上述结构的蜂窝电话920中，图像处理单元927具有根据上述实施例的图像编码装置和图像解码装置的功能。因此，在蜂窝电话920中编码和解码图像时，能够抑制块噪声。

[第三应用例子：记录/再现装置]

图25例示了应用了上述实施例的记录/再现装置的示意性结构的例子。例如，记录/再现装置940对所接收的广播节目的音频数据和视频数据进行编码，并且把数据记录在记录介质中。记录/再现装置940可以对从另一装置获取的音频数据和视频数据进行编码，并且把数据记录在记录介质中。记录/再现装置940响应于用户指令而在监视器和扬声器上再现记录在记录介质中的数据。在这种情况下，记录/再现装置940对音频数据和视频数据进行解码。

记录/再现装置940包括调谐器941、外部接口942、编码器943、HDD(硬盘驱动器)944、盘驱动器945、选择器946、解码器947、OSD(屏幕上显示)948、控制单元949、以及用户接口950。

调谐器941从通过天线(未示出)接收的广播信号中提取期望信道的信号，并且对提取的信号解调。调谐器941把通过解调获得的编码比特流输出给选择器946。换言之，调谐器941在记录/再现装置940中具有发送单元的作用。

外部接口942是连接在记录/再现装置940和外部设备或网络之间的接口。例如，外部接口942可以是IEEE1394接口、网络接口、USB接口、或闪存接口。例如，经由外部接口942接收的视频数据和音频数据被输入到编码器943。换言之，外部接口942在记录/再现单元940中也具有发送单元的作用。

如果从外部接口942输入的视频数据和音频数据没有被编码，则编码器943对视频数据和音频数据进行编码。然后，编码器943把编码比特流输出给选择器946。

HDD944把包含压缩内容数据(例如视频和音频、各种节目以及其它数据)的编码比特流记录在内部硬盘中。当再现视频或音频时，HDD944从硬盘中读出这些数据。

盘驱动器945相对于附接的记录介质记录和读出数据。附接到盘驱动器945的记录介质可以是例如，DVD盘(例如DVD视频、DVD-RAM、DVD-R、DVD+R、或DVD+RW)或蓝光(注册商标)盘。

当记录视频和音频时，选择器946选择从调谐器941或编码器943输入的编码比特流，并且把选择的编码比特流输出给HDD944或盘驱动器945。当再现视频和音频时，选择器946把从HDD944或盘驱动器945输入的编码比特流输出给解码器947。

解码器947对编码比特流进行解码，以产生视频数据和音频数据。然后，解码器947把产生的视频数据输出给OSD 948。解码器904把产生的音频数据输出给外部扬声器。

OSD 948再现从解码器947输入的视频数据，并且显示视频。OSD948可以在显示的视频上重叠GUI图像，例如菜单、按钮或光标。

控制单元949包括处理器(例如CPU)和存储器(例如RAM和ROM)。存储器存储要由CPU执行的程序以及程序数据等。例如，当启动记录/再现装置940时，由CPU读取并执行存储在存储器中的程序。例如，通过执行程序，CPU响应于从用户接口950输入的操作信号来控制记录/再现装置940的操作。

用户接口950连接到控制单元949。例如，用户接口950包括用户操作记录/再现装置940的按钮和开关，以及用来接收遥控信号的接收单元。用户接口950通过检测经由这些部件的用户操作，产生操作信号，并且把产生的操作信号输出给控制单元949。

在具有上述结构的记录/再现装置940中，编码器943具有根据上述实施例的图像编码装置的功能。解码器947具有根据上述实施例的图像解码装置的功能。这样，在记录/再现装置940对图像编码和解码时，能够抑制块噪声。

[第四应用例：拍摄装置]

图26例示了应用上述实施例的拍摄装置的示意结构的例子。拍摄装置960通过拍摄被摄体产生图像，对图像数据编码，并且把数据记录在记录介质中。

拍摄装置960包括光学块961、拍摄单元962、信号处理单元963、图像处理单元964、显示单元965、外部接口966、存储器单元967、介质驱动器968、OSD 969、控制单元970、用户接口971、以及总线972。

光学块961连接到拍摄单元962。拍摄单元962连接到信号处理单元963。显示单元965连接到图像处理单元964。用户接口971连接到控制单元970。总线972连接在图像处理单元964、外部接口966、存储器967、介质驱动器968、OSD 969以及控制单元970之间。

光学块961具有聚焦透镜、光圈机构等。光学块961把被摄体的光学图像聚焦在拍摄单元962的拍摄面上。拍摄单元962包括图像传感器(例如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体))，并且通过光电转换把聚焦在拍摄面上的光学图像转换成作为电信号的图像信号。然后，拍摄单元962把图像信号输出给信号处理单元963。

信号处理单元963对从拍摄单元962输入的图像信号执行各种相机信号处理，例如拐点校正、伽马校正以及颜色校正。信号处理单元963把经过相机信号处理的图像数据输出给图像处理单元964。

图像处理单元964对从信号处理单元963输入的图像数据进行编码，并且产生编码数据。然后，图像处理单元964把产生的编码数据输出给外部接口966或介质驱动器968。图像处理单元964对从外部接口966或介质驱动器968输入的编码数据进行解码，并且产生图像数据。然后，图像处理单元964把产生的图像数据输出给显示单元965。此外，图像处理单元964可以把从信号处理单元963输入的图像数据输出给显示图像的显示单元965。图像处理单元964可以在输出给显示单元965的图像上额外覆盖从OSD 969获取的显示数据。

OSD 969产生GUI图像(例如菜单、按钮或光标)，并且把产生的图像输出给图像处理单元964。

外部接口966被构造为例如，USB输入/输出端子。例如，当打印图像时，外部接口966连接在拍摄装置960和打印机之间。此外，当必要时，外部接口966可以连接有驱动器。例如，可以向该驱动器附接可移除介质，例如磁盘或光盘，从可移除介质读出的程序可以被安装到拍摄装置960中。可替换地，外部接口966可以被构造为连接到网络(例如LAN或因特网)的网络接口。换言之，外部接口在拍摄装置960中具有发送单元的作用。

附接到介质驱动器968的记录介质可以是，例如，任何可读和可写的可移除介质，比如磁盘、磁光盘、光盘或半导体存储器。介质驱动器968可固定地附接有记录介质并且可以构成不可移动的存储单元，例如内置硬盘驱动器或SSD(固态驱动器)。

控制单元970包括处理器(例如CPU)和存储器(例如RAM和ROM)。存储器存储要由CPU执行的程序以及程序数据等。例如，当启动拍摄装置960时，由CPU读入并执行存储在存储器中的程序。通过执行程序，CPU响应于例如从用户接口971输入的操作信号来控制拍摄装置960的操作。

用户接口971连接到控制单元970。用户接口971包括，例如用户操作拍摄装置960的按钮和开关。用户接口971通过检测经由这些部件的用户操作来产生操作信号，并且把产生的操作信号输出给控制单元970。

在具有上述结构的拍摄装置960中，图像处理单元964具有根据上述实施例的图像编码装置和图像解码装置的功能。这样，在拍摄装置960对图像进行编码和解码时，能够抑制块噪声。

[7.第五实施例]

<实施例的另一个例子>

上面描述了应用本技术的装置或系统的例子。但是，本技术不限于此。本技术可以实现为安装在上述装置上的任何种类的结构以及包括在系统中的结构，例如对于处理器作为系统LSI(大规模集成电路)，包括多个处理器的模块、包括多个模块的单元、具有添加到单元的另一功能的组件(即。装置的一部分的结构)。

<视频组件>

参照图27描述作为组件执行本技术的例子。图27例示了应用本技术的视频组件的示意性结构的例子。

近年来，电器变得具有各种功能，当在开发和制造时仅销售或提供结构的一部分时，经常看到不仅仅提供了一个结构，而是具有相互关联的功能的多个结构被作为一个多功能组件。

图27例示的视频装置1300的结构具有各种功能。通过把具有与图像编码或解码(二者之一或全部)相关的功能的装置和具有与上述功能相关的另一功能的装置组合，来形成该视频装置。

如图27所示，视频装置1300包括模块组和具有相关功能的设备，该模块组包括视频模块1311、外部存储器1312、电力管理模块1313、前端模块1314等，具有相关功能的设备例如是连接装置1321、相机1322以及传感器1323。

模块是指通过组合若干相关功能而得到的具有多个功能的组件。具体物理结构可以任意给定，例如，各自具有其自身功能的多个电路元件(例如处理器、电阻器和电容器)以及其它装置可以被布置在电路板上并且被集成。此外，另一个模块或处理器可以与上述模块组合以形成新的模块。

在图27的示例的情况下，视频模块1311是具有与图像处理相关的功能的结构的组合，并且包括应用处理器、视频处理器、宽带调制解调器1333以及RF模块1334。

通过经由SOC(片上系统)在半导体芯片上集成具有预定功能的结构来形成处理器，并且还被称为，例如系统LSI(大规模集成电路)。具有预定功能的系统可以是逻辑电路(硬件结构)、CPU、ROM、RAM等、使用该系统执行的程序(软件结构)、或者二者的组合。例如，处理器可以具有逻辑电路以及CPU、ROM、RAM等，并且具有由逻辑电路(硬件结构)实现的一部分功能，其它功能可以通过CPU中执行的程序(软件结构)来实现。

图27中的应用处理器1331是执行图像处理的应用的处理器。在应用处理器1331中执行的应用不仅执行计算处理，而且还控制进出视频模块1311的结构，例如实现预定功能所必须的视频处理器1332。

视频处理器1332是具有图像编码或解码(二者之一或者二者全部)的功能的处理器。

宽带调制解调器1333是执行与经由宽带线路(例如因特网或公共电话网络)的有线或无线方式的宽带通信相关的处理的处理器(或模块)。例如，宽带调制解调器1333通过数字调制把发送数据(数字信号)转换成模拟信号，或者通过对接收的模拟信号解调把接收的模拟信号转换成数据(数字信号)。宽带调制解调器1333能够数字地调制/解调任何信息，包括例如图像数据、编码有图像数据的流、应用程序、以及要被视频处理器1332处理的设置数据。

RF模块1334是对经由天线交换的RF(射频)信号执行频率转换、调制/解调、放大、滤波等的模块。例如，RF模块1334通过对宽带调制解调器1333产生的基带信号的频率进行转换来产生RF信号。在另一个实施例中，RF模块1334通过对经由前端模块1314接收的RF信号的频率进行转换来产生基带信号。

如图27中的虚线1341所示，应用处理器1331和视频处理器1332可以被集成到一个处理器中。

外部存储器1312是设置在视频模块1311外部的模块并且具有由视频模块1311使用的存储装置。外部存储器1312的存储装置可以通过任何物理结构实现；但是，因为该存储装置经常用来存储大量数据(例如以帧为单位的图像数据)，期望通过具有高容量且低成本的半导体存储器(例如DRAM，动态随机存取存储器)来实现该存储装置。

电力管理模块1313管理并控制提供给视频模块1311(视频模块1311的每个结构)的电力。

前端模块1314是向RF模块1334提供前端功能(在天线侧发送/接收端的电路)的模块。如图27所示，前端模块1314具有例如，天线单元1351、滤波器1352以及放大单元1353。

天线单元1351具有发送和接收无线信号的天线及其外围结构。天线单元1351发送从放大单元1353提供的信号以及把接收的无线信号作为电信号(RF信号)提供给滤波器。滤波器1352对通过天线单元1351接收的RF信号进行滤波，并且把经过处理的RF信号提供给RF模块1334。放大单元1353发送RF模块1334提供的RF信号进行放大并且把该信号提供给天线单元1351。

连接装置1321是具有与外部连接相关的功能的模块。连接装置1321的物理结构可以任意确定。例如，连接装置1321具有通信功能不同于宽带调制解调器1333的通信规范的通信功能的结构、外部输入/输出端子等。

例如，连接装置1321可以具有带有基于无线通信规范(例如蓝牙(注册商标)、IEEE802.11(例如Wi-Fi(无线保真，注册商标))、NFC(近场通信)或IrDA(红外数据关联))的通信功能的模块以及发送或接收基于这些规范的信号的天线。可替换地，连接装置1321可以具有带有基于有线通信规范(例如USB(通用串行总线)或HDMI(注册商标，高清多媒体接口))的通信功能的模块，基于该规范的端子等。另外，可替换地，连接装置1321可以具有其它的数据(信号)发送功能，例如模拟输入/输出端子等。

注意，连接装置1321可以包含向其发送数据(信号)的装置。例如，连接装置1321可以具有驱动器(不仅可移除介质的驱动器，而且是硬盘、SSD(固态驱动器)或NAS(网络附加存储))，其在记录介质(例如磁盘、光盘、磁光盘或半导体存储器)中读取或写入数据。连接装置1321可以具有输出图像或音频的装置(监视器、扬声器等)。

相机1322是拍摄被摄体并且获取被摄体的图像数据的模块。通过相机1322的拍摄获得的图像数据被提供给，例如视频处理器1332并在其中被编码。

传感器1323是具有任何传感器功能的模块，例如音频传感器、超声波传感器、光传感器、亮度传感器、红外线传感器、图像传感器、旋转传感器、角度传感器、角速度传感器、速度传感器、加速度传感器、倾斜传感器、磁标识传感器、冲击传感器或温度传感器。由传感器1323检测到的数据被提供给应用处理器1331并且被应用等使用。

上面作为模块描述的结构可以被实现为处理器，或者相反地，作为处理器描述的结构可以被实现为模块。

在具有上述结构的视频装置1300中，本技术可以如下所述被应用到视频处理器1332。因此，视频装置1300可以用作应用了本技术的装置。

[视频处理器的结构示例]

图28例示了应用了本技术的视频处理器1332(图27)的示意结构的例子。

在图28的例子的情况中，视频处理器1332具有在接收到信号时通过预定方法对视频信号和音频信号编码的功能，以及对经过编码的视频数据和音频数据进行解码、把视频信号和音频信号进行再现和输出的功能。

如图28所示，视频处理器1332包括视频输入处理单元1401、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403、视频输出处理单元1404、帧存储器1405以及存储器控制单元1406。视频处理器1332包括编码/解码引擎1407、视频ES(基本流)缓冲器1408A和1408B、以及音频ES缓冲器1409A和1409B。视频处理器1332还包括音频编码器1410、音频解码器1411、复用单元(MUX(复用器))1412、解复用单元(DMUX(解复用器))1413、以及流缓冲器1414。

视频输入处理单元1401从例如连接装置1321(图27)获取视频信号输入并且把该信号转换成数字图像数据。第一图像放大/缩小单元1402对图像数据执行格式转换或者放大/缩小该图像。第二图像放大/缩小单元1403通过视频输出处理单元1404，根据输出图像的目的地处的格式对图像数据执行图像放大/缩小处理，或者以类似于第一图像放大/缩小单元1402的方式对图像数据进行格式转换或放大/缩小该图像。视频输出处理单元1404对图像数据执行格式转换或者把图像数据转换成例如模拟信号，并且例如把数据作为再现的视频信号输出给连接装置1321(图27)。

帧存储器1405是用于视频输出处理单元1401、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403、视频输出处理单元1404以及编码/解码引擎1407共享的图像数据的存储器。帧存储器1405被实现为例如半导体存储器，比如DRAM。

存储器控制单元1406根据帧存储器1405的访问计划控制对帧存储器1405的读写访问，该访问计划在接收来自编码/解码引擎1407的同步信号时已经被写入访问管理表1406A中。访问管理表1406A由存储器控制单元1406响应于编码/解码引擎1407、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403等执行的处理而更新。

编码/解码引擎1407对图像数据编码以及对作为通过编码图像数据获得的数据的视频流解码。例如，编码/解码引擎1407对从帧存储器1405读出的图像数据进行编码，并且把该数据顺序地写入到视频ES缓冲器1408A中作为视频流。此外，编码/解码引擎1407顺序地从视频ES缓冲器中读出视频流，并且解码这些流，顺序地把流写入到帧存储器1405中作为图像数据。编码/解码引擎1407使用帧存储器1405作为编码和解码时的工作区。在例如开始各个宏块的处理时，编码/解码引擎1407把同步信号输出给存储器控制单元1406。

视频ES缓冲器1408A缓冲由编码/解码引擎1407产生的视频流，并且把该流提供给复用单元(MUX)1412。视频ES缓冲器1408B缓冲从解复用单元(DMUX)1413提供的视频流并且把该流提供给编码/解码引擎1407。

音频ES缓冲器1409A缓冲由音频编码器1410产生的音频流，并且把该流提供给复用单元(MUX)1412。音频ES缓冲器1409B缓冲从解复用单元(DMUX)1413提供的音频流，并且把该流提供给音频解码器1411。

音频编码器1410把来自连接装置1321(图27)的音频信号输出转换成例如数字信号，从而通过预定的方法(例如MPEG音频方法或AC3(视频编码数3))来对信号进行编码。音频编码器1410把通过对音频信号进行编码获得的音频流作为数据写入到音频ES缓冲器1409A。音频解码器1411对从音频ES缓冲器1409B提供的音频流进行解码，然后把该信号作为再现的音频信号提供给连接装置1321(图27)。

复用单元(MUX)1412复用视频流和音频流。用于该复用的方法(即，通过复用产生的比特流的格式)可以任意确定。在复用中，复用单元(MUX)可以向比特流添加预定的头信息等。换言之，复用单元(MUX)1412可以通过复用改变流的格式。例如，复用单元(MUX)1412复用视频流和音频流，以把这些流转换成传输流，该传输流是用于传输的格式的比特流。在另一个例子中，复用单元(MUX)1412复用视频流和音频流，以把这些流转换成按照用于记录的文档格式的数据(文档数据)。

解复用单元(DMUX)1413通过与复用单元(MUX)1412的复用对应的方法，对复用了视频流和音频流的比特流进行解复用。换言之，解复用单元(DMUX)1413从流缓冲器1414读出的比特流中提取视频流和音频流(把视频流和音频流彼此分离)。也就是说，解复用单元(DMUX)1413可以通过解复用来转换流的格式(复用单元(MUX)1412进行的转换的逆转换)。例如，解复用单元(DMUX)1413通过流缓冲器1414获取从连接装置1321或宽带调制解调器1333(两者都在图27中示出)提供的传输流，并且对流进行解复用，由此把传输流转换成视频流和音频流。在另一个例子中，解复用单元(DMUX)1413通过流缓冲器1414获取由连接装置1321从各种记录介质中的任意记录介质中读出的文档数据，并且对该流进行解复用，由此能够把数据转换成视频流和音频流。

流缓冲器1414缓冲比特流。例如，流缓冲器1414缓冲从复用单元(MUX)1412提供的传输流，并且以预定定时或在来自外部的请求时把该流提供给连接装置1312或宽带调制解调器1333(两者都在图27中示出)。

在另一个例子中，流缓冲器1414缓冲从复用单元(MUX)1412提供的文档数据，并且以预定的定时或在来自外部的请求时把该数据提供给连接装置1321等(图27)。

此外，流缓冲器1414缓冲通过连接装置1321或宽带调制解调器1333(两者都在图27中示出)获取的传输流，并且以预定的定时或在来自外部的请求时把该流提供给解复用单元(DMUX)1413。

流缓冲器1414缓冲从连接装置1321等(图27)处的各种记录介质中的任意记录介质读出的文档数据，并且以预定的定时或在来自外部的请求时把该数据提供给解复用单元(DMUX)1413。

接下来，描述具有上述结构的视频处理器1332的操作示例。例如，从连接装置1321(图27)等输入到视频处理器1332的视频信号在视频输出处理单元1401中被转换成预定格式(例如4：2：2Y/Cb/Cr格式)的数字图像数据，并且图像数据被顺序地写入帧存储器1405中。由第一图像放大/缩小单元1402或第二图像放大/缩小单元1403读出数字图像数据，对其进行格式转换成为预定格式(例如4：2：0Y/Cb/Cr格式)并放大或缩小，然后再次写入帧存储器1405。图像数据被编码/解码引擎1407编码，并作为视频流写入到视频ES缓冲器1408A中。

此外，从连接装置1321(图27)等输入到视频处理器1332的音频信号被音频编码器1410编码，并且作为音频流被写入音频ES缓冲器1409A中。

视频ES缓冲器1408A的视频流和音频ES缓冲器1409A的音频流被复用单元(MUX)1412读出并在其中被复用，从而转换成例如传输流或文档数据。由复用单元(MUX)1412产生的传输流被流缓冲器1414缓冲，并通过连接装置1321或宽带调制解调器1333(两者都在图27中示出)输出给外部网络。由复用单元(MUX)1412产生的文档数据被流缓冲器1414缓冲，然后输出给连接装置1321(图27)等，然后记录在各种记录介质的任何一个中。

从外部网络经由连接装置1321或宽带调制解调器1333(两者都在图27中示出)输入到视频处理器1332的传输流被流缓冲器1414缓冲，然后被解复用单元(DMUX)1413解复用。在连接装置1321(图27)等处从各种记录介质中的任一种读出并被输入视频处理器1332的文档数据被流缓冲器1414缓冲，然后被解复用单元(DMUX)1413解复用。换句话说，输入到视频处理器1332的文档数据或传输流被解复用单元(DMUX)1413分离成视频流和音频流。

音频流通过音频ES缓冲器1409B被提供给音频解码器1411并被解码，使得音频信号被再现。视频流被写入视频Es缓冲器1408B中，并被编码/解码引擎1407顺序地读出和解码，并写入到帧存储器1405中。第二图像放大/缩小单元1403放大或缩小解码的图像数据并写入帧存储器1405中。视频输出处理单元1404读出解码的图像数据并对其进行格式转换，成为预定格式(例如4：2：2Y/Cb/Cr格式)，进一步被转换成模拟信号，使得视频信号被再现和输出。

当本技术被应用于具有这种结构的视频处理器1332时，根据上述任何实施例的本技术可以被应用于编码/解码引擎1407。例如，编码/解码引擎1407可以具有根据第一实施例的图像编码装置11(图1)和图像解码装置51(图3)的功能。因此，视频处理器1332能够提供的效果类似于参照图1至图15描述的上述效果。

在编码/解码引擎1407中，可以通过硬件(例如逻辑电路或软件(例如内置程序))或者硬件和软件二者来实现本技术(即，根据上述任意实施例的图像编码装置和图像解码装置的功能)。

[视频处理器的另一个结构示例]

图29例示了应用本技术的视频处理器1332(图27)的示意结构的另一个例子。在图29的例子中，视频处理器1332具有按照预定格式编码和解码视频数据的功能。

更具体地说，如图29所示，视频处理器1332包括控制单元1511、显示接口1512、显示引擎1513、图像处理引擎1514、以及内部存储器1515。视频处理器1332包括编解码器引擎1516、存储器接口1517、复用/解复用单元(MUX/DMUX)1518、网络接口1519、以及视频接口1520。

控制单元1511控制视频处理器1332中各个处理单元的操作，例如显示接口1512、显示引擎1513、图像处理引擎1514、以及编解码器引擎1516。

如图29所示，控制单元1511包括，例如，主CPU 1531，副CPU 1532和系统控制器1533。主CPU 1531执行程序等来控制视频处理器1332中各个处理单元的操作。主CPU 1531根据程序等产生控制信号并把这些信号提供给处理单元(即，控制处理单元的操作)。副CPU 1532用于辅助主CPU 1531。例如，副CPU1532执行由主CPU1531执行的程序的子处理或子例程。系统控制器1533控制主CPU1531和副CPU1532的操作。例如，系统控制器1533指定要由主CPU1531和副CPU1532执行的程序。

显示接口1512在控制单元1511的控制下把图像数据输出给例如连接装置1321(图27)。例如，显示接口1512把数字图像数据转换成模拟信号，并且把该数据作为再现的视频信号或图像数据，以数字数据的形式输出给连接装置1321(图27)的显示装置等。

在控制单元1511的控制下，显示引擎1513对图像数据执行各种转换处理，例如格式转换、尺寸转换、颜色范围转换，以适合硬件(例如显示该图像的监视器装置)的规格。

图像处理引擎1514在控制单元1511的控制下对图像数据执行预定的图像处理(例如滤波)，以提高图像质量。

内部存储器1515是设置在视频处理器1332中的存储器，并且在显示引擎1513、图像处理引擎1514以及编解码器引擎1516之间共享。内部存储器1515用来在显示引擎1513、图像处理引擎1514以及编解码器引擎1516之间交换数据。例如，内部存储器存储从显示引擎1513、图像处理引擎1514和编解码器引擎1516提供的数据，并且根据需要把该数据提供(或者在请求时)给显示引擎1513、图像处理引擎1514、后编解码器引擎1516。可以由任何种类的存储装置来形成内部存储器1515。通常，因为存储器用于存储少量数据(例如以块为单位的图像数据或参数)，存储器1515期望由具有较小的容量(容量小于外部存储器1312)但是具有高响应速度(例如SRAM，静态随机存取存储器)。

编解码器引擎1516执行用于对图像数据编码或解码的处理。编解码器引擎1516进行编码或解码的方法可以任意确定并且方法的数量可以是一个或多于一个。例如，编解码器引擎1516可以具有多种编码/解码方法的编解码器功能，并且可以通过所选择的方法对图像数据编码或者对编码数据解码。

在图29所示的例子中，例如，编解码器引擎1516具有MPEG-2视频1541、AVC/H.2641542、HEVC/H.2651543、HEVC/H.265(可缩放的)1544、HEVC/H.265(多视图)1545、以及MPEG-DASH1551作为与编解码器相关的处理的功能块。

MPEG-2视频1541对应于以MPEG-2方法编码或解码图像数据的功能块。AVC/H.2641542对应于以AVC方法编码或解码图像数据的功能块。HEVC/H.2651543对应于以HEVC方法编码或解码图像数据的功能块。HEVC/H.265(可缩放)1544对应于以HEVC方法可缩放地编码或解码图像数据的功能块。HEVC/H.265(多视图)1545对应于以HEVC方法编码或解码具有多个视点的图像数据的功能块。

MPEG-DASH 1551对应于以MPEG-DASH(在HTTP上的MPEG-动态自适应流传输)方法发送或接收图像数据的功能块。MPEG-DASH是使用HTTP(超文本传输协议)的流传输技术，其特征之一是以分段为单位选择和发送具有不同分辨率的适当的准备好的编码数据等。MPEG-DASH 1551基于流传输的规定或控制产生流，并且在编码和解码图像数据时使用上述MPGE-2视频1541至HEVC/H.265(多视图)1545。

存储器接口1517是用于外部存储器1312的接口。从图像处理引擎1514或编解码器引擎1516提供的数据被经由存储器接口1517提供给外部存储器1312。从外部存储器1312读出的数据通过存储器接口1517被提供给视频处理器1332(图像处理引擎1514或编解码器引擎1516)。

复用/解复用单元(MUX/DMUX)1518复用/解复用与图像相关的各种数据，例如编码数据、图像数据和视频信号的比特流。可以任意确定复用/解复用的方法。例如，在复用时，除了收集多条数据外，复用/解复用单元(MUX/DMUX)1518还可以向收集的数据添加预定的头信息等。相反地，在解复用时，除了把数据分割成多条以外，复用/解复用单元(MUX/DMUX)1518可以向分割的数据添加预定的头信息。换言之，复用/解复用单元(MUX/DMUX)1518可以通过复用/解复用来转换数据的格式。例如，复用/解复用单元(MUX/DMUX)1518可以通过复用比特流把比特流转换成传输流(其是按照传输格式的比特流)，或者转换成按照用于记录的文档格式的数据(文档数据)。不必说，通过解复用能够进行逆转换。

网络接口1519是用于宽带调制解调器1333和连接装置1321(两种都在图27中示出)等的接口。视频接口1520是用于连接装置1321和相机1322(两者都在图27中示出)等的接口。

接下来，描述上面的视频处理器132的操作示例。例如，当通过连接装置1321或宽带调制解调器1333(两者都在图27中示出)接收来自外部网络的传输流时，传输流经由网络接口1519被提供给复用/解复用单元(MUX/DMUX)1518，在其中解复用，然后被编解码器引擎1516解码。通过编解码器引擎1516解码获得的图像数据经受例如图像处理引擎1514的预定图像处理和显示引擎1513的预定转换，然后数据通过显示接口1512被提供给连接装置1312(图27)等，这样，图像被显示在监视器上。在另一个例子中，通过编解码器引擎1516进行解码而获得的图像数据被编解码器引擎1516再次编码并且被复用/解复用单元(MUX/DMUX)1518复用，转换成文档数据；然后，数据被经由视频接口1520输出给连接装置1321(图27)等并记录在各种记录介质的任一种中。

在另一个例子中，编码有图像数据的编码数据的文档数据(已经由连接装置1321(图27)等从未知的记录介质读出)经由视频接口1520被提供给复用/解复用单元(MUX/DMUX)1518并在其中被解复用，然后被编解码器引擎1516解码。通过编解码器引擎1516的解码获得的图像数据经受图像处理引擎1514的预定图像处理以及显示引擎1513的预定转换；然后，数据经由显示接口1512被提供给连接装置1321(图27)等并且在监视器上显示该图像。在另一个例子中，通过编解码器引擎1516的解码而获得的图像数据被编解码器引擎1516再次编码、被复用/解复用单元(MUX/DMUX)1518复用并被转换成传输流；然后，数据经由网络接口1519被提供给连接装置1321或宽带调制解调器133(两者都在图27中示出)等，并被发送给其它装置(未示出)。

通过例如内部存储器1515或外部存储器1312来在视频处理器1332的处理单元之间交换图像数据或其它数据。例如，电力管理模块1313控制提供给控制单元1511的电力。

在把本技术应用到具有上述结构的视频处理器1332的情况下，根据上述任一实施例的本技术可以被应用到编解码器引擎1516。换言之，例如，编解码器引擎1516可以具有实现根据第一实施例的图像编码装置11(图1)和图像解码装置51(图3)的功能块。这样，视频处理器1332能够提供的效果类似于参照图1至图15描述的效果。

在编解码器引擎1516中，可以通过硬件(例如逻辑电路)、软件(例如内置程序)或硬件和软件二者来实现本技术(即根据上述任意实施例的图像编码装置和图像解码装置的功能)。

已经描述了两个例子作为视频处理器1332的结构；但是，可以任意确定视频处理器1332的结构且可以是不同于上面两个例子的结构。视频处理器1332可以被构造为一个半导体芯片或作为多个半导体芯片。例如，可以使用堆叠多个半导体层的三维多层LSI。可替换地，可以使用多个LSI。

[应用于装置的例子]

视频装置1300可以被包含在处理图像数据的各种装置中。例如，视频装置1300可以被包含在电视装置900(图23)、蜂窝电话920(图24)、记录/再现装置940(图25)、拍摄装置(图26)等中。通过包含有视频装置1300，这些装置的效果与参照图1至图15描述的效果类似。

即使上述视频装置1300的每个结构的一部分也可以被视作应用了本技术的结构，只要该结构包括视频处理器1332。例如，只有视频处理器1332被实现为应用了本技术的视频处理器。此外，例如如上所述，通过虚线1341例示的处理器或视频模块1311可以被实现为应用了本技术的处理器或模块。此外，例如，视频模块1311、外部存储器1312、电力管理模块1313和前端模块1314可以组合在一起实现应用了本技术的视频单元1361。在任何结构中，能够获得的效果与参照图1至图15描述的效果类似。

只要结构包括视频处理器1332，该结构就可以按照与视频装置1300类似的方式被包含到处理图像数据的各种装置中。例如，由虚线1341指示的视频处理器1332、视频模块1311或视频单元1361可以被包含在电视装置900(图23)、蜂窝电话920(图24)、记录再现装置940(图25)或拍摄装置960(图26)中。通过包含应用了本技术的任意上述结构，按照与视频装置1300的情况类似的方式，该装置能够具有的效果类似于参照图1至图15描述的效果。

在本说明书中，已经描述了这样的例子，其中各种信息(例如去块滤波器的参数和自适应偏移滤波器的参数)在编码流上被复用并且从编码侧发送到解码侧。但是，发送该信息的方法不限于该例子。例如，这些信息可以作为与编码比特流相关联的单独的数据被发送或记录，而不在编码比特流上被复用。这里，“关联”是指比特流中包含的图像和在解码时与图像对应的信息之间的联系。换言之，该信息可以在与图像(或比特流)分开的传输路径上发送。可替换地，该信息可以记录在与图像(或比特流)分开的记录介质上(或同一记录介质的另一记录区域)。该信息和图像(或比特流)可以任何单位彼此关联，例如多个帧、一个帧、或帧的一部分。

已经参照附图描述了本公开的优选实施例；但是，本公开不限于上面的例子。显然，涉及本公开的本领域技术人员能够在权利要求范围内描述的技术思想的范围内想到各种修改或改进，这些都包括在根据本公开的技术范围内。

本技术可以具有下述任何结构。

(1).一种图像处理装置，包括：

解码单元，所述解码单元通过对以具有层结构的单位编码的编码流进行解码来产生图像；

滤波确定单元，所述滤波确定单元使用表示对块边界的去块滤波的强度的强度参数来确定是否应用强滤波，所述块边界是在由所述解码单元产生的图像的块和与该块相邻的相邻块之间的边界；以及

滤波单元，所述滤波单元在所述滤波确定单元确定应用强滤波的情况下对所述块边界应用强滤波。

(2).根据(1)所述的图像处理装置，其中所述滤波确定单元使用表示针对所述块边界的去块滤波的强度的强度参数以及表示在去块滤波的确定过程中使用的阈值的确定参数来确定是否应用强滤波。

(3).根据(2)所述的图像处理装置，其中使用通过把强度参数乘以确定参数而得到的值来确定是否应用强滤波。

(4).根据(2)所述的图像处理装置，其中所述滤波确定单元使用函数来确定是否应用强滤波，该所述函数中，所述强度参数或确定参数被用作变量。

(5).根据(2)-(4)中任一项所述的图像处理装置，其中所述滤波确定单元使用强度参数和确定参数的线性函数来确定是否应用强滤波。

(6).根据(2)-(5)中任一项所述的图像处理装置，其中当预测模式是帧内预测时的强度参数大于当预测模式是帧间预测时的强度参数。

(7).根据(2)-(6)中任一项所述的图像处理装置，其中所述强度参数是Bs(边界滤波强度)值。

(8).根据(2)-(7)中任一项所述的图像处理装置，其中所述确定参数是在确定是否应用去块滤波以及确定去块滤波的强度选择时使用的beta。

(9).一种图像处理方法，其中图像处理装置执行以下步骤：

通过对以具有层结构的单位编码的编码流进行解码来产生图像；

使用表示对块边界的去块滤波的强度的强度参数来确定是否应用强滤波，所述块边界是在所产生的图像的块和与该块相邻的相邻块之间的边界；以及

在确定应用强滤波的情况下对所述块边界应用强滤波。

参考标记列表

11 图像编码装置

31、31a、31b 去块滤波器

51 图像解码装置

101 图像存储器

102 块边界确定单元

103 滤波强度确定单元

104 滤波计算单元

105 系数存储器

106 控制单元

Claims

1.一种图像处理装置，包括：

2.根据权利要求1所述的图像处理装置，其中所述滤波确定单元使用表示针对所述块边界的去块滤波的强度的强度参数以及表示在去块滤波的确定过程中使用的阈值的确定参数来确定是否应用强滤波。

3.根据权利要求2所述的图像处理装置，其中使用通过把强度参数乘以确定参数而得到的值来确定是否应用强滤波。

4.根据权利要求2所述的图像处理装置，其中所述滤波确定单元使用函数来确定是否应用强滤波，该所述函数中，所述强度参数或确定参数被用作变量。

5.根据权利要求4所述的图像处理装置，其中所述滤波确定单元使用强度参数和确定参数的线性函数来确定是否应用强滤波。

6.根据权利要求2所述的图像处理装置，其中当预测模式是帧内预测时的强度参数大于当预测模式是帧间预测时的强度参数。

7.根据权利要求6所述的图像处理装置，其中所述强度参数是Bs(边界滤波强度)值。

8.根据权利要求2所述的图像处理装置，其中所述确定参数是在确定是否应用去块滤波以及确定去块滤波的强度选择时使用的beta。

9.一种图像处理方法，其中图像处理装置执行以下步骤：

在确定应用强滤波的情况下对所述块边界应用强滤波。