CN104919806A - 图像处理装置和方法 - Google Patents

Abstract

本发明涉及一种图像处理装置和方法，采用该图像处理装置和方法可以抑制在帧内编码帧出现周期处可察觉的噪声。在时间t0处，从紧接在时间t0之前的时间的输出图像复制每个像素。在复制期间，仅对在替换图案中由三角形所指示的像素进行替换。在时间t1处，从时间t0、即紧接在时间t1之前的时间的输出图像复制每个像素。在复制期间，仅对在替换图案中由交叉所指示的像素进行替换。此时，采用解码图像对图像中的所有像素进行替换。换言之，在时间t1、即紧接在解码图像为帧内编码帧之前的时间处，采用解码图像对图像中的所有像素进行替换。本发明可应用于图像处理装置。

Description

图像处理装置和方法

技术领域

本公开涉及图像处理装置和方法，并且更具体地，涉及可以降低与帧内编码帧(intraframe)出现周期同步地被识别出的噪声的图像处理装置和方法。

背景技术

运动图像编码通常涉及用于帧内编码的帧内编码帧和用于帧间预测的帧间编码帧(interframe)。通常，每0.5秒至若干秒地设置帧间编码帧，而剩余帧作为帧间编码帧被编码。当对帧间编码帧进行编码时，帧内编码帧或其他帧间编码帧被用作帧间预测中的参考目的地。

周期性噪声有时是由这样的运动图像编码所导致的，并且该噪声通常被称为心跳(heartbeat)噪声。心跳噪声是与帧内编码帧出现周期同步地被识别出的噪声，并且由于心跳噪声，图像显得以恒定周期改变。在存在较少运动对象的位置处、存在较少摄像装置的平移等的位置处以及在帧间编码帧中帧间预测有效的位置处，趋向于更经常地生成心跳噪声。

例如，当在最初周期中出现帧内编码帧之后，帧间预测采用下述编码：该编码不包含或跳过离散余弦变换(DCT)系数的传送。关于在接下来周期中出现的帧内编码帧，帧间预测采用下述编码：该编码不包含或跳过DCT系数的传送。

在查看经受了这样的编码的图像的情况下，在最初周期中出现的帧内编码帧之后的帧间预测图像组1与在接下来周期中出现的帧内编码帧之后的帧间预测图像组2之间有时会感觉到视觉间隙。由于此间隙导致的主观图像退化是在本文中所描述的心跳噪声。

作为用于降低此心跳噪声的技术，存在用于采用平滑滤波器降低在预测图像组1与预测图像组2之间的以上所述的视觉间隙的技术。例如，在专利文献1中所公开的技术是移除与由摄像装置等所捕获的图像重叠的增益噪声的方法，并且此方法还可以被用于心跳噪声。

引用列表

专利文献

专利文献1：JP 4321626 B1

发明内容

发明要解决的问题

然而，当使用这样的时间方向的平滑滤波器时，像素值变动绘出了图1所示的曲线，从而导致了视觉间隙。

图1是示出了下述示例情况的图：在该示例情况下，在专利文献1中所公开的技术被应用于预测图像组1与预测图像组2之间。图1中的示例示出了：通过在专利文献1中所公开的技术，由虚线所指示的输入数据可以被转换为由实线所指示的像素值，该由实线所指示的像素值经受了时间方向上的平滑。

可以使得时间方向平滑滤波器的反馈系数更大，以在时间方向上进一步对变动进行平滑。然而，对象(subject)区域呈现为仿佛静止。当作为运动图像查看该对象区域时，在使得静态图像连续地被显示的情况下将感觉到奇怪的感受。因此，包含在时间方向上的简单平滑的处理不适合于心跳噪声的降低。

鉴于这些情形提出了本公开，并且本公开旨在降低在与帧内编码帧出现周期同步地被识别出的噪声。

问题的解决方案

本公开的第一方面的图像处理装置包括：解码单元，通过对比特流执行解码处理生成图像；以及替换单元，使用指示像素值变动分布的替换图案，对由解码单元所生成的图像的像素进行替换。

替换图案是随机地生成的。

基于帧内编码帧出现周期确定替换图案的周期。

图像处理装置还可以包括系数限制单元，该系数限制单元使用通过对由解码单元所生成的图像执行的频率变换所获得的系数和从比特流所获得的量化参数，对通过对具有由替换单元所替换的像素的图像执行的频率变换所获得的系数执行剪切处理，该系数限制单元根据经受了剪切处理的系数对图像进行重构。

图像处理装置还可以包括噪声添加单元，该噪声添加单元将噪声添加到具有由替换单元所替换的像素的图像，

其中，系数限制单元使用通过对由解码单元所生成的图像执行的频率变换所获得的系数和从比特流所获得的量化参数，对通过对具有由噪声添加单元添加至其的噪声的该图像执行的频率变换所获得的系数执行剪切处理。

图像处理装置还可以包括：特征量检测单元，从由解码单元所生成的图像中检测特征量；以及参数调整单元，使用由特征量检测单元所检测的特征量和从比特流所获得的编码参数，对从比特流所获得的量化参数的值进行调整，

其中，系数限制单元使用通过对由解码单元所生成的图像执行的频率变换所获得的系数和具有由参数调整单元所调整的值的量化参数，对通过对具有由替换单元所替换的像素的图像执行的频率变换所获得的系数执行剪切处理，该系数限制单元根据经受了剪切处理的系数对图像进行重构。

图像处理装置还可以包括参数调整单元，该参数调整单元依照用户操作对从比特流所获得的量化参数的值进行调整，

其中，系数限制单元使用通过对由解码单元所生成的图像执行的频率变换所获得的系数和具有由参数调整单元所调整的值的量化参数，对通过对具有由替换单元所替换的像素的图像执行的频率变换所获得的系数执行剪切处理，该系数限制单元根据经受了剪切处理的系数对图像进行重构。

图像处理装置还可以包括存储单元，该存储单元存储由系数限制单元所重构的先前帧图像，

其中，替换单元使用替换图案，采用由解码单元所生成的图像的像素对在存储单元中所存储的先前帧图像的像素进行替换。

图像处理装置还可以包括：频带分离单元，该频带分离单元将由解码单元所生成的图像分离为低频图像和高频图像；以及频带合并单元，该频带合并单元对由频带分离单元所分离的低频图像和高频图像进行合并，

其中

存储单元存储由系数限制单元所重构的先前帧低频图像，

替换单元使用替换图案，采用由频带分离单元所分离的低频图像的像素对在存储单元中所存储的先前帧低频图像的像素进行替换，

使用通过对由频带分离单元所分离的低频图像执行的频率变换所获得的系数和从比特流所获得的量化参数，对通过对具有由替换单元所替换的像素的低频图像执行的频率变换所获得的系数执行剪切处理，以及该低频图像是据经受了剪切处理的系数而重构的，以及

频带合并单元对由系数限制单元所重构的低频图像和高频图像进行合并。

图像处理装置还可以包括平坦部分处理单元，该平坦部分处理单元对由频带合并单元所合并的图像的平坦部分执行平滑处理。

图像处理装置还可以包括替换图案生成单元，该替换图案生成单元生成替换图案，

其中，替换单元使用由替换图案生成单元所生成的替换图案，对由解码单元所生成的图像的像素进行替换。

图像处理装置还可以包括接收单元，该接收单元接收比特流和替换图案，

其中

解码单元通过对由接收单元所接收的比特流执行解码处理来生成图像，以及

替换单元使用由接收单元所接收的替换图案，对由解码单元所生成的图像的像素进行替换。

本公开的第一方面的图像处理方法在图像处理装置中实现，并且该图像处理方法包括：通过对比特流执行解码处理生成图像；以及使用指示像素值变动分布的替换图案对所生成的图像的像素进行替换。

本公开的第二方面的图像处理装置包括：设置单元，设置指示像素值变动分布的替换图案，该替换图案要用于对通过对比特流执行的解码处理所生成的图像的像素进行替换；编码单元，通过对图像执行编码处理生成比特流；以及传送单元，传送由编码单元所生成的比特流和由设置单元所设置的替换图案。

本公开的第二方面的图像处理方法在图像处理装置中实现，并且包括：设置指示像素值变动分布的替换图案，该替换图案要用于对通过对比特流执行的解码处理所生成的图像的像素进行替换；通过对图像执行编码处理生成比特流；以及传送所生成的比特流和所设置的替换图案。

在本公开的第一方面中，对比特流执行解码处理，并且生成图像。在所生成的图像中，通过使用指示像素值变动分布的替换图案对像素进行替换。

在本公开的第二方面中，设置替换图案，该替换图案指示像素值变动分布并且要用于通过对比特流执行的解码处理所获得的图像进行替换；以及对图像执行编码处理，以生成比特流。然后，传送所生成的比特流和所设置的替换图案。

以上所描述的图像处理装置中的每个可以是独立的装置，或可以是图像编码装置或图像解码装置中的内部块。

发明的效果

根据本公开的第一方面，可以对图像进行解码。具体地，可以降低与帧内编码帧出现周期同步地被识别出的噪声。

根据本公开的第二方面，可以对图像进行编码。具体地，可以降低与帧内编码帧出现周期同步地被识别出的噪声。

附图说明

图1是用于说明传统技术的图。

图2是示出了应用了本技术的解码装置的示例结构的框图。

图3是示出了解码单元的示例结构的框图。

图4是用于说明传统技术的图。

图5是用于说明本技术的概述的图。

图6是示出了根据本技术的像素替换的示例的图。

图7是示出了根据本技术的像素替换的另一示例的图。

图8是用于说明根据本技术的运动对象区域保护的图。

图9是用于说明根据本技术的运动对象区域保护的图。

图10是示出了滤波单元的示例结构的框图。

图11是示出了参数转换器的示例结构的框图。

图12是示出了像素替换器的示例结构的框图。

图13是示出了噪声添加器的示例结构的框图。

图14是示出了运动对象区域保护器的示例结构的框图。

图15是用于说明由图2所示的解码装置所执行的显示处理的流程图。

图16是用于说明解码处理的流程图。

图17是用于说明由图10所示的滤波单元所执行的滤波处理的流程图。

图18是用于说明像素替换处理的流程图。

图19是用于说明系数限制处理的流程图。

图20是示出了滤波单元的另一示例结构的框图。

图21是示出了参数转换器的示例结构的框图。

图22是示出了图像特征量检测器的示例结构的框图。

图23是示出了调整值选择器的示例结构的框图。

图24是用于说明调整量化值的方法的图。

图25是用于说明由图20所示的滤波单元所执行的滤波处理的流程图。

图26是示出了应用了本技术的编码装置的示例结构的框图。

图27是示出了编码单元的示例结构的框图。

图28是用于说明由图26所示的编码装置所执行的生成处理的流程图。

图29是用于说明编码处理的流程图。

图30是用于说明编码处理的流程图。

图31是示出了应用了本技术的解码装置的另一示例结构的框图。

图32是示出了图31所示的滤波单元的示例结构的框图。

图33是示出了像素替换器的示例结构的框图。

图34是用于说明由图31所示的解码装置所执行的显示处理的流程图。

图35是用于说明由图32所示的滤波单元所执行的滤波处理的流程图。

图36是示出了应用了本技术的解码装置的又一示例结构的框图。

图37是示出了应用了本技术的编码装置的另一示例结构的框图。

图38是示出了滤波单元的又一示例结构的框图。

图39是用于说明由图38所示的滤波单元所执行的滤波处理的流程图。

图40是示出了计算机的典型示例结构的框图。

具体实施方式

以下将描述用于实施本公开的模式(在下文中，被称为实施例)。将按照下面的顺序进行说明。

1.第一实施例(解码装置的示例基础结构)

2.第二实施例(解码装置的示例应用结构1)

3.第三实施例(在编码侧的图案设置的示例结构)

4.第四实施例(AVC类型的装置的示例结构)

5.第五实施例(解码装置的示例应用结构2)

6.第六实施例(计算机)

<第一实施例>

[解码装置的示例结构]

图2是示出了作为应用了本技术的图像处理装置的解码装置的示例结构的框图。

图2中的解码装置50包括接收单元51、提取单元52、解码单元53、滤波单元54、显示控制单元55以及显示单元56。

解码装置50的接收单元51接收从编码装置(未示出)所传送的编码流，并且将编码流提供给提取单元52。提取单元52在从接收单元51所提供的编码流中提取SPS(序列参数集)、PPS(图片参数集)、指示与每个序列中的编码数据相对应的图像的特性(可用性)的VUI(视频可用性信息)、SEI(补充增强信息)、编码数据等。提取单元52将编码数据提供给解码单元53。提取单元52还根据需要将SPS、PPS、VUI、SEI等提供给解码单元53和滤波单元54。根据需要，SPS、PPS、VUI、SEI等可以在提取单元52处被解码。

解码单元53根据需要参考从提取单元52所提供的SPS、PPS、VUI、SEI等，并且根据HEVC方法对从提取单元52所提供的编码数据进行解码。解码单元53将作为解码的结果所获得的解码图像作为输出信号提供给滤波单元54。解码单元53还将作为解码的结果所获得的编码参数提供给滤波单元54。

基于从提取单元52所提供的SPS、PPS、VUI以及SEI，来自解码单元53的编码参数等，滤波单元54对从解码单元53所提供的解码图像执行滤波，以使用指示像素值变动分布的替换图案对像素进行替换。滤波单元54将经受了滤波的图像提供给显示控制单元55。

显示控制单元55基于从滤波单元54所提供的图像(或根据需要通过由显示单元56所指定的显示方法)生成显示图像。显示控制单元55将所生成的显示图像提供给显示单元56，以使得显示单元56对显示图像进行显示。

显示单元56显示从显示控制单元55所提供的显示图像。显示单元56将预先设置的显示方法通知给显示控制单元55，或将在预先设置的显示方法之中由用户指定的显示方法通知给显示控制单元55。

[解码单元的示例结构]

图3是示出了图2所示的解码单元53的示例结构的框图。解码单元53根据需要参考从提取单元52所提供的SPS、PPS、VUI以及SEI，并且根据HEVC方法对从提取单元52所提供的编码数据进行解码。

图3所示的解码单元53包括累积缓冲器101、无损解码单元102、逆量化单元103、逆正交变换单元104、加法单元105、去块滤波器106、画面重排缓冲器107、D/A转换器108、帧存储器109、开关110、帧内预测单元111、运动补偿单元112以及开关113。

在去块滤波器106与画面重排缓冲器107和帧存储器109之间还设置有自适应偏移滤波器141和自适应环路滤波器142。

解码单元53的累积缓冲器101从图2所示的提取单元52接收并且累积编码数据。累积缓冲器101将所累积的编码数据提供给无损解码单元102。

无损解码单元102通过对从累积缓冲器101所提供的编码数据执行无损解码诸如可变长度解码或算术解码，获得在编码中使用的量化系数和编码参数。无损解码单元102将量化系数提供给逆量化单元103。无损解码单元102还将帧内预测模式信息作为编码参数等提供给帧内预测单元111，并且将运动向量、用于识别参考图像的信息、帧间预测模式信息等提供给运动补偿单元112。无损解码单元102还将帧内预测模式信息或帧间预测模式信息作为编码参数提供给开关113。

无损解码单元102将偏移滤波器信息作为编码参数提供给自适应偏移滤波器141，并且将滤波器系数提供给自适应环路滤波器142。在稍后的阶段中，此编码参数还被提供给滤波单元54。

逆量化单元103、逆正交变换单元104、加法单元105、去块滤波器106、帧存储器109、开关110、帧内预测单元111以及运动补偿单元112对从无损解码单元102所提供的量化系数进行解码，以生成图像。

具体地，逆量化单元103对从无损解码单元102所提供的量化系数进行逆量化，并且将所生成的系数提供给逆正交变换单元104。

逆正交变换单元104对从逆量化单元103所提供的系数执行逆正交变换，并且将所生成的残差信息提供给加法单元105。

加法单元105通过将作为解码目标图像从逆正交变换单元104所提供的残差信息与从开关113所提供的预测图像相加来执行解码。加法单元105将作为解码的结果所获得的图像提供给去块滤波器106，并且还将图像提供给帧存储器109。如果未从开关113提供任何预测图像，则加法单元105将从逆正交变换单元104所提供的残差信息当做作为解码的结果所获得的图像提供给去块滤波器106，以及还提供图像并且将图像存储在帧存储器109中。

去块滤波器106对从加法单元105所提供的图像执行滤波，以移除块失真。去块滤波器106将所得到的图像提供给自适应偏移滤波器141。

自适应偏移滤波器141包括顺序地存储从无损解码单元102所提供的偏移的缓冲器。自适应偏移滤波器141还基于从无损解码单元102所提供的偏移滤波器信息针对每个LCU对经受了由去块滤波器106进行的自适应去块滤波器处理的图像执行自适应偏移滤波处理。

具体地，当在偏移滤波器信息中所包括的存储标志为“0”的情况下，自适应偏移滤波器141使用在偏移滤波器信息中所包括的偏移，对针对每个LCU经受了去块滤波器处理的图像执行具有由类型信息所指示的种类的自适应偏移滤波处理。

另一方面，当在偏移滤波器信息中所包括的存储标志为“1”的情况下，自适应偏移滤波器141从针对每个LCU经受了去块滤波器处理的图像中读取由在偏移滤波器信息中所包括的指标所指示的位置处所存储的偏移。使用所读取的偏移，自适应偏移滤波器141执行具有由类型信息所指示的类型的自适应偏移滤波器处理。自适应偏移滤波器141将经受了自适应偏移滤波处理的图像提供给自适应环路滤波器142。

使用从无损解码单元102所提供的滤波器系数，自适应环路滤波器142针对每个LCU对从自适应偏移滤波器141所提供的图像执行自适应环路滤波处理。自适应环路滤波器142将所得到的图像提供给帧存储器109和画面重排缓冲器107。

在帧存储器109中所累积的图像经由开关110被读取作为参考图像，并且被提供给运动补偿单元112或帧内预测单元111。

画面重排缓冲器107逐帧地存储从去块滤波器106所提供的图像。画面重排缓冲器107按照原始显示顺序而不是按照编码顺序对所存储的图像的帧进行重排，并且将重排后的图像提供给D/A转换器108。

D/A转换器108对从画面重排缓冲器107所提供的基于帧的图像执行D/A转换，并且将输出信号输出到图2所示的滤波单元54。

使用经由开关110从帧存储器109所读取的并且尚未采用去块滤波器106进行滤波的参考图像，帧内预测单元111针对每个图块和每个切片，在由从无损解码单元102所提供的帧内预测模式信息所指示的帧内预测模式中执行帧内预测处理。帧内预测单元111将所得到的预测图像提供给开关113。

基于从无损解码单元102所提供的参考图像识别信息，运动补偿单元112针对每个图块和每个切片经由开关110从帧存储器109读取采用去块滤波器106滤波的参考图像。使用运动向量和参考图像，运动补偿单元112在由帧间预测模式信息所指示的最佳帧间预测模式下执行运动补偿处理。运动补偿单元112将所得到的预测图像提供给开关113。

当从无损解码单元102提供帧内预测模式信息时，开关113将从帧内预测单元111所提供的预测图像提供给加法单元105。另一方面，当从无损解码单元102提供帧间预测模式信息时，开关113将从运动补偿单元112所提供的预测图像提供给加法单元105。

[周期性噪声的说明]

运动图像编码通常包括用于帧内编码的帧内编码帧和用于帧间预测的帧间编码帧。通常每0.5秒至若干秒地设置帧间编码帧，而剩余的帧作为帧间编码帧被编码。当对帧内编码帧进行编码时，帧内编码帧或其他帧间编码帧被用作帧间预测中的参考目的地。

周期性噪声有时是由这样的运动图像编码所导致的，并且噪声通常被称为心跳噪声。心跳噪声是与帧内编码帧出现周期同步地在每个GOP中被识别出的噪声，并且由于心跳噪声，图像显得以恒定周期改变。当噪声与存在较少运动对象的位置处、较少摄像装置的平移等的位置处、以及帧间编码帧中帧间预测有效的位置(或静态图像)重叠时，趋向于更经常地生成心跳噪声。

例如，存在有在时间方向上信号分量不发生变化并且仅噪声分量发生变化的区域。在最初周期中出现的帧内编码帧中，对纹理和噪声进行编码。在之后的帧间预测中，在时间方向上信号分量不发生变化，而噪声由于压缩而变形。作为结果，根据参考图像生成副本。在接下来的周期中出现的帧内编码帧中，对纹理和噪声进行编码；因此，图像看起来仿佛突然地改变。由于此视觉间隙所导致的主观图像退化是在本文中所描述的心跳噪声。

可以不通过将噪声与静态图像重叠，而通过在帧间编码时在量化标度或帧内预测模式的时间改变，生成心跳噪声。

作为用于降低此视觉间隙或心跳噪声的传统技术，在专利文献1中公开了包括时间方向上平滑滤波器的技术。

[传统方法的说明]

现在将参照图4描述传统的方法。

图4的示例示出了在其中生成了心跳噪声的图像中在LPF(低通滤波或平滑)之前与之后的各个帧的帧间差异的图。在每个图中，横坐标轴指示帧的X坐标，向前以及向后延伸的斜轴指示帧的Y坐标，以及纵轴指示帧间差异，如图右上部分所示。

在LPF之前，在I切片(或帧内编码帧)与时间上位于I切片之前的帧之间存在大的帧间差异，而其他帧具有非常小的帧间差异。

另一方面，在LPF之后，帧内编码帧与时间上位于帧内编码帧之前的帧之间的帧间差异小于LPF之前的帧间差异，并且帧间差异在位于帧内编码帧之后的若干帧上被分散。

如上所述，即使在时间方向上执行了LPF或平滑，帧间差异仍然存在。

[本技术的概述]

根据本技术，对像素进行替换，并且在时间方向和空间方向上随机地布置(或分散)帧间差异发生的部分，使得帧间差异变为一致，如图5所示。

图5的示例示出了在其中具有所生成的心跳噪声的图像中，根据本技术的像素替换之前和之后的各个帧的帧间差异的图。在每个图中，横坐标轴指示帧的X坐标，向前以及向后延伸的斜轴指示帧的Y坐标，以及纵轴指示帧间差异，如图4中的图所示。

在像素替换之前，在I切片(或帧内编码帧)与时间上位于I切片之前的帧之间存在大的帧间差异，而其他帧具有非常小的帧间差异，如以上参照图4所描述地。

另一方面，在像素替换之后，在时间方向和空间方向上随机地布置帧间差异发生的部分，使得帧间差异发生的部分在包括帧内编码帧的各个帧上被分散，如图5所示。

因此，可以使得帧间差异一致，并且可以降低与心跳噪声或帧内编码帧出现周期同步地被识别出的噪声。

[像素替换的示例]

图6是示出了根据本技术的像素替换的示例的图。

根据本技术，仅在根据替换图案预先设置的更新时间处，采用当前帧(解码图像)对像素值进行替换，并且其他像素采用先前帧的相对应像素值。

在图6所示的示例中，如图左部分所示，依照由○、△和×所标示的三个更新时间所形成的替换图案，对解码图像的各个像素进行替换。通过在三个更新时间处所执行的替换，对图像中的所有像素进行替换。即，三个时间与帧内编码帧出现周期一致。

具体地，在时间t0处，从在先前的时间处所输出的图像中复制各个像素，并且仅对在替换图案中的像素之中由△所标示的像素进行替换。在时间t1处，从在先前时间t0处所输出的图像复制各个像素，并且仅对在替换图案中的像素之中由×所标示的像素进行替换。此时，采用解码图像对图像中的所有像素进行替换。即，到时间t1为止，采用解码图像对图像中的所有像素进行替换，时间t1为解码图像为帧内编码帧的时间之前的一个时间。

在解码图像是帧内编码帧的时间t2处，从在先前的时间t1处所输出的图像复制各个像素，并且仅对在替换图案中的像素之中由○所标示的像素进行替换。在时间t3处，从在先前的时间t2处所输出的图像复制各个像素，并且仅对在替换图案中的像素之中由△所标示的像素进行替换。

在时间t4处，从在先前的时间t3处所输出的图像复制各个像素，并且仅对在替换图案中的像素之中由×所标示的像素进行替换。此时，采用解码图像，已经对图像中的所有像素进行了替换。即，到时间t4为止，采用解码图像对图像中所有像素进行了替换，时间t4为解码图像为帧内编码帧的时间之前的一个时间。

此外，在解码图像是帧内编码帧的时间t5处，从在先前的时间t4处所输出的图像复制各个像素，并且仅对在替换图案中的像素之中由○所标示的像素进行替换。在时间t6处，从在先前的时间t5处所输出的图像复制各个像素，并且仅对在替换图案中的像素之中由△所标示的像素进行替换。

尽管未在附图中示出，但在时间t7处以及之后，按照与以上相同的方式，仅对在替换图案中所指定的像素进行替换。

[像素替换的另一示例]

图7是示出了根据本技术的像素替换的另一示例的图。

在图7所示的示例中，如图左部所示，依照通过由○、⊙、□、△以及×所标示的五个更新时间所形成的替换图案，对解码图像的各个像素进行替换。通过在五个更新时间处所执行的替换对图像中的所有像素进行替换。即，五个时间与帧内编码帧出现周期一致。

在时间t20处，从在先前的时间处所输出的图像复制各个像素，并且仅对在替换图案中的像素之中由△所标示的像素进行替换。在时间t21处，从在先前的时间t20处所输出的图像复制各个像素，并且仅对在替换图案中的像素之中由×所标示的像素进行替换。此时，已经采用解码图像对图像中的所有像素进行了替换。即，到时间t21为止，采用解码图像对图像中的所有像素进行替换，时间t21为解码图像为帧内编码帧的时间之前的一个时间。

在解码图像是帧内编码帧的时间t22处，从在先前的时间t21处所输出的图像复制各个像素，并且仅对在替换图案中的像素之中由○所标示的像素进行替换。在时间t23处，从在先前的时间t22处所输出的图像复制各个像素，并且仅对在替换图案中的像素之中由⊙所标示的像素进行替换。

在时间t24处，从在先前的时间t23处所输出的图像复制各个像素，并且仅对在替换图案中的像素之中由□所标示的像素进行替换。在解码图像为帧内编码帧的时间t25处，从在先前的时间t24处所输出的图像复制各个像素，并且仅对在替换图案中的像素之中由△所标示的像素进行替换。

在时间t26处，从在先前的时间t25处所输出的图像复制各个像素，并且仅对在替换图案中的像素之中由×所标示的像素进行替换。此时，采用解码图像对图像中的所有像素进行了替换。即，到时间t26为止，采用解码图像对图像中的所有像素进行了替换，时间t26为在解码图像为帧内编码帧的时间之前的一个时间。

此外，在解码图像为帧内编码帧的时间t27处，从在先前的时间t26处所输出的图像复制各个像素，并且仅对在替换图案中的像素之中由○所标示的像素进行替换。在时间t28处，从在先前的时间t27处所输出的图像复制各个像素，并且仅对在替换图案中的像素之中由⊙所标示的像素进行替换。在时间t29处，从在先前的时间t28处所输出的图像复制各个像素，并且仅对在替换图案中的像素之中由□所标示的像素进行替换。

尽管未在附图中示出，但在时间t30处以及之后，以与以上相同的方式仅对在替换图案中所指定的像素进行替换。

在本技术中，仅在通过替换图案预先设置的更新时间处采用当前帧(解码图像)对像素值进行替换，并且其他像素采用先前帧的相对应的像素值。在替换图案中，设置更新时间周期以便与帧内编码帧出现周期一致。

因此，可以降低与帧内编码帧出现周期同步地生成的噪声。同时，背景等未变为完全地静止，而是轻微地改变以显得自然。此外，对在平坦部分等中的不稳性进行校正。

然而，由于以上所描述的像素替换处理，在解码图像中运动对象部分被破坏。因此，根据本技术执行运动对象区域保护处理。

[根据本技术的运动对象区域保护的说明]

现在参照图8和图9，描述根据本技术的运动对象区域保护。

根据本技术，采用原始图像对具有较大不同像素值的像素进行替换，并且处理结果被保持为具有充分接近的像素值的像素，以便应对以上所述的运动对象区域。

如果在此情况下仅利用像素的差异值执行阈值处理，则处理变为困难。

图8和图9示意地示出了解码图像和要被编码的图像的二维示例。

如图8的左侧所示，当采用Q-scale值对要被编码的图像进行量化(编码)时，解码图像位于Q-scale的中心处。

因此，如在图8的右侧所示，仅从解码侧识别出解码图像的位置，但是不清楚要被编码的图像(真实图像)位于哪里。然而，可以对要被编码的图像位于其中的范围进行估计。即，在这种情况下，Q-scale范围是要被编码的图像可位于其中的范围。

鉴于以上，位于来自解码图像的Q-scale值范围内的处理后的图像可以具有真实值；因此，处理图像保持在图9的左侧所示的位置处。

另一方面，位于Q-scale范围之外的处理图像被投影到要被解码的图像可以位于其中的范围上(Q-scale范围内)，如图9的右侧所示。

实际上，如稍后参照图14所描述地，不是二维地执行比较，而是按照离散余弦变换系数的维度执行比较，剪切DCT系数，执行IDCT转换，以及输出图像。尽管在此实施例中描述了DCT系数，但是可以使用包含较小的计算量的频率变换诸如阿达玛(Hadamard)变换来确定近似解。

按照此方式，可以防止由于像素替换破坏运动对象部分，并且可以保护运动对象区域。

如图10所示地设计执行以上所描述的处理的滤波单元54。

[滤波单元的示例结构]

图10是示出了执行以上所述的处理的滤波单元的示例结构的框图。

在图10所示的示例中，图2所示的滤波单元54被设计为包括参数转换器151、像素替换器152、噪声添加器153、运动对象区域保护器154以及帧缓冲器155。

来自外部的编码类型和来自图2所示的解码单元53的编码参数被输入到参数转换器151。

依照指示在编码流生成中所使用的编码的类型的编码类型，参数转换器151对解码单元53的编码参数(具体地，量化标度)进行转换。参数转换器151将转换后的编码参数提供给运动对象区域保护器154。

来自解码单元53的解码图像被输入到像素替换器152和运动对象区域保护器154。在帧缓冲器155中所累积的先前帧的处理后的图像也被输入到像素替换器152。来自噪声添加器153的噪声添加处理后的图像也被提供给运动对象区域保护器154。

像素替换器152参照图6和图7执行以上所述的替换处理。具体地，像素替换器152在处理开始时执行初始化，并且基于从外部所设置的替换周期针对图像的各个像素生成图像替换图案。使用所生成的替换图案，像素替换器152按照恒定周期执行采用解码图像的像素对先前帧的处理后的图像的像素进行替换的处理。像素替换器152将处理后的图像提供给噪声添加器153。

噪声添加器153将噪声添加到来自像素替换器152的处理后的图像，并且将噪声添加处理后的图像提供给运动对象区域保护器154。

运动对象区域保护器154执行以上参照图8和图9所描述的运动对象区域保护处理。具体地，使用作为来自参数转换器151的参数的QP(量化值)和噪声添加后的图像的DCT系数，运动对象区域保护器154对从解码图像所生成的DCT系数执行剪切处理，或执行系数限制处理。

对其施加了系数限制的DCT系数然后经受IDCT转换，并且被重构为图像，然后在下一个阶段作为处理后的图像被输出到显示控制单元55。来自运动对象区域保护器154的处理后的图像要被用于下一帧；因此，还可以被提供给帧缓冲器155。

在处理开始时，帧缓冲器155例如采用适合的值诸如解码图像的初始帧的像素值执行初始化。帧缓冲器155还暂时地对来自运动对象区域保护器154的处理后的图像进行累积，以在下一帧中使用，并且当对下一帧进行处理时将处理后的图像提供给像素替换器152。

尽管在图10所示的示例中，噪声添加器153设置在像素替换单元152与运动对象区域保护器154之间，但是可以不包括噪声添加器153。在该情况下，经受了由像素替换器152进行的替换处理的像素被输入到运动对象保护器154。

[参数转换器的示例结构]

图11是示出了参数转换器的示例结构的框图。参数转换器151依照输入流的编码参数和编码类型生成要由运动对象区域154所使用的参数。

在图11所示的示例中，参数转换器151被设计成包括量化标度值提取器161、选择器162、MPEG-2QP量化值转换器163、AVC-Qp量化值转换器164以及HEVC量化标度转换器165。

量化标度值提取器161在从解码单元53所提供的编码参数中提取量化标度值，并且将所提取的量化标度值提供给选择器162。

选择器162将量化标度值提供给与下述编码类型兼容的转换器(未示出)，该编码类型指示在从外部所提供的编码流的生成中所使用的编码类型。

具体地，在编码类型指示MPEG2的情况下，选择器162将量化标度值提供给MPEG-2 QP量化值转换器163。在编码类型指示AVC的情况下，选择器162将量化标度值提供给AVC-Qp量化值转换器164。在编码类型指示HEVC的情况下，选择器162将量化标度值提供给HEVC量化标度转换器165。

MPEG-2 QP量化值转换器163、AVC-Qp量化值转换器164以及HEVC量化标度转换器165各自将所输入的量化标度值转换为在稍后的阶段要由运动对象区域保护器154对DCT系数进行量化所使用的量化值。MPEG-2 QP量化值转换器163、AVC-Qp量化值转换器164以及HEVC量化标度转换器165将转换后的量化值提供给运动对象区域保护器154。

如果在稍后阶段中在运动对象区域保护器154中所使用的DCT和在编码中所使用的DCT在尺寸或精度上彼此不同，则MEPG-2 QP量化值转换器163、AVC-Qp量化值转换器164以及HEVC量化标度转换器165还对DCT尺寸或精度进行调整。

[像素替换器的示例结构]

图12是示出了像素替换器的示例结构的框图。

在图12所示的示例中，像素替换器152被设计为包括替换图案生成器171、像素替换图案记录缓冲器172、帧计数器173以及像素选择器174。

像素替换周期从外部(未示出)被提供给替换图案生成器171和帧计数器173。例如，像素替换周期是帧内编码帧出现周期(GOP周期)或长于帧内编码帧出现周期。

替换图案生成器171仅在处理开始的初始化的时间处进行操作，并且基于从外部所设置的替换周期针对图像的各个像素生成像素替换图案。替换图案生成器171将所生成的像素替换图案记录在像素替换图案记录缓冲器172中。

像素替换图案是随机地生成的。具体地，像素替换图案是通过针对各个像素随机地生成整数，将该值除以从外部所提供的替换周期，以及将余数赋值给各个像素所生成的，如下面的等式(1)所示。

[数学等式1]

对于(i,j)

替换图案(i,j)＝rand()％替换周期

结束   ...(1)

因此，通过将值0至(替换周期-1)赋值给各个像素值来生成像素替换图案。如果像素替换图案记录缓冲器172难以保存像素替换图案，则可以每当使用像素替换图案时，根据伪随机数诸如M-序列生成像素替换图案。

下面的等式(2)示出了使用伪随机数的像素替换图案的示例。

[数学等式2]

种子＝初始值

对于(i,j)

替换图案(i,j)＝种子％替换周期

种子＝M序列(种子)

结束   ...(2)

关于在生成像素替换图案中要使用的随机数，需要选择使得要生成的像素替换图案将不具有空间相关性的随机数。这是因为，如果选择了空间相关的随机数，则像素替换图案可以在处理的结果中视觉地识别，并且使得主观图像质量退化。

帧计数器173在处理的开始处对内部计数器进行重置，每当处理一个图像时使得计数器值递增“1”，以及将通过将内部计数器的值除以替换周期的值所获得的余数提供给像素选择器174。即，帧计数器173周期性地将0与(替换周期-1)之间的值输出到像素选择器174。

帧计数器173逐帧地执行由下面的等式(3)所表达的处理。

[数学等式3]

计数＝计数+1

输出值＝计数％替换周期   ...(3)

来自解码单元53的解码图像和来自帧缓冲器155的先前帧的处理后的图像被输入到像素选择器174。来自像素替换图像记录缓冲器172的像素替换图案和指示由帧计数器173的内部计数器所指示的值的替换序号也被提供给像素选择器174。

像素选择器174将针对各个像素所设置的像素替换图案中的值与从帧计数器173所提供的替换序号进行比较，如果值与来自解码图像的替换序号相匹配则选择解码图像的相对应的像素作为输出像素值，并且将输出像素值输出到噪声添加器153。在像素替换图案中的值与从帧计数器173所提供的替换序号不匹配的情况下，像素选择器174从对先前帧所执行的处理的结果中选择相对应的像素作为输出像素值，并且将输出像素值输出到噪声添加器153。

如上所述，像素替换器152使用预先设置的像素图案以恒定的周期执行替换像素的处理。因此，可以防止像素变动的过渡平滑而同时降低心跳噪声。

[噪声添加器的示例结构]

图13是示出了噪声添加器的示例结构的框图。

在图13所示的示例中，噪声添加器153被设计成包括噪声生成器181和添加器182。

噪声生成器181生成高斯(Gaussian)噪声，并且将所生成的噪声输出到添加器182。在噪声生成器181处所生成的噪声可以是任意噪声，只要其在空间上是随机的即可，并且分布、强度等可以由用户考虑到整体图像质量而任意地设置。

来自像素替换器152的像素替换后的图像被输入到添加器182。添加器182将从噪声生成器181所提供的噪声添加到所输入的像素替换后的图像，并且将噪声添加后的图像提供给运动对象区域保护器154。

[运动对象区域保护器的示例结构]

图14是示出了运动对象区域保护器的示例结构的框图。

在图14所示的示例中，运动对象区域保护器154被设计成包括DCT转换器191、DCT转换器192、系数限制器193以及IDCT转换器194。尽管在运动对象区域保护器154中使用阿达玛变换，但是例如可以如以上参照图9所描述地使用频率变换。

来自解码单元53的解码图像被提供给DCT转换器191。来自噪声添加器153的噪声添加后的图像被提供给DCT转换器192。来自参数转换器151的量化值被提供给系数限制器193。

DCT转换器191对在所提供的解码图像中具有特定尺寸的每个块执行DCT转换，生成DCT系数，以及将所生成的DCT系数提供给系数限制器193。

DCT转换器192对在所提供的噪声添加后的图像中具有特定的尺寸的每个块执行DCT转换，生成DCT系数，以及将所生成的DCT系数提供给系数限制器193。

使用作为来自参数转换器151的参数的QP(量化值)以及噪声添加后的图像的DCT系数，系数限制器193对从解码图像所生成的DCT系数执行剪切处理，或执行系数限制处理。

具体地，系数限制器193执行剪切处理，使得从噪声添加后的图像所生成的DCT系数可以落入从解码图像所生成的DCT系数的±QP/2范围内。此处理可以由下面的等式(4)所表达。

[数学等式4]

剪切系数

＝min(max(噪声添加后的图像,解码图像系数–QP/2),解码图像系数+QP/2)

...(4)

系数限制器193将DCT系数输出至IDCT转换器194，对该DCT系数已经施加了系数限制。

IDCT转换器194对从系数限制器193所提供的DCT系数执行IDCT转换，对图像进行重构，以及将重构后的图像作为处理的结果输出到显示控制单元55和帧缓冲器155。

[解码装置的操作]

现在参照图15中的流程图，描述要由解码装置50执行的显示处理。

在步骤S51中，解码装置50的接收单元51接收从编码装置(未示出)所传送的编码流，并且将编码流提供给提取单元52。

在步骤S52中，提取单元52在从接收单元51所提供的编码流中提取诸如SPS、PPS、VUI以及SEI的参数、编码数据等。提取单元52将编码数据提供给解码单元53。提取单元52还根据需要将SPS、PPS、VUI、SEI等提供给解码单元53和滤波单元54。

在步骤S53中，解码单元根据需要参考从提取单元52所提供的SPS、PPS、VUI、SEI等，并且执行解码处理以根据HEVC方法对从提取单元52所提供的编码数据进行解码。稍后将参照图16详细地描述此解码处理。解码单元53将经受了解码处理的解码图像和在编码中所使用的编码参数提供给滤波单元54。

在步骤S54中，基于从提取单元52所提供的SPS、PPS、VUI和SEI，以及从解码单元53所提供的编码参数等，滤波单元54使用指示像素值变动分布的替换图案，对作为输出信号从解码单元53所提供的解码图像执行像素替换滤波。稍后将参照图17详细地描述此滤波处理。滤波单元54将经受了滤波的图像提供给显示控制单元55。

在步骤S55中，基于从滤波单元54所提供的图像，显示控制单元55生成显示图像，并且将所生成的显示图像提供给显示单元56，以使得显示单元56对显示图像进行显示。然后，处理结束。

[解码处理的示例]

图16是用于具体地说明图15的步骤S53中的解码处理的流程图。

在图16的步骤S111中，解码单元53的累积缓冲器101从图2所示的提取单元52接收并且累积基于帧的编码数据。累积缓冲器101将所累积的编码数据提供给无损解码单元102。应当注意，在以下描述的步骤S112至步骤S124中的过程例如针对每个CU而执行。

在步骤S112中，无损解码单元102对从累积缓冲器101所提供的编码数据执行无损解码，以获得量化系数和编码参数。无损解码单元102将量化系数提供给逆量化单元103。无损解码单元102还将作为编码参数等从累积缓冲器101所提供的帧内预测模式信息提供给帧内预测单元111，并且将运动向量、帧间预测模式信息、用于识别参考图像的信息等提供给运动补偿单元112。无损解码单元102还将作为编码参数从累积缓冲器101所提供的帧内预测模式信息或帧间预测模式信息提供给开关113。

无损解码单元102还将作为编码参数从累积缓冲器101所提供的偏移滤波器信息提供给自适应偏移滤波器141，并且将滤波器系数提供给自适应环路滤波器142。编码参数还在稍后的阶段被提供给滤波单元54。

在步骤S113中，逆量化单元103对从无损解码单元102所提供的量化系数进行逆量化，并且将所得到的系数提供给逆正交变换单元104。

在步骤S114中，运动补偿单元112确定是否从无损解码单元102提供了帧间预测模式信息。如果在步骤S114中确定提供了帧间预测模式信息，则处理继续至步骤S115。

在步骤S115中，基于从无损解码单元102所提供的运动向量、帧间预测模式信息以及参考图像识别信息，运动补偿单元112读取采用去块滤波器106进行滤波的参考图像，并且执行运动补偿处理。运动补偿单元112将所得到的预测图像经由开关113提供给加法单元105，并且处理继续到步骤S117。

如果在步骤S114中确定未提供帧间预测模式信息，或确定帧内预测模式信息被提供给帧内预测单元111，则处理继续到步骤S116。

在步骤S116中，使用经由开关110从帧存储器109所读取的、并且尚未采用去块滤波器106进行滤波的参考图像，帧内预测单元111在由帧内预测模式信息所指示的帧内预测模式中执行帧内预测处理。帧内预测单元111将作为帧内预测处理的结果生成的预测图像经由开关113提供给加法单元105，并且处理继续到步骤S117。

在步骤S117中，逆正交变换单元104对从逆量化单元103所提供的系数执行逆正交变换，并且将所得到的残差信息提供给加法单元105。

在步骤S118中，加法单元105将从逆正交变换单元104所提供的残差信息与从开关113所提供的预测图像相加。加法单元105将所得到的图像提供给去块滤波器106，并且还将所得到的图像提供给帧存储器109。

在步骤S119中，去块滤波器106对从加法单元105所提供的图像执行滤波，以移除块失真。去块滤波器106将所得到的图像提供给自适应偏移滤波器141。

在步骤S120中，自适应偏移滤波器141基于从无损解码单元102所提供的偏移滤波器信息，针对每个LCU对经受了由去块滤波器106进行的去块滤波处理的图像执行自适应偏移滤波处理。自适应偏移滤波器141将经受了自适应偏压滤波处理的图像提供给自适应环路滤波器142。

在步骤S121中，使用从无损解码单元102所提供的滤波器系数，自适应环路滤波器142针对每个LCU对从自适应偏移滤波器141所提供的图像执行自适应环路滤波处理。自适应环路滤波器142将所得到的图像提供给帧存储器109和画面重排缓冲器107。

在步骤S122中，帧存储器109对从加法单元105所提供的未经滤波的图像和从去块滤波器106所提供的滤波后的图像进行累积。在帧存储器109中所累积的图像作为参考图像经由开关110被提供给运动补偿单元112或帧内预测单元111。

在步骤S123中，画面重排缓冲器107逐帧地存储从去块滤波器106所提供的图像，按照原始显示顺序而不是编码顺序对所存储的图像的帧进行重排，以及将重排后的图像提供给D/A转换器108。

在步骤S124中，D/A转换器108对从画面重排缓冲器107所提供的基于帧的图像执行D/A转换，并且将图像作为输出信号输出到图2所示的滤波单元54。处理返回到图15中的步骤S53，并且继续到步骤S54。

[滤波处理的示例]

现在参照图17中的流程图，描述图15的步骤S54中的滤波处理。

像素替换周期从外部(未示出)被提供给替换图案生成器171和帧计数器173。在步骤S131中，替换图案生成器171基于从外部所设置的替换周期，针对图像的各个像素生成像素替换图案。替换图案生成器171将所生成的像素替换图案记录在像素替换图案记录缓冲器172中。

在步骤S132中，帧计数器173针对内部计数器执行初始化(重置处理)。

在步骤S133中，帧缓冲器155例如通过复制解码图像的初始帧的像素值执行初始化。

在步骤S134中，像素选择器174执行像素替换处理。稍后将参照图18详细地描述此像素替换处理。贯穿步骤S134中的过程，像素替换后的图像被输出到噪声添加器153。

在步骤S135中，噪声添加器153的添加器182将从噪声生成器181所提供的噪声添加到所输入的像素替换后的图像，并且将噪声添加后的图像提供给运动对象区域保护器154。

在步骤S136中，参数转换器151在从解码单元53所提供的编码参数中读取量化标度值。依照编码类型，参数转换器151将所输入的量化标度值转换为要由运动对象区域保护器154在稍后的阶段中对DCT系数进行量化所使用的量化值。转换后的量化值被提供给运动对象区域保护器154。

在步骤S137中，运动对象区域保护器154对系数施加限制，以保护运动对象区域。稍后将参照图19详细地描述此系数限制处理。然后，通过步骤S137中的过程对其施加了系数限制的DCT系数被经受IDCT转换，并且图像被重构。

在步骤S138中，运动对象区域保护器154将重构后的处理后的图像输出到图2所示的显示控制单元55。在步骤S139中，处理后的图像被记录到帧缓冲器155中。

在步骤S140中，像素替换器152确定当前正在处理的帧是否是最后的帧。如果在步骤S140中确定当前正在处理的帧不为最后的帧，则处理返回到步骤S134，并且重复之后的过程。

如果在步骤S140中确定当前正在处理的帧是最后的帧，则图17中所示的滤波处理结束，并且处理返回到图15中的步骤S54，然后移动到步骤S55。

[像素替换处理的示例]

现在参照图18中的流程图，描述图17的步骤S134中的像素替换处理。应当注意，此像素替换处理是下述示例：在该示例中，每当使用像素替换图案时，根据诸如M-序列的伪随机数生成像素替换图案。

来自解码单元53的解码图像和来自帧缓冲器155的先前帧的处理后的图像被输入到像素替换器152的像素选择器174。来自像素替换图案记录缓冲器172的像素替换图案也被提供给像素选择器174。

在步骤S151中，像素选择器174对像素替换图案中的M-序列进行初始化。在步骤S152中，帧计数器173计算替换序号，该替换序号为当将内部计数器值除以替换周期的值时所获得的余数，并且将所计算出的替换序号提供给像素选择器174。

在步骤S153中，像素选择器174确定相对应的像素的替换图案是否与替换序号相匹配。

如果在步骤S153中相对应的像素的替换图案被确定为与替换序号相匹配，则处理继续到步骤S154。在步骤S154中，像素选择器174将在同一位置处的解码图像的像素值输出到噪声添加器153。

如果在步骤S153中确定相对应的像素的替换图案与替换序号不匹配，则处理继续到步骤S155。在步骤S155中，像素选择器174将在同一位置处的先前帧的处理后的图像的像素值输出到噪声添加器153。

在步骤S154或S155之后，处理继续到步骤S156。在步骤S156中，像素选择器174确定是否帧中的所有像素都进行了处理。如果在步骤S156中确定不是对所有的像素进行了处理，则处理返回到步骤S153，并且重复之后的过程。

如果在步骤S156中确定对所有的像素进行了处理，则处理继续到步骤S157。在步骤S157中，帧计数器173对内部计数器值进行更新，然后处理返回到图17中的步骤S134并且继续到步骤S135。

[系数限制处理的示例]

现在将参照图19，描述在图17的步骤S137中的系数限制处理。

来自解码单元53的解码图像被提供给DCT转换器191。来自噪声添加器153的噪声添加后的图像被提供给DCT转换器192。来自参数转换器151的量化值QP被提供给系数限制器193。

在步骤S171中，DCT转换器191获取解码图像的(n×n)个像素的块。在步骤S172中，DCT转换器191对解码后的图像块执行频率变换，并且生成解码图像的DCT系数。解码图像的DCT系数被提供给系数限制器193。

在步骤S173中，DCT转换器192获取噪声添加后的图像的(n×n)个像素的块。在步骤S174中，DCT转换器192对噪声添加后的图像块执行频率变换，并且生成噪声添加后的图像的DCT系数。噪声添加后的图像的DCT系数被提供给系数限制器193。

在步骤S175中，系数限制器193计算上限系数值(解码图像的DCT系数+QP/2)。在步骤S176中，系数限制器193确定噪声添加后的图像的DCT系数是否大于在步骤S175中所计算出的上限系数值。

如果在步骤S176中确定噪声添加后的图像的DCT系数大于上限系数值，则处理继续到步骤S177。在步骤S177中，系数限制器193采用上限系数值对噪声添加后的图像的DCT系数进行替换。

如果在步骤S176中确定噪声添加后的图像的DCT系数小于上限系数值，则处理跳过步骤S177并且继续到步骤S178。

在步骤S178中，系数限制器193计算下限系数值(解码图像的DCT系数-QP/2)。在步骤S179中，系数限制器193确定噪声添加后的图像的DCT系数是否小于在步骤S178中所计算出的下限系数值。

如果在步骤S179中确定噪声添加后的图像的DCT系数小于下限系数值，则处理继续到步骤S180。在步骤S180中，系数限制器193采用下限系数值对噪声添加后的图像的DCT系数进行替换。

如果在步骤S179中确定噪声添加后的图像的DCT系数大于下限系数值，则处理跳过步骤S180并且处理继续到步骤S181。

在步骤S181中，系数限制器193确定当前正在处理的DCT系数是否是最后的DCT系数。如果在步骤S181中确定当前正在处理的DCT系数不是最后的DCT系数，则处理返回到步骤S175并且重复之后的过程。

如果在步骤S181中确定当前正在处理的DCT系数为最后的DCT系数，则系数限制器193将噪声添加后的图像的DCT系数输出到IDCT转换器194，并且处理继续到步骤S182。

在步骤S182中，IDCT转换器194对从系数限制器193所提供的噪声添加后的图像的DCT系数执行逆频率变换。

在步骤S183中，DCT转换器191和192确定当前正在处理的块是否为最后的块。如果在步骤S183中确定当前正在处理的块为最后的块，则系数限制处理结束。

如果在步骤S183中确定当前正在处理的块不是最后的块，则处理返回到步骤S171并且重复之后的过程。

如上所述，基于帧内编码帧出现周期采用所生成的像素替换图案对图像的各个像素进行替换。因此，可以降低与帧内编码帧出现周期同步地生成的噪声。同时，背景等未变得完全静止，而是轻微地改变为显得自然。此外，对在平坦部分等中的不稳定性进行校正。

当对DCT系数执行剪切处理时，可以防止由于像素替换而破坏运动对象部分，并且可以保护运动对象区域。

此外，噪声被添加到像素替换后的图像，并且对噪声添加后的图像的DCT系数执行剪切处理。通过剪切处理，未添加过度的噪声，而是添加了适当量的噪声。因此，可以进一步改进图像质量。

<第二实施例>

[滤波单元的示例结构]

图20是示出了滤波单元的另一示例结构的框图。图20所示的滤波单元54检测图像中的运动，并且关于运动的信息被用于保护运动对象区域。

图20所示的滤波单元54与图10所示的滤波单元54的不同之处在于：采用参数转换器201替换了参数转换器151，以及添加了图像特征量检测器202和调整值选择器203。类似于图10中所示的滤波单元54，图20中所示的滤波单元54包括像素替换器152、噪声添加器153、运动对象区域保护器154以及帧缓冲器155。

具体地，来自外部的编码类型和来自解码单元53的编码参数被输入到参数转换器201。参数转换器201不仅提取量化标度还提取量化标度之外在检测运动对象中可以使用的编码参数，并且依照编码类型执行编码参数校正。

作为编码参数，提取了宏块类型、运动向量、编码块模式等。

转换后的量化值和校正后的编码参数被提供给调整值选择器203。

在图20所示的示例中，来自解码单元153的解码图像不仅被提供给像素替换器152和运动对象区域保护器154，而且还被提供给图像特征量检测器202。来自帧缓冲期155的先前帧的处理后的图像不仅被提供给像素替换器152，而且还被提供给图像特征量检测器202。

使用来自解码单元53的解码图像和来自帧缓冲器155的先前帧的处理后的图像，图像特征量检测器202计算与运动对象区域保护器154的DCT尺寸相对应的图像特征量。图像特征量检测器202将所计算出的特征量提供给调整值选择器203。

调整值选择器203使用来自图像特征量检测器202的图像特征量、来自参数转换器201的编码参数以及通过操作单元(未示出)等所设置的用户设置值等，对从参数转换器201所提供的量化值进行调整。调整值选择器203将调整后的量化值提供给运动对象区域保护器154。

[参数转换器的示例结构]

图21是示出了参数转换器的示例结构的框图。

类似于图11中所示的参数转换器151，图21中所示的参数转换器201包括量化标度值提取器161、选择器162、MPEG-2QP量化值转换器163、AVC-Qp量化值转换器164以及HEVC量化标度转换器165。

图21所示的参数转换器201与图11所示的参数转换器151的不同之处在于还包括编码参数提取器221、选择器222、MPEG-2参数转换器223、AVC参数转换器224以及HEVC参数转换器225。

编码参数提取器221在从解码单元53所提供的编码参数中提取除量化标度值之外在检测运动对象中可以使用的编码参数。编码参数提取器221将所提取的编码参数提供给选择器222。

作为编码参数，提取宏块类型、运动向量、编码块模式等。

选择器222将以上提及的编码参数提供给与下述编码类型兼容的转换器(未示出)：该编码类型指示在从外部所提供的编码流的生成中所使用的编码的类型。

具体地，在编码类型指示MPEG2的情况下，选择器222将编码参数提供给MPEG-2参数转换器223。在编码类型指示AVC的情况下，选择器222将编码参数提供给AVC参数转换器224。在编码类型指示HEVC的情况下，选择器222将编码参数提供给HEVC参数转换器225。

MPEG-2参数转换器223、AVC转换器224以及HEVC参数转换器225各自关于DCT块尺寸、计算精度、编码方法差异等针对所输入的编码参数执行校正。MPEG-2参数转换器223、AVC转换器224以及HEVC参数转换器225将校正后的编码参数提供给运动对象区域保护器154。

[图像特征量检测器的示例结构]

图22是示出了图像特征量检测器的示例结构的框图。

在图22所示的示例中，图像特征量检测器202被设计成包括块特征量检测器231-1和231-2、像素间特征量检测器232以及特征选择器233。

来自解码单元53的解码图像被输入到块特征量检测器231-1和像素间特征量检测器232。来自帧缓冲器155的先前帧的处理后的图像被输入到块特征量检测器231-2和像素间特征量检测器232。

块特征量检测器231-1和231-2分别地检测解码图像以及先前帧的处理后的图像中每个块的像素值的平均值、离散度、动态范围、边缘强度。块特征量检测器231-1和231-2将所检测到的基于块的图像特征量提供给特征选择器233。

帧间像素特征量检测器232计算解码图像与先前帧的处理后的图像之间的差的和、平均差分值、差分绝对值的和、差分图像中的边缘强度、差分图像中的离散度等，并且将所计算出的像素间特征量提供给特征选择器233。

基于从块特征量检测器231-1和231-2以及像素间特征量检测器232所提供的图像特征量，特征选择器233将各个块标签为静止区域、运动对象区域、运动对象边界区域等。特征选择器233将图像特征量(区域标签)提供给调整值选择器203。

[调整值选择器的示例结构]

图23是示出了调整值选择器的示例结构的框图。

在图23所示的示例中，调整值选择器203被设计成包括量化值调整器241和量化值转换器242。

从参数转换器201所提供的量化值QP和编码参数以及指示从图像特征量检测器202所提供的图像特征量的区域标签被输入到量化值调整器241。

使用区域标签和编码参数，量化值调整器241对从参数转换器201所提供的量化值进行调整，并且将调整后的量化值输出到量化值转换器242。

具体地，如图24所示，量化值调整器241基于图像特征量和编码参数诸如宏块类型(MB类型)、运动向量以及编码块模式，对量化值进行调整。

图像特征量被分类为三种类型的区域标签：静止区域、运动对象区域以及运动对象边界附近。宏块类型被分类为两种类型：帧内预测和帧间预测。运动向量被分类为两种类型：零向量(静止)和非零向量(动态)。编码块模式被分类为两种类型：具有系数传送的模式和不具有系数传送的模式。

现在按照从图24的顶部起的顺序描述输入为QP的情况。在区域标签为“静止”并且宏块类型为“帧内”的情况下，量化值调整器241执行调整以使得调整后的量化值变为QP/2。在区域标签为“静止”、宏块类型为“帧间”、运动向量为零向量并且不存在系数传送的情况下，量化值调整器241执行调整使得调整后的量化值变为QP。在区域标签为“静止”、宏块类型为“帧间”、运动向量为非零向量并且不存在系数传送的情况下，量化值调整器241执行调整使得调整后的量化值变为QP。

在区域标签为“静止”、宏块类型为“帧间”、运动向量为非零向量并且存在系数传送的情况下，量化值调整器241执行调整使得调整后的量化值变为QP/2。在区域标签为“运动对象边界附近”并且宏块类型为“帧内”的情况下，量化值调整器241执行调整使得调整后的量化值变为0。在区域标签为“运动对象边界附近”、宏块类型为“帧间”、运动向量为零向量并且不存在系数传送的情况下，量化值调整器241执行调整使得调整后的量化值变为QP。

在区域标签为“运动对象边界附近”、宏块类型为“帧间”、运动向量为非零向量并且不存在系数传送的情况下，量化值调整器241执行调整使得调整后的量化值变为QP/2。在区域标签为“运动对象边界附近”、宏块类型为“帧间”、运动向量为非零向量并且存在系数传送的情况下，量化值调整器241执行调整使得调整后的量化值变为QP/4。在区域标签为“运动对象”并且宏块类型为“帧内”的情况下，量化值调整器241执行调整使得调整后的量化值变为0。

在区域标签为“运动对象”、宏块类型为“帧间”、运动向量为非零向量并且不存在系数传送的情况下，量化值调整器241执行调整使得调整后的量化值变为QP/2。

在区域标签为“运动对象边界附近”、宏块类型为“帧间”、运动向量为非零向量并且不存在系数传送的情况下，量化值调整器241执行调整使得调整后的量化值变为QP/4。在区域标签为“运动对象”、宏块类型为“帧间”、运动向量为非零向量并且存在系数传送的情况下，量化值调整器241执行调整使得调整后的量化值变为0。

应当注意，诸如宏块类型(MB类型)、运动向量以及编码块模式的这些编码参数随着编码类型而变化。由图21所示的MPEG-2参数转换器223、AVC转换器224以及HEVC参数转换器225对这些编码参数进行校正。

尽管以上描述的编码参数为宏块类型、运动向量以及编码块模式，但是可以使用除了以上之外的参数。

参照回图23，量化值转换器242依照通过操作输入单元等(未示出)所设置的用户设置值，对由量化值调整器241所调整的量化值执行转化处理。此转化处理由下面的等式(5)所表达。

[数学等式5]

调整后的QP＝min(max(QP-偏移,MinQP),MaxQP)   ...(5)

在此，偏移(偏移值)、MaxQP(最大量化值)以及MiniQP(最小量化值)是用户设置值。由此，用户可以控制量化标度值。可以使用除了以上之外的用户设置值。

量化值转换器242将转换后的量化值提供给运动对象区域保护器154。

运动对象区域保护器154接收从调整值选择器203所提供的调整后的量化值，并且执行与图10所示的情况相同的运动对象保护处理。然而，当QP＝0的值被输入时，输出值完全地与解码图像相匹配。因此，在QP＝0的情况下，运动对象区域保护器154不执行以上处理，而是可以被使得执行替选处理以忽略解码图像。

[滤波处理的示例]

现在参照图25的流程图，描述由图20所示的滤波单元54要执行的滤波处理。此处理是在图15的步骤S54中的滤波处理的另一示例，以上已经参照图17描述了图15的步骤S54中的滤波处理。

像素替换周期从外部(未示出)被提供给替换图案生成器171和帧计数器173。在步骤S201中，替换图案生成器171基于从外部所设置的替换周期针对图像的各个像素生成像素替换图案。替换图案生成器171将所生成的像素替换图案记录在替换图案记录缓冲器172中。

在步骤S202中，帧计数器173对内部计数器执行初始化(重置处理)。

在步骤S203中，帧缓冲器155例如通过复制解码图像的初始帧的像素值执行初始化。

在步骤S204中，像素选择器174执行像素替换处理。此像素替换处理基本上与以上参照图18所描述的像素替换处理相同；因此，在此不重复其说明。通过步骤S204中的过程，像素替换后的图像被输出到噪声添加器153。

在步骤S205中，噪声添加器153的添加器182将从噪声生成器181所提供的噪声添加到所输入的像素替换后的图像，并且将噪声添加后的图像提供给运动对象区域保护器154。

在步骤S206中，参数转换器201在从解码单元53所提供的编码参数中读取编码参数，诸如量化标度值、宏块类型、运动向量以及编码块模式。

依照编码类型，参数转换器201将所输入的量化标度值转换为要由运动对象区域保护器154在稍后的阶段中对DCT系数进行量化要使用的量化值。参数转换器201还关于DCT块尺寸、计算精度、编码方法差异等对所输入的编码参数执行校正。

在步骤S206中被读取和转换的量化值以及被读取和校正的编码参数被提供给运动对象区域保护器154。

在步骤S207中，使用来自解码单元53的解码图像和来自帧缓冲器155的先前帧的处理后的图像，图像特征量检测器202计算与运动对象区域保护器154的DCT尺寸相对应的图像特征量。

具体地，块特征量检测器231-1和231-2分别地检测解码图像以及先前帧的处理后的图像中每个块的像素值的平均值、离散度、动态范围、边缘强度。帧间像素特征量检测器232计算解码图像与先前帧的处理后的图像之间的差的和、平均差分值、差分绝对值的和，差分图像中的边缘强度、差分图像中的离散度等。

基于从块特征量检测器231-1和231-2以及像素间特征量检测器232所提供的图像特征量，特征选择器233将各个块标签为静止区域、运动对象区域、运动对象边界区域等。特征选择器233将图像特征量(区域标签)提供给调整值选择器203。

在步骤S208中，调整值选择器203对从参数转换器201所提供的量化值进行调制。具体地，如以上参照图24所描述地，调整值选择器203的量化值调整器241使用来自图像特征量检测器202的图像特征量和来自参数转换器201的编码参数，对从参数转换器201所提供的量化值进行调整。另外，调整值转换器203的量化值转换器242使用通过操作单元等(未示出)所设置的用户设置值，根据以上等式(5)对从参数转换器201所提供的量化值进行转换。转换后的量化值被提供给运动对象区域保护器154。

在步骤S209中，运动对象区域保护器154对系数施加限制以保护运动对象区域。此系数限制处理基本上与以上参照图19所描述的系数限制处理相同；因此，在此不重复其说明。通过步骤S209中的过程对其施加系数限制的DCT系数然后经受IDCT转换，并且图像被重构。

在步骤S210中，运动对象区域保护器154将重构后的处理后的图像输出到图2所示的显示控制单元55。在步骤S211中，处理后的图像被记录到帧缓冲器155。

在步骤S212中，像素替换器152确定当前正在处理的帧是否为最后的帧。如果在步骤S212中确定当前正在处理的帧不是最后的帧，则处理返回到步骤S204，并且重复之后的过程。

如果在步骤S212中确定当前正在处理的帧是最后的帧，则图25中所示的滤波处理结束，并且处理返回到图15中的步骤S54，然后继续到步骤S55。

如上所述，检测运动(图像特征量)，提取除了量化标度之外的编码参数，以及通过使用所检测到的运动和所提取的编码参数对在剪切DCT系数中要使用的量化值进行调整。因此，可以实现较高的精度。

尽管在以上所述的示例中生成并且使用了像素替换图案，而在以下描述的示例中从编码侧设置并且传送像素替换图案，在解码侧接收并且使用像素替换图案。

<第三实施例>

[编码装置的示例结构]

图26是示出了作为应用了本技术的图像处理装置的编码装置的示例结构的框图。

图26所示的编码装置301包括设置单元320、编码单元303以及传送单元304，并且根据HEVC方法对诸如捕获图像的图像进行编码。

具体地，诸如基于帧的捕获图像的图像作为输入信号被输入到编码装置301的设置单元302。设置单元302设置SPS、PPS、VUI、SEI等。此时，对于在解码侧要使用的解码图像，基于从外部所设置的替换周期生成指示像素值变动分布的像素替换图案，并且例如在SEI中设置像素替换图案。如上所述，替换周期是帧内编码帧出现周期或长于帧内编码帧出现周期。

设置单元302将所设置的SPS、PPS、VUI以及SEI连同图像提供给编码单元303。SPS、PPS、VUI、SEI等根据需要可以在设置单元302处被编码。

编码单元303参考已经由设置单元302所设置的SPS、PPS、VUI、SEI等，并且根据HEVC方法对所输入的信号进行编码。然后，编码单元303根据所得到的编码数据、SPS、PPS、VUI以及SEI生成编码流，并且将所生成的编码流提供给传送单元304。传送单元304将从编码单元303所提供的编码流传送到图31所示的解码装置50，其将稍后描述。

[编码单元的示例结构]

图27是示出了图26所示的编码单元的示例结构的框图。编码单元303根据需要参考已经由设置单元302所设置的SPS、PPS、VUI、SEI等，并且根据HEVC方法对所输入的信号进行编码。

图26所示的编码单元303被设计成包括A/D转换器311、画面重排缓冲器312、算术运算单元313、正交变换单元314、量化单元315、无损编码单元316、累积缓冲器317、逆量化单元318、逆正交变换单元319、加法单元320、去块滤波器321、帧存储器322、开关323、帧内预测单元324、运动预测/补偿单元325、预测图像选择单元326以及速率控制单元327。

在去块滤波器321与帧存储器322之间进一步设置有自适应偏移滤波器341和自适应环路滤波器342。

具体地，编码单元303的A/D转换器311对作为输入信号所输入的基于帧的图像执行A/D转换，并且将图像输出并且存储到画面重排缓冲器312中。画面重排缓冲器312按照显示顺序对所存储的图像的帧进行重排，使得依照GOP(图片组)结构对图像的帧按照编码顺序进行布置。重排后的基于帧的图像被输出到算术运算单元313、帧内预测单元324以及运动预测/补偿单元325。

算术运算单元313通过计算从预测图像选择单元326所提供的预测图像与从画面重排缓冲器312所输出的编码目标图像之间的差分来执行编码。具体地，算术运算单元313通过在从画面重排缓冲其312所输出的编码目标图像中减去从预测图像选择单元326所提供的预测图像来执行编码。算术运算单元313将所得到的图像作为残差信息输出到正交变换单元314。当未从预测图像选择单元326提供任何预测图像时，算术运算单元313将从画面重排缓冲器312所读取的图像作为残差信息输出到正交变换单元314。

正交变换单元314对从算术运算单元313所提供的残差信息执行正交变换，并且将作为正交变换的结果所获得的系数提供给量化单元315。

量化单元315对从正交变换单元314所提供的系数进行量化。量化后的系数被输入到无损编码单元316。

无损编码单元315从帧内预测单元234获取指示最优帧内预测模式的信息(在下文中被称为帧内预测模式信息)。无损编码单元316还从运动预测/补偿单元325获取指示最优帧间预测模式的信息(在下文中被称为帧间预测模式信息)、运动向量、用于识别参考图像的信息等。无损编码单元316还从自适应偏移滤波器341获取存储标志、指标或偏移以及作为偏移滤波器信息的类型信息，并且从自适应环路滤波器342获取滤波器系数。

无损编码单元316对从量化单元315所提供的量化系数执行无损编码，诸如可变长度编码(例如，CAVLC(上下文自适应可变长度编码))或算术编码(例如，CABAC(上下文自适应二进制算术编码))。

无损编码单元316还对与编码有关的编码参数(诸如帧内预测模式信息或帧间预测模式信息、运动向量、用于识别参考图像的信息、偏移滤波器信息以及滤波器系数)执行无损编码。无损编码单元316将经受了无损编码的编码参数和系数作为要累积的编码数据提供给累积缓冲器317。经受了无损编码的编码参数可以被设置为关于经受了无损编码的系数的数据头信息。

累积缓冲器317暂时地存储从无损编码单元316所提供的编码数据。累积缓冲器317将所存储的编码数据提供给图3所示的设置单元302。

从量化单元315所输出的量化系数还被输入到逆量化单元318，并且在进行了逆量化之后，被提供给逆正交变换单元319。

逆正交变换单元319对从逆量化单元318所提供的系数执行逆正交变换，并且将所得到的残差信息提供给加法单元320。

加法单元320通过将作为解码目标图像从逆正交变换单元319所提供的残差信息与从预测图像选择单元326所提供的预测图像相加来获得局部解码图像。如果未从预测图像选择单元326提供任何预测图像，则加法单元320将从逆正交变换单元319所提供的残差信息设置为局部解码图像。加法单元320将局部解码图像提供给去块滤波器321，并且将局部解码图像提供并且存储到帧存储器322中。

去块滤波器321对从加法单元320所提供的局部解码图像执行滤波以移除块失真。去块滤波器321将所得到的图像提供给自适应偏移滤波器341。

自适应偏移滤波器341对经受了由去块滤波器321进行的自适应去块滤波处理的图像执行主要移除瞬时振荡的自适应偏移滤波(SAO：采样自适应偏移)处理。

更具体地，自适应偏移滤波器341针对作为编码的最大单位的每个LCU(最大编码单位)确定自适应偏移滤波处理的类型，并且计算在自适应偏移滤波处理中要使用的偏移。使用所计算出的偏移，自适应偏移滤波器341对经受了自适应去块滤波处理的图像执行所确定的类型的自适应偏移滤波处理。自适应偏移滤波器341然后将经受了自适应偏移滤波处理的图像提供给自适应环路滤波器342。

自适应偏移滤波器341包括存储偏移的缓冲器。自适应偏移滤波器341针对每个LCU确定在自适应去块滤波处理中所使用的偏移是否已经被存储在缓冲器中。

如果在自适应去块滤波处理中所使用的偏移被确定为已经存储在缓冲器中，则自适应偏移滤波器341将指示偏移是否被存储在缓冲器中的存储标志设置为指示偏移被存储在缓冲器中的值(在此示例中为“1”)。

自适应偏移滤波器341然后针对每个LCU将被设置为“1”的存储标志、指示在缓冲器中偏移的存储位置的指标以及指示所执行的自适应偏移滤波处理的类型的类型信息提供给无损编码单元316。

另一方面，如果在自适应去块滤波处理中所使用的偏移尚未被存储在缓冲器中，则自适应偏移滤波器341将偏移顺序地存储在缓冲器中。自适应偏移滤波器341还将存储标志设置为指示偏移未被存储在缓冲器中的值(在此示例中为“0”)。自适应偏移滤波器341然后针对每个LCU将被设置为“0”的存储标志、偏移以及类型信息提供给无损编码单元316。

例如，针对每个LCU，自适应环路滤波器342对从自适应偏移滤波器341所提供的并且已经经受了自适应偏移滤波处理的图像执行自适应环路滤波(ALF)处理。作为自适应环路滤波处理，例如执行包含二维维纳(Wiener)滤波器的处理。当然可以使用除了维纳滤波器之外的滤波器。

具体地，针对每个LCU，自适应环路滤波器342计算在自适应环路滤波处理中要使用的滤波器系数，以便使得为从画面重排缓冲器312所输出的图像的原始图像与经受了自适应环路滤波处理的图像之间的残差最小化。使用所计算出的滤波器系数，自适应环路滤波器342针对每个LCU对经受了自适应偏移滤波处理的图像执行自适应环路滤波处理。

自适应环路滤波器342将经受了自适应环路滤波处理的图像提供给帧存储器322。自适应环路滤波器342还将滤波器系数提供给无损编码单元316。

尽管在此示例中针对每个LCU执行了自适应环路滤波器处理，但是自适应环路滤波处理的处理单位不限于LCU。然而，在自适应偏移滤波器341与自适应环路滤波器342使用相同的处理单位的情况下，可以有效地执行处理。

在帧存储器322中所累积的图像作为参考图像经由开关323被输出到帧内预测单元324或运动预测/补偿单元325。

使用经由开关323从帧存储器322所读取的并且尚未利用去块滤波器321滤波的参考图像，帧内预测单元324针对每个图块和每个切片在所有候选的帧内预测模式中执行帧内预测处理。

基于从画面重排缓冲器312所读取的图像以及作为帧内预测处理的结果所生成的预测图像，帧内预测单元324计算所有候选的帧内预测模式的成本函数值(稍后将详细描述)。帧内预测单元324然后将具有最小的成本函数值的帧内预测模式确定为最佳帧内预测模式。

帧内预测单元324将在最佳帧内预测模式中所生成的预测图像以及相对应的成本函数值提供给预测图像选择单元326。当被预测图像选择单元326通知选择在最佳帧内预测模式中所生成的预测图像时，帧内预测单元324将帧内预测模式信息提供给无损编码单元316。

应当注意，成本函数值还被称为RD(速率失真)成本，并且例如，如在作为H.264/AVC的参考软件的JM(联合模型)中所指定地，通过高复杂度模式或低复杂度模式的技术进行计算。

具体地，在高复杂度模式被用作计算成本函数值的方法的情况下，在所有的候选预测模式中暂时地执行以无损编码结束的操作，并且针对每个预测模式计算由下面的等式(6)所表达的成本函数值。

[数学等式6]

成本(模式)＝D+λ·R   ...(6)

D代表原始图像与解码图像之间的差分(失真)，R代表包括正交变换系数的比特生成速率，以及λ代表作为量化参数QP的函数所给出的拉格朗日(Lagrange)乘子。

另一方面，在低复杂度模式被用作计算成本函数值的方法的情况下，生成解码图像，并且在所有候选预测模式中计算诸如指示预测模式的信息的数据头比特。然后，针对每个预测模式，计算由下面的等式(7)所表达的成本函数值。

[数学等式7]

成本(模式)＝D+QPtoQuant(QP)·Header_Bit   ...(7)

D代表原始图像与解码图像之间的差分(失真)，Header_Bit代表与预测模式相对应的数据头比特，以及QPtoQuant是作为量化参数QP的函数所给出的函数。

在低复杂度模式中，在所有预测模式中简单地生成解码图像，以及不需要执行无损编码。因此，计算量较小。

运动预测/补偿单元325针对每个图块和每个切片在所有帧间预测模式中执行运动预测/补偿处理。具体地，运动预测/补偿单元325基于从画面重排缓冲器312所提供的图像以及经由开关323从帧存储器322所读取的滤波后的参考图像，针对每个图块和每个切片检测所有候选帧间预测模式的运动向量。运动预测/补偿单元325然后针对每个图块和每个切片基于运动向量对参考图像执行补偿处理，并且生成预测图像。

此时，运动预测/补偿单元325基于从画面重排缓冲器312所提供的图像和预测图像计算所有候选帧间预测模式的成本函数值，并且将具有最小成本函数值的帧间预测模式确定为最佳帧间预测模式。运动预测/补偿单元325然后将最佳帧间预测模式的成本函数值以及相对应的预测图像提供给预测图像选择单元326。当被预测图像选择单元326通知选择最佳帧间预测模式中所生成的预测图像时，运动预测/补偿单元325将帧间预测模式信息、相对应的运动向量、用于识别参考图像的信息等提供给无损编码单元316。

基于从帧内预测单元324和运动预测/补偿单元325所提供的成本函数值，预测图像选择单元326确定最佳预测模式为最佳帧内预测模式或最佳帧间预测模式中具有较小成本函数值的预测模式。预测图像选择单元326然后将最佳预测模式中的预测图像提供给算术运算单元313和加法单元320。预测图像选择单元326还将选择最佳预测模式中的预测图像通知给帧内预测单元324或运动预测/补偿单元325。

基于在累积缓冲器317中所累积的编码数据，速率控制单元327控制量化单元315的量化操作速率，以便不导致上溢或下溢。

[由编码装置所执行的处理的说明]

图28是用于说明由图26所示的编码装置301所执行的生成处理的流程图。

诸如基于帧的捕获图像的图像作为输入信号被输入到编码装置301的设置单元320。在图28的步骤S301中，设置单元302设置像素替换图案。具体地，设置单元320设置SPS、PPS、VUI、SEI等。此时，针对在解码侧要使用的解码图像，设置单元302生成指示像素值变动分布的像素替换图案，并且例如在SEI中设置像素替换图案。

例如，以上提及的等式(1)和(2)等被用于生成像素替换图案。

设置单元320将已经设置的SPS、PPS、VUI以及SEI连同图像提供给编码单元303。

在步骤S302中，编码单元303参考由设置单元320所设置的SPS、PPS、VUI以及SEI，并且根据HEVC方法对输入信号进行编码。稍后将参照图29和图30详细地描述此编码处理。

编码单元30然后根据所得到的编码数据、SPS、PPS、VUI以及SEI生成编码流，并且将所得到的编码流提供给传送单元304。

在步骤S303中，传送单元340将从设置单元302所提供的编码流传送到图31所示的解码装置50(将稍后描述)，并且处理结束。

[编码处理的示例]

现在参照图29和图30中的流程图，详细地描述图28的步骤S302中的编码处理。

在图29中的步骤S311中，编码单元303的A/D转换器311对作为输入信号所输入的基于帧的输入图像执行A/D转换，以及将图像输出并且存储到画面重排缓冲器312。

在步骤S312中，画面重排缓冲器312对按照显示顺序所存储的图像的帧进行重排，使得依照GOP(图片组)结构按照编码顺序对图像的帧进行重排。画面重排缓冲器312将重排后的基于帧的图像提供给算术运算单元313、帧内预测单元324以及运动预测/补偿单元325。应当注意，例如针对每个CU(编码单位)实施以下描述的步骤S313至S331中的过程。

在步骤S313中，帧内预测单元324在所有候选帧内预测模式中执行帧内预测处理。基于从画面重排缓冲器312所读取的图像和作为帧内预测处理的结果所生成的预测图像，帧内预测单元324计算所有候选的帧内预测模式的成本函数值。帧内预测单元324然后将具有最小成本函数值的帧内预测模式确定为最佳帧内预测模式。帧内预测单元324将在最佳帧内预测模式中所生成的预测图像以及相对应的成本函数值提供给预测图像选择单元326。

运动预测/补偿单元325在所有的候选帧间预测模式中执行运动预测/补偿处理。运动预测/补偿单元325还基于从画面重排缓冲器312所提供的图像和预测图像计算所有候选帧间预测模式的成本函数值，并且将具有最小成本函数值的帧间预测模式确定为最佳的帧间预测模式。运动预测/补偿单元325然后将最佳帧间预测模式的成本函数值和相对应的预测图像提供给预测图像选择单元326。

在步骤S314中，基于通过步骤S313的过程从帧内预测单元324和运动预测/补偿单元325所提供的成本函数值，预测图像选择单元326确定最佳预测模式，最佳预测模式为最佳帧内预测模式或最佳帧间预测模式具有较小的成本函数值的那个。预测图像选择单元326然后将最佳预测模式中的预测图像提供给算术运算单元313和加法单元320。

在步骤S315中，预测图像选择单元326确定最佳预测模式是否为最佳帧间预测模式。如果在步骤S315中最佳预测模式被确定为最佳帧间预测模式，则预测图像选择单元326将在最佳帧间预测模式中所生成的预测图像的选择通知给运动预测/补偿单元325。

在步骤S316中，运动预测/补偿单元325将帧间预测模式信息、相对应的运动向量以及用于识别参考图像的信息提供给无损编码单元316。处理然后继续到步骤S318。

另一方面，如果在步骤S315中最佳预测模式被确定为不是最佳帧间预测模式，或如果最佳预测模式是最佳帧内预测模式，则预测图像选择单元326将在最佳帧内预测模式中所生成的预测图像的选择通知给帧内预测单元324。

在步骤S317中，帧内预测单元324将帧内预测模式信息提供给无损编码单元316。然后，处理继续至步骤S318。

在步骤S318中，算术运算单元313通过在从画面重排缓冲器312所提供的图像中减去从预测图像选择单元326所提供的预测图像来执行编码。算术运算单元313将所得到的图像作为残差信息输出到正交变换单元314。

在步骤S319中，正交变换单元314对从算术运算单元313所提供的残差信息执行正交变换，并且将所得到的系数提供给量化单元315。

在步骤S320中，量化单元315对从正交变换单元314所提供的系数进行量化。量化后的系数被输入到无损编码单元316和逆量化单元318。

在图30中的步骤S321中，逆量化单元318对从量化单元315所提供的量化系数进行逆量化。

在步骤S322中，逆正交变换单元319对从逆量化单元318所提供的系数执行逆正交变换，并且将所得到的残差信息提供给加法单元320。

在步骤S323中，加法单元320将从逆正交变换单元319所提供的残差信息相与从预测图像生成单元326所提供的预测图像相加，并且获得局部解码图像。加法单元320将所获得的图像提供给去块滤波器321，并且还将所获得的图像提供给帧存储器322。

在步骤S324中，去块滤波器321对从加法单元320所提供的局部解码的图像执行去块滤波处理。去块滤波器321将所得到的图像提供给自适应偏移滤波器341。

在步骤S325中，自适应偏移滤波器341针对每个LCU对从去块滤波器321所提供的图像执行自适应偏移滤波处理。自适应偏移滤波器341将所得到的图像提供给自适应环路滤波器342。自适应偏移滤波器341还针对每个LCU将存储标志、指标或偏移以及类型信息作为偏移滤波器信息提供给无损编码单元单元316。

在步骤S326中，自适应环路滤波器342针对每个LCU对从自适应偏移滤波器341所提供的图像执行自适应环路滤波处理。自适应环路滤波器342将所得到的图像提供给帧存储器322。自适应环路滤波器342还将在自适应环路滤波处理中所使用的滤波器系数提供给无损编码单元316。

在步骤S327中，帧存储器322对滤波后的图像和未滤波的图像进行累积。具体地，帧存储器322对从加法单元320所提供的图像和从自适应环路滤波器342所提供的图像进行累积。在帧存储器322中所累积的图像作为参考图像经由开关323被输出到帧内预测单元324或运动预测/补偿单元325。

在步骤S328中，无损编码单元316对编码参数执行无损编码，编码参数诸如帧内预测模式信息或帧间预测模式信息、运动向量、用于识别参考图像的信息、偏移滤波器信息以及滤波器系数。

在步骤S329中，无损编码单元316对从量化单元315所提供的量化系数执行无损编码。无损编码单元316然后通过步骤S328中的过程，根据经受了无损编码的编码参数和经受了无损编码的系数生成编码数据。

在步骤S330中，无损编码单元316将编码数据提供给累积缓冲器317，并且使得累积缓冲器317累积编码数据。

在步骤S331中，累积缓冲器317根据所累积的编码数据、SPS、PPS、VUI以及SEI生成编码流，并且将所生成的编码流提供给图26所示的传送单元304。处理然后返回到图28的步骤S302，并且继续到步骤S303。

为了说明的方便，在图29和图30中所示的编码处理中恒定地执行帧内预测处理和运动预测/补偿处理。然而，实际上，存在依赖于图片类型等仅执行处理中之一的情况。

[解码装置的另一示例结构]

图31是示出了对从图26中所示的编码装置301所传送的编码流进行解码的解码装置的示例结构的框图，解码装置是应用了本技术的图像处理装置。即，图31所示的解码装置是图2所示的解码装置的另一示例结构。

类似于图2所示的解码装置50，图31所示的解码装置50包括接收单元51、提取单元52、解码单元53、显示控制单元55以及显示单元56。图31所示的解码装置50与图2所示的解码装置50的不同之处在于采用滤波单元351替换了滤波单元54。

具体地，接收单元51接收从图26所示的编码装置301所传送的编码流，并且将编码流提供给提取单元52。在此编码流的SEI中，设置像素替换图案。提取单元52在从接收单元51所提供的编码流中提取SPS、PPS、VUI、SEI、编码数据等。此时，还从SEI提取像素替换图案信息，并且其被提供给滤波单元351。

基于从提取单元52所提供的SPS、PPS、VUI以及SEI和从解码单元53所提供的编码参数等，滤波单元351使用从提取单元52所提供的替换图案信息，对作为输出信号从解码单元53所提供的解码图像执行像素替换滤波。滤波单元351将经受了滤波的图像提供给显示控制单元55。

[滤波单元的另一示例结构]

图32是示出了图31所示的滤波单元的示例结构的框图。

类似于图10所示的滤波单元54，图32所示的滤波单元351包括参数转换器151、像素替换器152、噪声添加器153、运动对象区域保护器154以及帧缓冲器155。图32所示的滤波单元351与图10所示的滤波单元54的不同之处在于采用像素替换器361替换了像素替换器152。

具体地，当图10所示的像素替换器152生成像素替换图案时，图32中所示的像素替换器361接收在从编码装置301所提供的编码流中所设置的并且由提取单元52所提取的像素替换图案信息。使用像素替换图案信息，图32所示的像素替换器361以恒定的周期执行采用解码图像的像素对先前帧的处理后的图像的像素进行替换的处理。像素替换器361将处理后的图像提供给噪声添加器153。

[像素替换器的另一示例结构]

图33是示出了图32所示的像素替换器的另一示例结构的框图。

类似于图12所示的像素替换器152，图33所示的像素替换器361包括像素替换图案记录缓冲器172、帧计数器173以及像素选择器174。图33所示的像素替换器361与图12所示的像素替换器152的不同之处在于采用替换图案接收单元371替换了替换图案生成器171。

具体地，替换图案接收单元371接收由图31所示的提取单元52从编码参数中所提取的像素替换图案信息。替换图案接收单元371将所接收到的像素替换图案记录在像素替换图案记录缓冲器172中。

使用此像素替换图案，像素选择器174执行像素替换处理。

[解码装置的操作]

现在参照图34中的流程图，描述由图31所示的解码装置50所执行的显示处理。此显示处理是以上参照图15所描述的显示处理的另一示例。

在步骤S351中，图31所示的接收单元51接收从图26所示的编码装置301所传送的编码流，并且将编码流提供给提取单元52。

在步骤S352中，提取单元52在从接收单元51所提供的编码流中提取SPS、PPS、VUI以及SEI、编码数据等。在这样作的过程中，提取单元52从SEI中提取像素替换图案信息。提取单元52将编码数据提供给解码单元53。提取单元52还根据需要将SPS、PPS、VUI、SEI等提供给解码单元53和滤波单元54。

在步骤S353中，提取单元52将从SEI中所提取的像素替换图案信息提供给滤波单元351。

在步骤S354中，解码单元53根据需要参照从提取单元52所提供的SPS、PPS、VUI、SEI等，并且根据HEVC方法执行解码处理，以对从提取单元52所提供的编码数据进行解码。此解码处理基本上与以上参照图16所描述的解码处理相同；因此，在此将不重复其说明。解码单元53将经受了解码处理的解码图像和在编码中所使用的编码参数提供给滤波单元54。

在步骤S355中，基于从提取单元52所提供的SPS、PPS、VUI以及SEI、以及从解码单元53所提供的编码参数等，滤波单元54使用在步骤S353中所提供的替换图案，对作为输出信号从解码单元53所提供的解码图像执行像素替换滤波。稍后将参照图35详细地描述此滤波处理。滤波单元54将经受了滤波的图像提供给显示控制单元55。

在步骤S356中，基于从滤波单元54所提供的图像，显示控制单元55生成显示图像，并且将所生成的显示图像提供给显示单元56使得显示单元56对显示图像进行显示。然后，处理结束。

[滤波处理的示例]

现在参照图35中的流程图，描述图34的步骤S355中的滤波处理。

在图34的步骤S353中提供像素替换图案信息。在步骤S361中，像素替换图案接收单元371接收像素替换图案信息。替换图案接收单元371将所接收到的像素替换图案记录在像素替换图案记录缓冲器172中。

图35中的步骤S362至S370基本上是与图17中步骤S132至S140的过程相同的过程；因此在此不重复对其的说明。

如上所述，可以在解码侧接收并且使用在编码侧所生成并且设置的像素替换图案信息。

尽管在以上所描述的示例中记录并且然后使用所生成的或所接收的像素替换图案，但是可以随机地整体地替换像素。

如上所述，本技术可以降低心跳噪声，或与帧内编码帧出现周期同步地生成的噪声，而不导致奇怪的主管感觉。另外，通过使用比特流信息进行的运动对象保护，可以破坏防止运动对象。

此外，当执行运动对象保护(剪切处理)时，处理的结果可以落入关于解码图像的特定变动范围中，即使对图像进行了相对大的改变或图像质量调整也如此。

由此，还可以降低块噪声和蚊式噪声。另外，在平坦部分和由于压缩使得纹理退化的部分处，可以改进纹理。

本技术可以与在时间方向上的噪声降低相合并。

尽管在以上所述的示例中，HEVC方法基本上被用作编码方法，但是本技术是包含显示的技术并且不限于编码方法。因此，在本技术中，不仅可以使用HEVC方法而且还可以使用一些其他的编码/解码方法。例如，本发明可以被应用到通过如以下所述的AVC方法执行编码/解码处理的装置。

<第四实施例>

[解码单元的另一示例结构]

图36是示出了图2所示的解码单元的另一示例结构的框图。图36所示的解码单元53与图3所示的解码单元53的不同之处仅在于根据AVC方法执行解码处理。

在图36所示的结构中，通过与图3中的参考标记相同的参考标记来标示与图3中的组件相同的组件。将不在重复已经进行的说明。

图36所示的解码单元53包括累积缓冲器101、无损解码单元102、逆量化单元103、逆正交变换单元104、加法单元105、去块滤波器106、画面重排缓冲器107、D/A转换器108、帧存储器109、开关110、帧内预测单元111、运动补偿单元112以及开关113。

图36所示的解码单元53的结构与图3所示的结构的不同之处仅在于未包括自适应偏移滤波器141和自适应环路滤波器142，以及无损解码单元102不是通过HEVC方法而是通过AVC方法执行解码。因此，在解码单元53中，不是基于CU的而是基于块执行解码处理。

要经受由无损解码单元102进行的解码处理的对象基本上与图3所示的无损解码单元102的情况中的对象相同，除了自适应偏移滤波器和自适应环路滤波器的参数之外。具体地，类似于图3所示的无损解码单元102，无损解码单元102通过对从累积缓冲器101所提供的编码数据执行诸如可变长度解码或算术解码的无损解码获得量化系数和编码参数。无损解码单元102将量化系数提供给逆量化单元103。

类似于图3所示的无损解码单元102，无损解码单元102还将帧内预测模式信息作为编码参数等提供给帧内预测单元111，并且将运动向量、用于识别参考图像的信息、帧间预测模式信息等提供给运动补偿单元112。无损解码单元102还将帧内预测模式信息或帧间预测模式信息作为编码参数提供给开关113。编码参数还在稍后的阶段中被提供给滤波单元54。

去块滤波器106对从加法单元105所提供的图像执行滤波以移除块失真。去块滤波器106将所得到的图像提供给帧存储器109和画面重排缓冲器107。

本技术还可以被应用到解码装置，该解码装置包括具有AVC类型的这样的解码单元53。

[编码单元的另一示例结构]

图37是示出了图26所示的编码单元的另一示例结构的框图。图37所示的编码单元303与图27所示的编码单元303的不同之处仅在于根据AVC方法执行编码处理。

在图37所示的结构中，通过与图27中的附图标记相同的附图标记来标示与图27中的组件相同的组件。将不重复已经进行的说明。

图37所示的编码单元303被设计成包括A/D转换器311、画面重排缓冲器312、算术运算单元313、正交变换单元314、量化单元315、无损编码单元316、累积缓冲器317、逆量化单元318、逆正交变换单元319、加法单元320、去块滤波器321、帧存储器322、开关323、帧内预测单元324、运动预测/补偿单元325、预测图像选择单元326以及速率控制单元327。

图37所示的编码单元303的结构与图27所示的结构的不同之处仅在于不包括自适应偏移滤波器341和自适应环路滤波器342，并且无损编码单元316不是根据HEVC方法而是根据AVC方法执行编码。因此，在编码单元303中，不是基于CU地而是基于块执行编码处理。

要经受由无损编码单元316进行的编码处理的对象基本上与图27所示的无损编码单元316的情况中的对象相同，除了自适应偏移滤波器和自适应环路滤波器的参数之外。具体地，类似于图27所示的无损编码单元316，无损编码单元316从帧内预测单元324获取帧内预测模式信息。无损编码单元316还从运动预测/补偿单元325获取帧间预测模式信息、运动向量、用于识别参考图像的信息等。

类似于图27所示的无损编码单元316，无损编码单元316对从量化单元315所提供的量化系数执行无损编码，诸如长度可变编码(例如，CAVLC)或算术编码(例如，CABAC)。

类似于图27所示的无损编码单元316，无损编码单元316还对与编码有关的编码参数(诸如，帧内预测模式信息或帧间预测模式信息、运动向量、用于识别参考图像的信息、偏移滤波器信息以及滤波器系数)执行无损编码。无损编码单元316将经受了无损编码的编码参数和系数作为要累积的编码数据提供给累积缓冲器317。经受了无损编码的编码参数可以被设置为关于经受了无损编码的系数的数据头信息。

去块滤波器321对从加法单元320所提供的局部解码图像执行滤波，以移除块失真。去块滤波器321将所得到的图像提供并且存储到帧存储器322中。

在帧存储器322中所累积的图像作为参考图像经由开关323被输出到帧内预测单元324或运动预测/补偿单元325。

本技术还可以被应用到编码装置，该编码装置包括具有AVC类型的这样的编码单元303。

尽管在以上所述的示例中降低了心跳噪声，但是如上所述在降低心跳噪声中需要先前帧的处理后的图像。因此，在由硬件构成图10所示的滤波单元54的情况下，例如，在芯片外部的DRAM(动态随机存取存储器)中准备用作累积所需的先前帧的处理后的图像的存储单元的帧缓冲器155。当使用先前帧的处理后的图像时，访问DRAM，从而导致了DRAM带宽的增加。就硬件而言，增加了访问DRAM的成本。

在关注心跳噪声主要集中于图像的低频分量中的事实的情况下，图像被分离为高频分量(高频图像)和低频分量，并且仅对低频分量(低频图像)执行心跳噪声降低处理。以下将描述本技术的此示例。

<第五实施例>

[滤波单元的另一示例结构]

图38是示出了图2所示的滤波单元54的示例结构的框图。

图38所示的滤波单元54与图10所示的滤波单元54的区别在于不包括噪声添加器153，并且添加了频带分离单元401、频带合并单元402、以及平坦部分处理单元403。类似于图10所示的滤波单元54，图38所示的滤波单元54包括参数转换器151、像素替换单元152、运动对象区域保护器154以及帧缓冲器155。为了说明的方便，未包括噪声添加单元153，但是，可以包括噪声添加单元153。

具体地，来自外部的编码类型和来自图2所示的解码单元53的编码参数被输入到参数转换器151。

类似于图10所示的参数转换器151，参数转换器151依照指示在编码流生成中所使用的编码的类型的编码类型，对解码单元53的编码参数(具体地，量化标度)进行转换。参数转换器151将转换后的编码参数提供给运动对象区域保护器154。

来自解码单元53的解码图像被输入到频带分离单元401和平坦部分处理单元403。频带分离单元401将所输入的解码图像分离为高频分量和低频分量。

低频分量由具有减少数量的像素的低分辨率图像所表达。例如，在LD代表输入解码图像、LDl代表图像的低频分量以及LDh代表高频分量的情况下，根据下面的等式(8)生成低频分量和高频分量。

[数学等式8]

${\mathrm{LDI}}_{m,n}=(\underset{i=m\&times;4}{\overset{m\&times;4+3}{\mathrm{\&Sigma;}}}\underset{j=n\&times;4}{\overset{n\&times;4+3}{\mathrm{\&Sigma;}}}{\mathrm{LD}}_{i,j}+8)>>4$

LDh_m，n＝LD_m，n-LDI_{m＞＞2，n＞＞2}   …(8)

分离低频分量和高频分量的此方法仅为示例，并且可以根据一些其他算术表达式分离低频分量和高频分量。在等式(8)所示的示例中，通过分配4×4个像素的平均值生成LDl，而通过根据最近邻方法在垂直方向和水平方向上将LDl放大四倍并且计算与LD的差分来生成LDh。

在等式(8)所示的此示例中，如上所述，低频分量具有在垂直方向上为解码图像的分辨率的1/4的并且在水平方向上为解码图像的分辨率的1/4的分辨率，并且像素的数量为实际解码图像的像素数量的1/16。

频带分离单元401将解码图像的所生成的低频分量提供给像素替换器152和运动对象区域保护器154。频带分离单元401还将解码图像的所生成的高频分量提供给频带合并单元402。

先前帧的处理后的图像的低频分量被累积在帧缓冲器155中，并且被输入到像素替换器152。

以与图10所示的像素替换器152进行处理的相同方式，像素替换器152对从频带分离单元401所提供的图像的低频分量执行像素替换处理。具体地，像素替换器152在处理的开始处执行初始化，并且基于从外部所设置的替换周期，针对图像(低频分量)的各个像素生成图像替换图案。使用所生成的替换图案，像素替换器152以恒定的周期执行采用解码图像(低频分量)的像素对从帧缓冲器155所提供的先前帧的处理后的图像(低频分量)的像素进行替换的处理。像素替换器152将处理后的图像(低频分量)提供给运动对象区域保护器154。

以与图10所示的运动对象区域保护器154进行处理的相同方式，运动对象区域保护器154对来自像素替换器152的处理后的图像(低频分量)执行运动对象区域保护处理。即，当来自像素替换器152的输出图像(低频分量)与来自频带分离单元401的低频分量不同时，运动对象区域保护器154对来自像素替换器152的输出图像(低频分量)进行校正。

具体地，使用作为来自参数转换器151的参数的QP(量化值)和来自像素替换器152的处理后的图像(低频分量)的DCT系数，运动对象区域保护器154对根据解码图像所生成的DCT系数执行剪切处理，或执行系数限制处理。

对其施加了系数限制的DCT系数然后经受IDCT转换并且被重构为图像，以及然后作为处理后的图像(低频分量)被输出到频带合并单元402。来自运动对象区域保护器154的处理后的图像(低频分量)要在下一帧中被使用；因此，其还可以被提供并且累积到帧缓冲器155中。

频带合并单元402使用从运动对象区域保护器154所提供的处理后的图像(低频分量)和从频带分离单元401所提供的解码图像的高频分量，通过对频带进行合并生成具有与所输入的解码图像的分辨率相同的分辨率的图像。

具体地，在LDh代表高频分量并且NRl代表从运动对象区域保护器154所输出的低频分量的情况下，例如，可以根据等式(9)计算通过根据最近邻方法放大NRl并且将放大后的NRl与高频分量相加要生成的图像。

[数学等式9]

Out_m,n＝clip(LDh_m,n+NRI_m>>2,n>>2,0,255)   ...(9)

在这种情况下，用于放大低频分量的滤波器需要与在频带分离处理中在高频分量的生成时对图像的低频分量所使用的放大滤波器相同。

如上所述，频带合并单元402通过将高频分量和放大后的低频分量相加，并且将结果四舍五入为可表示的比特精度来生成图像，以及将所生成的图像提供给平坦部分处理单元403。

平坦部分处理单元403采用低通滤波器等对从频带合并单元402所提供的图像中的平坦部分执行平滑处理。因为通过以频带合并单元402所实施的过程结束的处理所生成的图像可能在平坦部分缺乏平滑，所以平坦部分处理单元403使用低通滤波器等对平坦部分执行平滑处理。

具体地，平坦部分处理单元403从输入图像中检测例如具有特定平坦度的区域，并且对在从频带合并单元402所提供的图像中的、从输入图像中所检测到的区域执行平滑处理。在平滑处理之后，根据需要可以对图像执行抖动(dither)。平坦部分处理单元403在下一阶段中将平滑图像作为处理后的图像输出到显示控制单元55(图2)。

[滤波处理的示例]

现在参照图39中的流程图描述图15的步骤S54中的滤波处理。此滤波处理是以上参照图17所描述的滤波处理的另一示例。

像素替换周期从外部(未示出)被提供给替换图案生成器171和帧计数器172。在步骤S401中，替换图案生成器171基于从外部所设置的替换周期针对图像的各个像素生成像素替换图案。替换图案生成器171将所生成的像素替换图案记录在像素替换图案记录缓冲器172中。

在步骤S402中，帧计数器173对内部计数器执行初始化(重置处理)。

在步骤S403中，帧缓冲器155例如通过复制解码图像的初始帧的低频分量的像素值来执行初始化。

来自解码单元53的解码图像被输入到频带分离单元401和平坦部分处理单元403。在步骤S404中，频带分离单元401对所输入的解码图像执行频带分离，并且将图像分离为高频分量和低频分量。

频带分离单元401将解码图像的所生成的低频分量提供给像素替换器152和运动对象区域保护器154。频带分离单元401还将解码图像的所生成的高频分量提供给频带合并单元402。

在步骤S405中，像素选择器174使用从频带分离单元401所提供的图像的低频分量执行像素替换处理。此像素替换处理与以上参照图18所描述的处理相同，除了当前图像是图像的低频分量之外。因此，在此不重复对其的说明。通过步骤S405中的过程，像素替换后的图像(低频分量)被输出到运动对象区域保护器154。

在步骤S406中，参数转换器151在从解码单元53所提供的编码参数中读取量化标度值。依照编码类型，参数转换器151将所输入的量化标度值转换为要由运动对象区域保护器154在对DCT系数进行量化的稍后的阶段中所使用的量化值。转换后的量化值被提供给运动对象区域保护器154。

在步骤S407中，运动对象区域保护器154对系数施加限制以保护运动对象区域。此系数限制处理与以上参照图19所描述的处理相同，除了当前图像是图像的低频分量之外。因此，在此不重复对其的说明。通过步骤S407中的过程对其施加了系数限制的DCT系数然后经受IDCT转换，并且图像被重构。运动对象区域保护器154将重构的处理后的图像(低频分量)输出到频带合并单元402。

在步骤S408中，运动对象区域保护器154将处理后的图像(低频分量)记录到帧缓冲器155。

在步骤S409中，频带合并单元402执行频带合并。具体地，频带合并单元402使用从运动对象区域保护器154所提供的处理后的图像(低频分量)和从频带分离单元401所提供的解码图像的高频分量，通过对频带进行合并生成具有与所输入的解码图像的分辨率相同的分辨率的图像。之后，频带合并单元402通过将高频分量和放大后的低频分量相加并且将结果四舍五入为表示的比特精度来生成图像，以及将所生成的图像提供给平坦部分处理单元403。

在步骤S410中，平坦部分处理单元403执行平坦部分保护。具体地，平坦部分处理单元430采用低通滤波器等对从频带合并单元402所提供的图像中的平坦部分执行平滑处理。在步骤S411中，平坦部分处理单元403将经历了平坦部分保护的处理后的图像在下一阶段中输出到显示控制单元55。

在步骤S412中，像素替换器152确定当前正在处理的帧是否是最后的帧。如果在步骤S412中确定当前正在处理的帧不是最后的帧，则处理返回到步骤S404，并且重复之后的过程。

如果在步骤S412中确定当前正在处理的帧是最后的帧，则图39中所示的滤波处理结束，并且处理返回到图15中的步骤S54然后处理继续到步骤S55。

如上所述，根据本技术，心跳噪声主要集中在图像的低频分量中；因此采用图像的低频分量执行处理。作为结果，先前帧的低频分量累积在作为存储单元的帧缓冲器115中。

因此，采用本技术，可以降低在存储单元(DRAM)中的数据累积以及伴随着数据访问的成本，而同时维持与对未经受频带分离的图像进行处理的情况下相同的性能。

另外，当对图像的低频分量(缩小的图像)执行处理时，伴随着像素值替换的处理负荷可以被使得小于对未经受频带分离的图像执行处理的情况下的处理负荷。

<第六实施例>

[计算机的示例结构]

可以由硬件执行以上所述的处理系列，并且还可以由软件执行以上所述的处理系列。当由软件执行处理系列时，形成软件的程序被安装到计算机中。在此，计算机可以是在专用硬件中所包括的计算机，或可以是当在其中安装有各种程序时能够执行各种功能的通用个人计算机。

图40是示出了依照程序执行以上所述的处理系列的计算机的硬件的示例结构的框图。

在计算机800中，CPU(中央处理单元)801、ROM(只读存储器)802以及RAM(随机存取存储器)803通过总线804彼此连接。

输入/输出接口805还连接到总线804。输入单元806、输出单元807、存储单元808、通信单元809以及驱动器810连接到输入/输出接口805。

输入单元806由键盘、鼠标、麦克风等形成。输出单元807由显示器、扬声器等形成。存储单元808由硬盘、非易失性存储器等形成。通信单元809由网络接口等形成。驱动器810驱动可移除介质811，诸如磁盘、光盘、磁光盘或半导体存储器。

在具有以上所述的结构的计算机中，例如，CPU 801将在存储单元808中所存储的程序经由输入/输出接口805和总线804载入到RAM 803，并且执行程序，使得执行以上所述的处理系列。

例如，要由算机800(CPU 801)所执行的程序可以记录在作为要提供的封装介质的可移除介质811上。替选地，可以经由诸如局域网、互联网或数字卫星广播的有线或无线传送介质提供程序。

在计算机中，当可移除介质811被安装在驱动器810上时，程序可以经由输入/输出接口805被安装到存储单元808中。程序还可以由通信单元809经由有线传送介质或无线传送介质接收，并且被安装到存储单元808中。替选地，程序可以预先安装在ROM 802或存储单元808中。

要由计算机所执行的程序可以是用于根据在本说明书中所描述的序列按照时间顺序执行处理的程序，或可以是用于并行地执行处理或需要时诸如存在调用时执行处理的程序。

在本说明书中，描述要记录在记录介质中的程序的步骤包括依照在本文中所描述的序列按照时间顺序所执行的处理，以及不必要按照时间顺序、并行地执行的处理或彼此独立地执行的处理。

在本说明书中，系统指的是包括多于一个装置的设备的总体。

此外，以上作为一个装置(或一个处理单元)所描述的任何结构可以被分割为两个或更多个装置(或处理单元)。相反，以上作为两个或更多个装置(或处理单元)所描述的任何结构可以合并到一个装置(或处理单元)中。此外，当然可以将除了以上所描述的组件之外的组件添加到装置(或处理单元)的任何结构中。此外，装置(或处理单元)的一些组件可以并入到其他装置(或处理单元)的结构中，只要系统整体的结构和功能实质上相同即可。即，本技术不限于以上所描述的实施例，而且在不背离本技术的范围的情况下可以进行各种修改。

应当注意，本技术的实施例不限于以上所描述的实施例，并且在不背离本技术的范围的情况下可以对其进行各种修改。

例如，图2所示的显示控制单元55和显示单元56可以被放置在解码装置50之外。

本技术还可以体现为云计算结构，在云计算结构中经由网络在装置之间共享一个功能，并且例如通过彼此协助的装置执行处理。

参照以上所述的流程图所描述的各个步骤可以由一个装置所实施，或可以在装置之间共享。

当在一个步骤中包括多于一个处理的情况下，在步骤中所包括的处理可以由一个装置执行，或可以在装置之间共享。

在本说明书中，已经描述了下述示例：在该示例中，诸如像素替换图案信息的各种信息与编码流复用并且被从编码侧传送到解码侧。然而，传送信息的方法不限于以上示例。例如，信息可以作为与编码比特流相关联的分离数据而被传送或记录，而不与编码比特流复用。注意，术语“相关联”意味着解码时允许在比特流中所包含的图像(可以为图像的一部分，诸如切片或块)链接到与图像相对应的信息。即，可以经由与针对图像(或比特流)的传送路径不同的传送路径传送信息。替选地，信息可以记录在除了针对图像(或比特流)的记录介质之外的记录介质(或在同一记录介质的不同区域)中。此外，信息和图像(或比特流)可以以任何单位(诸如以一些帧、一个帧或帧的一部分为单位)彼此关联。

虽然以上参照附图描述了本公开的优选实施例，但是本公开不限于这些示例。显然本领域普通技术人员可以在本文所要求保护的技术精神的范围内进行各种改变或变型，并且应当理解这些改变或变型在本公开的技术范围内。

本技术还可以为下述形式。

(1)一种图像处理装置，包括：

解码单元，所述解码单元通过对比特流执行解码处理生成图像；以及

替换单元，所述替换单元使用指示像素值变动分布的替换图案，对由所述解码单元所生成的图像的像素进行替换。

(2)根据(1)所述的图像处理装置，其中，所述替换图案是随机地生成的。

(3)根据(1)或(2)所述的图像处理装置，其中，基于帧内编码帧出现周期确定所述替换图案的周期。

(4)根据(1)至(3)中任一项所述的图像处理装置，还包括：

系数限制单元，所述系数限制单元：使用通过对由所述解码单元所生成的图像执行的频率变换所获得的系数和从所述比特流所获得的量化参数，对通过对具有由所述替换单元所替换的像素的图像执行的频率变换所获得的系数执行剪切处理，所述系数限制单元根据经受了所述剪切处理的系数对图像进行重构。

(5)根据(4)所述的图像处理装置，还包括：

噪声添加单元，所述噪声添加单元将噪声添加到具有由所述替换单元所替换的像素的图像，

其中，所述系数限制单元使用通过对由所述解码单元所生成的图像执行的频率变换所获得的系数和从所述比特流所获得的量化参数，对通过对具有由所述噪声添加单元添加至其的噪声的所述图像执行的频率变换所获得的系数执行剪切处理。

(6)根据(4)所述的图像处理装置，还包括：

特征量检测单元，所述特征量检测单元从由所述解码单元所生成的图像中检测特征量；以及

参数调整单元，所述参数调整单元使用由所述特征量检测单元所检测的特征量和从所述比特流所获得的编码参数，对从所述比特流所获得的量化参数的值进行调整，

其中，所述系数限制单元使用通过对由所述解码单元所生成的图像执行的频率变换所获得的系数和具有由所述参数调整单元所调整的值的量化参数，对通过对具有由所述替换单元所替换的像素的图像执行的频率变换所获得的系数执行剪切处理，所述系数限制单元根据经受了所述剪切处理的系数对图像进行重构。

(7)根据(4)所述的图像处理装置，还包括：

参数调整单元，所述参数调整单元依照用户操作对从所述比特流所获得的量化参数的值进行调整，

其中，所述系数限制单元使用通过对由所述解码单元所生成的图像执行的频率变换所获得的系数和具有由所述参数调整单元所调整的值的量化参数，对通过对具有由所述替换单元所替换的像素的图像执行的频率变换所获得的系数执行剪切处理，所述系数限制单元根据经受了所述剪切处理的系数对图像进行重构。

(8)根据(4)所述的图像处理装置，还包括：

存储单元，所述存储单元存储由所述系数限制单元所重构的先前帧图像，

其中，所述替换单元使用所述替换图案，采用由所述解码单元所生成的图像的像素对在所述存储单元中所存储的先前帧图像的像素进行替换。

(9)根据(8)所述的图像处理装置，还包括：

频带分离单元，所述频带分离单元将由所述解码单元所生成的图像分离为低频图像和高频图像；以及

频带合并单元，所述频带合并单元对由所述频带分离单元所分离的低频图像和高频图像进行合并，

其中

所述存储单元存储由所述系数限制单元所重构的先前帧低频图像，

所述替换单元使用所述替换图案，采用由所述频带分离单元所分离的低频图像的像素对在所述存储单元中所存储的先前帧低频图像的像素进行替换，

使用通过对由所述频带分离单元所分离的低频图像执行的频率变换所获得的系数和从所述比特流所获得的量化参数，对通过对具有由所述替换单元所替换的像素的低频图像执行的频率变换所获得的系数执行剪切处理，以及所述低频图像是根据经受了所述剪切处理的系数而重构的，以及

所述频带合并单元对由所述系数限制单元所重构的低频图像和所述高频图像进行合并。

(10)根据(9)所述的图像处理装置，还包括

平坦部分处理单元，所述平坦部分处理单元对由所述频带合并单元所合并的图像的平坦部分执行平滑处理。

(11)根据(1)至(10)中任一项所述的图像处理装置，还包括

替换图案生成单元，所述替换图案生成单元生成所述替换图案，

其中，所述替换单元使用由所述替换图案生成单元所生成的替换图案，对由所述解码单元所生成的图像的像素进行替换。

(12)根据(1)至(10)中任一项所述的图像处理装置，还包括

接收单元，所述接收单元接收所述比特流和所述替换图案，

其中

所述解码单元通过对由所述接收单元所接收的比特流执行解码处理来生成图像，以及

所述替换单元使用由所述接收单元所接收的替换图案，对由所述解码单元所生成的图像的像素进行替换。

(13)一种在图像处理装置中所实现的图像处理方法，

所述图像处理方法包括：

通过对比特流执行解码处理生成图像；以及

使用指示像素值变动分布的替换图案对所生成的图像的像素进行替换。

(14)一种图像处理装置，包括：

设置单元，所述设置单元设置指示像素值变动分布的替换图案，所述替换图案要用于对通过对比特流执行的解码处理所生成的图像的像素进行替换；

编码单元，所述编码单元通过对图像执行编码处理生成所述比特流；以及

传送单元，所述传送单元传送由所述编码单元所生成的比特流和由所述设置单元所设置的替换图案。

(15)一种在图像处理装置中实现的图像处理方法，

所述图像处理方法包括：

设置指示像素值变动分布的替换图案，所述替换图案要用于对通过对比特流执行的解码处理所生成的图像的像素进行替换；

通过对图像执行编码处理生成所述比特流；以及

传送所生成的比特流和所设置的替换图案。

参考标记列表

50   解码装置

51   接收单元

52   提取单元

53   解码单元

54   滤波单元

55   显示控制单元

56   显示单元

151  参数转换器

152  像素替换器

153  噪声添加器

154  运动对象区域保护器

155  帧缓冲器

161  量化标度提取单元

162  选择器

163  MPEG-2 QP量化值转换器

164  AVCC-QP量化值转换器

165  HEVC量化标度转换器

171  替换图案生成器

172  像素替换图案记录缓冲器

173  帧计数器

174  像素选择器

181  噪声生成器

182  加法单元

191、192 DCT转换器

193  系数限制器

194  IDCT转换器

201  参数转换器

202  图像特征量检测器

203  调整值选择器

221  编码参数提取器

222  选择器

223  MPEG-2参数转换器

224  AVC参数转换器

225  HEVC参数转换器

231-1,231-2  块特征量检测器

232  帧间像素特征量检测器

233  特征选择器

241  量化值调整器

242  量化值转换器

301  编码装置

302  设置单元

303  编码单元

304  传送单元

351  滤波单元

361  像素替换器

371  替换图案接收单元

401  频带分离单元

402  频带合并单元

403  平坦部分处理单元

Claims (15)

1.一种图像处理装置，包括：

解码单元，所述解码单元被配置成通过对比特流执行解码处理生成图像；以及

替换单元，所述替换单元被配置成使用指示像素值变动分布的替换图案，对由所述解码单元所生成的图像的像素进行替换。

2.根据权利要求1所述的图像处理装置，其中，所述替换图案是随机地生成的。

3.根据权利要求1所述的图像处理装置，其中，基于帧内编码帧出现周期确定所述替换图案的周期。

4.根据权利要求1所述的图像处理装置，还包括：

系数限制单元，所述系数限制单元被配置成：使用通过对由所述解码单元所生成的图像执行的频率变换所获得的系数和从所述比特流所获得的量化参数，对通过对具有由所述替换单元所替换的像素的图像执行的频率变换所获得的系数执行剪切处理，所述系数限制单元根据经受了所述剪切处理的系数对图像进行重构。

5.根据权利要求4所述的图像处理装置，还包括：

噪声添加单元，所述噪声添加单元被配置成将噪声添加到具有由所述替换单元所替换的像素的图像，

其中，所述系数限制单元使用通过对由所述解码单元所生成的图像执行的频率变换所获得的系数和从所述比特流所获得的量化参数，对通过对具有由所述噪声添加单元添加至其的噪声的所述图像执行的频率变换所获得的系数执行剪切处理。

6.根据权利要求4所述的图像处理装置，还包括：

特征量检测单元，所述特征量检测单元被配置成从由所述解码单元所生成的图像中检测特征量；以及

参数调整单元，所述参数调整单元被配置成：使用由所述特征量检测单元所检测的特征量和从所述比特流所获得的编码参数，对从所述比特流所获得的量化参数的值进行调整，

其中，所述系数限制单元使用通过对由所述解码单元所生成的图像执行的频率变换所获得的系数和具有由所述参数调整单元所调整的值的量化参数，对通过对具有由所述替换单元所替换的像素的图像执行的频率变换所获得的系数执行剪切处理，所述系数限制单元根据经受了所述剪切处理的系数对图像进行重构。

7.根据权利要求4所述的图像处理装置，还包括：

参数调整单元，所述参数调整单元被配置成依照用户操作对从所述比特流所获得的量化参数的值进行调整，

其中，所述系数限制单元使用通过对由所述解码单元所生成的图像执行的频率变换所获得的离散余弦变换系数和具有由所述参数调整单元所调整的值的量化参数，对通过对具有由所述替换单元所替换的像素的图像执行的频率变换所获得的离散余弦变换系数执行剪切处理，所述系数限制单元根据经受了所述剪切处理的系数对图像进行重构。

8.根据权利要求4所述的图像处理装置，还包括：

存储单元，所述存储单元被配置成存储由所述系数限制单元所重构的先前帧图像，

其中，所述替换单元使用所述替换图案，采用由所述解码单元所生成的图像的像素对在所述存储单元中所存储的先前帧图像的像素进行替换。

9.根据权利要求8所述的图像处理装置，还包括：

频带分离单元，所述频带分离单元被配置成将由所述解码单元所生成的图像分离为低频图像和高频图像；以及

频带合并单元，所述带合并单元被配置成对由所述频带分离单元所分离的低频图像和高频图像进行合并，

其中

所述存储单元存储由所述系数限制单元所重构的先前帧低频图像，

所述替换单元使用所述替换图案，采用由所述频带分离单元所分离的低频图像的像素对在所述存储单元中所存储的先前帧低频图像的像素进行替换，

使用通过对由所述频带分离单元所分离的低频图像执行的频率变换所获得的系数和从所述比特流所获得的量化参数，对通过对具有由所述替换单元所替换的像素的低频图像执行的频率变换所获得的系数执行剪切处理，以及所述低频图像是根据经受了所述剪切处理的系数而重构的，以及

所述频带合并单元对由所述系数限制单元所重构的低频图像和所述高频图像进行合并。

10.根据权利要求9所述的图像处理装置，还包括

平坦部分处理单元，所述平坦部分处理单元被配置成对由所述频带合并单元所合并的图像的平坦部分执行平滑处理。

11.根据权利要求1所述的图像处理装置，还包括

替换图案生成单元，所述替换图案生成单元被配置成生成所述替换图案，

其中，所述替换单元使用由所述替换图案生成单元所生成的替换图案，对由所述解码单元所生成的图像的像素进行替换。

12.根据权利要求1所述的图像处理装置，还包括

接收单元，所述接收单元被配置成接收所述比特流和所述替换图案，

其中

所述解码单元通过对由所述接收单元所接收的比特流执行解码处理来生成图像，以及

所述替换单元使用由所述接收单元所接收的替换图案，对由所述解码单元所生成的图像的像素进行替换。

13.一种在图像处理装置中所实现的图像处理方法，

所述图像处理方法包括：

通过对比特流执行解码处理生成图像；以及

使用指示像素值变动分布的替换图案对所生成的图像的像素进行替换。

14.一种图像处理装置，包括：

设置单元，所述设置单元被配置成设置指示像素值变动分布的替换图案，所述替换图案要用于对通过对比特流执行的解码处理所生成的图像的像素进行替换；

编码单元，所述编码单元被配置成通过对图像执行编码处理生成所述比特流；以及

传送单元，所述传送单元被配置成传送由所述编码单元所生成的比特流和由所述设置单元所设置的替换图案。

15.一种在图像处理装置中实现的图像处理方法，

所述图像处理方法包括：

设置指示像素值变动分布的替换图案，所述替换图案要用于对通过对比特流执行的解码处理所生成的图像的像素进行替换；

通过对图像执行编码处理生成所述比特流；以及

传送所生成的比特流和所设置的替换图案。