CN103563374A - 图像处理设备及方法 - Google Patents

图像处理设备及方法 Download PDF

Info

Publication number
CN103563374A
CN103563374A CN201280024425.5A CN201280024425A CN103563374A CN 103563374 A CN103563374 A CN 103563374A CN 201280024425 A CN201280024425 A CN 201280024425A CN 103563374 A CN103563374 A CN 103563374A
Authority
CN
China
Prior art keywords
unit
filter
image
quantization parameter
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280024425.5A
Other languages
English (en)
Other versions
CN103563374B (zh
Inventor
佐藤数史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103563374A publication Critical patent/CN103563374A/zh
Application granted granted Critical
Publication of CN103563374B publication Critical patent/CN103563374B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及能够更合适的移除块失真的图像处理设备和方法。在当前区域（C）的量化参数（QPc）与相邻区域（N）的量化参数（QPN）之间的差别被确定为大于预定的阈值时，去块滤波器调整去块滤波处理，从而在当前区域与相邻区域之间的边界上执行更强的滤波。本发明可用在例如图像处理设备中。

Description

图像处理设备及方法
技术领域
本发明涉及图像处理设备及方法，更特别的是，涉及一种图像处理设备以及更适于移除块失真的方法。
背景技术
近几年，通过执行用于压缩图像信息的编码方法来压缩图像的设备被广泛使用，从而将图像信息作为数字信息来操纵，并通过这样实现高效信息传输和累积，其中，压缩图像通过正交变换（例如不连续余弦变换）和通过使用图像信息的固有冗余的运动补偿来实现。这种编码方法可能是例如MPEG（动态图像专家组）。
特别的，MPEG2（ISO/IEC13818-2）被定义为一种通用目标的图像编码标准，并可用于交织图像和非交织图像，以及标准分辨率图像和高清晰度图像。MPEG2目前被广泛用于例如专业人士和普通消费者。通过使用MPEG2压缩方法，例如，4至8Mbps的比特率被赋给720×480像素的标准分辨率交织图像。另外，通过使用MPEG2压缩方法，例如，18至22Mbps的比特率被赋给1920×1088像素的高分辨率交织图像。这种方式能实现高压缩率和优越的图像质量。
MPEG2主要设计为适用于广播的高质量图像编码，但不能与比MPEG1或者涉及更高压缩率的编码方法更低的比特率相兼容。随着移动终端变得流行，今后对这种编码方法的需求有望增加，为了满足这种需求，MPEG4编码方法实现了标准化。关于图像编码方法，ISO/IEC14496-2标准在1998年12月被认定为国际标准。
在标准化日程中，2003年3月，该标准被认定为在H.264以及MPEG-4第10部分（高级视频码，以下用H.AVC代替）名下的国际标准。
作为H.264/AVC的延伸，FRExt（保真度范围延伸）在2005年2月被标准化。FRExt包括商用编码工具，例如RGB、4:2:2和4:4:4，以及MPEG-2中规定的8×8DCT和量化矩阵。从而，一种能使得包含胶片噪音的电影优质地呈现出来的编码方法可使用H.264/AVC来实现，并且这种编码方法目前被广泛用于例如蓝光光碟（商标）。
然而，为了压缩具有大约4000×2000个像素的分辨率的压缩图像（该分辨率是高清晰度图像分辨率的四倍），或者在如今传输能力有限的互联网上发布高清晰度图像，对于以更高压缩率而进行的编码有了更多的需求。因此，ITU-T下的VCEG（视频编码专家组）仍在继续对于提高编码效率进行研究。
目前，为了实现比H.264/AVC更高的编码效率，一种叫做HEVC（高效视频码）的编码方法由ITU-T和ISO/IEC的联合标准组织JCTVC（联合合作团队-视频码）作为一种标准进行开发。2011年4月，与HEVC相关的非专利文献1已经作为初稿发布。
引用清单
非专利文献
非专利文献1：Thomas Wiegand,Woo-jin Han,Benjamin Bross,Jens-Rainer Ohm,以及Gary J.Sullivian,“WD3:Working Draft3ofHigh-Efficiency Video Coding”，JCTVc-E603,2011年3月
发明内容
本发明解决的问题
在待处理的当前块的量化参数（例如，QP=12）和与当前块相邻的块的量化参数（例如，QP=40）之间具有差别的情况下，会产生明显的块失真。
然而，在上述的H.264/AVC中，当前块和相邻块的量化参数的差别并没有考虑在内，且由这种差别引起的块失真很难移除。在HEVC中也没有考虑当前块与相邻块的量化参数之间的差别，有必要针对由该差别导致的块失真而采取措施。
本发明就是针对这些情况而做出的，且能够更有效的移除块失真并增加解码图像中的主观图像质量。
解决问题的手段
本发明的一种图像处理设备包括：解码单元，其解码以具有分层结构的单位编码的比特流，并产生图像；滤波单元，其对由解码单元产生的图像执行滤波处理；以及滤波器调整单元，当在由解码单元所产生的图像中的待处理的当前区域的量化参数和与该当前区域临近的相邻区域的量化参数之间的差分值大于阈值时，其调整滤波单元的参数，从而在当前区域与相邻区域之间的边界上执行强滤波处理。
滤波器调整单元可以控制滤波单元来选择预定的强滤波处理和预定的弱滤波处理之中更强的一个。
当该边界是能够在其中设定量化参数的区域的边界时，滤波器调整单元能够调整滤波单元的参数，。
滤波单元的参数可以是一个边界强度值，且滤波器调整单元可以在边界强度值上加1，并将所得结果设定为边界强度值。
滤波单元的参数可以是边界强度值，滤波器调整单元可以将4设定为边界强度值。
滤波单元的参数可以是阈值α和阈值β，滤波器调整单元可以将阈值α和阈值β与“QP+Δ（Δ>0）”相关联，以代替将阈值α和阈值β与对应的量化参数QP相关联。
滤波单元的参数可以是量化参数值，滤波器调整单元可以使用当前区域的量化参数和相邻区域的量化参数中较大的一个作为滤波单元的参数。
滤波单元的参数可以是量化参数值，在当前区域和相邻区域中的一个区域处于IPCM模式时，滤波器调整单元可以使用当前区域和相邻区域中的另一个区域的量化参数来作为滤波单元的参数。
滤波单元的参数可以是量化参数值，滤波器调整单元可以通过使用量化矩阵的DC分量来修正当前区域和相邻区域的量化参数，并使用修正后的量化参数来确定滤波单元的参数。
滤波单元的参数可以是量化参数值，在当前区域和相邻区域中的至少一个区域不具有正交变换系数时，滤波器调整单元可以通过使用0、在紧接在该至少一个区域之前的区域中所使用的量化参数、对于紧接在该至少一个区域之前的区域所预测的量化参数值、或者该至少一个区域所属的片段的量化参数来确定滤波单元的参数，作为该至少一个区域的量化参数。
阈值被设定为在水平方向的滤波处理和垂直方向的滤波处理之间不同的值。
阈值被设定为根据当前区域的尺寸而变化的值。
阈值被设定为随着当前区域的尺寸变大而变小的值。
滤波器调整单元可以控制滤波单元而对由解码单元产生的图像的亮度分量上执行滤波处理。
该图像处理设备还可以包括差分值计算单元，其计算当前区域的量化参数与相邻区域的量化参数之间的差分值。
本发明的图像处理方法的一个方面包括：通过以具有分层结构的单位编码的比特流进行解码而产生图像；在所产生的图像中的待处理的当前区域的量化参数值和与该当前区域临近的相邻区域的量化参数值之间的差分值大于阈值时，调整滤波器参数，从而在当前区域与相邻区域之间的边界上执行强滤波处理；在所产生的图像上执行滤波处理，图像处理设备执行图像产生、参数调整和滤波处理。
本发明的图像处理设备的另一个方面包括：滤波单元，当对图像编码时，对本地解码图像执行滤波处理；滤波器调整单元，当在图像中待处理的当前区域的量化参数和与该当前区域临近的相邻区域的量化参数之间的差分值大于阈值时，调整滤波单元的参数，从而在当前区域与相邻区域之间的边界上执行强滤波处理；编码单元，通过使用作为接受过滤波处理的图像的预测图像，以具有分层结构的单位执行编码
本发明的图像处理方法的另一个方面包括：当在图像中的待处理的当前区域和与该当前区域临近的相邻区域的量化参数之间的差分值大于阈值时，调整滤波器参数，从而在当前区域与相邻区域之间的边界上执行强滤波处理；当图像被编码时，对本地解码的图像执行滤波处理；通过使用作为接受滤波波处理的图像的预测图像，以具有分层结构的单位执行编码，图像处理设备执行参数调整、滤波处理和编码
本发明的一个方面中，由通过对具有分层结构的单元中所编码的比特流进行解码而产生图像。在所产生的图像中的待处理的当前区域的量化参数值以及与该当前区域临近的相邻区域的量化参数值之间的差分值大于阈值时，调整滤波器参数，从而在当前区域与相邻区域之间的边界上执行强滤波处理。进而在所产生的图像上执行滤波处理。
本发明的另一个方面中，在图像中的待处理的当前区域的量化参数值以及与该当前区域临近的相邻区域的量化参数值之间的差分值大于阈值时，调整滤波器参数，从而在当前区域和相邻区域的边界上执行强滤波处理。当对图像进行编码时，在本地解码的图像上执行滤波处理。通过使用作为待接受滤波处理的图像的预测图像，在具有分层结构的单元上执行编码。
上述图像处理设备中的每个都可以是一个独立的设备，或者是构成图像编码设备的内部块或者是图像解码设备。
发明的效果
根据本发明的一个方面，图像可被解码。特别的，能够更合适地移除块失真。
根据本发明的另一个方面，图像可被编码。特别的，能够更合适地移除块失真。
附图说明
图1是示出了图像编码设备的典型示例结构的方块图。
图2是解释编码单元的示例结构的示意图。
图3是解释去块滤波器的处理原理的示意图。
图4是解释定义Bs的方法的示意图。
图5是解释去块滤波器的处理原理的示意图。
图6是示出了指数A和指数B与α和β值之间的对应关系的示例的示意图。
图7是示出了Bs、指数A和tC0之间的对应关系的示例的示意图。
图8是解释去块滤波器的调整的示意图。
图9是解释区域之间的边界的示意图。
图10是示出了量化参数差分探测单元和去块滤波器的示例结构的示意图。
图11是解释了编码处理的示例流程的流程图。
图12是解释了去块滤波处理的示例流程的流程图。
图13是示出了图像解码设备的典型示例结构的方块图。
图14是示出了量化参数差分探测单元和去块滤波器的示例结构的示意图。
图15是解释了解码处理的示例流程的流程图。
图16是解释了去块滤波处理的示例流程的流程图。
图17是解释了与IPCM模式兼容的处理的示意图。
图18是解释了应对量化矩阵的影响的去块滤波处理中的示例流程的流程图。
图19是解释了与跳过模式兼容的去块滤波处理的示例流程的流程图。
图20是解释了与跳过模式兼容的处理的示意图。
图21是示出了计算机的典型示例结构的方块图。
图22是示意性的示出了电视装置的示例结构的方块图。
图23是示意性的示出了移动电话设备的示例结构的方块图。
图24是示意性的示出了记录/再现设备的示例结构的方块图。
图25是示意性的示出了图像装置的示例结构的方块图。
具体实施方式
如下是实施本发明的方式的说明（以下简称实施例）。将按照以下顺序进行解释。
1.第一实施例（图像编码设备）
2.第二实施例（图像解码设备）
3.第三实施例（与IPCM模式兼容的示例处理）
4.第四实施例（与量化矩阵兼容的示例处理）
5.第五实施例（与跳过模式兼容的示例处理）
6.第六实施例（计算机）
7、第七实施例（应用示例）
<1.第一实施例>
[图像编码设备的示例结构]
图1示出了本发明所应用的作为图像处理设备的图像编码设备的一个实施例的结构。
图1所示的图像编码设备100通过预测处理来编码图像数据。此处所用的编码方法可以是例如H.264和MPEG（移动图像专家组）4第10部分（AVC(高级视频码)）（以下简称H.264/AVC），或者HEVC（高效视频码）。
在图1所示的实施例中，图像编码设备100包括A/D（模/数）转换器101、屏幕重排缓冲器102、算法运算单元103、正交变换单元104、量化单元105、无损编码单元106以及累积缓冲器107。图像编码设备100还包括逆向量化单元108、逆向正交变换单元109、算法运算单元110、去块滤波器111、帧存储器112、选择单元113、帧内预测单元114、运动预测/补偿单元115、选择单元116和速率控制单元117。
图像编码设备100还包括量化参数差分探测单元121。
该A/D转换器101为A/D转换提供输入图像数据，将所得图像数据输出并存储在屏幕重排缓冲器102中。
屏幕重排缓冲器102将所存储的、以播放顺序排列的图像帧按照GOP（图像组）结构重新安排，从而各帧以编码顺序排列。屏幕重排缓冲器102将具有重新排列的帧顺序的图像提供给算法运算单元103。屏幕重排缓冲器102还将具有重新排列的帧顺序的图像提供给帧内预测单元114和运动预测/补偿单元115。
算法运算单元103从读取自屏幕重排缓冲器102的图像减去预测图像，该预测图像由帧内预测单元114或运动预测/补偿单元115通过选择单元116提供，并将差分信息输出到正交变换单元104。
当帧内编码在图像上进行时，例如，算法运算单元103从读取自屏幕重排缓冲器102的图像减去由帧内预测单元114提供的预测图像。当帧间编码在图像上执行时，例如，算法运算单元103从读取自屏幕重排缓冲器102的图像减去由运动预测/补偿单元115提供的预测图像。
正交变换单元104在由算法运算单元103提供的差分信息上执行正交变换处理，例如，离散余弦变换或Karhunen-Loeve变换，并将变换系数提供给量化单元105。
量化单元105将从正交变换单元104输出的变换系数量化。量化单元105将量化变换系数提供给无损编码单元106。
无损编码单元106在量化的变换系数上执行无损编码，例如变长编码或算法编码。
无损编码单元106从帧内预测单元114获取指示帧内预测模式等的信息，并从运动预测/补偿单元115获取指示帧间预测模式、运动矢量信息及类似的信息。
无损编码单元106不仅对量化的变换系数进行编码，还将各种类型的语法元素，例如帧内预测模式信息、帧间预测模式信息、运动矢量信息以及量化参数，结合（多路复用）到编码数据的头信息中。无损编码单元106将通过编码所获得的编码后的数据提供并储存在累积缓冲器107中。无损编码单元106还将语法元素提供给去块滤波器111以及量化参数差分探测单元121。
例如，在无损编码单元106中执行无损编码处理，例如变长编码或算法编码。变长编码可以是例如CAVLC（上下文自适应的变长码）。算法编码可以是CABAC（上下文自适应的二进制算法码）等。
累积缓冲器107暂时存储由无损编码单元106提供的编码后的数据，并将编码后的数据作为编码图像输出给录制设备或在后续步骤中在预定的时间输出给传输路径（未示出）。
在量化单元105中的量化的变换系数也被提供给逆向量化单元108。该逆向量化单元108通过与量化单元105执行的量化相兼容的方法将量化的变换系数进行逆向量化。逆向量化单元108将所得的变换系数提供给逆向正交变换单元109。逆向量化单元108还将在逆向量化的时候所使用的量化参数提供给去块滤波器111以及量化参数差分探测单元121。
逆向正交变换单元109对于与正交变换单元104执行的正交变换处理相兼容的方法所提供的变换系数执行逆向正交变换。向逆向正交变换（恢复的差分信息）的输出被提供给算法运算单元110。
算法运算单元110将由帧内预测单元114或运动预测/补偿单元115通过选择单元116提供的预测图像与由逆向正交变换单元109或恢复的差分信息提供的逆向正交变换结果相加而获取本地解码图像（被解码的图像）。
例如，当差分信息对应于待帧内编码的图像时，算法运算单元110将帧内预测单元114提供的预测图像与差分信息相加。当差分信息对应于待帧间编码的图像时，算法运算单元110将运动预测/补偿单元115提供的预测图像与差分信息相加。
相加结果被提供给去块滤波器111和帧存储器112。
去块滤波器111通过在所需的位置执行去块滤波处理而从解码图像上移除块失真。在该处理之前，根据来自量化参数差分探测单元121的控制信号，去块滤波器111参考来自逆向量化单元108的量化参数以及来自无损编码单元106的语法元素，并调整去块滤波处理的参数。去块滤波器111将滤波结果提供给帧存储器112。
在预定的时间，帧存储器112通过选择单元113输出所存储的参考图像至帧内预测单元114或运动预测/补偿单元115。
例如，当在图像上执行帧内编码时，帧存储器112通过选择单元113将参考图像提供给帧内预测单元114。例如，当在图像上执行帧间编码时，帧存储器112通过选择单元113将参考图像提供给运动预测/补偿单元115。
当帧存储器112所提供的参考图像是待执行帧内解码的图像时，选择单元113将该参考图像提供给帧内预测单元114。当帧存储器112所提供的参考图像是待执行帧间解码的图像时，选择单元113将该参考图像提供给运动预测/补偿单元115。
帧内预测单元114通过使用屏幕上的像素值执行帧内预测（屏幕内预测）以产生一预测图像。帧内预测单元114以一种以上的模式（帧内预测模式）执行帧内预测。
帧内预测单元114产生所有帧内预测模式的预测图像，评估各自的预测图像，并选择最佳模式。在选择了最佳帧内预测模式之后，帧内预测单元114把以最佳预测模式所产生的预测图像通过选择单元116提供给算法运算单元113以及算法运算单元110。
如上所述的，帧内预测单元114还把信息，例如，指示出所采用的帧内预测模式的帧内预测模式信息，在适当的位置提供给无损编码单元106。
通过使用由屏幕重排缓冲器102提供的输入图像以及通过选择单元113由帧存储器112提供的参考图像，运动预测/补偿单元115在待帧间编码的图像上执行运动预测，并根据探测到的运动矢量执行补偿处理，从而产生预测图像（帧间预测图像信息）。
运动预测/补偿单元115以所有备选的帧间预测模式执行帧间预测处理，以产生预测图像。运动预测/补偿单元115通过选择单元116将产生的预测图像提供给算法运算单元103和算法运算单元110。
运动预测/补偿单元115将指示出所采用的帧间预测模式的帧间预测模式信息以及指示出计算所得的运动矢量的运动矢量信息提供给无损编码单元106。
当在图像上执行帧内编码时，选择单元116将帧内预测单元114的输出提供给算法运算单元103和算法运算单元110。当在图像上执行帧间编码时，选择单元116将运动预测/补偿单元115的输出提供给算法运算单元103和算法运算单元110。
基于在累积缓冲器107中积累的压缩图像，速率控制单元117控制量化单元105的量化处理速率，从而不会导致溢位或不足。
通过参考来自无损编码单元106的语法元素和来自逆向量化单元108的量化参数，量化参数差分探测单元121产生当前区域以及与当前区域邻近的相邻区域之间的量化参数差分值。量化参数差分探测单元121将产生的差分值与预定的阈值进行比较，并基于比较结果向去块滤波器111提供控制信号。
[编码单元]
根据H.264/AVC，一个宏块被分成多个运动比较块，每个运动比较块能够具有不同的运动信息。更确切的，H.264/AVC规定了一种由宏块和子宏块构成的分层结构，但是HEVC（高效视频编码）规定了如图2所示的编码单元（CU）。
CU还被称为编码树块（CTB），并且是与符合H.264/AVC的宏块作用相同的以图片为基础的图像的部分区域。虽然符合H.264/AVC的宏块的大小被局限在16×16像素，但是编码树块的尺寸并未局限为特定大小，且在每个序列中可以被压缩图像信息指定。
例如，在待输出的编码数据中包含的序列参数集（SPS）中，CU的最大的码单元（LCU）和最小的码单元（SCU）被指定。
在每个LCU中，分割标志=1（split-flag=1）被设置在不小于SCU大小的范围内，从而，每个LCU能被分成更小大小的多个CUs。在图2所示的例子中，LCU的大小是128，最大分层深度是5。当分割标志的值是“1”时，大小为2N×2N的一个CU被分成多个大小为N×N的、低下一个等级的多个CU。
每个CU都进一步分成多个预测单元（PU），其为用于帧内或帧间的处理单位区域（以图片为基础的图像的部分区域），或者被分成多个变换单元（TU），其为用于正交变换的处理单位区域（以图片为基础的图像的部分区域）。目前，16×16和32×32的正交变换，以及4×4和8×8的正交变换能够用于HEVC。
在CU被定义的情况下，在编码处理中每个处理操作以CU为基础来执行，与根据HEVC的处理中一样，符合H.264/AVC的宏块可被认为是与LCU。然而，一个CU具有如图2所示的分层结构。因此，最高等级的LCU的大小通常为128×128像素，大于例如符合H.264/AVC的每个宏块的大小。
本发明不仅可用于使用符合H.264/AVC的宏块的编码方法，还可以与根据HEVC的处理一样用于使用CU、Pu、TU等的编码方法。也即，一个“块”和一个“单元”指的都是“处理单位区域”，因此，一个“处理单位区域”是一个块或一个单元，将在下文中使用。
在下述涉及H.264/AVC的例子的说明中，在说明书中使用了块，块是作为HEVC中的单元的处理单位区域。相反，在涉及HEVC的例子的说明中，在说明书中使用了单元，单元是作为H.264/AVC中的块的处理单位区域。
[去块滤波器]
接下来描述与H.264/AVC兼容的去块滤波器。去块滤波器111消除包括在运动补偿循环和解码的图像中的块失真，或者在处理单位区域中的失真。结果，防止了块失真传递到在运动补偿处理中参照的图像。
去块滤波器的处理可以依照下面两个参数，从以下三种选项(a)至(c)中进行选择：
包括在图片参数组RBSP（原始字节序列负荷）中的deblocking_filter_control_present_flag（去块滤波器控制存在标志），以及包含在片段头部（Slice Header）中的disable_deblocking_filter_dic。
(a)将在块边界或宏块边界执行
(b)将仅在宏块边界执行
(c)不执行
对于量化参数QP，当以下处理对于亮度信号执行时使用QPY，当以下处理对于色度信号执行时使用QPC。在运动矢量解码、帧内预测和熵编码（CAVLC/CABAC）中，属于不同片段的像素值被处理为“不可用”。然而，在去块滤波处理中，属于不同片段但属于相同图片的像素值被处理为“可用”。
待接受去块滤波处理的像素值由p0至p3和q0至q3表示，处理后的像素值由p0'至p3'和q0'至q3'表示，如图3所示。
在去块滤波处理之前，作为块边界强度数据的Bs（边界强度）被对于每个像素p和q定义，如图3及图4中的表所示。
如图4所示，当像素p或q中任一个属于待接受帧内编码的宏块且该像素位于宏块之间的边界上时，指示出最高的滤波强度的“4”被分配给Bs。
当像素p或q中任一个属于待接受帧内编码的宏块且该像素不位于宏块之间的边界上时，指示出在“4”之后最高的滤波强度的“3”被分配给Bs。
当像素p和q都不属于待接受帧内编码的宏块且其中一个像素具有变换系数时，指示出在“3”之后最高的滤波强度的“2”被分配给Bs。
当像素p和q都不属于待接受帧内编码的宏块，任何像素都不具有变换系数且像素具有不同的参考帧、不同数量的参考帧或不同的运动矢量时，Bs是“1”。
当像素p和q都不属于待接受帧内编码的宏块，且两个像素都不具有变换系数但具有相同的参考帧和相同的运动矢量时，Bs是“0”。需要注意的是，“0”表示没有执行任一个滤波处理。
仅当如下式(1)和式(2)中的两个条件都得到满足时，图3中的去块滤波处理才在(p2,p1,p0,q0,q1和q2)上执行。
Bs>0…(1)
|p0-q0|<α;|p1-p0|<β;|q1-q1|<β···(2)
虽然式(2)中的α和β的值根据如下所示的默认设置中的QP确定，但用户能够通过使用包含在编码数据的片段头部的两个参数“slice_alpha_c0_offset_div2”和“slice_beta_offset_div2”来调整强度，如图中的箭头所指。
图5示出了QP和阈值α之间的关系。当在QP上增加偏移量时，在表示出QP和阈值α的关系的曲线沿如图所示的方向偏移。因此，很明显的可以调整滤波强度。
另外，通过使用彼此相邻的块P和块Q各自的量化参数qPp和qPq根据如下所示的式(3)和式(4)来计算“指数A（indexA）”，阈值α由图6的A中的表确定。类似的，通过使用彼此相邻的块P和块Q各自的量化参数qPp和qPq根据如下所示的式(3)和式(5)来计算“指数B（indexB）”，阈值β由图6的B中的表确定。“指数A”和“指数A”由如下的式(3)至式(5)定义。
qPaν=(qPp+qPq+1)>>1···(3)
指数A=Clip3(0,51,qPaν+FilterOffsetA)···(4)
指数B=Clip3(0,51,qPaν+FilterOffsetB)···(5)
在式(4)和式(5)中，“FilterOffsetA”和“FilterOffsetB”与用户欲调整的部分等同。
在Bs<4和Bs=4的情况下，为去块滤波处理定义了不同的方法，如下。
首先，在Bs<4的情况下，用于去块滤波处理的像素值p'0和q'0根据如下的式(6)至式(8)计算。
Δ=Clip3(-tc,tc((((q0-p0)<<2)+(p1-q1)+4)>>3))···(6)
p'0=Clip1(p0+Δ)···(7)
q'0=Clip1(q0+Δ)···(8)
此处，tc按照如下所示的式(9)或式(10)来计算。特别的，当“chromaEdgeFlag”的值是0时，tc根据如下的式(9)来计算。
tc=tc0+((ap<β)?1:0)+((aq<β)?1:0)···(9)
当“chromaEdgeFlag”的值不是0时，tc根据如下的式(10)来计算。
tc=tc0+1…(10)
tc0的值根据Bs和“指数A”的值来定义，如图7的A和图7的B的表中所示。
另外，式(9)中ap和aq的值根据如下的式(11)和(12)来计算。
ap=|p2-p0|···(11)
aq=|q2-q0|···(12)
接受了去块滤波处理的像素值p'1如下确定。特别地，当“chromaEdgeFlag”的值是0且ap等于或小于β的情况下，p'1根据如下所示的式(13)来计算。
p'1=p1+Clip3(-tc0,tc0,(p2+((p0+q0+1)>>1)-(p1<<1))>>1)···(13)
当不满足式(13)时，p'1根据如下所示的式(14)来计算。
p'1=p1···(14)
接受了去块滤波处理的像素值q'1如下确定。特别地，当“chromaEdgeFlag”的值是0且aq等于或小于β的情况下，q'1根据如下所示的式(15)来计算。
q'1=q1+Clip3(-tc0,tc0,(q2+((p0+q0+1)>>1)-(q1<<1))>>1)···(15)
当不满足式(15)时，q'1根据如下所示的式(16)来计算。
q'1=q1···(16)
p'2和q'2的值与滤波前p2和q2的值相等。特别地，p'2根据如下所示的式(17)来确定，并且q'2根据如下所示的式(18)来确定。
p'2=p2···(17)
q'2=q2···(18)
接下来，在Bs=4的情况下，接受了去块滤波处理的像素值p'i（i=0,…,2）如下计算。当“chromaEdgeFlag”的值是0且式(19)所示的条件得到满足，p'0，p'1和p'2根据以下的式(20)至(22)确定。
Ap<β&&|p0-q0|<((α>>2)+2)···(19)
p'0=(p2+2×p1+2×p0+2×q0+q1+4)>>3···(20)
p'1=(p2+p1+p0+q0+2)>>2···(21)
p'2=(2×p3+3×p2+p1+p0+q0+4)>>3···(22)
当不满足式(19)时，p'0，p'1和p'2根据以下的式(23)至(25)来计算。
p'0=(2×p1+p0+q1+2)>>2···(23)
p'1=p1···(24)
p'2=p2···(25)
接受了去块滤波处理的像素值q'i（i=0,…,2）如下确定。特别地，当“chromaEdgeFlag”的值是“0”且式(26)所示的条件得到满足，q'0，q'1和q'2根据以下的式(27)至(29)确定。
Aq<β&&|p0-q0|<((α>>2)+2)···(26)
q'0=(p1+2×p0+2×q0+2×q1+q2+4)>>3···(27)
q'1=(p0+q0+q1+q2+2)>>2···(28)
q'2=(2×q3+3×q2+q1+q0+p4+4)>>3···(29)
当不满足式(26)时，q'0，q'1和q'2根据以下的式(30)至(32)来计算。
q'0=(2×q1+q0+p1+2)>>2···(30)
q'1=q1···(31)
q'2=q2···(32)
[去块滤波调整处理]
去块滤波器处理如上所述的执行。在去块滤波处理之前，去块滤波处理的参数根据在图像编码设备100中相邻的块的量化参数之间的差别进行调整。
图8是示出了当前区域和相邻区域的示意图。在图8中，每个方块表示出在去块滤波处理中的一个处理单位区域。标有QPc的方块表示当前区域C，QPc表示当前区域C的量化参数。同样的，标有QPN的方块表示与当前区域C的左侧边缘邻近的相邻区域N，QPN表示相邻区域N的量化参数。
量化参数差分探测单元121确定当前区域C的量化参数QPc与相邻区域N的量化参数QPN之间的差分是否满足下面式(33)中与预定阈值θ的关系。
|QPc-QPN|>θ···(33)
此处，当输入序列是交织类型或横列类型的情况下，阈值θ在水平方向和垂直方向可以有不同的值。
另外，可以为不同大小的区域设定不同的阈值。特别地，由于较大区域内的块失真容易吸引注意，为较大区域设置更小的阈值。
需要考虑的是，当满足上述式(33)时，块失真容易出现在当前区域C和相邻区域N之间。因而，去块滤波器111调整去块滤波处理从而通过使用如下方法中的一种可以执行更强的滤波。也就是说，去块滤波器111执行调整来增强滤波的强度。
通过第一种方法，去块滤波器111持续设置由上述图4中的表所定义的Bs值为4（Bs=4（强滤波））。也即，Bs的值被固定，从而能执行最强的滤波。可替换的，去块滤波器111使用“Bs+1”，以代替由图4中的表所确定的Bs值。但是当“Bs+1”的值是5时，该值可以改为4。
通过第二种方法，去块滤波器111确定“QP+△(△>0)”以代替QP，来作为量化参数与在上述图6的A和B的表中描述的α和β相关联。
通过第一种方法，一旦量化参数差分值（式(33)的左手侧）超过阈值，不需要执行在后续去块滤波处理中需要的转移处理。因此，第一种方法容易通过软件实现。
另一方面，通过第二种方法，如果能输入“QP+△”以代替QP，就不需要任何的附加电路。因此，第二种方法容易通过硬件实现。
另外，去块滤波器111能够通过以下描述的第三种方法来调整去块滤波处理。
通过第三种方法，通过使用彼此相邻的区域的量化参数中较大的一个，去块滤波器111执行去块滤波处理。特别地，在图8所示的例子中，QPN是12，QPC是40，这种情况下，去块滤波器111使用QP=40为两个区域的去块滤波处理的量化参数。
也即，通过第一至第三种方法，在滤波参数中预定参数（Bs，α，β和量化参数）的值使得能执行强去块滤波。
通过执行上述调整，当在当前区域和相邻区域的量化参数之间的差分大时，可执行比H.264/AVC中所规定的滤波更强的滤波。结果，可执行比根据H.264/AVC的处理中更合适的块失真去除。
此处，用于正交变换的处理单位区域（在HEVC的情况下是TU）用作去块滤波处理中的处理单位。根据H.264/AVC，可为宏块设定量化参数。根据HEVC，仅可为大于预定大小（MaxCuSizeDQP）的CU设定量化参数。
图9是示出了当前区域和相邻的四个区域的示意图。在图9中，每个方块代表去块滤波处理中的一个处理单位区域（在HEVC的情况下是TU），每个方块中的QP代表每个对应区域的量化参数。
特别地，当前区域C的量化参数为QPc。与当前区域C的左侧边缘邻近的相邻区域N1的量化参数为QPa。与当前区域C的上侧边缘邻近的相邻区域N2的量化参数为QPb。
此处，粗线表示区域M（在HEVC的情况下是CU）的边界，可在该区域中设置量化参数。在与当前区域C邻近的相邻区域中，相邻区域N1和相邻区域N2与包括当前区域C的区域M的边界邻近。另一方面，在与当前区域C邻近的相邻区域中，相邻区域N3和相邻区域N4被包括在还包括了当前区域C的区域M中。
也即，与当前区域C的右侧边缘邻近的相邻区域N3和与当前区域C的下侧边缘邻近的相邻区域N4中未示出的任何量化参数，因为当前区域C的量化参数、相邻区域N3和N4的量化参数是QPc。
因此，在相邻区域中，需要调整去块滤波处理的区域是当前区域C和相邻区域N1，以及当前区域C和相邻区域N2，由粗箭头表示。对于当前区域C和相邻区域N3，以及当前区域C和相邻区域N4中不需要执行去块滤波处理的调整，由带虚线的箭头表示。
如上所述的，本发明的去块滤波处理的调整仅在其大小可在其中设定量化参数的区域的边界上执行。
[去块滤波器以及量化参数差分探测单元的示例结构]
接下来描述图像编码设备100的各部件。图10是示出了去块滤波器111和量化参数差分探测单元121的示例结构的示意图。
在图10所示的示例中，去块滤波器111具有包括α/β确定单元161、Bs确定单元162、滤波器确定单元163以及滤波单元164的结构。
量化参数差分探测单元121具有包括相邻量化参数缓冲器151、当前区域参数缓冲器152、差分产生单元153以及阈值确定单元154的结构。
来自逆向量化单元108的相邻区域量化参数被提供给相邻量化参数缓冲器151。来自逆向量化单元108的当前区域量化参数被提供给当前量化参数缓冲器152和α/β确定单元161。来自无损编码单元106的语法元素被提供给差分产生单元153以及Bs确定单元162。
相邻量化参数缓冲器151积累来自逆向量化单元108的相邻区域量化参数。当前量化参数缓冲器152积累来自逆向量化单元108的当前区域量化参数。
基于来自无损编码单元106的语法元素，差分产生单元153确定当前区域和相邻区域之间的边界是否是具有可在其中设置量化参数的大小的边界。当确定了该区域具有可在其中设置量化参数的大小时，差分产生单元153执行如下操作。当确定该区域不具有可在其中设置量化参数的大小时，不执行如下操作。
差分产生单元153从相邻量化参数缓冲器151读取相邻区域量化参数，并从当前量化参数缓冲器152读取当前区域量化参数。差分产生单元153产生量化参数差分值（式(33)中左手侧部分），其是读取的量化参数之间的差分值，并将产生的差分值提供给阈值确定单元154。
阈值确定单元154将来自差分产生单元153的差分值与阈值进行比较，并将指示出差分值是否大于阈值或者该边界是否容易具有块失真的控制信号提供给α/β确定单元161和Bs确定单元162。
基于来自逆向量化单元108的当前区域量化参数，α/β确定单元161确定上述式(2)中的α和β值，来作为滤波器参数的调整。此处，如果来自阈值确定单元154的控制信号指示出差分值大于阈值，那么，α/β确定单元161将“QP+△”代替QP，来作为量化参数与在上述图6的A和图6的B示出的的表中描述的α和β相关联。
α/β确定单元161将确定的α和β值作为滤波器参数之一提供给滤波器确定单元163。
通过参考来自无损编码单元106的语法元素，Bs确定单元162确定Bs的值作为滤波器参数的调整，如图4的表中所示。此处，如果来自阈值确定单元154的控制信号指示出差分值大于阈值，Bs确定单元162使用例如“Bs+1”，以代替Bs。可替换的，如果来自阈值确定单元154的控制信号指示出差分值大于阈值，Bs确定单元162使用Bs=4。
Bs确定单元162将确定的Bs值作为滤波器参数之一提供给滤波器确定单元163。
待接受去块滤波的像素值被从算法运算单元110输入至滤波器确定单元163。滤波器确定单元163使用来自α/β确定单元161和Bs确定单元162的滤波器参数以及待接受去块滤波的像素值来确定滤波。也即，滤波器确定单元163确定在当前区域和相邻区域的边界是否执行强滤波，是否执行弱滤波或者是否不执行滤波，并确定在滤波中所使用的滤波器。
滤波器确定单元163将有关于所确定的滤波器和待接受去块滤波的像素值的控制信息提供给滤波单元164。
基于由滤波器确定单元163所确定的滤波确定的控制信息，滤波单元164在待接受去块滤波的像素值上执行去块滤波处理。滤波单元164将接受了去块滤波的像素值输出至帧存储器112。
[编码处理流程]
接下来描述上述图像编码设备100执行的每个处理中的流程。首先参考图11所示的流程图，描述了编码处理中的一个示例流程。
在步骤S101中，A/D转换器101在输入图像上执行A/D转换。在步骤S102中，屏幕重排缓冲器102存储接受了A/D转换的图像，并把每个图像排列为编码顺序，以代替播放顺序。
在步骤S103中，算法运算单元103计算在步骤S102的操作中重新排列的图像以及预测图像之间的差分。预测图像通过选择单元116在执行帧间预测时由运动预测/补偿单元115提供给算法运算单元103，并且在执行帧内预测时由帧内预测单元114提供提供给算法运算单元103。
差分数据的数据量小于原始图像数据的量。因此，可以使得数据量小于对图像直接编码的情况。
在步骤S104中，正交变换单元104在步骤S103的操作中所产生的差分信息上执行正交变换。特别地，执行例如离散余弦变换或Karhunen-Loeve变换等正交变换，并输出变换系数。
在步骤S105中，量化单元105将从步骤S104的操作中获取的正交变换系数进行量化。
在步骤S105的操作中量化了的差分信息按以下方式进行本地解码。在步骤S106中，通过使用与量化单元105的特征相兼容的特征，逆向量化单元108将步骤S105的操作中所产生的量化后的正交变换系数（还称作量化后的系数）进行逆向量化。逆向量化单元108还将在逆向量化中使用的量化参数提供给去块滤波器111和量化参数差分探测单元121。
在步骤S107中，通过使用与正交变换单元104的特征相兼容的特征，逆向正交变换单元109对于从步骤S106中获取的正交变换系数执行逆向正交变换。
在步骤S108中，算法运算单元110将预测图像与本地解码差分信息相加，并产生本地解码图像（对应于输入至算法运算单元103的图像）。
在步骤S109中，去块滤波器111对于由步骤S108中所产生的图像执行去块滤波处理。去块滤波处理中的流程将参考图12进行详细描述。以这种方式，块失真（或在处理单位区域中的失真）被移除。
在步骤S110中，帧存储器112存储具有在步骤S109的操作中移除了块失真的图像。应当注意的是，未接受块滤波器111执行滤波处理的图像也由算法运算单元110提供，且存储在帧存储器112中。
在步骤S111中，帧内预测单元114以帧内预测模式执行帧内预测处理。在步骤S112中，运动预测/补偿单元115执行帧间运动预测处理以在帧间预测模式中执行运动预测和运动补偿。
在步骤S113中，基于帧内预测单元114和运动预测/补偿单元115输出的各自的成本函数值，选择单元116确定最佳预测模式。也即，选择单元116选择由帧内预测单元114产生的预测图像或者由运动预测/补偿单元115产生的预测图像。
指示哪幅预测图像已被选择的选择信息被提供给帧内预测单元114或运动预测/补偿单元115中产生了被选择的预测图像的那个。当以最佳帧内预测模式所产生的预测图像被选择时，帧内预测单元114将指示出最佳帧内预测模式（或帧内预测模式信息）的信息提供给无损编码单元106。
当以最佳帧间预测模式所产生的预测图像被选择时，运动预测/补偿单元115将指示最佳帧间预测模式的信息以及根据最佳帧间预测模式的信息，如果需要的话，输出给无损编码单元106。根据最佳帧间预测模式的信息可以是运动矢量信息、标志（flag）信息、参考帧信息等。
在步骤S114中，无损编码单元106对在步骤S105中量化的变换系数进行编码。也即，无损编码例如变长编码或算法编码在差分图像（帧间预测的情况下是第二顺序的不同图像）上执行。
无损编码单元106还对有关在步骤S113的操作中选择的预测图像的预测模式的信息（语法元素）进行编码，并将编码信息与通过编码差分图像而获得的编码数据相加。也即，无损编码单元106还对根据由帧内预测单元114提供的帧内预测模式信息或者由运动预测/补偿单元115提供的最佳帧间预测模式的信息进行编码，并将编码信息与编码数据相加。无损编码单元106还将语法元素提供给去块滤波器111和量化参数差分探测单元121。
在步骤S115中，累积缓冲器107累积从无损编码单元106输出的编码数据。在累积缓冲器107中累积的编码数据在合适的情况下读取，并通过传输路径被传送至解码侧。
在步骤S116中，基于在步骤S115中在累积缓冲器107中累积的压缩图像，速率控制单元117控制量化单元105的量化处理速率，从而不会产生溢位或不足。
在步骤S116的操作完成后，编码处理结束。
[去块滤波处理流程]
现在参考图12中的流程图，描述在图10的步骤S109中待执行的去块滤波处理的示例流程。
来自逆向量化单元108，当前量化参数累积在当前量化参数缓冲器152中，相邻量化参数累积在相邻量化参数缓冲器151中。
在步骤S131中，差分产生单元153确定当前区域和相邻区域的边界是否是其大小可在其中设定量化参数的区域的边界。例如，图9中当前区域C和与当前区域C的右侧边界邻近的相邻区域N2的边界是其中可设置量化参数的区域M的边界。因此，在这种情况下，在步骤S131中确定了当前区域和相邻区域之间的边界是其大小可在其中设定量化参数的区域的边界。之后，处理继续至步骤S132。
在步骤S132中，差分产生单元153产生当前区域和相邻区域之间的量化参数差分值。所产生的量化参数差分值被提供给阈值确定单元154。
在步骤S133中，阈值确定单元154确定量化参数差分值是否大于阈值。如果在步骤S133中量化参数差分值被确定为大于阈值，处理将进行步骤S134。此处，阈值确定单元154将指示出量化参数差分值大于阈值的控制信号提供给α/β确定单元161和Bs确定单元162。
在步骤S134中，α/β确定单元161或者Bs确定单元162调整滤波器参数。
基于来自逆向量化单元108的当前区域量化参数，α/β确定单元161确定上述式(2)中的α和β值，作为滤波器参数的调整。此处，如果来自阈值确定单元154的控制信号指示出量化参数差分值大于阈值，α/β确定单元161将“QP+△”代替QP，来作为量化参数与在上述图6的A和6的B中示出的表中描述的α和β相关联。
可替换的，通过参考来自无损编码单元106的语法元素，Bs确定单元162将Bs的值确定为滤波器参数的调整，如图4的表所示。此处，如果来自阈值确定单元154的控制信号指示出差分值大于阈值，Bs确定单元162使用例如“Bs+1”，以代替Bs。
α/β确定单元161将所确定的α和β的值作为滤波器参数之一提供给滤波器确定单元163。Bs确定单元162将所确定的Bs的值作为滤波器参数提供给滤波器确定单元163。
在步骤S134中的滤波器参数调整可以由α/β确定单元161和Bs确定单元162中的两者执行，或者由两个单元中的一个执行。如果该调整由两个单元中的一个执行，另一个单元将未被调整的常规滤波器参数提供给滤波器确定单元163。
可替换的，如上所述的，在步骤S134中，彼此相邻的区域的量化参数中较大的一个可以被用作去块滤波处理的量化参数。
如果量化参数差分值被确定等于或小于步骤S133中的阈值，步骤S134中的操作可跳过。此处，阈值确定单元154将指示出量化参数差分值等于或小于阈值的控制信号提供给α/β确定单元161和Bs确定单元162。α/β确定单元161和Bs确定单元162然后将未被调整的常规滤波器参数提供给滤波器确定单元163。
特别地，基于来自逆向量化单元108的当前区域的量化参数，α/β确定单元161确定上述式(2)中的α和β的值作为滤波器参数的调整。通过参考来自无损编码单元106的语法元素，Bs确定单元162确定Bs的值作为滤波器参数的调整，如图4的表中所示。
同时，图9中的当前区域C和与当前区域C的左侧边缘临近的相邻区域N3之间的边界位于其中可设定量化参数的区域M中，且该边界不被视为边界。因此，在这种情况下，在步骤S131中确定当前区域和相邻区域的边界不是其大小可在其中设置量化参数的边界，并且步骤S132至S134被跳过。之后，处理继续至步骤S135。
也即，在这种情况下，没有产生任何差分值，也没有控制信号。因此，α/β确定单元161和Bs确定单元162将未被调整的常规滤波器参数提供给滤波器确定单元163。
在步骤S135中，滤波器确定单元163使用来自α/β确定单元161和Bs确定单元162的滤波器参数以及待接受去块滤波的像素值来确定滤波器。也即，滤波器确定单元163确定在当前区域和相邻区域的边界上是否执行强滤波、是否执行弱滤波或者是否不执行滤波，并确定在滤波中所使用的滤波器。
滤波器确定单元163将有关确定的滤波器和待接受去块滤波的像素值的控制信息提供给滤波单元164。
在步骤S136中，基于有关滤波器确定单元163所确定的滤波器的控制信息，滤波单元164对待接受去块滤波的像素值进行滤波。滤波单元164将接受了去块滤波的像素值输出至帧存储器112。
如上所述的，当前区域与相邻区域的量化参数差分值很大时，可通过增强滤波强度来执行强去块滤波。以这种方式，可对块失真进行合适的移除。
<2.第二实施例>
[图像编码设备]
图13示出了应用本发明的作为图像处理设备的图像编码设备的一个实施例的结构。图13所示的图像解码设备200是与图1所示的图像编码设备100兼容的解码设备。
由图像编码设备100所编码的数据通过预定的传输路径被传输至与图像编码设备100兼容的图像解码设备200，然后进行解码。
如图13所示的，图像解码设备200包括累积缓冲器201、无损解码单元202、逆向量化单元203、逆向正交变换单元204、算法运算单元205、去块滤波器206、屏幕重排缓冲器207以及D/A转换器208。图像解码设备200还包括帧存储器209、选择单元210、帧内预测单元211、运动预测/补偿单元212和选择单元213。
图像解码设备200还包括量化参数差分探测单元221。
累积缓冲器201累积传输的编码数据。编码数据已由图像编码设备100编码。在预定的时间，通过与图1所示的无损编码单元106所使用的编码方法相兼容的方法，无损解码单元202对从累积缓冲器201读取的编码数据进行解码。无损解码单元202还将解码的语法元素提供至去块滤波器206和量化参数差分探测单元221。
通过与图1所示的量化单元105所使用的量化方法相兼容的方法，逆向量化单元203对由无损解码单元202所解码的系数数据（量化的系数）进行逆向量化。特别地，使用由图像编码设备100所提供的量化参数，逆向量化单元203用与图1所示的逆向量化单元108所使用的方法相同的方法对所得的量化系数进行逆向量化。
逆向量化单元203将逆向量化系数数据或正交变换系数提供给逆向量化变换单元204。逆向量化单元203还将逆向量化中使用的量化参数提供至去块滤波器206和量化参数差分探测单元221。通过使用与图1所示的正交变换单元104所用的正交变换方法相兼容的方法，逆向正交变换单元204将正交变换系数接受逆向正交变换，并获取对应于图像编码设备100执行正交变换之前的残余误差数据的解码的残余误差数据。
通过逆向正交变换而得到的解码的残余误差数据被提供给算法运算单元205。预测图像也通过选择单元213从算法运算单元205被提供给帧内预测单元211或运动预测/补偿单元212。
算法运算单元205将解码的残余误差数据与预测图像相加，并且得到与图像编码设备100的算法运算单元103执行预测图像相减之前的图像数据相对应的解码图像数据。算法运算单元205将解码的图像数据提供给去块滤波器206。
去块滤波器206与图像编码设备100的去块滤波器111的结构基本上相同。去块滤波器206通过在合适的情况下执行去块滤波处理而从解码图像上移除块失真。
在此之前，去块滤波器206根据来自量化参数差分探测单元221的控制信号参考来自逆向量化单元203的量化参数和来自无损解码单元202的语法元素，并为去块滤波处理调整参数。去块滤波器206将滤波处理结果提供给屏幕重排缓冲器207。
屏幕重排缓冲器207执行图像重排。特别地，由图1所示的屏幕重排缓冲器102重排成编码顺序的帧序列被重排成原始的播放顺序。D/A转换器208对由屏幕重排缓冲器207所提供的图像执行D/A转换，并将转换后的图像输出至显示器（未示出）来显示图像。
去块滤波器206的输出被进一步提供给帧存储器209。
帧存储器209、选择单元210、帧内预测单元211、运动预测/补偿单元212以及选择单元213各自相当于图像编码设备100的帧存储器112、选择单元113、帧内预测单元114、运动预测/补偿单元115以及选择单元116。
选择单元210从帧存储器209读取待帧间处理的图像和待参考的图像，并将这些图像提供给运动预测/补偿单元212。选择单元210还从帧存储器209读取待帧内处理的图像，并将该图像提供给帧内预测单元211。
在合适的情况下，通过解码头部信息所获得、指示出帧内预测模式等的信息被从无损解码单元202提供给帧内预测单元211。基于该信息，帧内预测单元211根据从帧存储器209获得的参考图像产生预测图像，并将产生的预测图像提供给选择单元213。
通过解码头部信息（预测模式信息、运动矢量信息、参考帧信息、标志、各自的参数等）所得到的信息被从无损解码单元202提供给运动预测/补偿单元212。
基于从无损解码单元202提供的信息，运动预测/补偿单元212根据从帧存储器209获取的参考图像产生预测图像，并将产生的图像提供给选择单元213。
选择单元213对运动预测/补偿单元212所产生的预测图像或帧内预测单元211所产生的预测图像进行选择，并将所选择的预测图像提供给算法运算单元205。
量化参数差分探测单元221的结构与图像编码设备100的量化参数差分探测单元121的结构基本相同。通过参考来自无损解码单元201和来自逆向量化单元203的语法元素，量化参数差分探测单元221产生当前区域和与当前区域邻近的相邻区域之间的量化参数差分值。量化参数差分探测单元221将预定阈值与所产生的差分值进行比较，并基于比较结果将控制信号提供给去块滤波器206。
[去块滤波器以及量化参数差分探测单元的示例结构]
接下来描述图像编码设备200的各部件。图14是示出了去块滤波器206和量化参数差分探测单元221的示例结构的示意图。
在图14所示的示例中，去块滤波器206具有包括α/β确定单元241、Bs确定单元242、滤波器确定单元243以及滤波单元244的结构。
量化参数差分探测单元221具有包括相邻量化参数缓冲器231、当前量化参数缓冲器232、差分产生单元233以及阈值确定单元234的结构。
来自逆向量化单元203的相邻区域量化参数被提供给相邻量化参数缓冲器231。来自逆向量化单元203的当前区域量化参数被提供给当前量化参数缓冲器232和α/β确定单元241。另外，来自无损编码单元202的语法元素被提供给差分产生单元233以及Bs确定单元242。
相邻量化参数缓冲器231具有与图10所示的量化参数缓冲器151的结构基本相同的结构，其积累来自逆向量化单元203的相邻区域量化参数。当前量化参数缓冲器232具有与图10所示的量化参数缓冲器152的结构基本相同的结构，其积累来自逆向量化单元203的当前区域量化参数。
差分产生单元233与图10所示的差分产生单元153的结构基本相同。基于来自无损编码单元202的语法元素，差分产生单元233确定当前区域和相邻区域之间的边界是否是具有可在其中设置量化参数的大小的边界。当确定了该区域具有可在其中设置量化参数的大小，差分产生单元233执行如下处理。当确定该区域不具有可在其中设置量化参数的大小，差分产生单元153不执行如下处理。
差分产生单元233读取相邻量化参数缓冲器231中的相邻区域量化参数，并读取当前量化参数缓冲器232中的当前区域量化参数。差分产生单元233产生作为所读取的量化参数之间的差分值的量化参数差分值（式(33)中左侧部分），并将所产生的差分值提供给阈值确定单元234。
阈值确定单元234与图10所示的阈值确定单元154的结构基本相同。阈值确定单元234将来自差分产生单元233的差分值与阈值进行比较，并将指示出差分值是否大于阈值或者该边界是否容易具有块失真的控制信号提供给α/β确定单元241和Bs确定单元242。
α/β确定单元241与图10所示的阈值确定单元161的结构基本相同。基于来自逆向量化单元204的当前区域量化参数，α/β确定单元241确定上述式(2)中的α和β值，来作为滤波器参数的调整。此处，如果来自阈值确定单元234的控制信号指示出差分值大于阈值，那么，α/β确定单元161将“QP+△”代替QP，来作为量化参数与在上述图6的A和图6的B中示出的表中描述的α和β相关联。
α/β确定单元241将确定的α和β值作为滤波器参数之一提供给滤波器确定单元163。
Bs确定单元242与图10所示的Bs确定单元162的结构基本相同。通过参考来自无损编码单元202的语法元素，Bs确定单元242确定Bs的值作为滤波器参数的调整，如图4的表中所示。此处，如果来自阈值确定单元234的控制信号指示出差分值大于阈值，则Bs确定单元242使用例如“Bs+1”，以代替Bs。可替换的，如果来自阈值确定单元154的控制信号指示出差分值大于阈值，Bs确定单元162使用Bs=4。
Bs确定单元242将所确定的Bs值作为滤波器参数之一提供给滤波器确定单元243。
待接受去块滤波的像素值被从算法运算单元110输入至滤波器确定单元243。滤波器确定单元243与图10所示的滤波器确定单元163的结构基本相同。滤波器确定单元243使用来自α/β确定单元241和Bs确定单元242的滤波器参数以及待接受去块滤波的像素值来确定滤波。也即，滤波器确定单元243确定在当前区域和相邻区域的边界是否执行强滤波，是否执行弱滤波或者是否不执行滤波，并确定在滤波中所使用的滤波器。
滤波器确定单元243将有关于所确定的滤波器和待接受去块滤波的像素值的控制信息提供给滤波单元244。
滤波单元244与图10所示的滤波单元164的结构基本相同。基于由滤波器确定单元243所确定的关于滤波器的控制信息，滤波单元244在待接受去块滤波的像素值上执行去块滤波处理。滤波单元244将待接受去块滤波的像素值输出至屏幕重排缓冲器207和帧存储器209。
[解码处理流程]
接下来描述上述图像解码设备200执行的每个处理的流程。首先参考图15中的流程图，描述解码处理中的一个示例流程。
当解码处理开始时，累积缓冲器201累积在步骤S201中传输的编码数据。在步骤S202中，无损解码单元202对从累积缓冲器201提供的编码数据进行解码。特别地，图1中由无损编码单元106编码的I图片、P图片和B图片被解码。
此处，运动矢量信息、参考帧信息、预测模式信息（帧内预测模式或帧间预测模式）以及关于语法元素的信息（例如标志和量化参数）被解码。
在预测模式信息是帧内预测模式信息时，预测模式信息被提供给帧内预测单元211。在预测模式信息是帧间预测模式信息时，预测模式信息和对应的运动矢量信息被提供给运动预测/补偿单元212。同时，语法元素被提供给去块滤波器206和量化参数差分探测单元221。
在步骤S203中，逆向量化单元203对作为无损解码单元202的解码结果而获取的量化的正交变换系数进行逆向量化。在步骤S204中，通过与图1所示的正交变换单元104所使用的方法相兼容的方法，逆向正交变换单元204对通过逆向量化单元203所执行的逆向量化而获得的正交变换系数执行逆向正交变换。结果，对应于图1所示的向正交变换单元104的输入（或算法运算单元103的输出）的差分信息被解码。
在步骤S205中，算法运算单元205将预测图像与在步骤S204中获取的差分信息相加。以这种方式，原始图像数据被解码。
在步骤S206中，在合适的情况下，去块滤波器206对步骤S205中获取的解码图像执行滤波。去块滤波处理的流程将参考图16进行细节描述。结果，块失真能够从解码图像上合适地移除。
在步骤S207中，帧存储器209存储接受了滤波的解码图像。
在步骤S208中，帧内预测单元211或运动预测/补偿单元212根据来自无损解码单元202提供的预测模式信息来执行图像的预测处理。
特别地，在无损解码单元202提供帧内预测模式信息的情况下，帧内预测单元211以帧内预测模式执行帧内预测处理。在无损解码单元202提供帧间预测模式信息的情况下，运动预测/补偿单元212以帧间预测模式执行运动预测处理。
在步骤S209中，选择单元选择预测图像。特别地，由帧内预测单元211产生的预测图像或由运动预测/补偿单元212产生的预测预测图像被提供给选择单元213。选择单元213选择所提供的预测图像，并将预测图像提供给算法运算单元205。该预测图像在步骤S205中与差分信息相加。
在步骤S210中，屏幕重排缓冲器207对解码图像数据的帧进行重排。特别地，在解码图像数据中，为了图像编码设备100的屏幕重排缓冲器102（图1）而重排的帧的顺序被重新安排为原始部分顺序。
在步骤S211中，D/A转换器208在具有由屏幕重排缓冲器207所重排的帧的解码图像数据上执行D/A转换。解码图像被输出至显示器（未示出），并显示图像。
[去块滤波处理流程]
现在参考图16中的流程图，描述在图15的步骤S206中待执行的去块滤波处理的示例流程。图16中的步骤S231至S236与图12中的步骤S131至S136的过程基本相同。
来自逆向量化单元203的当前量化参数累积在当前量化参数缓冲器232中，来自逆向量化单元203的相邻量化参数累积在相邻量化参数缓冲器231中。
在步骤S231中，差分产生单元233确定当前区域和相邻区域的边界是否是具有可在其中设定量化参数的大小的区域的边界。例如，图9中当前区域C和与当前区域C的右侧边界邻近的相邻区域N2的边界是其中可设置量化参数的区域M的边界。因此，在这种情况下，在步骤S231中确定了当前区域和相邻区域之间的边界是具有可在其中设定量化参数的大小的区域的边界。之后，处理继续至步骤S232。
在步骤S232中，差分产生单元233产生当前区域和相邻区域之间的量化参数差分值。所产生的量化参数差分值被提供给阈值确定单元234。
在步骤S233中，阈值确定单元234确定量化参数差分值是否大于阈值。如果在步骤S233中确定量化参数差分值大于阈值，处理将进行步骤S234。此处，阈值确定单元234将指示出量化参数差分值大于阈值的控制信号提供给α/β确定单元241和Bs确定单元242。
在步骤S234中，α/β确定单元241或者Bs确定单元242调整滤波器参数。
基于来自逆向量化单元203的当前区域量化参数，α/β确定单元241确定上述式(2)中的α和β值，作为滤波器参数的调整。此处，如果来自阈值确定单元234的控制信号指示出量化参数差分值大于阈值，α/β确定单元241将“QP+△”代替QP，作为量化参数来与在上述图6的A和图6的B中示出的表中描述的α和β相关联。
可替换的，通过参考来自无损编码单元202的语法元素，Bs确定单元242将Bs的值确定为滤波器参数的调整，如图4的表所示。此处，如果来自阈值确定单元234的控制信号指示出量化参数差分值大于阈值，Bs确定单元242使用例如“Bs+1”，以代替Bs。
α/β确定单元241将所确定的α和β的值作为滤波器参数之一提供给滤波器确定单元243。Bs确定单元242将所确定的Bs的值作为滤波器参数提供给滤波器确定单元243。
在步骤S234中，滤波器参数调整可以由α/β确定单元241和Bs确定单元242二者执行，或者由两个单元中的一个执行。如果调整由两个单元中的一个执行，另一个单元将未被调整的常规滤波器参数提供给滤波器确定单元243。
可替换的，如上所述的，在步骤S234中，彼此相邻的区域的量化参数中较大的一个可以被用作去块滤波处理的量化参数。
如果量化参数差分值被确定等于或小于步骤S233中的阈值，步骤S234中的操作被跳过。此处，阈值确定单元234将指示出量化参数差分值等于或小于阈值的控制信号提供给α/β确定单元241和Bs确定单元162。α/β确定单元241和Bs确定单元242然后将未被调整的常规滤波器参数提供给滤波器确定单元243。
特别地，基于来自逆向量化单元203的当前区域的量化参数，α/β确定单元241确定上述式(2)中的α和β作为滤波器参数的调整。通过参考来自无损编码单元202的语法元素，Bs确定单元242确定Bs的值作为滤波器参数的调整，如图4的表中所示。
同时，图9中的当前区域C和与当前区域C的左侧边缘邻近的相邻区域N3之间的边界位于其中可设定量化参数的区域M中，且该边界不被视为边界。因此，在这种情况下，在步骤S231中确定，当前区域和相邻区域的边界不是其大小可在其中设置量化参数的边界，步骤S232至S234可跳过。之后，处理继续至步骤S235。
也即，在这种情况下，没有产生任何差分值，也没有控制信号。因此，α/β确定单元241和Bs确定单元242将未被调整的常规滤波器参数提供给滤波器确定单元243。
在步骤S235中，滤波器确定单元243使用来自α/β确定单元241和Bs确定单元242的滤波器参数以及待接受去块滤波的像素值来确定滤波器。也即，滤波器确定单元243确定在当前区域和相邻区域的边界上是否执行强滤波、是否执行弱滤波或者是否不执行滤波，并确定在滤波中所使用的滤波器。
滤波器确定单元243将有关确定的滤波器和待接受去块滤波的像素值的控制信息提供给滤波单元244。
在步骤S236中，基于有关由滤波器确定单元163所确定的滤波器的控制信息，滤波单元244对待接受去块滤波的像素值进行滤波。滤波单元244将接受了去块滤波的像素值输出至屏幕重排缓冲器207和帧存储器209。
如上所述的，当前区域与相邻区域的量化参数差分值很大时，可通过调整滤波器来执行强去块滤波。以这种方式，可对块失真进行合适的移除。
<3.第三实施例>
[与IPCM模式兼容的示例处理]
现在参考图17描述在当前区域或与当前区域临近的相邻区域的边界上存在IPCM（帧内脉冲编码调制）模式区域的示例。IPCM模式是未压缩的模式，在例如JP3992303B1和JP4687998B1中公开。
例如，区域L和区域R彼此相邻，二者之间具有边界B。区域L是IPCM模式的块，区域R是非IPCM模式的块。
如上所述，根据H.264/AVC，在边界B上执行的滤波强度根据在其之间插入边界B的状态下彼此相邻的相邻区域的量化参数的平均值来确定。IPCM模式的区域的量化参数是0。
因此，当R的量化参数QP是例如38的情况下，在边界B上执行弱滤波，因为滤波强度是基于区域L和区域R的量化参数QP的平均值而确定的，尽管在这些区域中容易出现劣化。然而，由于区域L是IPCM模式的，仅在边界B的R区域侧执行滤波。
由于此，对于区域R，去块滤波器111使用区域R的量化参数QP=38来作为去块滤波处理的量化参数。也即，当相邻区域是IPCM模式时，执行上述第三种方法的示例。
参考上述图10所示的功能块，将特别描述编码侧。语法元素（模式信息）也被提供给例如阈值确定单元154。通过参考模式信息，阈值确定单元154确定区域L或区域R是否是IPCM模式，并将指示出是否其中一个区域是IPCM模式的控制信号提供给α/β确定单元161。例如，在区域L是IPCM模式并且控制信息指示出IPCM模式的情况下，α/β确定单元161通过使用区域R的量化参数来确定上述式(2)中的α和β值。通过这样做，滤波器确定单元163能够对于边界B确定比H.264/AVC的情况更强的滤波器。
进一步的，参考上述图14中的功能块，将特别描述解码侧。语法元素（模式信息）也被提供给例如阈值确定单元234。通过参考模式信息，阈值确定单元234确定区域L或区域R是否是IPCM模式，并将指示出是否某个区域是IPCM模式的控制信号提供给α/β确定单元241。例如，在区域L是IPCM模式并且控制信息指示出IPCM模式的情况下，α/β确定单元241通过使用区域R的量化参数来确定上述式(2)中的α和β值。通过这样做，滤波器确定单元243能够确定在边界B上执行比H.264/AVC的情况更强的滤波器。
在上述例子中，区域L是IPCM模式。然而，在区域R是IPCM模式的情况下，上述式(2)中的α和β值由区域L的量化参数来确定。
如上所述的，在相邻区域或当前区域中的任一个是IPCM模式时，待输入至去块滤波的边界QP是另一个区域的量化参数。以这种方式，对于当前区域来说合适强度的去块滤波能够执行，即使相邻区域是IPCM模式。
虽然上文中以H.264/AVC为示例，为了实现比H.264/AVC更高的编码效率，称为HEVC（高效视频编码）编码方法正在标准化的进程中。下面将描述基于与HEVC标准相兼容的编码方法（以下简称为HEVC方法）的处理。
例如，根据HEVC方法，为了确定去块滤波的滤波强度，“beta”和“tc”具有与用作偏移值（阈值）的α和β相同的功能。
<4.第四实施例>
[与量化矩阵兼容的示例处理]
基于包含在从编码侧传送来的编码数据（压缩的图像信息）内的量化参数QP而执行的去块滤波处理。再次参考图8，该方面将进行详细描述。
在常规的情况下，用于确定参数beta和tc（等同于H.264/AVC的α和β）的边界QP根据下式(34)，使用当前区域C的量化参数QPc和与当前区域C邻近的相邻区域N的量化参数QPN来确定的，当前区域C与相邻区域N之间插入了边界。
边界QP=(QPc+QPN+1)>>1···(34)
在包含在编码数据中的量化矩阵（比例列表）被传送的情况下，将要进行实际分割的值由比例列表进行修正。也即，在根据式(34)来确定边界QP时，比例列表的影响没有考虑在内。
DC分量较强地影响块失真。为了检测块失真，关于比例列表的DC分量的信息是非常关键的。因此，图1所示的图像编码设备100以及图13所示的图像解码设备200使用比例列表对传送的QP进行校正，并使用经校正的QP来确定将用在确定滤波强度中的边界QP。
现在参考图18所示的流程图来描述去块滤波处理。首先描述使用上述图10所示的功能块的例子中在编码侧的处理。在上述例子中，α和β用作在使用AVC方法的情况下用于去块滤波中的参数。另一方面，在图18和其后的图所示的例子中在使用HEVC方法的情况下，beta和tc用作用于去块滤波的参数。
在步骤S301中，Bs确定单元162接收（获得）来自无损编码单元106的模式信息、运动矢量以及参考帧信息来作为语法信息。此处，差分产生单元153也接收来自无损编码单元106的量化矩阵（比例列表）作为语法元素。
在步骤S302中，Bs确定单元162探测TU和PU边界。在步骤S303中，Bs确定单元162基于在步骤S301中获得的信息以及在步骤S302中探测到的TU和PU边界确定Bs值。所确定的Bs值作为滤波器参数提供给滤波器确定单元163。
在步骤S304中，差分产生单元153从在步骤S301中获得的量化矩阵中提取涉及边界块（或在其之间插入边界的状态下与当前区域邻近的区域）的量化矩阵DC分量（DC分量）。
在步骤S305中，通过使用提取的DC分量，差分产生单元153计算边界QP。
特别地，在通过边界根据式(35)修正当前区域C的量化参数QPc和与当前区域C邻近的相邻区域N的量化参数QPN之后，差分产生单元153通过使用上述式(34)计算边界QP。
[数学方程式1]
QS real QS trans = DC 16 = 2 QP real - QP trans 6
QP real = QP trans + 6 * log 2 DC 16 . . . ( 35 )
此处，QPtrans和QStrans代表比特流中的QP和对应于QP的QS（量化比例）。QPreal和QSreal代表用比例列表中的DC分量修正的QP以及对应于QP的QS。DC代表比例列表中的DC分量（1至255），且16为默认值。
上述公式(35)中，第二个公式的右侧的第二项（log项）不需要实际计算。作为代替，每个DC分量（1至255）都可提前计算log项，并存储在表中以便后续参考。
计算的边界QP被提供给α/β确定单元161。
在步骤S306中，α/β确定单元161确定作为用于确定滤波强度的偏移值（阈值）的beta和tc，，并将确定了的beta和tc作为滤波器参数提供给滤波器确定单元163。
待接受去块滤波的像素值被从算法运算单元110输入至滤波器确定单元163。在步骤S307中，滤波器确定单元163使用来自α/β确定单元161和Bs确定单元162的滤波器参数以及待接受去块滤波的像素值来确定滤波。也即，滤波器确定单元163确定在当前区域和相邻区域的边界是否执行强滤波（强），是否执行弱滤波（弱）或者是否不执行滤波（否），并确定在滤波中所使用的滤波器。
滤波器确定单元163将关于所确定的滤波器和待接受去块滤波的像素值的控制信息提供给滤波单元164。
在步骤S308中，基于由滤波器确定单元163所确定的滤波确定的控制信息，滤波单元164在待接受去块滤波的像素值上执行去块滤波处理。滤波单元164将接受了去块滤波的像素值输出至帧存储器112。
再次参考图18所示的流程图来描述去块滤波处理，描述解码侧的去块滤波处理。参考上述图14所示的功能块描述解码侧。
在步骤S301中，Bs确定单元242接收（获得）来自无损编码单元202的模式信息、运动矢量以及参考帧信息来作为语法信息。此处，差分产生单元233也接收来自无损编码单元202的量化矩阵（比例列表）作为语法元素。
在步骤S302中，Bs确定单元242探测TU和PU边界。在步骤S303中，Bs确定单元242基于在步骤S301中获得的信息以及在步骤S302中探测到的TU和PU边界确定Bs值。所确定的Bs值作为滤波器参数提供给滤波器确定单元243。
在步骤S304中，差分产生单元233从在步骤S301中获得的量化矩阵中提取涉及边界块（或在其之间插入边界的状态下与当前区域邻近的区域）的量化矩阵DC分量（DC分量）。
在步骤S305中，通过使用提取的DC分量，差分产生单元233计算边界QP。
特别地，与差分产生单元153类似，在通过边界根据式(35)修正当前区域C的量化参数QPc和与当前区域C邻近的相邻区域N的量化参数QPN之后，差分产生单元233通过使用上述式(34)计算边界QP。计算所得的边界QP被提供给α/β确定单元241。
在步骤S306中，α/β确定单元241确定beta和tc，即定义滤波强度的偏移值（阈值），并将确定了的beta和tc作为滤波器参数提供给滤波器确定单元243。
待接受去块滤波的像素值被从算法运算单元205输入至滤波器确定单元243。在步骤S307中，滤波器确定单元243使用来自α/β确定单元241和Bs确定单元242的滤波器参数以及待接受去块滤波的像素值来确定滤波。也即，滤波器确定单元243确定在当前区域和相邻区域的边界是否执行强滤波（强），是否执行弱滤波（弱）或者是否不执行滤波（否），并确定在滤波中所使用的滤波器。
滤波器确定单元243将关于所确定的滤波器和待接受去块滤波的像素值的控制信息提供给滤波单元244。
在步骤S308中，基于由滤波器确定单元243所确定的有关滤波器的控制信息，滤波单元244在待接受去块滤波的像素值上执行去块滤波处理。滤波单元244将接受了去块滤波的像素值输出至帧存储器112和屏幕重排缓冲器207。
如上所述，在通过使用DC作为量化矩阵（比例列表）来修正量化参数之后计算边界QP。因此，块失真可被更合适的防止。
<5.第五实施例>
[与跳过模式兼容的示例处理]
再次参考图8，如上所述的，在常规的情况下，用于确定参数beta和tc的边界QP是根据上述的式(34)，使用当前区域C的量化参数QPc和与当前区域C邻近的相邻区域N的量化参数QPN来确定的，当前区域C的相邻区域N之间插入了边界。
然而，在相邻区域N不具有正交变换系数的情况下，如用于区域内的处理单位是CU的情况下，或更具体的是跳过CU的情况下，或区域内处理单位是TU或者CBF、(coded_block_flag)例如是0的情况下，QP的值是不可靠的。
因此，基于在其之间插入边界的状态下与当前区域相邻的区域中是否有正交变换系数，图1所示的图像编码设备100和图13所示的图像解码设备200计算将用于确定参数beta和tc的边界QP。
现在参考图19所示的流程图描述去块滤波处理。首先描述使用上述图10所示的功能块的例子中编码侧的处理。
在步骤S351中，Bs确定单元162接收（获得）来自无损编码单元106的模式信息、运动矢量以及参考帧信息来作为语法信息。此处，差分产生单元153也接收来自无损编码单元106的模式信息、coded_block_flag等作为语法元素。
在步骤S352中，Bs确定单元162探测TU和PU边界。在步骤S353中，Bs确定单元162基于在步骤S351中获得的信息以及在步骤S352中探测到的TU和PU边界确定Bs值。所确定的Bs值被作为滤波器参数提供给滤波器确定单元163。
在步骤S354中，差分产生单元153确定边界块（或在其之间插入边界的状态下与当前区域邻近的区域）是否具有正交变换系数。例如，当区域是CU的情况下，需基于步骤S351中所获得的模式信息进行检查以确定是否具有正交变换系数。在区域是TU的情况下，需基于步骤S351所获得的coded_block_flag来检查以确定是否具有正交变换系数。
在步骤S305中，基于边界块是否具有正交变换系数，差分产生单元153计算边界QP。
现在参考图20，详细描述这一方面。在图20所示的例子中，圆圈和叉号指示出在图8所示的区域N和区域C中存在和不存在正交变换系数。每个圆圈表示存在正交变换系数，每个叉号表示不存在正交变换系数。
首先，在区域N和区域C中每个都存在正交变换系数的情况下，通过使用上述式(34)以常规方式来计算边界QP。
当区域N和区域C的其中一个具有正交变换系数，但另一个不具有正交变换系数时，通过使用上述式(36)至(39)所推荐的方法1至4之一来计算边界QP。
推荐方法1：边界QP=QPN···(36)
推荐方法2：边界QP=(QPN+prevQPc+1)>>1···(37)
推荐方法3：边界QP=(QPN+predQPc+1)>>1···(38)
推荐方法4：边界QP=(QPN+sliceQPc+1)>>1···(39)
在式(36)中，QPc=0。在上述式中，prevQPx表示在区域x之前的区域内所用的QP，predQPx表示在区域x之前的区域内所用的预测的QP（预测的量化参数值），sliceQPc表示区域x所属的片段的QP。
在区域N和区域C都不具有正交变换系数的情况下，通过使用下面式(40)至(42)所推荐的方法A至C之一来计算边界QP。
推荐方法A：边界QP=(prevQPN+prevQPc+1)>>1···(40)
推荐方法B：边界QP=(predQPN+predQPc+1)>>1···(41)
推荐方法C：边界QP=(sliceQPN+sliceQPc+1)>>1···(42)
计算所得的边界QP被提供给α/β确定单元161。
在步骤S356中，α/β确定单元161确定作为用于确定滤波强度的偏移值（阈值）的beta和tc，并将确定了的beta和tc作为滤波器参数提供给滤波器确定单元163。
待接受去块滤波的像素值被从算法运算单元110输入至滤波器确定单元163。在步骤S357中，滤波器确定单元163使用来自α/β确定单元161和Bs确定单元162的滤波器参数以及待接受去块滤波的像素值来确定滤波器。也即，滤波器确定单元163确定在当前区域和相邻区域的边界是否执行强滤波（强），是否执行弱滤波（弱）或者是否不执行滤波（否），并确定在滤波中所使用的滤波器。
滤波器确定单元163将关于所确定的滤波器和待接受去块滤波的像素值的控制信息提供给滤波单元164。
在步骤S358中，基于由滤波器确定单元163所确定的有关滤波器的控制信息，滤波单元164在待接受去块滤波的像素值上执行去块滤波处理。滤波单元164将接受了去块滤波的像素值输出至帧存储器112。
再次参考图19所示的流程图，描述解码侧的去块滤波处理。参考上述图14所示的功能块描述解码侧。
在步骤S351中，Bs确定单元242接收（获得）来自无损编码单元202的模式信息、运动矢量以及参考帧信息来作为语法信息。此处，差分产生单元233也接收来自无损编码单元202的模式信息，coded_block_flag等作为语法元素。
在步骤S352中，Bs确定单元242探测TU和PU边界。在步骤S353中，Bs确定单元242基于在步骤S351中获得的信息以及在步骤S352中探测到的TU和PU边界确定Bs值。所确定的Bs值被作为滤波器参数提供给滤波器确定单元243。
在步骤S354中，差分产生单元233确定边界块（或在其之间插入边界的状态下与当前区域邻近的区域）是否具有正交变换系数。例如，当区域是CU的情况下，需基于步骤S351中所获得的模式信息进行检查以确定是否具有正交变换系数。在区域是TU的情况下，需基于步骤S351所获得的coded_block_flag来检查以确定是否具有正交变换系数。
在步骤S305中，差分产生单元233基于边界块是否具有正交变换系数而计算边界QP。特别地，所执行的处理与上述参考图20的差分产生单元153的处理相同。在区域N和区域C中每个都存在正交变换系数的情况下，通过使用上述式(34)以常规方式来计算边界QP。
在区域N和区域C的其中一个具有正交变换系数，但另一个不具有正交变换系数的情况下，通过使用上述式(36)至(39)所推荐的方法1至4之一来计算边界QP。
在区域N和区域C都不具有正交变换系数的情况下，通过使用下面式(40)至(42)所推荐的方法A至C之一来计算边界QP。计算所得的边界QP被提供给α/β确定单元241。
在步骤S356中，α/β确定单元241确定作为用于确定滤波强度的偏移值（阈值）的beta和tc，并将确定了的beta和tc作为滤波器参数提供给滤波器确定单元243。
待接受去块滤波的像素值被从算法运算单元205输入至滤波器确定单元243。在步骤S357中，滤波器确定单元243使用来自α/β确定单元241和Bs确定单元242的滤波器参数以及待接受去块滤波的像素值来确定滤波。也即，滤波器确定单元243确定在当前区域和相邻区域的边界是否执行强滤波（强），是否执行弱滤波（弱）或者是否不执行滤波（否），并确定在滤波中所使用的滤波器。
滤波器确定单元243将有关于确定的滤波器和待接受去块滤波的像素值的控制信息提供给滤波单元244。
在步骤S358中，基于由滤波器确定单元243所确定的有关滤波器的控制信息，滤波单元244在待接受去块滤波的像素值上执行去块滤波处理。滤波单元244将接受了去块滤波的像素值输出至帧存储器209和屏幕重排缓冲器207。
如上所述，对于不具有正交失真系数的当前区域，通过使用在当前区域之前的区域所用的QP来计算QP，或者当前区域所属的片段所用的QP来计算QP，以代替当前区域的QP。因此，块失真可被更合适的防止。
根据HEVC方法，设定max_cu_qp_delta_depth，且max_cu_qp_delta_depth规定了待传送量化参数的CU的颗粒度（granularity）（深度）。进一步的，根据HEVC方法，每个CU的大小等于或大于指定给max_cu_qp_delta_depth所传送的大小，因为CU的量化参数，第一non_skip_CU的量化参数具有比CU更低的颗粒度。
也即，在由第一（左上）CU构成的CU是跳过CU（skip CU）的情况下，下一个CU是以光栅扫描顺序的非跳过CU，传送下一个CU的量化参数。
在这种情况下，难以逐个CU地执行去块滤波，因为第一个CU的量化参数没有被传送。
通过现有方法，另一方面，对于跳过CU，通过使用在紧接在跳过CU之前的区域中所使用的QP、在紧接在跳过CU之后的区域中所使用的QP或该跳过CU所属的片段的QP来计算边界QP，以代替跳过CU的QP。
以这种方式，甚至能在上述情况中逐个CU地执行去块滤波。
参考图8及其他图，在上述例子中，描述了图中水平方向上彼此相邻的区域之间的边界。然而，图中垂直方向上彼此相邻的区域之间的边界与水平方向上彼此相邻的区域之间的边界以相同的方式进行。
虽然基于H.264/AVC的处理作为编码方法已经描述过，本发明并不局限于这些处理，且可以用于其他的编码/解码方法（例如HEVC方法），包括在运动预测/补偿循环中的去块滤波。
本发明能够用于图像编码设备和图像解码设备，在通过正交变换（例如离散余弦正交和运动补偿）进行压缩的图像信息（比特流）通过网络媒介（例如卫星广播，有线电视，互联网或移动电话设备）与例如MPEG或H.26x一样被接收时，使用这些设备。本发明还可以用于图像编码设备和图像解码设备，当压缩图像信息在存储介质（例如光学或磁盘或闪存上）处理的情况下使用这些设备。进一步的，本发明可以用于包括这些图像编码设备和图像解码设备的运动预测/补偿设备中。
<6.第六实施例>
[个人计算机]
上述的一系列处理可通过硬件执行，也可以通过软件执行。当这些处理由软件执行时，构成软件的程序安装在计算机中。此处，计算机可以是组合成特殊目的硬件的计算机，或者可以是安装有各种软件、能执行一系列功能的通用个人计算机。
在图21中，个人计算机500的CPU（中央处理单元）501根据存储在ROM（只读存储器）502中的程序或者由存储单元513安装在RAM（随机存取存储器）503中的程序执行各种处理。CPU501为了执行各种处理等所必须的数据也存储在RAM503的所需位置中。
CPU501、ROM502和RAM503通过总线504相互连接。输入/输出接口510也连接至总线504。
输入/输出接口510具有以下连接在其上的部件：输入单元511，由键盘，鼠标等构成；输出单元512，由显示器（例如CRT（阴极射线管）或LCD（液晶显示器））、扬声器等构成；存储单元513，由硬盘等构成；以及通过网络，包括互联网，执行通讯的通讯单元514。
驱动器515也在需要的情况下连接至输入/输出接口510，并且可移动介质512（例如磁盘、光盘、磁光盘或半导体存储器）按需安装在驱动器上。从这种可移动盘上读取的计算机程序安装在存储单元513所需的位置。
在上述处理由硬件执行的情况下，构成软件的程序通过网络或记录介质来安装。
如图21所示，该记录介质由独立于该设备而将程序传送给用户的可移动介质521构成，例如，其上记录有程序的磁盘（包括软盘）、光盘（包括CD-ROM（压缩盘-只读存储器））或DVD（数字式激光视盘）、磁光盘（包括MD（迷你光盘））或半导体存储器，。可替换的，记录介质可以由其上记录有程序的ROM502构成或者包括在存储单元513中的硬盘构成。这种记录介质在传送给用户之前就提前组装进设备。
由计算机执行的程序可以是与本发明所述的顺序一致的时间顺序而执行处理的程序，或者是并行执行命令的程序，或者是在需要的时候，例如当有命令时执行处理的程序。
在本发明中，对待记录在记录介质上的程序进行写的步骤不仅包括按照与所公开的顺序一致的时间顺序执行的处理，还包括如果不一定要按时间顺序的话并行执行的处理或彼此独立的处理。
在本发明中，“系统”指的是由两个或更多设备（装置）构成的整个装置。
另外，在上述的例子中，作为一个设备（或一个处理单元）的任何结构都可以分成两个或更多的设备（或处理单元）。相反的，作为两个或更多的设备（或处理单元）的任何结构可以组合构成一个设备（或处理单元）。当然也有可能将除了上述结构之外的结构与任何设备（或任何的处理单元）的结构相加。进一步的，只要整个系统的结构和处理保持实质上相同，设备（或处理单元）的部分结构可以并入其他设备（或处理单元）的结构中。也即，目前的方法的实施方式不局限于上述的实施例，可以不脱离该方法的范围而做各种改进。
根据上述实施例的图像编码设备和图像解码设备能用在各种电子装置中，包括：传送器和接收器，其用于卫星广播、有线广播（例如，有线电视）、借由因特网的传送、由蜂窝通信系统至终端的传送等；将图像记录在介质上的记录装置，例如光盘，磁盘或闪存；或从那些存储介质再现图像的再现装置。下面将描述四种示例应用。
<7.第七实施例>
[第一种应用示例：电视接收器]
图22示意性的示出了应用上述实施例的电视装置的示例结构。电视装置900包括天线901、调谐器902、多路分用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部接口909、控制单元910、用户接口911和总线912。
调谐器902从天线901接收的广播信号中提取所需的频道信号，并解调所提取的信号。调谐器902将解调所获得的编码比特流输出至多路分用器903。也即，调谐器902在电视装置900中作为接收由编码图像构成的编码流的传输调谐器902。
多路分用器903将待观看的节目的视频流和音频流与编码比特流分离，并输出各个经分离的流至解码器904。多路分用器903还从编码比特流中提取辅助数据，例如EPG（电子节目指南），并将提取的数据提供给控制单元910。在编码的比特流被扰频的情况下，多路分用器903可以执行解扰。
解码器904将来自多路分用器903的视频流和音频流进行解码。解码器904然后输出由解码处理产生的视频数据至视频信号处理单元905。解码器904还将由解码处理产生的视频数据输出至音频信号处理单元907。
视频信号处理单元905再现由解码器904输入的视频数据，并使得显示单元906显示视频图像。并且，视频信号处理单元905可以使得显示单元906显示由网络提供的应用屏幕。并且，视频信号处理单元905可以执行附加处理，例如根据设置对视频数据降噪。进一步的，视频信号处理单元905可以产生GUI（图形用户界面）图像，例如菜单和按钮或光标，并在输出图像上附加产生的图像。
显示单元906由来自视频信号处理单元905的驱动信号进行驱动，并显示视频图像或在显示设备（例如液晶显示器、等离子显示器或OELD（有机电致发光显示））的视频屏幕上的图像。
音频信号处理单元907执行再现处理，例如D/A转换以及放大由解码器904输入的音频数据，并从扬声器908输出声音。另外，音频信号处理单元907可以执行附加处理，例如对音频数据降噪。
外部接口909是连接电视装置900与外部设备或网络的接口。例如，由外部接口909接收的视频流或音频流可由解码器904进行解码。也即，外部接口909还在电视装置900中作为接收由编码图像构成的编码流的传输方式。
控制单元910包括处理器（例如CPU）以及存储器（例如RAM或ROM）。存储器存储将由CPU执行的程序，程序数据，EPG数据，通过网络获得的数据等。存储器中存储的程序在例如电视装置900激活的时候由CPU读取，然后执行。通过执行程序，根据由用户接口911所输入的操作信号，CPU控制电视设备900的操作。
用户接口911连接至控制单元910。用户接口911包括按钮和开关，以便用户操作电视装置900，以及接收单元来接收例如远程控制信号。用户接口911通过探测用户通过这些部件的操作来产生操作信号，并输出产生的操作信号至控制单元910。
总线912将调谐器902、多路分用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口909和控制单元910相互连接。
在具有上述结构的电视装置900中，解码器904具有根据上述实施例的图像解码设备的功能。因此，当图像在电视装置900中解码时，块失真可被更合适的移除，且能实现解码图像的更高主观图像质量。
[第二种应用示例：移动电话设备]
图23示意性的示出了应用上述实施例的移动电话设备的示例结构。移动电话设备920包括天线921、通信单元922、音频编码解码器923、扬声器924、耳机925、相机单元926、图像处理单元927、多路复用/分离单元928、记录/再现单元929、显示单元930、控制单元931、操作单元932以及总线933。
天线921连接到通信单元922。扬声器924和耳机925连接至音频编码解码器923。操作单元932连接至控制单元931。总线933将通信单元922、音频编码解码器923、相机单元926、图像处理单元927、多路复用/分离单元928、显示单元930、控制单元931互相连接。
移动电话设备920以各种处理模式（包括音频通信模式、数据通信模式、图像模式和视频电话模式）执行处理，例如传输和接收音频信号、传输和接收电子邮件或图像数据、图像处理和数据记录。
在音频通信模式中，由耳机925产生的模拟音频信号被提供给音频编码解码器923。音频编码解码器923将模拟音频信号转换成音频数据，并在转换后的音频数据上执行压缩和A/D转换。音频编码解码器923输出压缩音频数据至通信单元922。通信单元922将音频数据编码并调制，产生传输信号。通信单元922将产生的传输信号通过天线921传送至基站（未示出）。通信单元922还对通过天线921所接收的广播信号上执行放大和频率转换，并获得接收信号。通信单元922通过对接收信号进行解调和解码产生音频数据产生音频数据，并将产生的音频数据输出至音频编码解码器923。音频编码解码器923对音频数据执行解压和D/A转换，并产生模拟音频信号。音频编码解码器923然后将产生的音频信号输出至扬声器924以输出声音。
在数据通信模式中，控制单元931根据用户通过操作单元932的操作而产生组成电子邮件的文本数据。控制单元931使得显示单元930显示文本。控制单元931还根据用户通过操作单元932的传输指令产生电子邮件数据，并将产生的电子邮件数据输出至通信单元922。通信单元922将电子邮件数据进行编码和调制，以产生传输信号。通信单元922将产生的传输信号通过天线921传输至基站（未示出）。通信单元922还对由天线921接收的广播信号执行放大和频率转换，并获得接收信号。通信单元922然后通过将接收信号解调和解码来存储电子邮件数据，并将存储的电子邮件数据输出至控制单元931。控制单元931使得显示单元930显示电子邮件的内容，并将电子邮件数据存储在记录/再现单元929的存储介质中。
记录/再现单元929包括可读/可写存储介质。例如，存储介质可以是内部存储介质，例如RAM或闪存，或可以是外部安装类型的存储介质，例如硬盘、磁盘、磁光盘、光盘、USB（未分配的空间位图）存储器或存储卡。
在成像模式中，相机单元926通过捕捉物体的图像来产生图像数据，并将产生的图像数据输出至图像处理单元927。图像处理单元927对由相机单元926输入的图像数据编码，并将编码流存储在记录/再现单元929的存储介质中。
在视频电话模式中，多路复用/分离单元928将由图像处理单元927编码的视频流以及音频编码解码器923输入的音频流进行多路传输，并将多路传输的流输出至通信单元922。通信单元922对流进行编码和调制以产生一个传输信号。通信单元922将产生的传输信号通过天线921传输至基站（未示出）。通信单元922还对由天线921接收的广播信号执行放大和频率转换，并获得接收信号。传输信号和接收信号均包括编码的比特流。通信单元922通过将接收信号解调和解码来存储流，并将存储的流输出至多路复用/分离单元928。多路复用传输/分离单元928将输入流与视频和音频流分开，并将视频流输出至图像处理单元927，将音频流输出至音频编码解码器923。图像处理单元927对视频流解码产生视频数据。视频数据被提供给显示单元930，由显示单元930显示一系列图像。音频编码解码器923对音频流执行解压缩和D/A转换，以产生模拟音频信号。音频编码解码器923记录/复制单元929然后将产生的视频信号输出至扬声器924以输出声音。
在具有上述结构的可移动电话设备920中，图像处理单元927具有根据上述实施例的图像编码设备和图像解码设备的功能。因此，当图像在可移动电话设备920中被编码和解码时，块失真可被更合适的移除，且能实现解码图像更高的主观图像质量。
[第三种应用示例：记录/再现装置]
图24示意性的示出了应用上述实施例的记录/再现装置的示例结构。记录/再现装置940对接收的例如广播节目的音频数据和视频数据进行编码，并在记录介质上记录音频和视频数据。记录/再现装置940可以对例如来自其他装置获取的音频和视频数据进行编码，并在记录介质上记录音频和视频数据。记录/再现装置940还根据例如用户的指令，通过监视器或扬声器将数据复制在记录介质上。通过这样做，记录/再现装置对音频和视频数据解码。
记录/再现装置940包括调谐器941、外部接口942、解码器943、HDD（硬盘驱动器）944、光盘驱动器945、选择器946、解码器947、OSD（屏上显示）948、控制单元949以及用户接口950。
调谐器941从通过天线（未示出）接收的广播信号中提取所需的频道信号，并解调所提取的信号。调谐器941将解调所获得的编码比特流输出至选择器946。也即，调谐器941在记录/再现装置940中作为传输方式。
外部接口942是记录/再现装置940与外部设备或网络的接口。外部接口942可以是例如IEEE1394接口、网络接口、USB接口或闪存接口。例如，由外部接口942接收的视频数据和音频数据可输入至解码器943。也即，外部接口942还在记录/再现装置940中作为传输方式。
当从外部接口942所输入的视频数据和音频数据没有被编码的情况下，编码器943对视频数据和音频数据进行编码。编码器943然后将经编码的比特流输出至选择器946。
HDD944将由压缩内容数据（例如视频图像和声音）、各种程序及其他数据构成的编码比特流记录在内部硬盘上。当视频图像和声音进行再现时，HDD944从硬盘上读取这些数据。
盘驱动器945记录数据，并其上所安装的记录介质上读取数据。安装在盘驱动器945上的记录介质可以是例如DVD盘（例如DVD-视频盘、DVD-RAM、DVD-R、DVD-RW、DVD+R或DVD+RW）或蓝光（商标名）盘。
当记录视频图像和声音时，选择器946选择从调谐器941或编码器943输入的编码的比特流，并将所选择的编码比特流输出至HDD944或盘驱动器945。
解码器947对编码比特流进行解码，并产生视频数据和音频数据。解码器947将产生的视频数据输出至OSD948。解码器904还将产生的音频数据输出至外部扬声器。
OSD948再现由解码器947输入的视频数据，并播放视频图像。OSD948可以在待显示的视频图像上添加GUI，例如，菜单和按钮或光标。
控制单元949包括处理器，例如CPU，以及存储器，例如RAM或ROM。存储器存储将由CPU执行的程序，程序数据等。存储器中存储的程序在例如记录/再现装置940激活的时候由CPU读取，然后执行。通过执行程序，根据由用户接口950所输入的操作信号，CPU控制记录/再现装置940的处理。
用户接口950连接至控制单元949。用户接口950包括按钮和开关，以便用户操作记录/再现装置940，以及接收单元来接收例如远程控制信号。用户接口950通过探测用户通过这些部件的操作来产生操作信号，并输出产生的操作信号至控制单元949。
在具有上述结构的记录/再现装置940中，编码器943具有根据上述实施例的图像编码设备的功能，且解码器947具有根据上述实施例的图像解码设备的功能。因此，当图像在记录/再现装置940中被编码和解码时，块失真可被更合适的移除，且能实现解码图像更高的主观图像质量。
[第四种应用示例：成像装置]
图25示意性的示出了应用上述实施例的成像装置的示例结构。成像装置960通过对物体成像而产生图像，编码图像，并将图像数据存储在存储介质中。
成像装置960包括光学块961、成像单元962、信号处理单元963、图像处理单元964、显示单元965、外部接口966、存储器967、介质驱动器968、OSD969、控制单元970、用户接口971和总线972。
光学块961连接至成像单元962。成像单元962连接至信号处理单元963。显示单元965连接至图像处理单元964。用户接口971连接至控制单元970。总线972将图像处理单元964、外部接口966、存储器967、介质驱动器968、OSD969和控制单元970相互连接。
光学块961包括聚焦透镜和快门。光学块961在成像单元962的成像表面上形成物体的光学图像。成像单元962包括图像传感器，例如CCD（电荷耦合元件）或CMOS（互补金属氧化物半导体），并通过光电转换将形成在成像表面的光学图像转换成图像信号作为电信号。成像单元962将图像信号输出给信号处理单元963。
信号处理单元963在由成像单元962输入的图像信号上执行各种相机信号处理，例如拐点校正、gamma校正和颜色校正。信号处理单元963输出图像数据至图像处理单元964进行相机信号处理。
图像处理单元964对信号处理单元963所输入的图像数据进行编码，并产生编码数据。图像处理单元964将产生的编码数据输出至外部接口966或介质驱动器968。图像处理单元964还将由外部接口966或介质驱动器968输入的编码数据进行解码，并产生图像数据。图像处理单元964将产生的图像数据输出至显示单元965。可替换的，图像处理单元964可以将来自信号处理单元963的图像数据输出至显示单元965以显示图像。图像处理单元964还可以在待输出至显示单元965的图像上添加从OSD969获取的显示数据。
OSD969产生GUI的图像，例如，菜单、按钮或光标，并将产生的图像输出至图像处理单元964。
外部接口966由例如USB输入/输出端口构成。例如，当打印图像时，外部接口966将成像装置960连接至打印机。如果需要，驱动器也连接至外部接口966。可移动介质，例如磁盘或光盘安装在驱动器上，从而从可移动介质中读取的程序能安装在成像装置960上。进一步的，外部接口966可以设计为网络接口以连接至网络，例如LAN或因特网。也即，外部接口966在成像装置960上用作传输方式。
安装在介质驱动器968上的记录介质可以是可读/可写的可移动介质，例如，磁盘、磁光盘、光盘或半导体存储器。另外，记录介质可以固定在介质驱动器968上以形成不可移动存储单元，例如，内部硬盘驱动器或SSD（固态驱动器）。
控制单元970包括处理器，例如CPU，以及存储器，例如RAM或ROM。存储器存储将由CPU执行的程序，程序数据等。存储器中存储的程序在例如成像装置960激活的时候由CPU读取，然后执行。通过执行程序，根据由用户接口971所输入的操作信号，CPU控制成像装置960的处理。
用户接口971连接至控制单元970。例如，用户接口971包括按钮和开关，以便用户操作成像装置960。用户接口971通过探测用户通过这些部件的操作来产生操作信号，并输出产生的操作信号至控制单元970。
在具有上述结构的成像装置960中，图像处理单元964具有根据上述实施例的图像编码设备和图像解码设备的功能。因此，当图像在成像装置960中被编码和解码时，块失真可被更合适的移除，且能实现解码图像更高的主观图像质量。
如上所述的，在本说明书中，各种信息（例如差分量化参数）与编码流一起被多路传输，并从编码侧传送至解码侧。然而，传输信息的方法并不局限于上述示例。信息可以不与编码比特流一起多路复用，可以作为与比特流相关联的独立数据被传输或记录。此处，术语“关联”指的是将包含在比特流中的图像（或部分图像，例如，片段或块）与对应于解码时的图像的信息进行链接。也即，信息可通过与图像（或比特流）不同的传输路径传输。并且，信息可记录在与图像（或比特流）不同的记录介质（或相同记录介质的不同记录区域）上。进一步的，信息的每个部分可以与图像（或比特流）的多个帧、一帧或部分帧相关联。
虽然本发明已结合附图描述了优选实施例，但本发明并不局限于这些例子。对于本领域的技术人员来说，在此处所声明的技术精神范围内作出各种改变或变型是显而易见的，且这些改变或变型自然被认为是落在了本发明的技术范围之内。
本技术还可以是如下形式。
（1）一种图像处理设备包括：
解码单元，其解码以具有分层结构的单位编码的比特流，并产生图像；
滤波单元，其对由解码单元产生的图像执行滤波处理；以及
滤波器调整单元，当在由解码单元所产生的图像中的待处理的当前区域的量化参数和与该当前区域临近的相邻区域的量化参数之间的差分值大于阈值时，其调整滤波单元的参数，从而在当前区域与相邻区域之间的边界上执行强滤波处理。
（2）（1）中的图像处理设备，其中，滤波器调整单元控制滤波单元来选择预定的强滤波处理和预定的弱滤波处理之中更强的一个。
（3）（1）或（2）中的图像处理设备，其中，当该边界是能够在其中设定量化参数的区域的边界时，滤波器调整单元调整滤波单元的参数。
（4）（1）至（3）中任一图像处理设备，其中
滤波单元的参数是边界强度值，且
滤波器调整单元在边界强度值上加1，并将所得结果设定为边界强度值。
（5）（1）至（3）中任一图像处理设备，其中
滤波单元的参数是边界强度值，且
滤波器调整单元将4设定为边界强度值。
（6）（1）至（3）中任一图像处理设备，其中
滤波单元的参数是阈值α和阈值β，且
滤波器调整单元将阈值α和阈值β与“QP+Δ（Δ>0）”相关联，以代替将阈值α和阈值β与对应的量化参数QP相关联。
（7）（1）至（3）中任一图像处理设备，其中
滤波单元的参数是量化参数值，且
滤波器调整单元使用当前区域的量化参数和相邻区域的量化参数中较大的一个作为滤波单元的参数。
（8）（1）至（3）中任一图像处理设备，其中
滤波单元的参数是量化参数值，且
在当前区域和相邻区域中的一个区域处于帧内脉冲编码调制（IPCM）模式时，滤波器调整单元使用当前区域和相邻区域中的另一个区域的量化参数来作为滤波单元的参数。
（9）（1）至（3）中任一图像处理设备，其中
滤波单元的参数是量化参数值，且
滤波器调整单元通过使用量化矩阵的DC分量来校正当前区域和相邻区域的量化参数，并使用校正后的量化参数来确定滤波单元的参数。
（10）（1）至（3）中任一图像处理设备，其中
滤波单元的参数是量化参数值，且
在当前区域和相邻区域中的至少一个区域不具有正交变换系数时，滤波器调整单元通过使用0、在紧接在该至少一个区域之前的区域中所使用的量化参数、对于紧接在该至少一个区域之前的区域所预测的量化参数值、或者该至少一个区域所属的片段的量化参数来确定滤波单元的参数，作为该至少一个区域的量化参数。
（11）（1）至（10）中任一图像处理设备，其中阈值被设定为在水平方向的滤波处理和垂直方向的滤波处理之间不同的值。
（12）（1）至（10）中任一图像处理设备，其中阈值被设定为根据当前区域的尺寸而不同的值。
（13）（1）至（12）中任一图像处理设备，其中阈值被设定为随着当前区域的尺寸变大而变小的值。
（14）（1）至（13）中任一图像处理设备，其中滤波器调整单元控制滤波单元而对由解码单元产生的图像的亮度分量上执行滤波处理。
（15）（1）至（14）中任一图像处理设备，进一步包括
差分值计算单元，其构造为计算当前区域的量化参数与相邻区域的量化参数之间的差分值
（16）一种图像处理方法包括：
解码图像；
通过对以具有分层结构的单位编码的比特流进行解码而产生图像；
在所产生的图像中的待处理的当前区域的量化参数值和与该当前区域临近的相邻区域的量化参数值之间的差分值大于阈值时，调整滤波器参数，从而在当前区域与相邻区域之间的边界上执行强滤波处理；以及
在所产生的图像上执行滤波处理，
图像处理设备执行图像产生、参数调整和滤波处理。
（17）图像处理设备包括：
滤波单元，当对图像编码时，其对本地解码图像执行滤波处理；
滤波器调整单元，当在图像中的待处理的当前区域的量化参数和与该当前区域临近的相邻区域的量化参数之间的差分值大于阈值时，调整滤波单元的参数，从而在当前区域与相邻区域之间的边界上执行强滤波处理；以及
编码单元，通过使用作为接受过滤波处理的图像的预测图像，以具有分层结构的单位执行编码。
（18）图像处理方法包括：
当在图像中的待处理的当前区域和与该当前区域临近的相邻区域的量化参数之间的差分值大于阈值时，调整滤波器参数，从而在当前区域与相邻区域之间的边界上执行强滤波处理；
当图像被编码时，对本地解码的图像执行滤波处理；
通过使用作为接受滤波波处理的图像的预测图像，以具有分层结构的单位执行编码，
图像处理设备执行参数调整、滤波处理和编码。
附图标记列表
100图像编码设备，106无损编码单元，108逆向量化单元，111去块滤波器，121量化参数差分探测单元，151相邻量化参数缓冲器，152当前量化参数缓冲器，153差分产生单元，154阈值确定单元，161α/β确定单元，162Bs确定单元，163滤波器确定单元，164滤波单元，200图像解码设备，202无损解码单元，203逆向量化单元，206去块滤波器，221量化参数差分探测单元，231相邻量化参数缓冲器，232当前量化参数缓冲器，233差分产生单元，234阈值确定单元，241α/β确定单元，242Bs确定单元，243滤波器确定单元，244滤波单元

Claims (18)

1.一种图像处理设备包括：
解码单元，其构造为解码以具有分层结构的单位编码的比特流，并产生图像；
滤波单元，其构造为对由解码单元产生的图像执行滤波处理；以及
滤波器调整单元，其构造为当在由解码单元所产生的图像中的待处理的当前区域的量化参数和与该当前区域临近的相邻区域的量化参数之间的差分值大于阈值时，调整滤波单元的参数，从而在当前区域与相邻区域之间的边界上执行强滤波处理。
2.根据权利要求1所述的图像处理设备，其中，滤波器调整单元控制滤波单元来选择预定的强滤波处理和预定的弱滤波处理之中更强的一个。
3.根据权利要求1所述的图像处理设备，其中，当该边界是能够在其中设定量化参数的区域的边界时，滤波器调整单元调整滤波单元的参数。
4.根据权利要求1所述的图像处理设备，其中，
滤波单元的参数是边界强度值，且
滤波器调整单元在边界强度值上加1，并将所得结果设定为边界强度值。
5.根据权利要求1所述的图像处理设备，其中，
滤波单元的参数是边界强度值，且
滤波器调整单元将4设定为边界强度值。
6.根据权利要求1所述的图像处理设备，其中，
滤波单元的参数是阈值α和阈值β，且
滤波器调整单元将阈值α和阈值β与“QP+Δ（Δ>0）”相关联，以代替将阈值α和阈值β与对应的量化参数QP相关联。
7.根据权利要求1所述的图像处理设备，其中，
滤波单元的参数是量化参数值，且
滤波器调整单元使用当前区域的量化参数和相邻区域的量化参数中较大的一个作为滤波单元的参数。
8.根据权利要求1所述的图像处理设备，其中，
滤波单元的参数是量化参数值，且
在当前区域和相邻区域中的一个区域处于帧内脉冲编码调制（IPCM）模式时，滤波器调整单元使用当前区域和相邻区域中的另一个区域的量化参数来作为滤波单元的参数。
9.根据权利要求1所述的图像处理设备，其中，
滤波单元的参数是量化参数值，且
滤波器调整单元通过使用量化矩阵的DC分量来校正当前区域和相邻区域的量化参数，并使用校正后的量化参数来确定滤波单元的参数。
10.根据权利要求1所述的图像处理设备，其中，
滤波单元的参数是量化参数值，且
在当前区域和相邻区域中的至少一个区域不具有正交变换系数时，滤波器调整单元通过使用0、在紧接在该至少一个区域之前的区域中所使用的量化参数、对于紧接在该至少一个区域之前的区域所预测的量化参数值、或者该至少一个区域所属的片段的量化参数来确定滤波单元的参数，作为该至少一个区域的量化参数。
11.根据权利要求1所述的图像处理设备，其中，阈值被设定为在水平方向的滤波处理和垂直方向的滤波处理之间不同的值。
12.根据权利要求1所述的图像处理设备，其中，阈值被设定为根据当前区域的尺寸而不同的值。
13.根据权利要求12所述的图像处理设备，其中，阈值被设定为随着当前区域的尺寸变大而变小的值。
14.根据权利要求1所述的图像处理设备，其中，滤波器调整单元控制滤波单元而对由解码单元产生的图像的亮度分量上执行滤波处理。
15.根据权利要求1所述的图像处理设备，还包括
差分值计算单元，其构造为计算当前区域的量化参数与相邻区域的量化参数之间的差分值。
16.一种图像处理方法包括：
通过对以具有分层结构的单位编码的比特流进行解码而产生图像；
在所产生的图像中的待处理的当前区域的量化参数值和与该当前区域临近的相邻区域的量化参数值之间的差分值大于阈值时，调整滤波器参数，从而在当前区域与相邻区域之间的边界上执行强滤波处理；以及
在所产生的图像上执行滤波处理，
图像处理设备执行图像产生、参数调整和滤波处理。
17.一种图像处理设备包括：
滤波单元，构造为当对图像编码时，对本地解码图像执行滤波处理；
滤波器调整单元，构造为当在图像中的待处理的当前区域的量化参数和与该当前区域临近的相邻区域的量化参数之间的差分值大于阈值时，调整滤波单元的参数，从而在当前区域与相邻区域之间的边界上执行强滤波处理；以及
编码单元，通过使用作为接受过滤波处理的图像的预测图像，以具有分层结构的单位执行编码。
18.一种图像处理方法包括：
当在图像中的待处理的当前区域和与该当前区域临近的相邻区域的量化参数之间的差分值大于阈值时，调整滤波器参数，从而在当前区域与相邻区域之间的边界上执行强滤波处理；
当图像被编码时，对本地解码的图像执行滤波处理；
通过使用作为接受过滤波处理的图像的预测图像，以具有分层结构的单位执行编码，
图像处理设备执行参数调整、滤波处理和编码。
CN201280024425.5A 2011-05-27 2012-04-27 图像处理设备及方法 Active CN103563374B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-119279 2011-05-27
JP2011119279 2011-05-27
PCT/JP2012/061408 WO2012165095A1 (ja) 2011-05-27 2012-04-27 画像処理装置および方法

Publications (2)

Publication Number Publication Date
CN103563374A true CN103563374A (zh) 2014-02-05
CN103563374B CN103563374B (zh) 2017-02-08

Family

ID=47258959

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280024425.5A Active CN103563374B (zh) 2011-05-27 2012-04-27 图像处理设备及方法

Country Status (4)

Country Link
US (1) US9317933B2 (zh)
JP (1) JP5942990B2 (zh)
CN (1) CN103563374B (zh)
WO (1) WO2012165095A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358580A (zh) * 2017-06-16 2017-11-17 广东欧珀移动通信有限公司 高光区域的消除方法、装置及终端
CN112906574A (zh) * 2020-07-16 2021-06-04 云从科技集团股份有限公司 一种动态阈值管理方法及系统
CN116033034A (zh) * 2023-03-30 2023-04-28 湖南迈克森伟电子科技有限公司 一种无线收发平台用数据处理系统

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8625914B2 (en) * 2013-02-04 2014-01-07 Sony Corporation Image processing system, image processing method and program
SG188199A1 (en) 2011-02-22 2013-04-30 Panasonic Corp Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
CN105245903B (zh) 2011-02-22 2018-09-07 太格文-Ii有限责任公司 图像解码方法和图像解码装置
CN106941608B (zh) * 2011-06-30 2021-01-15 三菱电机株式会社 图像编码装置及方法、图像解码装置及方法
HUE053988T2 (hu) * 2011-07-19 2021-08-30 Tagivan Ii Llc Szûrési eljárás, mozgókép-dekódoló eljárás, mozgókép-kódoló eljárás, mozgókép-dekódoló berendezés és mozgókép-kódoló berendezés
EP2737704B1 (en) * 2011-09-13 2020-02-19 HFI Innovation Inc. Method and apparatus for reduction of deblocking filter
CN104641649B (zh) 2012-09-20 2018-01-30 索尼公司 图像处理装置和方法
US10244265B2 (en) * 2012-10-04 2019-03-26 Telefonaktiebolaget Lm Ericsson (Publ) Hierarchical deblocking parameter adaptation
WO2015058395A1 (en) 2013-10-25 2015-04-30 Microsoft Technology Licensing, Llc Hash-based block matching in video and image coding
WO2015058397A1 (en) 2013-10-25 2015-04-30 Microsoft Technology Licensing, Llc Representing blocks with hash values in video and image coding and decoding
WO2015131326A1 (en) * 2014-03-04 2015-09-11 Microsoft Technology Licensing, Llc Encoder-side decisions for block flipping and skip mode in intra block copy prediction
WO2015131325A1 (en) 2014-03-04 2015-09-11 Microsoft Technology Licensing, Llc Hash table construction and availability checking for hash-based block matching
CN105706450B (zh) 2014-06-23 2019-07-16 微软技术许可有限责任公司 根据基于散列的块匹配的结果的编码器决定
KR102358276B1 (ko) 2014-09-30 2022-02-04 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 코딩을 위한 해시 기반 인코더 결정
US10390039B2 (en) 2016-08-31 2019-08-20 Microsoft Technology Licensing, Llc Motion estimation for screen remoting scenarios
US11095877B2 (en) 2016-11-30 2021-08-17 Microsoft Technology Licensing, Llc Local hash-based motion estimation for screen remoting scenarios
US11095896B2 (en) 2017-10-12 2021-08-17 Qualcomm Incorporated Video coding with content adaptive spatially varying quantization
JPWO2021045059A1 (zh) * 2019-09-02 2021-03-11
US11202085B1 (en) 2020-06-12 2021-12-14 Microsoft Technology Licensing, Llc Low-cost hash table construction and hash-based block matching for variable-size blocks

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005295371A (ja) * 2004-04-02 2005-10-20 Megachips Lsi Solutions Inc ブロックノイズ除去装置
CN1816149A (zh) * 2005-02-06 2006-08-09 腾讯科技（深圳）有限公司 去除视频图像中块效应的滤波方法及环路滤波器
CN1980320A (zh) * 2005-12-05 2007-06-13 三星电子株式会社 控制数字电视的电源的方法及使用该方法的数字电视
US20070160129A1 (en) * 2006-01-10 2007-07-12 Tatsuro Fujisawa Video decoding apparatus and video decoding method
JP2008011435A (ja) * 2006-06-30 2008-01-17 Toshiba Corp 動画像復号化装置
CN101389016A (zh) * 2007-09-13 2009-03-18 华为技术有限公司 获得块边界强度和去除块效应的方法和装置
JP2009164915A (ja) * 2008-01-08 2009-07-23 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラムおよびそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2010081539A (ja) * 2008-09-29 2010-04-08 Victor Co Of Japan Ltd 動画像符号化装置および動画像符号化プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100244290B1 (ko) * 1997-09-09 2000-02-01 구자홍 저속 전송에서의 동영상을 위한 디블록킹 필터링 방법
US7227901B2 (en) * 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter
US7167522B2 (en) * 2003-02-27 2007-01-23 Texas Instruments Incorporated Video deblocking filter
US7911538B2 (en) * 2006-04-06 2011-03-22 Samsung Electronics Co., Ltd. Estimation of block artifact strength based on edge statistics
WO2008057308A2 (en) * 2006-11-08 2008-05-15 Thomson Licensing Methods and apparatus for in-loop de-artifact filtering
US20090304086A1 (en) * 2008-06-06 2009-12-10 Apple Inc. Method and system for video coder and decoder joint optimization
WO2010001911A1 (ja) * 2008-07-03 2010-01-07 シャープ株式会社 フィルタ装置
CN102860005B (zh) * 2010-02-05 2016-07-06 瑞典爱立信有限公司 去块滤波控制

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005295371A (ja) * 2004-04-02 2005-10-20 Megachips Lsi Solutions Inc ブロックノイズ除去装置
CN1816149A (zh) * 2005-02-06 2006-08-09 腾讯科技（深圳）有限公司 去除视频图像中块效应的滤波方法及环路滤波器
CN1980320A (zh) * 2005-12-05 2007-06-13 三星电子株式会社 控制数字电视的电源的方法及使用该方法的数字电视
US20070160129A1 (en) * 2006-01-10 2007-07-12 Tatsuro Fujisawa Video decoding apparatus and video decoding method
JP2008011435A (ja) * 2006-06-30 2008-01-17 Toshiba Corp 動画像復号化装置
CN101389016A (zh) * 2007-09-13 2009-03-18 华为技术有限公司 获得块边界强度和去除块效应的方法和装置
JP2009164915A (ja) * 2008-01-08 2009-07-23 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラムおよびそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2010081539A (ja) * 2008-09-29 2010-04-08 Victor Co Of Japan Ltd 動画像符号化装置および動画像符号化プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358580A (zh) * 2017-06-16 2017-11-17 广东欧珀移动通信有限公司 高光区域的消除方法、装置及终端
CN112906574A (zh) * 2020-07-16 2021-06-04 云从科技集团股份有限公司 一种动态阈值管理方法及系统
CN112906574B (zh) * 2020-07-16 2022-03-01 云从科技集团股份有限公司 一种动态阈值管理方法及系统
CN116033034A (zh) * 2023-03-30 2023-04-28 湖南迈克森伟电子科技有限公司 一种无线收发平台用数据处理系统

Also Published As

Publication number Publication date
US9317933B2 (en) 2016-04-19
JPWO2012165095A1 (ja) 2015-02-23
CN103563374B (zh) 2017-02-08
WO2012165095A1 (ja) 2012-12-06
US20140050413A1 (en) 2014-02-20
JP5942990B2 (ja) 2016-06-29

Similar Documents

Publication Publication Date Title
CN103563374B (zh) 图像处理设备及方法
US10972722B2 (en) Image processing device and image processing method
US10652546B2 (en) Image processing device and image processing method
CN102934429B (zh) 图像处理装置和图像处理方法
CN103563364B (zh) 图像处理设备及方法
CN107770536B (zh) 图像处理设备及方法
CN102484714B (zh) 图像处理装置和方法
CN101990099A (zh) 图像处理设备和方法
JP5884313B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
US20130294705A1 (en) Image processing device, and image processing method
CN104662901A (zh) 图像处理装置及方法
CN103891284A (zh) 图像处理装置和方法
CN104205847A (zh) 图像处理装置和图像处理方法
WO2013047325A1 (ja) 画像処理装置および方法
CN103891286A (zh) 图像处理装置和方法
JP6217826B2 (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant