CN102714718A - 图像处理装置、方法和程序 - Google Patents

图像处理装置、方法和程序 Download PDF

Info

Publication number
CN102714718A
CN102714718A CN201080059659.4A CN201080059659A CN102714718A CN 102714718 A CN102714718 A CN 102714718A CN 201080059659 A CN201080059659 A CN 201080059659A CN 102714718 A CN102714718 A CN 102714718A
Authority
CN
China
Prior art keywords
filter
carried out
image
pixel
blocking effect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201080059659.4A
Other languages
English (en)
Inventor
佐藤数史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102714718A publication Critical patent/CN102714718A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及能够以高编码效率更加有效地执行编码和解码的图像处理装置、方法和程序。像素分类器151执行从运算部分110提供的滤波器处理之前的解码图像的各个像素值的分类。滤波器系数计算器112计算关于分类的像素值的每个类的滤波器系数。强解块滤波器152、弱解块滤波器153和自适应滤波器154均通过使用从滤波器系数计算器112提供的滤波器系数对从运算部分110提供的像素值执行它们自身的滤波器处理。本发明例如能够应用到图像处理装置。

Description

图像处理装置、方法和程序
技术领域
本发明涉及图像处理装置、方法和程序，尤其涉及能够更加有效地以高编码效率执行编码和解码的图像处理装置、方法和程序。
背景技术
近些年，用于处理图像信息作为数字信息并且此时针对高效信息发送和累积的目的通过利用图像信息所特有的冗余基于例如离散余弦变换和运动补偿的正交变换压缩图像信息的例如与MPEG（运动图像专家组）的制式兼容的装置变得广泛应用于广播站等等的信息发布和普通家庭中的信息接收二者。
具体地讲，MPEG2（ISO（国际标准化组织）/IEC（国际电工委员会）13818-2）被定义为通用图像编码系统并且是覆盖隔行扫描图像和逐行扫描图像二者以及标准分辨率图像和高清晰度图像的标准。目前，它广泛应用于大量的专业使用和消费者使用应用。通过使用MPEG2压缩系统，例如，通过在具有720×480像素的标准分辨率隔行扫描图像的情况下分配4到8Mbps的码量（位率）或者在具有1920×1088像素的高分辨率隔行扫描图像的情况下分配18到22Mbps的码量（位率）能够实现高压缩率和良好图像质量。
MPEG2主要针对与广播兼容的高图像质量编码但是不支持低于MPEG1即具有更高压缩率的编码系统的码量（位率）。在未来由于便携式终端的普及对这种编码系统的需求将变得更大，并且已经响应于此执行了MPEG4编码系统的标准化。关于该图像编码系统，在1998年12月它的标准被核准为国际标准ISO/IEC14496-2。
此外，近些年，针对初始用于视频会议的图像编码的目的，执行标准H.26L（ITU-T(ITU电信标准化部门)Q6/16VCEG（视频编码专家组））的标准化。所知道的是，尽管与诸如MPEG2和MPEG4的传统编码系统相比较而言针对H.26L的编码和解码需要更大运算量，但是在H.26L中实现更高编码效率。另外，目前，作为MPEG4的活动的一部分，基于这个H.26L，通过另外引入不由H.26L支持的功能实现更高编码效率的标准化被实现为增强压缩视频编码的联合模型。作为标准化的进度，在2003年3月它变成名称为H.264和MPEG Part10（AVC（先进视频编码））的国际标准。
此外，作为扩展，还包括专业使用所需的诸如RGB、4:2:2、4:4:4、8×8DCT（离散余弦变换）和由MPEG2定义的量化矩阵的编码工具的FRExt（保真范围扩展）的标准化被执行。由此，它已经变成通过使用AVC能够良好表达包括在电影中的平滑影片噪声的编码系统并且已经被确定用于诸如蓝光盘的大量应用中。
然而，当今，对以更高压缩率进行编码的需求（例如，压缩大约4000×2000像素即高清图像四倍的图像的需求或在如互联网的有限传输容量的环境下发布高清图像的需求）正变得更大。因此，在上述的ITU-T的范围之下的VCEG中，正在持续进行关于提高编码效率的研究。
另外，最近出现一种自适应环路滤波器（ALF）作为进行研究的下一代视频编码技术（例如参考非专利文献1和非专利文献2）。基于这个环路滤波器，对每帧执行最佳滤波器处理并且能够减小没有由解块滤波器完全去除的块效应和由于量化导致的失真。
通过这种方法，将宏块尺寸设置成16像素×16像素并非最适于将是下一代编码系统的主题的例如UHD（超高清；4000像素×2000像素）的大的图像帧。在这种情况下已经建议将宏块尺寸设置成例如32像素×32像素或者64像素×64像素的尺寸（例如参考非专利文献3）。
现有技术文献
非专利文献
非专利文献1:Yi-Jen Chiu and L.Xu,“Adaptive(Wiener)Filterfor Video Compression,”ITU-T SG16 Contribution,C437,Geneva,April2008
非专利文献2:Takeshi.Chujoh,et al.,“Block-based Adaptive LoopFilter”ITU-T SG16 Q6 VCEG Contribution,Al18,Germany，July，2008
非专利文献3:Qualcomm Inc,“Video Coding Using ExtendedBlock Sizes”ITU-T SG16 Contribution,C 123,English,January 2009
发明内容
然而，在传统提议的方法中，按照时序方式执行编码处理或解码处理、解块滤波器处理和自适应滤波器处理。因此，为了通过实时处理执行所有这些类型的处理，必须通过较高时钟频率的电路执行处理并且运算量和功耗可能会增加。
鉴于这些情形提议本发明并且本发明的目的在于增强图像的编码或解码中执行的滤波器处理的效率从而抑制运算量和功耗的增加并且能够以较低开销实现实时处理。
本发明的一个方面是图像处理装置，包括：分类装置，根据去除块效应的必要性将图像的每个像素分类成多个类中的任何一个；解块滤波器装置，对由分类装置分类成去除块效应的必要性高的类的像素执行去除块效应的解块滤波器处理；以及自适应滤波器装置，对由分类装置分类成去除块效应的必要性低的类的像素执行用于增强图像质量的自适应滤波器处理。
作为解块滤波器装置，能够包括：强解块滤波器装置，执行强去除块效应的强解块滤波器处理，以及弱解块滤波器装置，执行弱去除块效应的弱解块滤波器处理。分类装置能够将图像的每个像素分类成强去除块效应的必要性高的类、弱去除块效应的必要性高的类和去除块效应的必要性低的类的三个类中的任何一类。强解块滤波器装置能够对由分类装置分类成强去除块效应的必要性高的类的像素执行强解块滤波器处理。弱解块滤波器装置能够对由分类装置分类成弱去除块效应的必要性高的类的像素执行弱解块滤波器处理。自适应滤波器装置能够对由分类装置分类成去除块效应的必要性低的类的像素执行用于增强图像质量的自适应滤波器处理。
分类装置能够通过使用运动矢量信息或包括宏块模式信息的编码信息执行图像的每个像素的分类。
图像处理装置还能够包括滤波器系数计算装置，计算用于关于由分类装置分类的每个类的滤波器处理的滤波器系数。解块滤波器装置和自适应滤波器装置能够通过使用由滤波器系数计算装置计算并且对应于这些类中的各类的滤波器系数执行它们自身的滤波器处理。
图像处理装置还能够包括：相加装置，将由滤波器系数计算装置计算的滤波器系数加到通过由编码装置对图像进行编码获得的编码数据，以及发送装置，发送通过相加装置向其加入滤波器系数的编码数据。
滤波器系数计算装置能够仅仅计算对去除块效应的必要性低的类执行的自适应滤波器的滤波器系数。自适应滤波器装置能够通过使用由滤波器系数计算装置计算的滤波器系数执行自适应滤波。解块滤波器装置能够通过使用预先设置的预定滤波器系数执行解块滤波。
图像处理装置还能够包括解码装置，对通过图像的编码获得的编码的数据进行解码以产生解码的图像。分类装置能够根据去除块效应的必要性将由解码装置对编码数据进行解码获得的解码的图像的每个像素分类成多个类中的任何一个。解块滤波器装置能够对由分类装置分类成去除块效应的必要性高的类的像素执行解块滤波器处理。自适应滤波器装置能够对由分类装置分类成去除块效应的必要性低的类的像素执行自适应滤波器处理。
图像处理装置还能够包括滤波器系数获取装置，从编码数据获取滤波器系数。解块滤波器装置能够通过使用由滤波器系数获取装置获取并且对应于去除块效应的必要性高的类的滤波器系数对由分类装置分类成去除块效应的必要性高的类的像素执行解块滤波器处理。自适应滤波器装置能够通过使用由滤波器系数获取装置获取并且对应于去除块效应的必要性低的类的滤波器系数对由分类装置分类成去除块效应的必要性低的类的像素执行自适应滤波器处理。
另外，本发明的一个方面是图像处理方法。在该图像处理方法中，图像处理装置的分类装置根据去除块效应的必要性将图像的每个像素分类成多个类的任何一个。图像处理装置的解块滤波器装置对分类成去除块效应的高必要性的类的像素执行去除块效应的解块滤波器处理。图像处理装置的自适应滤波器装置对分类成去除块效应的低必要性的类的像素执行用于增强图像质量的自适应滤波器处理。
此外，本发明的一个方面是使得计算机发挥如下部件作用的程序：分类装置，根据去除块效应的必要性将图像的每个像素分类成多个类的任何一个；解块滤波器装置，对由分类装置分类成去除块效应的高必要性的类的像素执行去除块效应的解块滤波器处理；以及自适应滤波器装置，对由分类装置分类成去除块效应的低必要性的类的像素执行用于增强图像质量的自适应滤波器处理。
在本发明的一个方面中，根据去除块效应的必要性，图像的每个像素被分类到多个类中的任何一类。对分类到去除块效应的必要性高的类的像素执行用于去除块效应的解块滤波器处理。对分类到去除块效应的必要性低的类的像素执行用于增强图像质量的自适应滤波器处理。
根据本发明，能够对图像进行编码或解码。具体地讲，在图像的编码或解码中，能够更加有效地执行用于增强编码效率的滤波器处理。
附图说明
图1是示出应用本发明的图像编码装置的主结构例子的框图。
图2用于解释解块滤波器的工作原理。
图3用于解释Bs的定义的方法。
图4用于解释解块滤波器的工作原理。
图5示出了indexA和indexB以及α和β的值之间的对应关系的例子。
图6示出了Bs、indexA和tC0之间之间的对应关系的例子。
图7示出了宏块的例子。
图8是示出自适应解块滤波器的主结构例子的框图。
图9是解释编码处理的流程的例子的流程图。
图10是解释预测处理的流程的例子的流程图。
图11解释自适应解块滤波器处理的流程的例子的流程图。
图12是解释关于编码或解码的处理的流程的例子的时序图。
图13是示出传统滤波器的结构例子的框图。
图14是解释关于传统编码或解码的处理的流程的例子的流程图。
图15是示出应用本发明的图像解码装置的主结构例子的框图。
图16是示出自适应解块滤波器的主结构例子的框图。
图17是解释解码处理的流程的例子的流程图。
图18是解释预测图像产生处理的流程的例子的流程图。
图19是解释自适应解块滤波器处理的流程的例子的流程图。
图20是示出应用本发明的个人计算机的主结构例子的框图。
图21是示出应用本发明的电视接收器的主结构例子的框图。
图22是示出应用本发明的蜂窝电话的主结构例子的框图。
图23是示出应用本发明的硬盘记录器的主结构例子的框图。
图24是示出应用本发明的相机的主结构例子的框图。
具体实施方式
将在下面描述用于执行本发明的模式（下文称作实施例）。将基于下面顺序进行描述。
1.第一实施例（图像编码装置）
2.第二实施例（图像解码装置）
3.第三实施例（个人计算机）
4.第四实施例（电视接收器）
5.第五实施例（蜂窝电话）
6.第六实施例（硬盘记录器）
7.第七实施例（相机）
<1.第一实施例>
[装置结构]
图1示出了作为应用本发明的图像处理装置的图像编码装置的一个实施例的结构。
图1所示的图像编码装置100例如是通过H.264和MPEG（运动图像专家组）4第10部分（AVC(先进视频编码)）（下文称作H.264/AVC）执行图像的压缩编码的编码装置。另外，它采用自适应环路滤波器。
在图1的例子中，图像编码装置100具有A/D（模拟/数字）转换器101、画面重排缓冲器102、运算部分103、正交变换器104、量化器105、无损编码器106和累积缓冲器107。另外，图像编码装置100具有逆量化器108、逆正交变换器109和运算部分110。此外，图像编码装置100具有自适应解块滤波器111、滤波器系数计算器112和帧存储器113。另外，图像编码装置100具有选择器114、帧内预测部分115、运动预测/补偿部分116和选择器117。此外，图像编码装置100具有速率控制器118。
A/D转换器101执行输入图像数据的A/D转换并且将转换的数据输出到画面重排缓冲器102以进行存储。画面重排缓冲器102将存储的显示顺序的帧的图像重排成根据GOP（画面组）结构进行编码的帧的顺序。画面重排缓冲器102将对其重排帧的顺序的图像提供给运算部分103、帧内预测部分115、运动预测/补偿部分116和滤波器系数计算器112。
运算部分103从从画面重排缓冲器102读取的图像减去从选择器117提供的预测图像并且将差信息输出到正交变换器104。例如，在对其执行帧内编码的图像的情况下，运算部分103将从帧内预测部分115提供的预测图像加到从画面重排缓冲器102读取的图像。另外，例如，在对其执行帧间编码的图像的情况下，运算部分103将从运动预测/补偿部分116提供的预测图像加到从画面重排缓冲器102读取的图像。
正交变换器104对来自运算部分103的差信息执行正交变换（例如，离散余弦变换或Karhunen-Loeve变换）并且将变换系数提供给量化器105。量化器105对由正交变换器104输出的变换系数进行量化。量化器105将量化的变换系数提供给无损编码器106。
无损编码器106对量化的变换系数执行诸如可变长度编码或运算编码的无损编码。
无损编码器106从帧内预测部分115获取示出帧内预测的信息以及从运动预测/补偿部分116获取示出帧间预测模式等等的信息。示出帧内预测的信息在下文中还被称作帧内预测模式信息。另外，示出显示帧间预测的信息模式的信息在下文中还被称作帧间预测模式。
无损编码器106还从滤波器系数计算器112获取应用于自适应解块滤波器111的滤波器系数。
无损编码器106对量化的变换系数进行编码并且将滤波器系数、帧内预测模式信息、帧间预测模式信息、量化参数等等转变（复用）成编码的数据的头部信息的一部分。无损编码器106将通过编码获得的编码的数据提供给累积缓冲器107以进行累积。
在无损编码器106中执行诸如可变长度编码或运算编码的无损编码处理。可变长度编码包括在H.264/AVC系统中定义的CAVLC（上下文自适应可变长度编码）等等。运算编码包括CABAC（上下文自适应二进制运算编码）等等。
累积缓冲器107临时保持从无损编码器106提供的编码的数据并且在预定定时将它输出到例如附图中没有示出的下一级记录装置和传输通道作为由H.264/AVC系统编码的编码的图像。
另外，在量化器105中进行量化的变换系数还被提供给逆量化器108。逆量化器108通过与由量化器105执行的量化对应的方法执行量化的变换系数的逆量化并且将获得的变换系数提供给逆正交变换器109。
逆正交变换器109通过与由正交变换器104执行的正交变换处理对应的方法执行提供的变换系数的逆正交变换。逆正交变换所得的输出被提供给运算部分110。
运算部分110将从选择器117提供的预测图像加到从逆正交变换器109提供的逆正交变换结果即恢复的差信息以获得局部解码的图像（解码的图像）。例如，如果差信息对应于对其执行帧内编码的图像，则运算部分110将从帧内预测部分115提供的预测图像加到差信息。另外，例如，如果差信息对应于对其执行帧间编码的图像，则运算部分110将从运动预测/补偿部分116提供的预测图像加到差信息。
相加结果被提供给自适应解块滤波器111或帧存储器113。
自适应解块滤波器111通过使用由滤波器系数计算器112计算的滤波器系数相应地执行解块滤波器处理去除解码的图像的块效应（blockiness），并且通过使用例如Wiener滤波器相应地执行环路滤波器处理执行图像质量提高。自适应解块滤波器111执行各个像素的分类并且对每类执行恰当滤波器处理。自适应解块滤波器111将滤波器处理结果提供给帧存储器113。
滤波器系数计算器112逐类计算应用于自适应解块滤波器111中的滤波器系数。滤波器系数计算器112从帧存储器113获取解码的图像。另外，从画面重排缓冲器102读取的输入图像还被提供给滤波器系数计算器112。
当从自适应解块滤波器111获取关于分类的信息时，滤波器系数计算器112基于从帧存储器113和画面重排缓冲器112等等提供的图像计算每类的滤波器系数并且将它提供给自适应解块滤波器111。
另外，滤波器系数计算器112还将产生的每类的滤波器系数提供给无损编码器106。滤波器系数被包括在如上所述由无损编码器106编码（复用）的编码的数据中。即，每类的滤波器系数与编码的数据一起被发送到图像解码装置。
帧存储器113在预定定时经由选择器114将累积的参考图像输出到帧内预测部分115或者运动预测/补偿部分116。
例如，在对其执行帧内编码的图像的情况下，帧存储器113经由选择器114将参考图像提供给帧内预测部分115。另外，例如，在对其执行帧间编码的图像的情况下，帧存储器113经由选择器114将参考图像提供给运动预测/补偿部分116。
在图像编码装置100中，例如来自画面重排缓冲器102的I画面、B画面和P画面被提供给帧内预测部分115作为对其执行帧内预测（还称作帧内处理）的图像。另外，从画面重排缓冲器102读取的B画面和P画面被提供给运动预测/补偿部分116作为对其执行帧间预测（还称作帧间处理）的图像。
在对其执行帧内编码的图像的情况下，选择器114将从帧存储器113提供的参考图像提供给帧内预测部分115，并且在对其执行帧间编码的图像的情况下，将它提供给运动预测/补偿部分116。
帧内预测部分115基于从画面重排缓冲器102读取并且经历帧内预测的图像和从帧存储器113提供的参考图像执行作为候选的所有帧内预测模式的帧内预测处理以产生预测图像。
在帧内预测部分115中应用到有关块/宏块的帧内预测模式信息被发送到无损编码器106并且转变成编码的数据中的头部信息的一部分。针对亮度信号，定义帧内4×4预测模式、帧内8×8预测模式和帧内16×16预测模式。另外，关于色差信号，能够对每个宏块定义独立于亮度信号的预测模式。
关于帧内4×4预测模式，对每个4×4亮度块定义一个帧内预测模式。关于帧内8×8预测模式，对每个8×8亮度块定义一个帧内预测模式。对于帧内16×16预测模式和色差信号，为每个宏块分别定义一个预测模式。
帧内预测部分115计算产生预测图像的帧内预测模式的开销函数值并且选择计算的开销函数值给出最小值的帧内预测模式作为最佳帧内预测模式。帧内预测部分115经由选择器117将在最佳帧内预测模式下产生的预测图像提供给运算部分103。
关于对其执行帧间编码的图像，运动预测/补偿部分116通过使用从画面重排缓冲器102提供的输入图像和从帧存储器113提供并且作为参考图像的解码的图像计算运动矢量。运动预测/补偿部分116根据计算的运动矢量执行运动补偿处理并且产生预测图像（帧间预测图像信息）。
运动预测/补偿部分116执行作为候选的所有帧间预测模式的帧间预测处理以产生预测图像。这个帧间预测模式与帧内预测模式的情况相同。
运动预测/补偿部分116计算产生预测图像的帧间预测模式的开销函数值并且选择计算的开销函数值给出最小值的帧间预测模式作为最佳帧间预测模式。运动预测/补偿部分116经由选择器117将在最佳帧间预测模式下产生的预测图像提供给运算部分103。
运动预测/补偿部分116将示出计算的运动矢量的运动矢量信息提供给无损编码器106。这个运动矢量信息被包括在由无损编码器106（复用）的编码的数据中。即，运动矢量信息与编码的数据一起被发送到图像解码装置。
在对其执行帧内编码的图像的情况下，选择器117将帧内预测部分115的输出提供给运算部分103，并且在对其执行帧间编码的情况下将运动预测/补偿部分116的输出提供给运算部分103。
速率控制器118基于累积在累积缓冲器107中的压缩图像控制量化器105的量化操作的速率从而使得可以避免发生上溢或下溢。
[解块滤波器]
接下来，将描述AVC编码系统等等中的解块滤波器。解块滤波器去除解码的图像中的块效应。由此，抑制了向在运动补偿处理中参考的图像传导块效应。
作为解块滤波器的处理，能够根据包括在编码数据中的两个参数（具体地讲，包括在画面参数设置RBSP（原始字节序列净荷）中的deblocking_filter_control_present_flag和包括在切片头部（Slice_Header）中的disable_deblocking_filter_idc）选择下面三个方法（a）到（c）。
（a）对块边界和宏块边界进行执行
（b）只对宏块边界进行执行
（c）不执行
关于量化参数QP，如果下面的处理应用到亮度信号则使用QPY，如果它应用到色差信号则使用QPC。另外，在运动矢量编码、帧内预测和熵编码（CAVLC/CABAC）中，属于不同切片的像素值被处理为“不可用”。然而，在解块滤波器处理中，即使是属于不同切片的像素值仍被处理为“可用”，如果它属于同一画面的话。
在下面，如图2所示，解块滤波器处理之前的像素值被定义为p0到p3和q0到q3，处理以后的像素值被定义为p0′到p3′和q0′到q3′。
首先，在解块滤波器处理之前，如图3所示的表所示对图2中的p和q定义Bs（边界强度）。
仅仅当由下面表达式（1）和表达式（2）所示的条件成立时，对图2中的（p2,p1,p0,q0,q1,q2）执行解块滤波器处理。
Bs>0…(1)
|p0-q0|<α;|p1-p0|<β;|q1-10|<β…(2)
对于表达式（2）中的α和β，如下缺省地根据QP定义它们的值。然而，如图4所示的曲线图中的箭头所示，用户能够通过两个参数（即，包括在编码的数据的切片头部中的slice_alpha_c0_offset_div2和slice_beta_offset_div2）调整它们的强度。
如在图5的A和图5的B中显示的表中所示，从indexA获得α。类似地，从indexB获得β。如由下面表达式（3）到表达式（5）所示定义这些indexA和indexB。
qPaν=(qPp+qPq+1)>>1…(3)
indexA=Clip3(0,51,qPaν+FilterOffsetA)…(4)
indexB=Clip3(0,51,qPaν+FilterOffsetB)…(5)
在表达式（4）和表达式（5）中，FilterOffsetA和FilterOffsetB等效于用户调整的量。
对于解块滤波器处理，如下所述定义Bs<4的情况与Bs=4的情况之间彼此不同的方法。在Bs<4的情况，如由下面表达式（6）到表达式（8）所示获得解块滤波器处理以后的像素值p′0和q′0。
Δ=Clip3(-tc,tc((((q0-p0)<<2)+(p1-q1)+4)>>3))…(6)
p’0=Clip1(p0+Δ)…(7)
q’0=Clip1(q0+Δ)…(8)
这里，如下面表达式（9）或表达式（10）所示计算tC。具体地讲，如果chromaEdgeFlag的值是“0”，则如下面表达式（9）所示计算tC。
tc=tc0+((ap<β)?1:0)+((ap<β)?1:0)…(9)
另外，如果chromaEdgeFlag的值不是“0”，则如下面表达式（10）所示计算tC。
tc=tc0+1…(10)
如在图6的A和图6的B中所示的表格所示根据Bs和indexA的值定义tC0的值。
另外，如下面表达式（11）和（12）所示计算表达式（9）的ap和aq的值。
ap=|p2-p0|…(11)
aq=|q2-q0|…(12)
如下获得解块滤波器处理后的像素值p′1。具体地讲，如果chromaEdgeFlag的值是“0”并且ap的值等于或小于β，则如由下面表达式（13）所示获得p′1。
p’1=p1+Clip3(-tc0,tc0,(p2+((p0+q0+1)>>1)-(p1<<1))>>1)…(13)
另外，如果表达式（13）不成立，则如由下面表达式（14）所示获得p′1。
p’1=p1…(14)
如下获得解块滤波器处理后的像素值q′1。具体地讲，如果chromaEdgeFlag的值是“0”并且aq的值等于或小于β，则如由下面表达式（15）所示获得q′1。
q’1=q1+Clip3(-tc0,tc0,(q2+((p0+q0+1)>>1)-(q1<<1))>>1)…(15)
另外，如果表达式（15）不成立，则如由下面表达式（16）所示获得q′1。
q’1=q1…(16)
p′2和q′2的值与滤波前的值p2和q2相同。即，如由下面表达式（17）所示获得p′2并且如由下面表达式（18）所示获得q′2。
p’2=p2…(17)
q’2=q2…(18)
在Bs=4的情况下，如下获得解块滤波器以后的像素值p′1（i=0..2）。如果chromaEdgeFlag的值是“0”并且由下面表达式（19）所示的条件成立，则如由下面表达式（20）到表达式（22）所示获得p′0、p′1和p′2。
ap<β&&|p0-q0|<((α>>2)+2)…(19)
p’0=(p2+2×p1+2×p0+2×q0+q1+4)>>3…(20)
p’1=(p2+p1+p0+q0+2)>>2…(21)
p’2=(2×p3+3×p2+p1+p0+q0+4)>>3…(22)
另外，如果由表达式（19）所示的条件不成立，则如下面表达式（23）到表达式（25）所示获得p′0、p′1和p′2。
p’0=(2×p1+p0+q1+2)>>2…(23)
p’1=p1…(24)
p’2=p2…(25)
如下获得解块滤波器处理以后的像素值q′i（i=0..2）。具体地讲，如果chromaEdgeFlag的值是“0”并且由下面表达式（26）所示的条件成立，则如由下面表达式（27）到表达式（29）所示获得q′0、q′1和q′2。
aq<β&&|p0-q0|<((α>>2)+2)…(26)
q’0=(p1+2×p0+2×q0+2×q1+q2+4)>>3…(27)
q’1=(p0+q0+q1+q2+2)>>2…(28)
q’2=(2×q3+3×q2+q1+q0+p4+4)>>3…(29)
另外，如果由表达式（26）所示的条件不成立，则如由下面表达式（30）到表达式（32）所示获得q′0、q′1和q′2。
q’0=(2×q1+q0+p1+2)>>2…(30)
q’1=q1…(31)
q’2=q2…(32)
[环路滤波器]
通过这种方法，在如互联网的有限带宽的线路上例如4000×2000像素的较高分辨率的图像的传输和现有高清图像的传输的情况下，由AVC实现的压缩率仍然不足。
于是，存在使用环路滤波器作为编码效率提高的一个技术的方法。例如，采用Wiener滤波器作为环路滤波器。环路滤波器对例如为其执行解块滤波器处理的解码的图像执行滤波器处理，从而将原始图像的残留（residual）最小化。
同样在解码处理中，通过使用与编码的数据一起发送的Wiener滤波器系数对解块滤波器处理后的像素值执行类似环路滤波器处理。
通过这样做，能够增强解码的图像的图像质量，还能够增强参考图像的图像质量。
[预测模式的选择]
通过这样做，将宏块尺寸设置成16像素×16像素并非最适于例如将是下一代编码系统的主题的UHD（超高清；4000×2000像素）的大图像帧。于是，已经提议将宏块尺寸设置成例如32像素×32像素或者64×64像素的尺寸。
为了实现更高编码效率，恰当预测模式的选择是重要的。例如，选择两种模式确定方法（高复杂度模式和低复杂度模式）的方法将是可行的。在这种方法的情况下，在二者中，计算关于每个预测模式Mode的开销函数值并且选择将其最小化的预测模式作为有关块或宏块的最佳模式。
能够如由下面表达式（33）所示获得高复杂度模式下的开销函数。
Cost(Mode∈Ω)=D+λ×R…(33)
在表达式（33）中，Ω是用于这个块或宏块的编码的候选模式的全集。另外，D是当在这个预测模式Mode下执行编码时的解码的图像与输入图像的差能。此外，λ是作为量化参数的函数给出的拉格朗日的待定乘子。另外，R是当在这个模式Mode下执行编码时的总码量（包括正交变换系数）。
也就是说，为了在高复杂度模式下执行编码，需要在所有候选模式Mode下执行临时编码处理一次以计算上述的参数D和R。因此，需要更高的运算量。
相比较，能够如由下面表达式（34）所示获得低复杂度模式下的开销函数。
Cost(Mode∈Ω)=D+QP2Quant(QP)×HeaderBit…(34)
在表达式（34）中，D是预测图像与输入图像的差能（与高复杂度模式的情况不同）。另外，作为量化参数QP的函数给出QP2Quant(QP)。此外，HeaderBit是关于属于头部的信息（例如，运动矢量和模式，但不包括正交变换系数）的码量。
也就是说，在低复杂度模式下，尽管需要关于每个候选模式Mode执行预测处理，但是解码的图像不是必需的并且由此不需要执行编码处理。因此，基于比高复杂度模式下的运算量要低的运算量可以实现。
通过这种方法，将宏块尺寸设置成16像素×16像素并非最适于将是下一代编码系统的主题的例如UHD的大图像帧。已经提议将宏块尺寸设置成例如如图7所示的32像素×32像素的尺寸。
通过采用如图7的分层结构，关于16×16像素的块和更小的块，大块被定义为它们的超集并且保持与当前AVC中的宏块兼容。
[自适应解块滤波器]
在下文中，首先描述滤波器系数计算器112和自适应解块滤波器111的工作原理。
在自适应解块滤波器111中，首先，包括在有关帧中的所有像素被分类成三类像素值，包括应该给出与Bs=4对应的滤波器的块边界、应该给出与Bs=1、2和3对应的滤波器的块边界的像素值、以及包括另一个块边界并且根据通过与在AVC中定义的方法相同的方法执行的解块滤波器处理（块效应去除）的必要性不需要给出解块滤波器的像素值。另外，关于此的信息被发送到滤波器系数计算器112。
在滤波器系数计算器112中，通过使用如在非专利文献2中提议Wiener滤波器的方法执行这个帧中各类的滤波器系数的确定，并且这被发送到自适应解块滤波器111。
再次在自适应解块滤波器中，与各类对应的滤波器系数被应用到各个像素。由此，通过一个电路能够实现在非专利文献2中提出的在AVC中定义的解块滤波器的块效应去除效果以及由自适应滤波器执行的图像质量提高。
如以后详细描述，通过这样做，用于该电路的实时工作的时钟的数目可以小于在非专利文献2中提出的方法中的时钟的数目。
另外，在AVC编码系统中，尽管可以根据量化参数QP等等的条件自适应改变是否应用解块滤波器的条件，但是不可以以类似方式根据解码的图像的恶化的程度改变强滤波器和弱滤波器的强度自身。在本发明中，如上所述，通过给出适应的解块滤波器的系数许可执行适于解码的图像的恶化的程度的解块滤波器处理。
当应用Wiener滤波器时的解块滤波器处理如下。
具体地讲，通过使用u作为Wiener滤波器系数和偏移，上述的表达式（6）变成下面表达式（35）。
Δ=Clip3(-tc,tc(u0×p1+u1×p0+u2×q0+u3×q1+u4))…(35)
另外，通过使用v作为Wiener滤波器系数和偏移，表达式（20）到表达式（22）变成下面表达式（36）到表达式（38）。
p’0=v00×p2+v01×p1+v02×p0+v03×q0+v04×q1+v05…(36)
p’1=v10×p2+v11×p1+v12×p0+v13×q0+v14…(37)
p’2=v20×p3+v21×p2+v22×p1+v23×p0+v24×q0+v25…(38)
另外，通过使用w作为Wiener滤波器系数和偏移，表达式（23）变成下面表达式（39）。
p’0=w0×p1+w1×p0+w2×q1+w3…(39)
另外，通过使用x作为Wiener滤波器系数和偏移，表达式（27）到表达式（29）变成下面表达式（40）到表达式（42）。
q’0=x00×p1+x01×p0+x02×q0+x03×q1+x04×q2+x05…(40)
q’1=x10×p0+x11×q0+x12×q1+x13×q2+x14…(41)
q’2=x20×q3+x21×q2+x22×q1+x23×q0+x24×p4+x25…(42)
另外，通过使用y作为Wiener滤波器系数和偏移，表达式（30）变成下面表达式（43）。
q’0=y0×q1+y1×q0+y2×p1+y3…(43)
计算各个Wiener滤波器系数以使得包括在各类中的像素值的总残留变得最小。
[详细结构例子]
图8是示出自适应解块滤波器111的主结构例子的框图。
如图8所示，自适应解块滤波器111具有像素分类器151、强解块滤波器152、弱解块滤波器153和自适应滤波器154。
滤波器处理前的像素值从运算部分110提供给像素分类器151。通过使用诸如运动矢量信息和宏块模式信息的编码信息，像素分类器151将像素分类成应该给出与AVC中的Bs=4对应的强解块滤波器的像素（块效应的强去除的高必要性的类）、应该给出与Bs=1、2和3对应的弱解块滤波器的像素（块效应的弱去除的高必要性的类）和包括块边界以外的像素的其它像素（块效应去除的低必要性的类）的三类中的任何一类。
像素分类器151根据分类结果将滤波器处理前的像素值提供给强解块滤波器152、弱解块滤波器153或自适应滤波器154。
具体地讲，当确定提供的像素值是应该给出与AVC中的Bs=4对应的强解块滤波器的像素的像素值时，像素分类器151将像素值提供给强解块滤波器152。
另外，当确定提供的像素值是应该给出与Bs=1、2和3对应的弱解块滤波器的像素的像素值时，像素分类器151将像素值提供给弱解块滤波器153。
此外，当确定提供的像素值是包括块边界之外的像素的其它像素的像素值时，像素分类器151将像素值提供给自适应滤波器154。
另外，不管像素值被分类成哪一类，像素分类器151将滤波器处理前的分类的像素值提供给滤波器系数计算器112。
此外，输入图像的像素值被从画面重排缓冲器102提供给滤波器系数计算器112。
通过使用这些像素值，滤波器系数计算器112基于Wiener滤波器等等的方法计算对应三个分类的滤波器系数。
根据分类，计算的滤波器系数被提供给强解块滤波器152、弱解块滤波器153和自适应滤波器154中的任何一个。具体地讲，滤波器系数计算器112将应该给出强解块滤波器的像素的类的滤波器系数提供给强解块滤波器152，并且将应该给出弱解块滤波器的像素的类的滤波器系数提供给弱解块滤波器153。此外，滤波器系数计算器112将包括块边界之外的像素的其它像素的类的滤波器系数提供给自适应滤波器154。
另外，滤波器系数计算器112还将计算的各类的滤波器系数提供给无损编码器106。无损编码器106将滤波器系数埋入编码的数据并且将它们与编码的数据一起进行输出。
强解块滤波器152、弱解块滤波器153和自适应滤波器154均通过使用从滤波器系数计算器112提供的滤波器系数对从运算部分110提供的像素值执行滤波器处理。
强解块滤波器152、弱解块滤波器153和自适应滤波器154均将滤波器处理后的解码的图像像素值提供给帧存储器113以进行累积。
通过以这种方式执行像素值的分类并且执行与该分类对应的恰当滤波器处理，自适应解块滤波器111能够更加有效地执行滤波器处理。由此，图像编码装置100能够以高编码效率更加有效地执行编码。另外，它能够抑制运算量和功耗的增加并且能够以更低开销实现实时处理。
Wiener滤波器可以仅仅应用于由自适应滤波器154执行的其它像素值的自适应滤波器处理，并且由强解块滤波器152和弱解块滤波器153执行的解块滤波器处理可以通过与AVC标准中定义的方法类似的方法进行执行。
另外，在上文中，解释了滤波器系数被埋在在无损编码器106中获得的编码的数据（图像压缩信息）中。如果强解块滤波器和弱解块滤波器的滤波器系数没有作为这种滤波器系数进行发送，则猜想在要在以后描述的图像解码装置一侧执行与在AVC中定义的类似的解块滤波器处理。相反地，如果其它像素值的滤波器系数没有进行发送，则假设不在要在以后描述的图像解码装置一侧执行滤波器处理。
[处理的流程]
接下来，将描述使用如上构造的各个部分的处理的流程。首先，将参照图9的流程图描述由图像编码装置100执行的编码处理的流程的例子。
在步骤S101中，A/D转换器101执行输入图像的A/D转换。在步骤S102中，画面重排缓冲器102存储A/D转换的图像并且执行从各个画面的显示的顺序到编码的顺序的重排。
在步骤S103中，帧内预测部分115、运动预测/补偿部分116等等确定预测模式并且执行预测处理以产生预测图像。将在以后描述这个预测处理的细节。
在步骤S104中，运算部分103计算通过步骤S102的处理重排的图像与通过步骤S103的预测处理产生的预测图像之间的差。在执行帧间预测的情况下预测图像经由选择器117从运动预测/补偿部分116提供给运算部分103或者在执行帧内预测的情况下从帧内预测部分115提供给运算部分103。
与原始图像数据相比，差数据具有更小的数据量。因此，与原样编码图像的情况相比，能够压缩数据量。
在步骤S105中，正交变换器104执行通过步骤S104的处理产生的差信息的正交变换。具体地讲，执行诸如离散余弦变换或Karhunen-Loeve变换的的正交变换并且输出变换系数。在步骤S106中，量化器105对变换系数进行量化。在这个量化中，如对以后描述的步骤S113的处理解释的那样控制速率。
在步骤S107中，无损编码器106对从量化器105输出的量化的变换系数进行编码。
另外，量化的差信息以下面方式进行局部解码。具体地讲，在步骤S108中，逆量化器108通过与量化器105的特征对应的特征对由量化器105量化的变换系数进行逆量化。在步骤S109中，逆正交变换器109通过与正交变换器104的特征对应的特征执行由逆量化器108进行逆量化的变换系数的逆正交变换。
在步骤S110中，运算部分110将经由选择器117提供的预测图像加到局部解码的差信息以生成局部解码的图像（与对运算部分103的输入对应的图像）。
当对一个画面执行上述的处理时，在步骤S111中，自适应解块滤波器111和滤波器系数计算器112对从运算部分110向自适应解块滤波器111提供的解码的图像执行自适应解块滤波器处理。将在以后描述这个自适应解块滤波器处理的细节。
在步骤S112中，累积缓冲器107累积编码的数据。累积在累积缓冲器107中的编码的数据被相应地读取以经由传输通道发送到解码侧。
在步骤S113中，速率控制器118基于累积在累积缓冲器107中的编码的数据控制量化器105的量化操作的速率从而使得可以避免出现上溢或下溢。
接下来，将参照图10的流程图描述在图9的步骤S103中执行的预测处理的流程的例子。
当预测处理开始时，在步骤S131中，帧内预测部分115通过使用经由选择器114从帧存储器113获取的参考图像和从画面重排缓冲器102提供的输入图像计算帧内4×4、帧内8×8和帧内16×16的各个模式（预先准备的各个帧内模式）的开销函数值。
在步骤S132中，帧内预测部分115基于在步骤S131中计算的各个模式的开销函数值确定帧内4×4、帧内8×8和帧内16×16的每一个的最佳模式。
在步骤S133中，帧内预测部分115选择帧内4×4、帧内8×8和帧内16×16中的最佳帧内模式。
与步骤S131到步骤S133的各种处理并行，运动预测/补偿部分116执行步骤S134到步骤S137的各种处理。
在步骤S134中，运动预测/补偿部分116执行运动搜索。在步骤S135中，运动预测/补偿部分116确定帧间16×16到4×4的各个模式的运动矢量和参考帧。
在步骤S136中，运动预测/补偿部分116计算帧间16×16到4×4的各个模式的开销函数值。
在步骤S137中，运动预测/补偿部分116基于开销函数值确定最佳帧间模式。
在步骤S138中，选择器117确定在步骤S133中选择的最佳帧内模式和在步骤S137中确定的最佳帧间模式之一作为最佳模式。
在步骤S139中，与被确定为最佳模式的模式对应的帧内预测部分115或运动预测/补偿部分116产生预测图像。这个预测图像经由选择器117被提供给运算部分103和运算部分110。另外，此时的最佳模式的预测模式信息（帧内预测模式信息或帧间预测模式信息）被提供给无损编码器106。
当产生预测图像时，预测处理结束。过程返回到图9中的步骤S103，从而执行步骤S104和接下来步骤的处理。
接下来，将参照图11的流程图描述在图9的步骤S111中执行的自适应解块滤波器处理的流程的例子。
当开始自适应解块滤波器处理时，在步骤S151中，自适应解块滤波器111的像素分类器151将有关帧中的各个像素分类成应该给出强解块滤波器的像素（与AVC中的Bs=4对应的块边界像素值）、应该给出弱解块滤波器的像素（与AVC中的Bs=1、2和3对应的块边界像素值）或其它像素。
在步骤S152中，滤波器系数计算器112计算由Wiener滤波器执行的各类的滤波器系数。
在步骤S153中，强解块滤波器152、弱解块滤波器153和自适应滤波器154均通过使用对应类的滤波器系数对各类的像素执行它们自己的滤波器处理。
在步骤S154中，无损编码器106对在步骤S152中计算的各类的滤波器系数进行编码，并且将它们例如埋入编码的数据的头部内。
当步骤S154的处理结束时，自适应解块滤波器处理结束。过程返回图9中的步骤S111，从而执行步骤S112和接下来步骤的处理。
[时间流]
通过以上述方式执行像素值的分类以及执行与该类对应的恰当滤波器处理，图像编码装置100能够例如如图12所示的时间流所示执行滤波器处理。具体地讲，图像编码装置100执行编码处理161并且在编码处理161结束以后执行自适应解块滤波器162从而相应地执行解块滤波器处理和环路滤波器处理二者。对于下一帧，图像编码装置100执行编码处理163并且在编码处理163结束以后执行自适应解块滤波器164从而相应地执行解块滤波器处理和环路滤波器处理二者。
图13示出了传统图像编码装置中的解块滤波器和环路滤波器的结构例子。
例如，在传统AVC中定义的图像编码装置的情况下，如图13的A中所示解块滤波器171设置在运算部分110与帧存储器113之间，并且在图14的A中示出了这种情况的时间流。在图14中，箭头指示时间轴。即，在附图中时间从左向右流逝。
具体地讲，执行编码处理181，然后执行解块滤波182。对于下一帧，执行编码处理183，然后执行解块滤波184。然而，在这种情况下，没有执行环路滤波器处理。
相比较，在非专利文献2中提议的图像编码装置的情况下，如图13的B中所示环路滤波器172还设置在解块滤波器171与帧存储器113之间，并且在图14的B中示出了这种情况的时间流。
具体地讲，执行编码处理181，然后执行解块滤波182。接下来，执行自适应滤波185。然后，对于下一帧，执行编码处理183，然后执行解块滤波184。接下来，执行自适应滤波186。
如刚刚所述，在传统情况下，由于解块滤波器处理和环路滤波器处理被顺序执行，所以执行整个处理所需的时钟的数目与环路滤波器处理相对应增加。
相比较，如上所述，图像编码装置100执行像素值的分类并且执行与该类对应的恰当滤波器处理。因此，如图12中所示的时间流所示，能够共同执行解块滤波器处理和环路滤波器处理。即，能够减少执行这些类型的处理的电路的实时工作的时钟的数目。
如刚刚所述，图像编码装置100能够以高编码效率更加有效地执行编码。另外，它能够抑制运算量和功耗的增加并且能够以更低开销实现实时处理。
在上文中，“加入”是指滤波器系数与编码的数据的任何形式的关联。例如，它可以被描述为编码的数据的语法或者可以被描述为用户数据。另外，滤波器系数可以设置成与编码的数据进行链接作为元数据的状态。即，“加入”包括“埋入”、“描述”、“复用”、“耦合”等等。这也适用于下面的描述。
另外，分类的数目是任意的。此外，分类的准则也是任意的只要它是有意义的即可。
另外，滤波器的处理单元可以是帧或者可以是切片或者可以是与它们不同的其他东西。此外，执行分类的单元可以不是像素（例如，宏块）。
<2.第二实施例>
[装置的结构]
接下来，将描述与在第一实施例中解释的图像编码装置100对应的图像解码装置。图15是示出作为应用本发明的图像处理装置的图像解码装置的一个实施例的结构例子的框图。
图像解码装置200对从图像编码装置100输出的编码的数据进行解码以生成解码的图像。
图像解码装置200具有累积缓冲器201、无损解码器202、逆量化器203、逆正交变换器204、运算部分205和自适应解块滤波器206。另外，图像解码装置200具有画面重排缓冲器207和D/A（数字/模拟）转换器208。此外，图像解码装置200具有帧存储器209、选择器210、帧内预测部分211、运动预测/补偿部分212和选择器213。
累积缓冲器201对发送的编码的数据进行累积。无损解码器202通过与无损编码器106的编码系统对应的系统对从累积缓冲器201提供并且由图1中的无损编码器106进行编码的信息进行解码。
如果有关宏块是帧内编码的宏块，则无损解码器202提取存储在编码的数据的头部部分中的帧内预测模式信息并且将它提供给帧内预测部分211。另外，如果有关宏块是帧间编码的宏块，则无损解码器202提取存储在编码的数据的头部部分中的运动矢量信息、帧间预测模式信息等等并且将它们提供给运动预测/补偿部分212。
此外，无损解码器202从编码的数据提取各类的滤波器系数并且将它们提供给自适应解块滤波器206。
逆量化器203通过与图1中的量化器105的量化系统对应的系统对由无损解码器202解码的图像进行逆量化。
逆正交变换器204通过与图1中的正交变换器104的正交变换系统对应的系统执行逆量化器203的输出的逆正交变换。逆正交变换器204将经历逆正交变换的差信息提供给运算部分205。
运算部分205将从选择器213提供的预测图像加到经历逆正交变换的差信息以产生解码的图像，并且将通过相加处理产生的解码的图像提供给自适应解块滤波器206。
自适应解块滤波器206通过使用从无损解码器202提供的各类的滤波器系数执行各类的滤波器处理以去除解码的图像的块效应。另外，自适应解块滤波器206通过例如使用Wiener滤波器相应地执行环路滤波器处理执行图像质量提高。
自适应解块滤波器206是与图像编码装置100的自适应解块滤波器111对应的处理部分并且基本执行相同滤波器处理。然而，图像解码装置200的自适应解块滤波器206能够使用埋在编码的数据中（从图像编码装置100提供）的滤波器系数。即，图像解码装置200不需要滤波器系数计算器。
自适应解块滤波器206将滤波器处理所得的图像提供给帧存储器209以将它累积作为参考图像，并且将它输出到画面重排缓冲器207。
画面重排缓冲器207重排图像。具体地讲，由图1中的画面重排缓冲器102重排为编码的顺序的帧顺序被重排成原始显示顺序。D/A转换器208执行从画面重排缓冲器207提供的图像的D/A转换并且输出转换的图像。例如，D/A转换器208将通过D/A转换获得的输出信号输出到附图中未示出的显示器并且使得图像进行显示。
如果有关帧是帧内编码的帧，则帧内预测部分211经由选择器210从帧存储器209获取参考图像并且基于从无损解码器202提供的信息产生预测图像以经由选择器213将产生的预测图像提供给运算部分205。
如果有关帧是帧间编码的帧，则运动预测/补偿部分212经由选择器210从帧存储器209获取参考图像并且基于从无损解码器202提供的运动矢量信息对参考图像执行运动补偿处理以产生预测图像。运动预测/补偿部分212经由选择器213将产生的预测图像提供给运算部分205。
如果有关宏块是帧内编码的宏块，则选择器213连接到帧内预测部分211并且将从帧内预测部分211提供的图像提供给运算部分205作为预测图像。另外，如果有关宏块是帧间编码宏块，则选择器213连接到运动预测/补偿部分212并且将从运动预测/补偿部分212提供的图像提供给运算部分205作为预测图像。
图16是示出图15中的自适应解块滤波器206的详细结构例子的框图。
如图16所示，自适应解块滤波器206具有滤波器系数缓冲器251、像素分类器252、强解块滤波器253、弱解块滤波器254和自适应滤波器255。
当从无损解码器202向滤波器系数缓冲器251提供从编码的数据读取并且对应于各类的滤波器系数时，滤波器系数缓冲器251获取并保持滤波器系数。
另外，当从运算部分205向像素分类器252提供滤波器处理之前的解码的图像像素值时，像素分类器252获取它。此外，当从无损解码器202向像素分类器252提供关于用于确定是给出强滤波器、弱滤波器还是另一种滤波器的语法元素（例如，运动矢量和宏块类型）的信息时，像素分类器252获取它。
基于从无损解码器202提供的关于语法元素的信息，像素分类器252确定是应该对从运算部分205提供的各个像素给出强滤波器还是弱滤波器还是另一种滤波器。
这个分类的结果与由图像编码装置100的像素分类器151执行的分类的情况相同。像素分类器252根据该确定将滤波器处理前的像素值提供给强解块滤波器253、弱解块滤波器254或自适应滤波器255。
强解块滤波器253、弱解块滤波器254或自适应滤波器255均从滤波器系数缓冲器251获取与自身对应的滤波器系数并且对从像素分类器252提供的像素执行它自身的滤波器处理。
强解块滤波器253、弱解块滤波器254或自适应滤波器255均将滤波器处理后的解码的图像像素值提供给画面重排缓冲器207和帧存储器209。
被提供给画面重排缓冲器207的像素值被输出作为解码的图像。另外，被提供给帧存储器209的像素值被累积在帧存储器209中并且用作解码下一帧时的参考图像。
通过以这种方式执行像素值的分类并且执行与该类对应的恰当滤波器处理，自适应解块滤波器206能够更加有效地执行滤波器处理。由此，图像解码装置200能够以高编码效率更加有效地执行解码。另外，它能够抑制运算量和功耗的增加并且能够以更低开销实现实时处理。
自适应解块滤波器206使用如上所述在图像编码装置100中产生的滤波器系数。因此，它不需要计算各类的滤波器系数并且与图像编码装置100的情况相比能够更加容易地执行滤波器处理。
[处理流程]
将参照图17的流程图描述由这个图像解码装置200执行的解码处理的流程的例子。
在步骤S201中，累积缓冲器201累积发送的图像（编码的数据）。在步骤S202中，无损解码器202从编码的数据提取滤波器系数。另外，无损解码器202还提取运动矢量信息、参考帧信息、预测模式信息（帧内预测模式信息和帧间预测模式信息）、等等。
在步骤S203中，无损解码器202执行编码的数据的无损解码。在步骤S204中，逆量化器203通过与图1中的量化器105的特征对应的特征对通过在步骤S203中编码的数据的解码获得的变换系数进行逆量化。在步骤S205中，逆正交变换器204通过与图1中的正交变换器104的特征对应的特征对通过步骤S204的处理进行逆量化的变换系数执行逆正交变换。由此，与图1中的正交变换器104的输入（运算部分103的输出）对应的差信息被解码。
在步骤S206中，帧内预测部分211、运动预测/补偿部分212等等根据预测模式执行预测图像产生处理以生成预测图像。将在以后描述这个预测图像产生处理的细节。在步骤S207中，运算部分205将在步骤S206中产生的预测图像加到通过到步骤S205的处理解码的差信息。由此，原始图像被恢复。
在步骤S208中，自适应解块滤波器206对从运算部分205输出的图像执行自适应解块滤波器处理。将在以后描述这个自适应解块滤波器处理的细节。
在步骤S209中，画面重排缓冲器207执行重排。具体地讲，由图1中的图像编码装置100的画面重排缓冲器102为编码进行重排的帧的顺序被重排成原始显示顺序。
在步骤S210中，D/A转换器208执行在步骤S209中重排的图像的D/A转换。这个图像输出到附图中没有显示的显示器从而显示图像。当步骤S210的处理结束时，解码处理结束。
接下来，将参照图18的流程图描述在图17的步骤S206中执行的预测图像产生处理的流程的例子。
当预测图像产生处理开始时，在步骤S231中，无损解码器202基于关于在步骤S202提取的预测模式等等的信息确定有关块是否被帧内编码。如果有关块是帧内编码的块，则无损解码器202将从编码的数据提取的帧内预测模式信息提供给帧内预测部分211并且过程进入步骤S232。
在步骤S232中，帧内预测部分211获取从无损解码器202提供的帧内预测模式信息。当获取帧内预测模式信息时，在步骤S233中，帧内预测部分211基于帧内预测模式信息经由选择器210从帧存储器209获取参考图像以产生帧内预测图像。当产生帧内预测图像时，帧内预测部分211经由选择器213将帧内预测图像提供给运算部分205作为预测图像。
另外，如果在步骤S231中确定有关块被帧间编码，则无损解码器202将从编码的数据提取的运动预测模式、参考帧、运动矢量信息等等提供给运动预测/补偿部分212并且过程进入步骤S234。
在步骤S234中，运动预测/补偿部分212获取从无损解码器202提供的运动预测模式、参考帧、运动矢量信息等等。当获取这些信息时，在步骤S235中运动预测/补偿部分212根据运动矢量信息选择内插滤波器，并且在步骤S236中经由选择器210从帧存储器209获取参考图像以生成帧间预测图像。当产生帧间预测图像时，运动预测/补偿部分212经由选择器213将帧间预测图像提供给运算部分205作为预测图像。
当步骤S233或步骤S236的处理结束时，预测图像产生处理结束。过程返回到图17中的步骤S206，从而执行步骤S207和接下来步骤的处理。
接下来，将参照图19中的流程图描述在图17中的步骤S208中执行的自适应解块滤波器处理的流程的例子。
当自适应解块滤波器处理开始时，在步骤S251中，滤波器系数缓冲器251从无损解码器202获取各类的滤波器系数。
在步骤S252中，通过与AVC解块滤波器等效的方法，像素分类器252将包括在有关帧内的各个像素值分类成要被给出强解块滤波器的像素、要被给出弱解块滤波器的像素或要被给出自适应滤波器的像素中的任何类（执行各个像素的分类）。
在步骤S253中，强解块滤波器253、弱解块滤波器254和自适应滤波器255通过使用从滤波器系数缓冲器251获取的与它自身对应的滤波器系数对与其自身对应的类的像素执行滤波器处理。
在步骤S254中，强解块滤波器253、弱解块滤波器254和自适应滤波器255均将对其执行了滤波器处理的像素值存储在帧存储器209中。
当步骤S254的处理结束时，自适应解块滤波器处理结束。过程返回到图17中的步骤S208，从而执行步骤S209和接下来步骤的处理。
[时间流]
通过以上述方式执行像素值的分类以及执行与该类对应的恰当滤波器处理，图像解码装置200能够如例如图12中所示的时间流所示执行滤波器处理。具体地讲，图像解码装置200执行解码处理161并且在解码处理161结束以后执行自适应解块滤波器162从而相应地执行解块滤波器处理和环路滤波器处理二者。对于下一帧，图像解码装置200执行解码处理163并且在解码处理163结束以后执行自适应解块滤波器164从而相应地执行解块滤波器处理和环路滤波器处理二者。
相比较，例如，在传统AVC中定义的图像编码装置的情况下，如图14的A中所示，执行解码处理181，然后执行解块滤波182。对于下一帧，执行解码处理183，然后执行解块滤波184。
另外，在非专利文献2中提议的图像编码装置的情况下，如图14的B中所示，执行解码处理181，然后执行解块滤波182。接下来，执行自适应滤波185。然后，对于下一帧，执行解码处理183，然后执行解块滤波184。接下来，执行自适应滤波186。
如刚刚所述，在传统情况下，由于解块滤波器处理和环路滤波器处理被顺序执行，所以执行整个处理所需的时钟的数目与环路滤波器处理相对应增加。
相比较，如上所述，图像解码装置200执行像素值的分类并且执行与该类对应的恰当滤波器处理。因此，如图12中所示的时间流所示，能够共同执行解块滤波器处理和环路滤波器处理。即，能够减少执行这些类型的处理的电路的实时工作的时钟的数目。
如刚刚所述，图像解码装置200能够以高编码效率更加有效地执行解码。另外，它能够抑制运算量和功耗的增加并且能够以更低开销实现实时处理。
<3.第三实施例>
[个人计算机]
上述的一系列处理能够通过硬件执行还能够通过软件执行。在这种情况下，例如，该结构可以形成为如图20所示的个人计算机。
在图20中，个人计算机500的CPU 501根据存储在ROM（只读存储器）502中的程序或从存储部分513加载到RAM（随机访问存储器）503的程序执行各种处理。另外，CPU 501执行各种处理所需的数据等等也相应地存储在RAM 503中。
CPU 501、ROM 502和RAM 503经由总线504彼此连接。另外，输入/输出接口510也连接到这个总线504。
由键盘、鼠标等组成的输入部分511、由CRT（阴极射线管）、LCD（液晶显示器）等形成的显示器、扬声器等组成的输出部分512、由硬盘等组成的存储部分513和由调制解调器等组成的通信部分514连接到输入/输出接口510。通信部分514经由包括互联网的网络执行通信处理。
另外，根据需要驱动器515连接到输入/输出接口510。可移动介质521（例如，磁盘、光盘、磁光盘或半导体存储器）相应地被装载到内部，并且从它们读取的计算机程序根据需要安装到存储部分513中。
如果上述的一系列处理通过软件执行，则从网络或记录介质安装构成软件的程序。
例如，如图20所示，这个记录介质不仅由被分布为独立于装置主体向用户传递程序并且由磁盘（包括软盘）、光盘（包括CD-ROM（紧凑盘只读存储器）、DVD（数字多功能盘））、磁光盘（包括MD（迷你盘））或记录程序的半导体存储器形成的可移动介质521进行构造，还由以被预先包括在装置主体内的状态分布给用户的记录程序的ROM502或包括在存储部分513中的硬盘进行构造。
由计算机执行的程序可以是对其以时序方式沿在本说明书中解释的顺序执行处理的程序或者可以是对其并行或在所需定时（例如，当执行调用时）执行处理的程序。
另外，在本说明书中，描述记录在记录介质中的程序的步骤包括以时序方式沿所述顺序执行的处理，当然还包括不需要以时序方式进行处理而并行或独立执行的处理。
此外，在本说明书中，该系统是指由多个装置组成的整个装置。
另外，上文中解释为一个装置（或处理部分）的结构可以进行分割和构造为多个装置（或者处理部分）。相反地，上文中解释为多个装置（或者处理部分）的结构可以进行集中并且构造为一个装置（或者处理部分）。此外，当然，上述结构以外的结构可以加到各个装置（或者处理部分）的结构。此外，某装置（或处理部分）的结构的一部分可以包括在另一个装置（或者另一个处理部分）的结构内，只要作为整个系统的结构和操作基本相同即可。也就是说，本发明的实施例不限于上述的实施例并且在不脱离本发明的精神的范围的情况下可以进行各种改变。
例如，上述的图像编码装置100和图像解码装置200能够应用到任何电子设备。将在下面描述它们的例子。
<4.第四实施例>
[电视接收器]
图21是示出使用应用本发明的图像解码装置200的电视接收器的主结构例子的框图。
图21所示的电视接收器1000具有陆地调谐器1013、视频解码器1015、视频信号处理电路1018、图形产生电路1019、面板驱动电路1020和显示面板1021。
陆地调谐器1013经由天线接收陆地模拟广播的广播信号并且将它进行解调以获取视频信号并且将它提供给视频解码器1015。视频解码器1015对从陆地调谐器1013提供的视频信号执行解码处理并且将获得的数字成分信号提供给视频信号处理电路1018。
视频信号处理电路1018对从视频解码器1015提供的视频数据执行诸如去噪的预定处理并且将获得的视频数据提供给图形产生电路1019。
图形产生电路1019产生由显示面板1021显示的电视节目的视频数据、基于经由网络提供的应用进行处理的图像数据等等并且将产生的视频数据和图像数据提供给面板驱动电路1020。另外，图形产生电路1019还相应地执行产生用于显示用户用于项目选择等等的屏幕的视频数据（图形）并且向面板驱动电路1020提供通过将其重叠在电视节目的视频数据上获得的视频数据的处理。
面板驱动电路1020基于从图形产生电路1019提供的数据驱动显示面板1021并且使得显示面板1021显示电视节目的视频以及上述的各种类型的屏幕。
显示面板1021由LCD（液晶显示器）等等形成并且根据面板驱动电路1020的控制显示电视节目等等的视频。
另外，电视接收器1000还具有音频A/D（模拟/数字）转换电路1014、音频信号处理电路1022、回声取消/音频合成电路1023、音频放大电路1024和扬声器1025。
陆地调谐器1013通过对接收的广播信号进行解调获取视频信号和音频信号二者。陆地调谐器1013将获取的音频信号提供给音频A/D转换电路1014。
音频A/D转换电路1014对从陆地调谐器1013提供的音频信号执行A/D转换处理并且将获得的数字音频信号提供给音频信号处理电路1022。
音频信号处理电路1022对从音频A/D转换电路1014提供的音频数据执行诸如去噪的预定处理并且将获得的音频数据提供给回声取消/音频合成电路1023。
回声取消/音频合成电路1023将从音频信号处理电路1022提供的音频数据提供给音频放大电路1024。
音频放大电路1024对从回声取消/音频合成电路1023提供的音频数据执行D/A转换处理和放大处理并且使得在将音频调整到预定音量以后从扬声器1025进行输出。
此外，电视接收器1000还具有数字调谐器1016和MPEG解码器1017。
数字调谐器1016经由天线接收数字广播（陆地数字广播、BS（广播卫星）/CS（通信卫星）数字广播）的广播信号并且对它进行解调以获取MPEG-TS（运动图像专家组传输流）并且将它提供给MPEG解码器1017。
MPEG解码器1017解除向从数字调谐器1016提供的MPEG-TS给出的扰乱并且提取包括电视节目的数据的流作为再现主题（观看主题）。MPEG解码器1017对构造提取的流的音频包进行解码并且将获得的音频数据提供给音频信号处理电路1022。此外，它对构造该流的视频包进行解码并且将获得的视频数据提供给视频信号处理电路1018。另外，MPEG解码器1017经由在附图中未示出的通道将从MPEG-TS提取的EPG（电子节目指南）数据提供给CPU 1032。
电视接收器1000使用上述的图像解码装置200作为以这种方式对视频包进行解码的MPEG解码器1017。从广播站等等发送的MPEG-TS由图像编码装置100进行编码。
MPEG解码器1017通过使用从图像编码装置100提供的编码的数据提取的逐类滤波器系数根据类别对解码的图像的各个像素执行恰当滤波器处理（强解块滤波器、弱解块滤波器或自适应滤波器），这与图像解码装置200的情况类似。因此，MPEG解码器1017能够更加有效地执行滤波器处理。
与从视频解码器1015提供的视频数据的情况类似，在视频信号处理电路1018中对从MPEG解码器1017提供的视频数据执行预定处理。在图形产生电路1019中，产生的视频数据等等相应地进行重叠。所得的视频数据经由面板驱动电路1020提供给显示面板1021并且显示其图像。
与从音频A/D转换电路1014提供的音频数据的情况类似，在音频信号处理电路1022中对从MPEG解码器1017提供的音频数据执行预定处理。音频数据经由回声取消/音频合成电路1023被提供给音频放大电路1024并且执行D/A转换处理和放大处理。结果，调整到预定音量的音频从扬声器1025输出。
另外，电视接收器1000还具有麦克风1026和A/D转换电路1027。
A/D转换电路1027接收通过在电视接收器1000中设置的麦克风1026输入的用户的音频的信号作为音频语音之一并且对接收的音频信号执行A/D转换处理以将获得的数字音频数据提供给回声取消/音频合成电路1023。
如果电视接收器1000的用户（用户A）的音频数据从A/D转换电路1027进行提供，则回声取消/音频合成电路1023对用户A的音频数据执行回声取消并且使得通过与其它音频数据等等进行合成获得的音频数据经由音频放大电路1024从扬声器1025进行输出。
此外，电视接收器1000还具有音频编解码器1028、内部总线1029、SDRAM（同步动态随机访问存储器）1030、闪存1031、CPU1032、USB（通用总线）I/F 1033和网络I/F 1034。
A/D转换电路1027接收通过设置在电视接收器1000内的麦克风1026输入的用户的音频的信号作为音频语音之一并且对接收的音频信号执行A/D转换处理以将获得的数字音频数据提供给音频编解码器1028。
音频编解码器1028将从A/D转换电路1027提供的音频数据转换成经由网络进行发送的预定格式的数据并且经由内部总线1029将它提供给网络I/F 1034。
网络I/F 1034经由附连到网络端子1035的电缆连接到网络。例如，网络I/F 1034将从音频编解码器1028提供的音频数据发送到连接到网络的另一个装置。另外，网络I/F 1034经由网络端子1035接收例如从经由网络连接的另一个装置发送的音频数据，并且经由内部总线1029将它提供给音频编解码器1028。
音频编解码器1028将从网络I/F 1034提供的音频数据转换成预定格式的数据并且将它提供给回声取消/音频合成电路1023。
回声取消/音频合成电路1023对从音频编解码器1028提供的音频数据执行回声取消并且使得通过与其它音频数据等进行合成获得的音频的数据经由音频放大电路1024进行输出。
SDRAM 1030存储CPU 1032执行处理所需的各种类型的数据。
闪存1031存储由CPU 1032运行的程序。由CPU 1032在预定定时（例如，电视接收器1000的激活定时）读取存储在闪存1031中的程序。在闪存1031中还存储了经由数字广播获取的EPG数据、经由网络从预定服务器获取的数据、等等。
例如，在闪存1031中存储了包括基于CPU 1032的控制从预定服务器经由网络获取的内容数据的MPEG-TS。例如，基于CPU 1032的控制，闪存1031经由内部总线1029将MPEG-TS提供给MPEG解码器1017。
与从数字调谐器1016提供的MPEG-TS的情况类似，MPEG解码器1017处理MPEG-TS。通过这种方式，电视接收器1000经由网络接收由视频、音频等组成的内容数据以通过使用MPEG解码器1017对它进行解码，并且能够显示其视频并且输出音频。
另外，电视接收器1000还具有光接收器1037，用于光学接收从遥控器1051发送的红外信号。
光接收器1037光学接收来自遥控器1051的红外信号并且将通过解调获得的表示用户操作的内容的控制码输出到CPU 1032。
CPU 1032运行存储在闪存1031中的程序并且根据从光接收器1037提供的控制码等等控制整个电视接收器1000的操作。CPU 1032经由附图中未示出的通道连接到电视接收器1000的各个部分。
USB I/F 1033与电视接收器1000之外并且经由附连到USB端子1036的USB电缆进行连接的设备执行数据发送和接收。网络I/F 1034经由附连到网络端子1035的电缆连接到网络并且还与连接到网络的各种类型的装置执行音频数据之外的数据的发送和接收。
电视接收器1000使用图像解码装置200作为MPEG解码器1017并且由此能够更加有效地执行滤波器处理。结果，电视接收器1000能够抑制经由天线接收的广播信号和经由网络获取的内容数据的解码处理的运算量和功耗的增加，并且能够以更低开销实现实时处理。
<5.第五实施例>
[蜂窝电话]
图22是示出使用应用本发明的图像编码装置100和图像解码装置200的蜂窝电话的主结构例子的框图。
图22所示的蜂窝电话1100具有用于以整体方式控制各个部分的控制器1150、供电电路部分1151、操作输入控制器1152、图像编码器1153、相机I/F部分1154、LCD控制器1155、图像解码器1156、复用器/解复用器1157、记录/再现部分1162、调制/解调电路部分1158和音频编解码器1159。它们经由总线1160进行彼此连接。
另外，蜂窝电话1100具有操作键1119、CCD（电荷耦合器件）相机1116、液晶显示器1118、存储部分1123、发送/接收电路部分1163、天线1114、麦克风1121和扬声器1117。
当通过用户的操作使得电话结束并且电源键变成导通时，电源电路部分1151从电池组向各个部分提供电力以由此将蜂窝电话1100激励到工作状态。
蜂窝电话1100基于由CPU、ROM、RAM等等构成的主控制器1150的控制执行各种类型的操作（例如，音频信号的发送/接收、电邮和图像数据的发送/接收、图像拍摄、或者各种模式（例如，音频电话呼叫模式或数据通信模式）的数据记录）。
例如，在音频电话呼叫模式下，蜂窝电话1100通过音频编解码器1159将由麦克风1121收集的音频信号转换成数字音频数据。然后，蜂窝电话1100通过调制/解调电路部分1158对它执行扩谱处理并且通过发送/接收电路部分1163执行数字-模拟转换处理和频率转换处理。蜂窝电话1100经由天线1114将通过转换处理获得的传输信号发送到在附图中未示出的基站。被发送到基站的传输信号（音频信号）经由公共电话网被提供给作为电话呼叫方的蜂窝电话。
另外，例如，在音频电话呼叫模式下，蜂窝电话1100通过发送/接收电路部分1163对由天线1114接收的接收的信号进行放大并且执行频率转换处理和模拟-数字转换处理。然后，蜂窝电话1100通过调制/解调电路部分1158执行解扩谱处理并且通过音频编解码器1159将该信号转换成模拟音频信号。蜂窝电话1100从扬声器1117输出通过转换获得的模拟音频信号。
此外，例如，在数据通信模式下发送电邮的情况下，蜂窝电话1100在操作输入控制器1152中接收通过操作键1119的操作输入的电邮的文本数据。蜂窝电话1100在主控制器1150中处理文本数据以使得该数据经由LCD控制器1155在液晶显示器1118上显示为图像。
另外，蜂窝电话1100在主控制器1150中基于由操作输入控制器1152接收的文本数据、用户命令等等产生电邮数据。蜂窝电话1100通过调制/解调电路部分1158对电邮数据执行扩谱处理并且通过发送/接收电路部分1163执行数字-模拟转换处理和频率转换处理。蜂窝电话1100经由天线1114向附图中未示出的基站发送通过转换处理获得的传输信号。被发送到基站的传输信号（电邮）经由网络、邮件服务器等等提供给预定地址。
另外，例如，在数据通信模式下接收电邮的情况下，蜂窝电话1100通过发送/接收电路部分1163经由天线1114接收从基站发送的信号以对它进行放大并且执行频率转换处理和模拟-数字转换处理。蜂窝电话1100通过调制/解调电路部分1158对接收的信号执行解扩谱处理以恢复原始电邮数据。蜂窝电话1100经由LCD控制器1155在液晶显示器1118上显示恢复的电邮数据。
蜂窝电话1100还可以经由记录/再现部分1162将接收的电邮数据记录（存储）到存储部分1123中。
这个存储部分1123是任何可重写存储介质。存储部分1123可以是例如诸如RAM或内置闪存的半导体存储器、或者可以是硬盘，或者可以是诸如磁盘、磁光盘、光盘、USB存储器或记忆卡的可移动介质。当然，存储部分1123可以是与它们不同的东西。
另外，例如，在数据通信模式下发送图像数据的情况下，蜂窝电话1100通过CCD相机116通过成像产生图像数据。CCD相机1116具有诸如透镜和光圈的光学装置和作为光电转换元件的CCD。CCD相机1116执行主题的成像并且将接收的光的强度转换成电信号以产生主题的图像的图像数据。CCD相机1116通过图像编码器1153经由相机I/F部分1154对图像数据进行编码以将它转换成编码的图像数据。
蜂窝电话1100使用上述的图像编码装置100作为执行这个处理的图像编码器1153。与图像编码装置100的情况类似，图像编码器1053执行像素值的分类并且执行与该类对应的恰当滤波器处理（强解块滤波器、弱解块滤波器或者自适应滤波器）。这使得图像编码器1053以高编码效率更加有效地执行编码。
此时，蜂窝电话1100在音频编解码器1159中在由CCD相机1116执行的成像过程中执行由麦克风1121收集的音频的模拟-数字转换并且执行编码。
蜂窝电话1100通过预定系统在复用器/解复用器1157中对从图像编码器1153提供的编码的图像数据和从音频编解码器1159提供的数字音频数据进行复用。蜂窝电话1100通过调制/解调电路部分1158对这样所得的复用的数据执行扩谱处理并且通过发送/接收电路部分1163执行数字-模拟转换处理和频率转换处理。蜂窝电话1100经由天线1114向附图中未示出的基站发送通过转换处理获得的传输信号。被发送到基站的传输信号（图像数据）经由网络等等被提供给通信对方。
如果图像数据没有进行发送，则蜂窝电话1100还可以经由LCD控制器1155而不经由图像编码器1153在液晶显示器1118上显示由CCD相机1116产生的图像数据。
另外，例如，在数据通信模式下接收链接到简化的网页等等的运动图像文件的数据的情况下，蜂窝电话1100通过发送/接收电路部分1163经由天线1114接收从基站发送的信号并且对它进行放大。此外，蜂窝电话1100执行频率转换处理和模拟-数字转换处理。蜂窝电话1100通过调制/解调电路部分1158对接收的信号执行解扩谱处理以恢复原始复用的数据。蜂窝电话1100在复用器/解复用器1157中对复用的数据进行分离以将它划分成编码的图像数据和音频数据。
蜂窝电话1100在图像解码器1156中通过对编码的图像数据进行解码产生再现运动图像数据并且经由LCD控制器1155将它在液晶显示器1118上进行显示。由此，例如，包括在链接到简化网页的运动图像文件中的运动图像数据在液晶显示器1118上进行显示。
蜂窝电话1100使用上述的图像解码装置200作为执行这个处理的图像解码器1156。也就是说，与图像解码装置200的情况类似，图像解码器1156执行像素值的分类并且执行与该类对应的恰当滤波器处理（强解块滤波器、弱解块滤波器或自适应滤波器）。因此，图像解码器1156能够以高编码效率更加有效地执行解码。
此时，蜂窝电话1100在音频编解码器1159中将数字音频数据转换成模拟音频信号并且同时将它从扬声器1117进行输出。由此，例如，包括在链接到简化网页的运动图像文件中的音频数据被再现。
与电邮的情况类似，蜂窝电话1100还可以经由记录/再现部分1162将链接到简化网页等等的接收的数据记录（存储）到存储部分1123中。
另外，蜂窝电话1100能够分析由CCD相机1116通过成像获得的二维码并且在主控制器1150中获取记录在二维码中的信息。
此外，蜂窝电话1100能够通过红外通信部分1181通过红外技术与外部设备进行通信。
通过使用图像编码装置100作为图像编码器1153，蜂窝电话1100能够抑制例如对在CCD相机1116中生成的图像数据进行编码并且进行发送的运算量和功耗的增加，并且能够以更低开销实现实时处理。
另外，通过使用图像解码装置200作为图像解码器1156，蜂窝电话1100能够抑制例如对链接到简化网页等等的运动图像文件的接收数据（编码的数据）进行解码的运算量和功耗的增加，并且能够以更低开销实现实时处理。
尽管在上文中解释了蜂窝电话1100使用CCD相机1116，但是可以使用利用CMOS（互补金属氧化物半导体）的图像传感器（CMOS图像传感器）以替代这个CCD相机1116。同样在这种情况下，蜂窝电话1100能够执行主题的成像并且产生主题的图像的图像数据，这与使用CCD相机1116的情况类似。
另外，尽管在上文中该装置被解释为蜂窝电话1100，但是与蜂窝电话1100的情况类似图像编码装置100和图像解码装置200可以应用到任何装置，只要该装置是具有与这个蜂窝电话1100类似的成像功能和通信功能的一个装置（例如，PDA（个人数字助理）、智能电话、UMPC（超级移动个人计算机）、上文本和笔记本个人计算机）即可。
<6.第六实施例>
[硬盘记录器]
图23是示出使用应用本发明的图像编码装置100和图像解码装置200的硬盘记录器的主结构例子的框图。
图23中所示的硬盘记录器（HDD记录器）1200是在内置硬盘中存储包括在由调谐器接收并且从卫星或陆地天线等等发送的广播信号（电视信号）中的广播节目的音频数据和视频数据并且根据用户的命令定时向用户提供存储的数据的装置。
硬盘记录器1200能够例如从广播信号提取音频数据和视频数据并且相应地对它们进行解码以将它们存储到内置硬盘中。另外，硬盘记录器1200还可以例如经由网络从另一个装置获取音频数据和视频数据并且相应地对它们进行解码以将它们存储在内置硬盘中。
此外，硬盘记录器1200能够对例如记录在内置硬盘中的音频数据和视频数据进行解码并且将解码的数据提供给监视器1260。然后，硬盘记录器1200能够使得它的图像在监视器1260的屏幕上进行显示并且使得它的音频从监视器1260的扬声器进行输出。另外，硬盘记录器1200能够例如对从经由调谐器获取的广播信号提取的音频数据和经由网络从另一个装置获取的视频数据或者音频数据和视频数据进行解码并且将它们提供给监视器1260。然后，硬盘记录器1200能够使得它的图像在监视器1260的屏幕上进行显示并且使得它的音频从监视器1260的扬声器进行输出。
当然，其它类型的操作也是可行的。
如图23所示，硬盘记录器1200具有接收器1221、解调器1222、解复用器1223、音频解码器1224、视频解码器1225和记录器控制器1226。硬盘记录器1200还具有EPG数据存储器1227、程序存储器1228、工作存储器1229、显示转换器1230、OSD（同屏显示）控制器1231、显示控制器1232、记录/再现部分1233、D/A转换器1234和通信部分1235。
另外，显示转换器1230具有视频编码器1241。记录/再现部分1233具有编码器1251和解码器1252。
接收器1221接收来自遥控器（未示出）的红外信号并且将它转换成电信号以将它输出到记录器控制器1226。记录器控制器1226例如由微处理器等等进行构造并且根据存储在程序存储器1228中的程序执行各种处理。记录器控制器1226根据此时需要使用工作存储器1229。
通信部分1235连接到网络并且经由网络与另一个装置执行通信处理。例如，通信部分1235由记录器控制器1226进行控制。它与调谐器（未示出）进行通信并且主要将通道选择控制信号输出到调谐器。
解调器1222对从调谐器提供的信号进行解调并且将它输出到复用器1223。解复用器1223将从解调器1222提供的数据分解成音频数据、视频数据和EPG数据并且分别将它们输出到音频解码器1224、视频解码器1225或记录器控制器1226。
音频解码器1224对输入的音频数据进行解码并且将它输出到记录/再现部分1233。视频解码器1225对输入的视频数据进行解码并且将它输出到显示转换器1230。记录器控制器1226将输入的EPG数据提供给EPG数据存储器1227以进行存储。
显示转换器1230通过视频编码器1241将从视频解码器1225或记录器控制器1226提供的视频数据编码成例如NTSC（国家电视标准委员会）制式的视频数据并且将它输出到记录/再现部分1233。另外，显示转换器1230将从视频解码器1225或记录器控制器1226提供的视频数据的屏幕的尺寸转换成与监视器1260的尺寸对应的尺寸。然后，显示转换器1230通过视频编码器1241将视频数据转换成NTSC制式的视频数据并且将它转换成模拟信号以将它输出到显示控制器1232。
在记录器控制器1226的控制之下，显示控制器1232将由OSD（同屏显示）控制器1231输出的OSD信号重叠在从显示转换器1230输入的视频信号上，并且将所得信号输出到监视器1260的显示以进行显示。
另外，在通过D/A转换器1234被转换成模拟信号以后，由音频解码器1224输出的音频数据被提供给监视器1260。
记录/再现部分1233具有硬盘作为记录视频数据、音频数据等等的存储介质。
记录/再现部分1233通过编码器1251对例如从音频解码器1224提供的音频数据进行编码。另外，记录/再现部分1233通过编码器1251对从显示转换器1230的视频编码器1241提供的视频数据进行编码。记录/再现部分1233通过复用器将音频数据的编码数据与视频数据的编码数据进行合成。记录/再现部分1233通过信道编码对合成的数据进行放大并且经由记录头将该数据写入硬盘。
记录/再现部分1233经由再现头对记录在硬盘中的数据进行再现并且对它进行放大以通过解复用器将该数据分解成音频数据和视频数据。记录/再现部分1233通过解码器1252对视频数据和音频数据进行解码。记录/再现部分1233执行解码的音频数据的D/A转换并且将转换的数据输出到监视器1260的扬声器。另外，记录/再现部分1233执行解码的视频数据的D/A转换并且将转换的数据输出到监视器1260的显示。
记录器控制器1226基于由来自遥控器的经由接收器1221接收的红外信号指示的用户命令从EPG数据存储器1227读取最新EPG数据并且将它提供给OSD控制器1231。OSD控制器1231产生与输入EPG数据关联的图像数据并且将它输出到显示控制器1232。显示控制器1232将从OSD控制器1231输入的视频数据输出到监视器1260的显示器以进行显示。由此，EPG（电子节目指南）在监视器1260的显示器上进行显示。
另外，硬盘记录器1200能够获取经由例如互联网的网络从另一个装置提供的各种数据（例如，视频数据、音频数据或EPG数据）。
通信部分1235由记录器控制器1226进行控制。它获取经由网络从另一个装置发送的诸如视频数据、音频数据和EPG数据的编码数据并且将它提供给记录器控制器1226。记录器控制器1226将例如获取的视频数据和音频数据的编码数据提供给记录/再现部分1233以将它存储在硬盘中。此时，记录器控制器1226和记录/再现部分1233可以根据需要执行例如重编码的处理。
另外，记录器控制器1226对获取的视频数据和音频数据的编码数据进行解码并且将获得的视频数据提供给显示转换器1230。显示转换器1230对从记录器控制器1226提供的视频数据进行处理并且经由显示控制器1232将它提供给监视器1260以使得对它的图像进行显示，这与从视频解码器1225提供的视频数据类似。
另外，与这个图像显示相关联，记录器控制器1226可以经由D/A转换器1234将解码的音频数据提供给监视器1260并且使得它的音频从扬声器进行输出。
此外，记录器控制器1226对获取的EPG数据的编码数据进行解码并且将解码的EPG数据提供给EPG数据存储器1227。
上述的硬盘记录器1200使用图像解码装置200作为视频解码器1225、解码器1252以及记录器控制器1226中的内置解码器。即，与图像解码装置200的情况类似，视频解码器1225、解码器1252和记录器控制器1226中的内置解码器执行像素值的分类并且执行与该类对应的恰当滤波器处理（强解块滤波器、弱解块滤波器或者自适应滤波器）。因此，视频解码器1225、解码器1252和记录器控制器1226中的内置解码器能够以高编码效率更加有效地执行解码。
因此，硬盘记录器1200可以抑制例如由调谐器和通信部分1235执行的视频数据（编码数据）的接收和由记录/再现部分1233执行的来自硬盘的视频数据（编码数据）的再现的解码的运算量和功耗的增加，并且能够以更低开销实现实时处理。
另外，硬盘记录器1200使用图像编码装置100作为编码器1251。因此，与图像编码装置100的情况类似，编码器1251执行像素值的分类并且执行与该类对应的恰当滤波器处理（强解块滤波器、弱解块滤波器或自适应滤波器）。因此，编码器1251能够以高编码效率更加有效地执行编码。
因此，硬盘记录器1200能够抑制例如在硬盘中记录编码数据的运算量和功耗的增加，并且能够以更低开销实现实时处理。
尽管在上文中描述了硬盘记录器1200在硬盘中记录视频数据和音频数据，但是记录介质可以是任何介质。图像编码装置100和图像解码装置200还可应用到使用硬盘以外的记录介质（例如，闪存、光盘或录像带）的记录器，这与上述的硬盘记录器1200的情况类似。
<7.第七实施例>
[相机]
图24是示出使用应用本发明的图像编码装置100和图像解码装置200的相机的主结构例子的框图。
图24所示的相机1300执行主题的成像并且使得主题的图像在LCD 1316上进行显示。此外，相机1300将它转换成图像数据并且将它记录在记录介质1333中。
透镜块1311使得光（即，主题的视频）入射在CCD/CMOS 1312上。CCD/CMOS 1312是使用CCD或CMOS的图像传感器。它将接收的光的强度转换成电信号并且将它提供给相机信号处理器1313。
相机信号处理器1313将从CCD/CMOS 1312提供的电信号转换成Y、Cr和Cb的色差信号并且将它们提供给图像信号处理器1314。在控制器1321的控制之下，图像信号处理器1314对从相机信号处理器1313提供的图像信号执行预定图像处理并且通过编码器1341对图像信号进行编码。图像信号处理器1314将通过编码图像信号产生的编码数据提供给解码器1315。此外，图像信号处理器1314获取在同屏显示器（OSD）1320中产生的用于显示的数据并且将它提供给解码器1315。
在上述的处理中，相机信号处理器1313相应地利用经由总线1317进行连接的DRAM（动态随机访问存储器）1318并且使得DRAM 1318根据需要保持图像数据、通过编码图像数据获得的编码数据、等等。
解码器1315对从图像信号处理器1314提供的编码数据进行解码并且将获得的图像数据（解码的图像数据）提供给LCD 1316。另外，解码器1315将从图像信号处理器1314提供的用于显示的数据提供给LCD 1316。LCD 1316相应地合成从解码器1315提供的解码的图像数据的图像与用于显示的数据的图像并且显示合成的图像。
同屏显示器1320在控制器1321的控制之下经由总线1317将由符号、字符或数字构成的用于显示的数据（例如，菜单屏幕和图标）输出到图像信号处理器1314。
控制器1321基于指示由用户使用操作部分1322命令的内容的信号执行各种处理。此外，控制器1321经由总线1317控制图像信号处理器1314、DRAM 1318、外部接口1319、同屏显示器1320、媒体驱动器1323、等等。在闪存ROM 1324中存储了控制器1321执行各种处理所需的程序、数据等等。
例如，替代图像信号处理器1314和解码器1315，控制器1321能够对存储在DRAM 1318中的图像数据进行编码并且对存储在DRAM1318中的编码数据进行解码。此时，控制器1321可以通过与图像信号处理器1314和解码器1315的编码和解码系统相同的系统执行编码和解码处理，或者可以通过与图像信号处理器1314和解码器1315不兼容的系统执行编码和解码处理。
另外，例如，如果从操作部分1322命令图像打印的启动，则控制器1321从DRAM 1318读取图像数据并且经由总线1317将它提供给连接外部接口1319的打印机1334以进行打印。
此外，例如，如果从操作部分1322命令图像记录，则控制器1321从DRAM 1318读取编码数据并且经由总线1317将它提供给加载到媒体驱动器1323中的记录介质1333以进行存储。
记录介质1333是任何可读/可写可移动介质（例如，磁盘、磁光盘、光盘或半导体存储器）。当然，作为可移动介质的记录介质1333的类型也是任意的。它可以是卡带装置或者可以是盘或者可以是记忆卡。当然，它可以是非接触IC卡等等。
另外，媒体驱动器1323和记录介质1333可以进行集成并且例如通过如内置硬盘驱动器、SSD（固态驱动器）等等的非便携式存储介质进行构造。
外部接口1319例如通过USB输入/输出端子进行构造并且当打印图像时连接到打印机1334。另外，根据需要驱动器1331连接到外部接口1319并且诸如磁盘、光盘或磁光盘的可移动介质1332被相应地进行加载。根据需要从它们读取的计算机程序安装在闪存ROM 1324中。
此外，外部接口1319具有连接到诸如LAN和互联网的预定网络的网络接口。控制器1321能够根据例如来自操作部分1322的命令从DRAM 1318读取编码数据并且将它从外部接口1319提供给经由网络连接的另一个装置。另外，控制器1321能够通过外部接口1319获取经由网络从另一个装置提供的编码数据和图像数据并且使得它被保持在DRAM 1318中并且被提供给图像信号处理器1314。
上述相机1300使用图像解码装置200作为解码器1315。即，与图像解码装置200的情况类似，解码器1315执行像素值的分类并且执行与该类对应的恰当滤波器处理（强解块滤波器、弱解块滤波器或自适应滤波器）。因此，解码器1315能够以高编码效率更加有效地执行解码。
因此，相机1300能够抑制例如读取在CCD/CMOS 1312中产生的图像数据和来自DRAM 1318或记录介质1333的视频数据的编码数据以及经由网络获取视频数据的编码数据的运算量和功耗的增加，并且能够以更低开销实现实时处理。
另外，相机1300使用图像编码装置100作为编码器1341。与图像编码装置100的情况类似，编码器1341执行像素值的分类并且执行与该类对应的恰当滤波器处理（强解块滤波器、弱解块滤波器或自适应滤波器）。因此，编码器1341可以以高编码效率更加有效地执行编码。
因此，相机1300可以抑制例如在DRAM 1318和记录介质1333中记录编码数据和向另一个装置提供编码数据的运算量和功耗的增加，并且能够以更低开销实现实时处理。
图像解码装置200的解码方法可以应用到由控制器1321执行的解码处理。类似地，图像编码装置100的编码方法可以应用到由控制器1321执行的编码处理。
另外，由相机1300成像的图像数据可以是运动图像或者可以是静止图像。
当然，图像编码装置100和图像解码装置200还可以应用到上述装置之外的装置和系统。
另外，宏块的尺寸是任意的。本发明可以应用到例如图7所示的每个尺寸的宏块。例如，本发明不仅可以应用到如普通16×16像素的宏块，还可应用到如32×32像素的扩展的宏块（扩展宏块）。
在图7中，在上部行上，从左侧顺序示出了由32×32像素组成并且划分成32×32像素、32×16像素、16×32像素和16×16像素的块（分区）的宏块。另外，在中间行上，从左侧顺序示出了由16×16像素组成并且划分成16×16像素、16×8像素、8×16像素和8×8像素的块的块。此外，在下部行上，从左侧顺序示出了划分成8×8像素、8×4像素、4×8像素和4×4像素的块的8×8像素的块。
也就是说，32×32像素的宏块能够按在上部行上显示的32×32像素、32×16像素、16×32像素和16×16像素的块进行处理。
与H.264/AVC系统类似，上部行上的右侧上所示的16×16像素的块能够按中间行上所示的16×16像素、16×8像素、8×16像素和8×8像素的块进行处理。
与H.264/AVC系统类似，中间行上的右侧上所示的8×8像素的块能够按下部行上所示的8×8像素、8×4像素、4×8像素和4×4像素的块进行处理。
这些块被分类成下面三个类。具体地讲，图7的上部行上所示的32×32像素、32×16像素和16×32像素的块将被称作第一类。上部行上右侧上所示的16×16像素的块和中间行上所示的16×16像素、16×8像素和8×16像素的块将被称作第二类。中间行上右侧上所示的8×8像素的块和下部行上所示的8×8像素、8×4像素和4×4像素的块将被称作第三类。
通过采用这种分层结构，关于16×16像素的块和较小块，较大块能够被定义为它的超集并且保持与H.64/AVC系统兼容。
例如，图像编码装置100和图像解码装置200可以逐类计算滤波器系数。另外，例如，图像编码装置100和图像解码装置200可以设置与第一类即块尺寸大于第二类的块尺寸的类对应的滤波器系数，还对第二类设置滤波器系数。此外，例如，图像编码装置100和图像解码装置200可以对过去相同类设置滤波器系数。
通过使用如第一类和第二类的比较大的块尺寸对其执行编码的宏块相对没有包括高频成分。相比较，认为通过使用如第三类的比较小块尺寸对其执行编码的宏块相对包括高频成分。
因此，通过采用不同的块尺寸分别计算与各类对应的滤波器系数，能够实现适于图像拥有的局部特征的编码的性能的增强。
滤波器的抽头的数目也可以逐类而不同。
标号解释
100图像解码装置、111自适应解块滤波器、112滤波器系数计算器、151像素分类器、152强解块滤波器、153弱解块滤波器、154自适应滤波器、200图像解码装置、202无损解码器、206自适应解块滤波器、251滤波器系数缓冲器、252像素分类器、253强解块滤波器、254弱解块滤波器、255自适应滤波器
权利要求书(按照条约第19条的修改)
1.一种图像处理装置，包括：
接收装置，接收包括编码图像的编码数据和加入到编码数据的滤波系数；
滤波系数获取装置，从由所述接收装置接收到的编码数据获取滤波系数；
解码装置，对由所述接收装置接收到的编码数据进行解码从而产生解码图像；
分类装置，根据去除块效应的必要性将由所述解码装置通过对编码数据进行解码而获得的解码图像的每个像素分类成多个类中的任何一个；
解块滤波装置，通过使用预先设定的预定滤波系数，对由所述分类装置分类成去除块效应的必要性高的类的像素执行去除块效应的解块滤波处理；以及
自适应滤波装置，通过使用由所述滤波系数获取装置获取的滤波系数，对由所述分类装置分类成去除块效应的必要性低的类的像素执行用于增强图像质量的自适应滤波处理。
2.根据权利要求1所述的图像处理装置，其中：
作为解块滤波装置，包括：
强解块滤波装置，执行强去除块效应的强解块滤波处理，以及
弱解块滤波装置，执行弱去除块效应的弱解块滤波处理；
所述分类装置将图像的每个像素分类成强去除块效应的必要性高的类、弱去除块效应的必要性高的类以及去除块效应的必要性低的类的三个类中的任何一类；
所述强解块滤波装置对由分类装置分类成强去除块效应的必要性高的类的像素执行强解块滤波处理；
所述弱解块滤波装置对由分类装置分类成弱去除块效应的必要性高的类的像素执行弱解块滤波处理；以及
所述自适应滤波装置对由分类装置分类成去除块效应的必要性低的类的像素执行用于增强图像质量的自适应滤波处理。
3.根据权利要求1所述的图像处理装置，其中，所述分类装置通过使用运动矢量信息或包括宏块模式信息的编码信息执行图像的每个像素的分类。
4.一种图像处理方法，其中：
图像处理装置的接收装置接收包括编码图像的编码数据和加入到编码数据的滤波系数；
所述图像处理装置的滤波系数获取装置从所接收到的编码数据获取滤波系数；
所述图像处理装置的解码装置对所接收到的编码数据进行解码从而产生解码图像；
所述图像处理装置的分类装置根据去除块效应的必要性将通过对编码数据进行解码而获得的解码图像的每个像素分类成多个类中的任何一个；
所述图像处理装置的解块滤波装置通过使用预先设定的预定滤波系数，对分类成去除块效应的必要性高的类的像素执行去除块效应的解块滤波处理；以及
所述图像处理装置的自适应滤波装置通过使用所获取的滤波系数，对分类成去除块效应的必要性低的类的像素执行用于增强图像质量的自适应滤波处理。
5.一种使得计算机充当如下部件的程序：
接收装置，接收包括编码图像的编码数据和加入到编码数据的滤波系数；
滤波系数获取装置，从由所述接收装置接收到的编码数据获取滤波系数；
解码装置，对由所述接收装置接收到的编码数据进行解码从而产生解码图像；
分类装置，根据去除块效应的必要性将由所述解码装置通过对编码数据进行解码而获得的解码图像的每个像素分类成多个类中的任何一个；
解块滤波装置，通过使用预先设定的预定滤波系数，对由所述分类装置分类成去除块效应的必要性高的类的像素执行去除块效应的解块滤波处理；以及
自适应滤波装置，通过使用由所述滤波系数获取装置获取的滤波系数，对由所述分类装置分类成去除块效应的必要性低的类的像素执行用于增强图像质量的自适应滤波处理。
6.一种图像处理装置，包括：
分类装置，根据去除块效应的必要性将图像的每个像素分类成多个类中的任何一个；
滤波系数计算装置，仅计算对所述分类装置所分成的多个类中的去除块效应的必要性低的类执行的自适应滤波的滤波系数；
解块滤波装置，通过使用预先设定的预定滤波系数，对由所述分类装置分类成去除块效应的必要性高的类的像素执行去除块效应的解块滤波处理；
自适应滤波装置，通过使用由所述滤波系数计算装置计算出的滤波系数，对由所述分类装置分类成去除块效应的必要性低的类的像素执行用于增强图像质量的自适应滤波处理；
编码装置，通过对执行了所述解块滤波装置的解块处理和所述自适应滤波装置的自适应滤波处理中的至少任一个的图像进行编码，产生编码数据；
附加装置，将由所述滤波系数计算装置计算的滤波系数附加到通过由所述编码装置对图像进行编码而获得的编码数据；以及
发送装置，发送通过所述附加装置附加了滤波系数的编码数据。
7.根据权利要求6所述的图像处理装置，其中：
作为所述解块滤波装置，包括：
强解块滤波装置，执行强去除块效应的强解块滤波处理，以及
弱解块滤波装置，执行弱去除块效应的弱解块滤波处理；
所述分类装置将图像的每个像素分类成强去除块效应的必要性高的类、弱去除块效应的必要性高的类以及去除块效应的必要性低的类的三个类中的任何一类；
所述强解块滤波装置对由所述分类装置分类成强去除块效应的必要性高的类的像素执行强解块滤波处理；
所述弱解块滤波装置对由所述分类装置分类成弱去除块效应的必要性高的类的像素执行弱解块滤波处理；以及
所述自适应滤波装置对由所述分类装置分类成去除块效应的必要性低的类的像素执行用于增强图像质量的自适应滤波处理。
8.根据权利要求6所述的图像处理装置，其中，
所述分类装置通过使用运动矢量信息或包括宏块模式信息的编码信息执行图像的每个像素的分类。
9.一种图像处理方法，其中：
图像处理装置的分类装置根据去除块效应的必要性将图像的每个像素分类成多个类中的任何一个；
所述图像处理装置的滤波系数计算装置仅计算对所分成的多个类中的去除块效应的必要性低的类执行的自适应滤波的滤波系数；
所述图像处理装置的解块滤波装置通过使用预先设定的预定滤波系数，对分类成去除块效应的必要性高的类的像素执行去除块效应的解块滤波处理；
所述图像处理装置的自适应滤波装置通过使用所计算出的滤波系数，对分类成去除块效应的必要性低的类的像素执行用于增强图像质量的自适应滤波处理；
所述图像处理装置的编码装置通过对执行了解块滤波处理和自适应滤波处理中的至少任一个的图像进行编码，产生编码数据；
所述图像处理装置的附加装置将所计算出的滤波系数附加到通过对图像进行编码而获得的编码数据；以及
所述图像处理装置的发送装置发送附加了滤波系数的编码数据。
10.一种使得计算机充当如下部件的程序：
分类装置，根据去除块效应的必要性将图像的每个像素分类成多个类中的任何一个；
滤波系数计算装置，仅计算对所述分类装置所分成的多个类中的去除块效应的必要性低的类执行的自适应滤波的滤波系数；
解块滤波装置，通过使用预先设定的预定滤波系数，对由所述分类装置分类成去除块效应的必要性高的类的像素执行去除块效应的解块滤波处理；
自适应滤波装置，通过使用由所述滤波系数计算装置计算出的滤波系数，对由所述分类装置分类成去除块效应的必要性低的类的像素执行用于增强图像质量的自适应滤波处理；
编码装置，通过对执行了所述解块滤波装置的解块处理和所述自适应滤波装置的自适应滤波处理中的至少任一个的图像进行编码，产生编码数据；
附加装置，将由所述滤波系数计算装置计算的滤波系数附加到通过由所述编码装置对图像进行编码而获得的编码数据；以及
发送装置，发送通过所述附加装置附加了滤波系数的编码数据。

Claims (10)

1.一种图像处理装置，包括：
分类装置，根据去除块效应的必要性将图像的每个像素分类成多个类中的任何一个；
解块滤波装置，对由分类装置分类成去除块效应的必要性高的类的像素执行去除块效应的解块滤波处理；以及
自适应滤波装置，对由分类装置分类成去除块效应的必要性低的类的像素执行用于增强图像质量的自适应滤波处理。
2.根据权利要求1所述的图像处理装置，其中：
作为解块滤波装置，包括：
强解块滤波装置，执行强去除块效应的强解块滤波处理，以及
弱解块滤波装置，执行弱去除块效应的弱解块滤波处理；
所述分类装置将图像的每个像素分类成强去除块效应的必要性高的类、弱去除块效应的必要性高的类以及去除块效应的必要性低的类的三个类中的任何一类；
所述强解块滤波装置对由分类装置分类成强去除块效应的必要性高的类的像素执行强解块滤波处理；
所述弱解块滤波装置对由分类装置分类成弱去除块效应的必要性高的类的像素执行弱解块滤波处理；以及
所述自适应滤波装置对由分类装置分类成去除块效应的必要性低的类的像素执行用于增强图像质量的自适应滤波处理。
3.根据权利要求1所述的图像处理装置，其中，所述分类装置通过使用运动矢量信息或包括宏块模式信息的编码信息执行图像的每个像素的分类。
4.根据权利要求1所述的图像处理装置，还包括：
滤波系数计算装置，计算用于关于由分类装置分类的每个类的滤波处理的滤波系数，
其中，所述解块滤波装置和所述自适应滤波装置通过使用由滤波系数计算装置计算出的并且对应于所述类中的相应类的滤波系数来执行它们自身的滤波处理。
5.根据权利要求4所述的图像处理装置，还包括：
附加装置，将由滤波系数计算装置计算的滤波系数附加到通过由编码装置对图像进行编码而获得的编码数据，以及
发送装置，发送通过附加装置附加了滤波系数的编码数据。
6.根据权利要求4所述的图像处理装置，其中
所述滤波系数计算装置仅仅计算对去除块效应的必要性低的类执行的自适应滤波器的滤波系数，
所述自适应滤波装置通过使用由所述滤波系数计算装置计算的滤波系数执行自适应滤波，以及
所述解块滤波装置通过使用预先设置的预定滤波系数执行解块滤波。
7.根据权利要求1所述的图像处理装置，还包括：
解码装置，对通过图像的编码获得的编码数据进行解码以产生解码图像，其中
所述分类装置根据去除块效应的必要性将由解码装置对编码数据进行解码获得的解码图像的每个像素分类成多个类中的任何一个；
所述解块滤波装置对由分类装置分类成去除块效应的必要性高的类的像素执行解块滤波处理；以及
所述自适应滤波装置对由分类装置分类成去除块效应的必要性低的类的像素执行自适应滤波处理。
8.根据权利要求7所述的图像处理装置，还包括：
滤波系数获取装置，从编码数据获取滤波系数，其中
所述解块滤波装置通过使用由所述滤波系数获取装置获取的并且对应于去除块效应的必要性高的类的滤波系数，对由分类装置分类成去除块效应的必要性高的类的像素执行解块滤波处理，以及
所述自适应滤波装置通过使用由所述滤波系数获取装置获取的并且对应于去除块效应的必要性低的类的滤波系数，对由分类装置分类成去除块效应的必要性低的类的像素执行自适应滤波处理。
9.一种图像处理方法，其中
图像处理装置的分类装置根据去除块效应的必要性将图像的每个像素分类成多个类中的任何一个；
所述图像处理装置的解块滤波装置对分类成去除块效应的必要性高的类的像素执行去除块效应的解块滤波处理；以及
所述图像处理装置的自适应滤波装置对分类成去除块效应的必要性低的类的像素执行用于增强图像质量的自适应滤波处理。
10.一种使得计算机充当如下部件的程序，
分类装置，根据去除块效应的必要性将图像的每个像素分类成多个类的任何一个；
解块滤波装置，对由分类装置分类成去除块效应的必要性高的类的像素执行去除块效应的解块滤波处理；以及
自适应滤波装置，对由分类装置分类成去除块效应的必要性低的类的像素执行用于增强图像质量的自适应滤波处理。
CN201080059659.4A 2009-12-28 2010-12-17 图像处理装置、方法和程序 Pending CN102714718A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009296949A JP2011139208A (ja) 2009-12-28 2009-12-28 画像処理装置および方法
JP2009-296949 2009-12-28
PCT/JP2010/072736 WO2011081035A1 (ja) 2009-12-28 2010-12-17 画像処理装置および方法、並びに、プログラム

Publications (1)

Publication Number Publication Date
CN102714718A true CN102714718A (zh) 2012-10-03

Family

ID=44226446

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080059659.4A Pending CN102714718A (zh) 2009-12-28 2010-12-17 图像处理装置、方法和程序

Country Status (8)

Country Link
US (1) US20120257681A1 (zh)
EP (1) EP2521356A1 (zh)
JP (1) JP2011139208A (zh)
KR (1) KR20120096519A (zh)
CN (1) CN102714718A (zh)
BR (1) BR112012015216A2 (zh)
RU (1) RU2012125818A (zh)
WO (1) WO2011081035A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104284199A (zh) * 2013-07-11 2015-01-14 Nxp股份有限公司 用降低复杂度的去块效应操作进行视频解码
CN107646194A (zh) * 2015-05-21 2018-01-30 华为技术有限公司 用于视频运动补偿的装置和方法
CN107726991A (zh) * 2017-10-09 2018-02-23 北京航空航天大学 一种基于弱形式的数字图像相关应变场计算方案
CN111010495A (zh) * 2019-12-09 2020-04-14 腾讯科技（深圳）有限公司 一种视频降噪处理方法及装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2351374A1 (en) * 2008-11-25 2011-08-03 Thomson Licensing Methods and apparatus for sparsity-based de-artifact filtering for video encoding and decoding
US9681132B2 (en) 2010-11-24 2017-06-13 Thomson Licensing Dtv Methods and apparatus for adaptive loop filtering in video encoders and decoders
JP5649540B2 (ja) * 2011-09-15 2015-01-07 日本放送協会 動画像符号化装置及びそのプログラム
JP5649539B2 (ja) * 2011-09-15 2015-01-07 日本放送協会 動画像符号化装置及びそのプログラム
JP5789172B2 (ja) * 2011-10-20 2015-10-07 日本放送協会 画像処理装置及びプログラム
JP5913929B2 (ja) * 2011-11-28 2016-05-11 キヤノン株式会社 動画像符号化装置及びその制御方法、コンピュータプログラム
US20140254659A1 (en) 2013-03-11 2014-09-11 Mediatek Inc. Video coding method using at least evaluated visual quality and related video coding apparatus
MX2021001607A (es) 2018-12-07 2021-04-19 Huawei Tech Co Ltd Un codificador, un decodificador y metodos correspondientes de derivacion de la intensidad de limite del filtro de desbloqueo.
CN112637610A (zh) * 2019-09-24 2021-04-09 富士通株式会社 去块滤波器的系数获取装置、方法以及图像编解码装置
CN112004081A (zh) * 2020-06-15 2020-11-27 广东科学技术职业学院 一种视频编码方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006010276A1 (en) * 2004-07-30 2006-02-02 Algolith Inc Apparatus and method for adaptive 3d artifact reducing for encoded image signal
WO2008084745A1 (ja) * 2007-01-09 2008-07-17 Panasonic Corporation 画像符号化装置および画像復号化装置
CN101563926A (zh) * 2006-12-18 2009-10-21 皇家飞利浦电子股份有限公司 图像压缩与解压缩

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8116379B2 (en) * 2004-10-08 2012-02-14 Stmicroelectronics, Inc. Method and apparatus for parallel processing of in-loop deblocking filter for H.264 video compression standard
JPWO2009110160A1 (ja) * 2008-03-07 2011-07-14 株式会社東芝 動画像符号化／復号化方法及び装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006010276A1 (en) * 2004-07-30 2006-02-02 Algolith Inc Apparatus and method for adaptive 3d artifact reducing for encoded image signal
CN101563926A (zh) * 2006-12-18 2009-10-21 皇家飞利浦电子股份有限公司 图像压缩与解压缩
WO2008084745A1 (ja) * 2007-01-09 2008-07-17 Panasonic Corporation 画像符号化装置および画像復号化装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104284199A (zh) * 2013-07-11 2015-01-14 Nxp股份有限公司 用降低复杂度的去块效应操作进行视频解码
CN104284199B (zh) * 2013-07-11 2019-02-01 Nxp股份有限公司 用降低复杂度的去块效应操作进行视频解码方法和装置
CN107646194A (zh) * 2015-05-21 2018-01-30 华为技术有限公司 用于视频运动补偿的装置和方法
CN107646194B (zh) * 2015-05-21 2020-08-07 华为技术有限公司 用于视频运动补偿的装置和方法
CN107726991A (zh) * 2017-10-09 2018-02-23 北京航空航天大学 一种基于弱形式的数字图像相关应变场计算方案
CN107726991B (zh) * 2017-10-09 2020-05-05 北京航空航天大学 一种基于弱形式的数字图像相关应变场计算方案
CN111010495A (zh) * 2019-12-09 2020-04-14 腾讯科技（深圳）有限公司 一种视频降噪处理方法及装置
US12125171B2 (en) 2019-12-09 2024-10-22 Tencent Technology (Shenzhen) Company Limited Video denoising method and apparatus, and storage medium

Also Published As

Publication number Publication date
JP2011139208A (ja) 2011-07-14
KR20120096519A (ko) 2012-08-30
WO2011081035A1 (ja) 2011-07-07
RU2012125818A (ru) 2013-12-27
BR112012015216A2 (pt) 2016-04-05
EP2521356A1 (en) 2012-11-07
US20120257681A1 (en) 2012-10-11

Similar Documents

Publication Publication Date Title
CN102714718A (zh) 图像处理装置、方法和程序
CN103563374B (zh) 图像处理设备及方法
CN102484714B (zh) 图像处理装置和方法
CN110278441B (zh) 图像处理设备和方法
CN102934430A (zh) 图像处理装置和方法
CN104380732A (zh) 图像处理装置及方法
CN102577390A (zh) 图像处理设备和方法
CN103546746A (zh) 图像解码装置、图像解码方法、电视接收机和便携式电话
CN102884790A (zh) 图像处理装置和方法
CN103220512A (zh) 图像处理器和图像处理方法
CN103503453A (zh) 编码装置和编码方法、以及解码装置和解码方法
CN102714734A (zh) 图像处理设备和方法
CN102160379A (zh) 图像处理装置和图像处理方法
JP5556996B2 (ja) 画像処理装置および方法
CN102714716A (zh) 图像处理设备和方法
CN103155564A (zh) 图像处理装置和方法
CN102884791A (zh) 图像处理设备和方法
CN102714735A (zh) 图像处理设备和方法
CN102939759A (zh) 图像处理设备和方法
CN102160380A (zh) 图像处理设备和方法
CN103891284A (zh) 图像处理装置和方法
CN102301718A (zh) 图像处理设备、图像处理方法和程序
WO2011078067A1 (ja) 画像処理装置および方法
CN103283228A (zh) 图像处理装置和方法
CN102696227A (zh) 图像处理设备和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20121003