CN103155564A - 图像处理装置和方法 - Google Patents

图像处理装置和方法 Download PDF

Info

Publication number
CN103155564A
CN103155564A CN2011800483285A CN201180048328A CN103155564A CN 103155564 A CN103155564 A CN 103155564A CN 2011800483285 A CN2011800483285 A CN 2011800483285A CN 201180048328 A CN201180048328 A CN 201180048328A CN 103155564 A CN103155564 A CN 103155564A
Authority
CN
China
Prior art keywords
picture
view data
filter
unit
adaptive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800483285A
Other languages
English (en)
Inventor
佐藤数史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103155564A publication Critical patent/CN103155564A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开涉及用于减少图像编码的工作量的图像处理装置和方法、以及程序。本技术包括：滤波器控制单元，用于根据图像数据是否要通过其他图像数据参照，控制要对图像数据执行的自适应滤波操作；以及滤波操作单元，用于在运动补偿环路中、在滤波器控制单元的控制下，对图像数据执行自适应滤波操作。

Description

图像处理装置和方法
技术领域
本公开涉及图像处理装置和方法，尤其涉及能够减少图像编码工作量的图像处理装置。
背景技术
近年来，为了处理作为数字信息的图像信息并在这样做时实现高效率的信息传输和累积，符合诸如MPEG（运动图像专家组）标准的设备已经在发布信息的广播站以及接收信息的普通家庭中普及，MPEG利用图像信息固有的冗余度，通过正交变换（诸如离散余弦变换）以及运动补偿来压缩图像信息。
特别地，MPEG2（ISO（国际标准化组织）/IEC（国际电子技术委员会）13818-2）被定义为通用图像编码标准，并且可应用于隔行图像和非隔行图像，以及标准分辨率图像和高清晰度图像。目前，MPEG2被用于专业消费者和普通消费者的广阔的应用范围中。根据MPEG2压缩标准，例如向具有720×480像素的标准分辨率的隔行图像分配4Mbps至8Mbps的比特率，向具有1920×1088像素的高分辨率的隔行图像分配18Mbps至22Mbps的比特率。通过这种方式，可以实现高压缩率和高图像质量。
MPEG2主要设计用于适合于广播的高质量图像编码，但是其不兼容比MPEG1低的比特率或者具有更高压缩率的编码标准。随着移动终端日益普及，预期未来对这些编码标准的要求将增大，并且为了满足此要求，已经设置了MPEG4编码标准。就图像编码标准而言，ISO/IEC14496-2标准在1998年12月被批准为国际标准。
此外，目前正在设置称为H.26L（ITU-T（国际电信同盟电信标准化部门）Q6/16VCEG（视频编码专家组））的标准，该标准最初目的是将图像编码用于视频会议。与诸如MPEG2和MPEG4的传统编码方法相比，H.26L在编码和解码时需要更大的计算量，但是已知能实现更高的编码效率。此外，作为MPEG4活动的一部分，通过将H.26L不支持的功能合并到基于H.26L的功能中，而正在将“Joint Model ofEnhanced-Compression Video Coding（增强压缩视频编码）”建立为实现更高编码效率的标准。
在标准化方案中，2003年3月以H.264和MPEG4第10部分（增强视频编码，下面称为AVC）的名称将该标准批准为国际标准。
此外，作为其扩展，于2005年2月将FRExt（保真度范围扩展）设置为标准，FRExt包括专业使用所需的编码工具，例如RGB、4:2:2和4:4:4以及MPEG2中指定的8×8DCT和量化矩阵。这是一种通过使用AVC来更好地表现电影胶片中包含的平滑胶片噪声的编码方法，其目前用于诸如蓝光盘的广阔应用范围。
但是，对以更高压缩率编码的需求日益增加，从而在限制传输容量的现今环境（例如在互联网中）压缩分辨率为4096×2048像素（其为高清晰度图像分辨率的四倍）的图像，或者分配高清图像。因此，通过ITU-T下的VCEG，对提高编码效率的研究仍然在继续。
当通过有限带宽的线路（例如互联网）传输具有更高分辨率（例如4000×2000）的图像或者现有的高清图像时，通过AVC实现的压缩率不够高。考虑到这一点，ITU-T下称为VCEG（视频编码专家组）的团体试图进一步提高编码效率（例如，参见非专利文献1）。
非专利文献1提议包括自适应环路滤波器（ALF）的方法作为提高编码效率的方法。
引用列表
非专利文献
非专利文献1：Takeshi.Chujoh,et al.,“Block-based Adaptive Loop Filter”ITU-T SG16 Q6 VCEG Contribution,AI18,Germany,July,2008
发明内容
本发明要解决的技术问题
但是，对序列中所有画面和条带使用非专利文献中提议的自适应环路滤波器需要庞大的计算量，并且有可能增加图像编码操作工作量。
考虑到这些情况而构思了本公开，并且本公开的目的是在抑制图像质量恶化加剧的同时，减少自适应环路滤波器的工作量，从而抑制由于自适应环路滤波操作引起的图像编码操作工作量的增加。
技术问题的解决方案
本公开的方案是一种图像处理装置，包括：滤波器控制单元，用于根据图像数据是否要被其他图像数据参照，来控制要对图像数据执行的自适应滤波操作；以及滤波操作单元，用于在运动补偿环路中、在滤波器控制单元的控制下，对图像数据执行自适应滤波操作。
当在编码所述图像数据的操作中、受到自适应滤波操作的图像数据要被其他图像数据参照时，滤波器控制单元可以控制执行自适应滤波操作。当在编码所述图像数据的操作中、受到自适应滤波操作的述图像数据不被其他图像数据参照时，滤波器控制单元可以控制不执行自适应滤波操作。
图像数据可以是画面数据，并且滤波器控制单元可以根据画面的类型控制用于图像数据的自适应滤波操作。
当所述图像数据是I画面时，滤波器控制单元可以控制执行自适应滤波操作。当所述图像数据是P画面和B画面时，滤波器控制单元可以控制不执行自适应滤波操作。
当图像数据是I画面或P画面时，滤波器控制单元可以控制执行自适应滤波操作。当图像数据是B画面时，滤波器控制单元可以控制不执行自适应滤波操作。
当图像数据是包含分等级的B画面图像数据中的I画面和P画面或者要被参照的B画面时，滤波器控制单元可以控制执行自适应滤波操作。当图像数据是包含分等级的B画面的图像数据中不被参照的B画面时，滤波器控制单元可以控制不执行自适应滤波操作。
图像数据可以是条带数据，并且滤波器控制单元可以根据条带的类型控制用于图像数据的自适应滤波操作。
当图像数据是I条带时，滤波器控制单元可以控制执行自适应滤波操作。当图像数据是P条带和B条带时，滤波器控制单元可以控制不执行自适应滤波操作。
当图像数据是I条带或P条带时，滤波器控制单元可以控制执行自适应滤波操作。当图像数据是B画面时，滤波器控制单元可以控制不执行自适应滤波操作。
当图像数据是包含分等级的B条带的图像数据中的I条带和P条带或者要被参照的B条带时，滤波器控制单元可以控制执行自适应滤波操作。当图像数据是包含分等级的B画面的图像数据中不被参照的B条带时，滤波器控制单元可以控制不执行自适应滤波操作。
所述图像处理装置进一步包括编码单元，用于将受到自适应滤波操作的图像数据编码。编码单元可以将自适应滤波操作的滤波器系数以及指示是否执行自适应滤波操作的标志信息编码，并将得到的数据加入图像数据的编码数据。
滤波器控制单元可以根据图像数据是否要被其他图像数据参照，来控制自适应滤波操作的滤波器系数的抽头长度。滤波操作单元可以利用具有由滤波器控制单元控制的抽头长度的滤波器系数，对图像数据执行自适应滤波操作。
当在编码图像数据的操作中、受到自适应滤波操作的图像数据要被其他图像数据参照时，滤波器控制单元可以执行控制以增加抽头长度。当在编码图像数据的操作中、受到自适应滤波操作的图像数据不被他图像数据参照时，滤波器控制单元可以执行控制以缩短抽头长度。
本公开的方案是一种图像处理方法，包括：根据图像数据是否要被其他图像数据参照，控制要对图像数据执行的自适应滤波操作，该控制通过图像处理装置的滤波器控制单元执行；以及在运动补偿环路中对图像数据执行自适应滤波操作，自适应滤波操作由图像处理装置的滤波操作单元执行。
在本公开的方案中，根据图像数据的每个预定单位数据的类型控制要对图像数据执行的自适应滤波操作，并且在运动补偿环路中对图像数据执行自适应滤波操作。
本发明的有益效果
根据本公开，可以处理图像。特别地，可以在抑制图像质量恶化加剧的同时减少图像编码操作的工作量。
附图说明
图1是示出根据AVC编码方法输出压缩图像信息的图像编码装置的方框图。
图2是示出根据AVC编码方法接收压缩图像信息的输入的图像解码装置的方框图。
图3是用于说明去块滤波器的操作原理的示意图。
图4是用于说明定义Bs的方法的示意图。
图5是用于说明去块滤波器的操作原理的示意图。
图6是示出indexA和indexB与α和β的值之间对应关系的示例的示意图。
图7是示出Bs、indexA和tc0之间对应关系的示例的示意图。
图8是示出使用自适应环路滤波器的图像编码装置的一部分的示例性结构的方框图。
图9是示出使用自适应环路滤波器的图像解码装置的一部分的示例性结构的方框图。
图10是示出图像编码装置的典型示例性结构的方框图。
图11是示出自适应环路滤波器的典型示例性结构的方框图。
图12是用于说明通过自适应环路滤波器执行的开/关控制的示例的示意图。
图13是用于说明通过自适应环路滤波器执行的开/关控制的另一示例的示意图。
图14是用于说明条带头的语法的示例的示意图。
图15是用于说明自适应环路滤波器的参数语法的示例的示意图。
图16是从图15继续、用于说明自适应环路滤波器的参数语法的示例的示意图。
图17是从图16继续，用于说明自适应环路滤波器的参数语法的示例的示意图。
图18是用于说明编码操作的示例性流程的流程图。
图19是用于说明自适应环路滤波操作的示例性流程的流程图。
图20是示出自适应环路滤波器的另一示例性结构的方框图。
图21是用于说明自适应环路滤波操作的另一示例性流程的流程图。
图22是用于说明宏块的示例的示意图。
图23是示出个人计算机的典型示例性结构的方框图。
图24是示出电视接收器的典型示例性结构的方框图。
图25是示出便携电话装置的典型示例性结构的方框图。
图26是示出硬盘记录器的典型示例性结构的方框图。
图27是示出相机的典型示例性结构的方框图。
具体实施方式
下面是用于实现本技术（下面称为实施例）的模式的描述。按照以下顺序进行说明。
1.第一实施例（图像编码装置）
2.第二实施例（图像编码装置）
3.第三实施例（个人计算机）
4.第四实施例（电视接收器）
5.第五实施例（便携电话装置）
6.第六实施例（硬盘记录器）
7.第七实施例（相机）
<1.第一实施例>
[根据AVC编码方法的图像编码装置]
图1示出根据AVC编码方法将图像编码的图像编码装置的实施例的结构。
图1所示图像编码装置100是通过符合AVC标准的编码方法将图像编码并输出的装置。如图1所示，图像编码装置100包括A/D转换器101、屏幕重置缓冲器102、算术操作单元103、正交变换单元104、量化单元105、无损编码单元106以及累积缓冲器107。图像编码装置100还包括逆量化单元108、逆正交变换单元109、算术操作单元110、去块滤波器111、帧存储器112、选择单元113、帧内预测单元114、运动预测/补偿单元115、选择单元116以及速率控制单元117。
A/D转换器101对输入图像数据进行A/D转换，将图像数据输出到屏幕重置缓冲器102并存储。屏幕重置缓冲器102根据GOP（画面组）结构，将按照显示顺序存储的图像帧重置，从而按照编码顺序布置帧。屏幕重置缓冲器102将具有重置帧顺序的图像提供给算术操作单元103。此外屏幕重置缓冲器102将具有重置帧顺序的图像提供给帧内预测单元114和运动预测/补偿单元115。
算术操作单元103将经由选择单元116自帧内预测单元114或者运动预测/补偿单元115提供的预测图像从自屏幕重置缓冲器102读取的图像减去，并将差异信息输出到正交变换单元104。
例如，当对图像进行帧内编码时，算术操作单元103将自帧内预测单元114提供的预测图像从自屏幕重置缓冲器102读取的图像减去。当对图像进行帧间编码时，算术操作单元103将自运动预测/补偿单元115提供的预测图像从自屏幕重置缓冲器102读取的图像减去。
正交变换单元104对于从算术操作单元103提供的差异信息进行正交变换操作，例如离散余弦变换或者Karhunen-Loeve变换，并将变换系数提供给量化单元105。
量化单元105将从正交变换单元104输出的变换系数量化。基于从速率控制单元117提供的目标比特率值信息，量化单元105设置量化参数，并进行量化。量化单元105将量化的变换系数提供给无损编码单元106。
无损编码单元106通过可变长度编码或算术编码等等对量化的变换系数进行无损编码。因为已经在速率控制单元117的控制下将系数数据量化，所以比特率等于速率控制单元117设置的目标值（或者接近目标值）。
无损编码单元106从帧内预测单元114获得指示帧内预测等等的信息，并从运动预测/补偿单元115获得指示帧间预测模式的信息或者运动矢量信息等等。下面也将指示帧内预测（帧内屏幕预测）的信息称为帧内预测模式信息。下面将指示帧间预测（帧间屏幕预测）的信息称为帧间预测模式信息。
无损编码单元106不仅将量化的变换系数编码，而且将诸如滤波器系数、帧内预测模式信息、帧间预测模式信息以及量化参数的各种信息合并（复用）到编码数据的头部信息。无损编码单元106将通过编码获得的编码数据提供给累积缓冲器107并存储。
例如，在无损编码单元106中，进行诸如可变长度编码或算术编码的无损编码操作。可变长度编码例如可以是H.264/AVC中指定的CAVLC（基于上下文的自适应可变长度编码）。算术编码可以是CABAC（基于上下文的自适应二进制算术编码）。
累积缓冲器107临时存储从无损编码单元106提供的编码数据，并将编码数据作为通过H.264/AVC编码的编码图像例如在预定时间输出到记录装置或后续阶段的传输路径（未示出）。
在量化单元105量化的变换系数也被提供给逆量化单元108。逆量化单元108通过与量化单元105执行的量化兼容的方法对量化的变换系数进行逆量化。逆量化单元108将获得的变换系数提供给逆正交变换单元109。
逆正交变换单元109通过与正交变换单元104执行的正交变换操作兼容的方法对提供的变换系数执行逆正交变换。受到逆正交变换的输出（未压缩差异信息）被提供给算术操作单元110。
算术操作单元110通过将经由选择单元116从帧内预测单元114或者运动预测/补偿单元115提供的预测图像加入从逆正交变换单元109提供的逆正交变换结果或者未压缩差异信息，获得局部解码图像（解码图像）。
例如，当差异信息与要帧内编码的图像兼容时，算术操作单元110将从帧内预测单元114提供的预测图像加入差异信息。例如，当差异信息与要帧间编码的图像兼容时，算术操作单元110将从运动预测/补偿单元115提供的预测图像加入差异信息。
加法结果被提供给去块滤波器111或者帧存储器112。
去块滤波器111在必要时，通过执行去块滤波操作，从解码图像去除块失真，并且在必要时，例如通过使用Wiener滤波器，执行环路滤波操作，以提高图像质量。去块滤波器111将各个像素分类，并对每个类执行适当的滤波操作。去块滤波器111将滤波操作结果提供给帧存储器112。
帧存储器112在预定时间将存储的参考图像经由选择单元113输出到帧内预测单元114或运动预测/补偿单元115。
例如，当对图像进行帧内编码时，帧存储器112将参考图像经由选择单元113提供给帧内预测单元114。例如，当对图像进行帧间编码时，帧存储器112将参考图像经由选择单元113提供给运动预测/补偿单元115。
当从帧存储器112提供的参考图像是要受到帧内编码的图像时，选择单元113将参考图像提供给帧内预测单元114。当从帧存储器112提供的参考图像是要受到帧间编码的图像时，选择单元113将参考图像提供给运动预测/补偿单元115。
帧内预测单元114通过利用屏幕中的像素值进行帧内预测（屏幕内预测）以生成预测图像。帧内预测单元114在一个以上模式（帧内预测模式）中进行帧内预测。
通过H.264图像信息编码方法，定义帧内4×4预测模式、帧内8×8预测模式以及帧内16×16预测模式用于亮度信号。就色度信号而言，可以独立于亮度信号定义用于各个宏块的预测模式。在帧内4×4预测模式中，为每个4×4亮度块定义一个帧内预测模式。在帧内8×8预测模式中，为每个8×8亮度块定义一个帧内预测模式。在帧内16×16预测模式中且对于色度信号，为每个宏块定义一个帧内预测模式。
帧内预测单元114在所有帧内预测模式中生成预测图像，评估各个预测图像，并选择最佳模式。在选择最佳帧内预测模式之后，帧内预测单元114将最佳帧内预测模式中生成的预测图像经由选择单元116提供给算术操作单元103和算术操作单元110。
如上所述，帧内预测单元114还在适当时将诸如指示选择的帧内预测模式的帧内预测模式信息这样的信息提供给无损编码单元106。
利用从屏幕重置缓冲器102提供的输入图像以及经由选择单元113从帧存储器112提供的参考图像，运动预测/补偿单元115对要受到帧间编码的图像进行运动预测，并根据检测的运动矢量执行运动补偿操作，以生成预测图像（帧间预测图像信息）。
运动预测/补偿单元115在所有候选帧间预测模式中执行帧间预测操作，以生成预测图像。运动预测/补偿单元115将生成的预测图像经由选择单元116提供给算术操作单元103和算术操作单元110。
运动预测/补偿单元115将指示选择的帧间预测模式的帧间预测模式信息以及指示计算的运动矢量的运动矢量信息提供给无损编码单元106。
在对图像执行帧内编码时，选择单元116将帧内预测单元114的输出提供给算术操作单元103和算术操作单元110。当对图像执行帧间编码时，选择单元116将运动预测/补偿单元115的输出提供给算术操作单元103和算术操作单元110。
基于累积缓冲器107中存储的压缩图像，速率控制单元117控制量化单元105的量化操作速率，从而不引起上溢或下溢。
[根据AVC编码方法的图像解码装置]
图2是示出通过正交变换（诸如离散余弦变换或Karhunen-Loeve变换）和运动补偿实现图像压缩的图像解码装置的典型示例性结构的方框图。图2所示的图像解码装置200是与图像编码装置100兼容的解码装置。
例如经由预定传输路径，将通过图像编码装置100编码的数据提供给与图像编码装置100兼容的图像解码装置200，并对其进行解码。
如图2所示，图像解码装置200包括累积缓冲器201、无损解码单元202、逆量化单元203、逆正交变换单元204、算术操作单元205、去块滤波器206、屏幕重置缓冲器207以及D/A转换器208。此外图像解码装置200包括帧存储器209、选择单元210、帧内预测单元211、运动预测/补偿单元212以及选择单元213。
累积缓冲器201存储发送的编码数据。编码数据已经被图像编码装置100编码。无损解码单元202通过与图1所示无损编码单元106使用的编码方法兼容的方法，在预定时间将从累积缓冲器201读取的编码数据解码。
当帧是帧内编码帧时，编码数据的头部存储帧内预测模式信息。此外，无损解码单元202将帧内预测模式信息解码，并将该信息提供给帧内预测单元211。另一方面，当帧是帧间编码帧时，编码数据的头部存储运动矢量信息。此外，无损解码单元202将运动矢量信息解码，并将信息提供给运动预测/补偿单元212。
逆量化单元203通过与图1所示量化单元105使用的量化方法兼容的方法，对通过无损解码单元202解码的系数数据（量化系数）进行逆量化。也就是说，逆量化单元203通过与图1所示逆量化单元108使用的方法相同的方法对量化系数进行逆量化。
逆量化单元203将逆量化的系数数据或者正交变换系数提供给逆正交变换单元204。逆正交变换单元204通过与图1所示正交变换单元104使用的正交变换方法兼容的方法（与图1所示逆正交变换单元109使用的方法相同的方法），对正交变换系数进行逆正交变换，并获得与从通过图像编码装置100执行的正交变换之前的时间开始的残余误差数据对应的解码残余误差数据。
通过逆正交变换获得的解码残余误差数据被提供给算术操作单元205。此外，预测图像从帧内预测单元211或者运动预测/补偿单元212经由选择单元213被提供给算术操作单元205。
算术操作单元205将解码残余误差数据加入预测图像，并获得与从通过图像编码装置100的算术操作单元103进行的预测图像减法之前的时间开始的图像数据对应的解码图像数据。算术操作单元205将解码图像数据提供给去块滤波器206。
去块滤波器206从提供的解码图像去除块失真，并将图像提供给屏幕重置缓冲器207。
屏幕重置缓冲器207执行图像重置。具体而言，按照原始显示顺序将通过图1的屏幕重置缓冲器102按照编码顺序重置的帧顺序重置。D/A转换器208对于从屏幕重置缓冲器207提供的图像执行D/A转换，并将转换后的图像输出到显示器（未示出），以显示图像。
此外，去块滤波器206的输出被提供给帧存储器209。
帧存储器209、选择单元210、帧内预测单元211、运动预测/补偿单元212以及选择单元213分别等同于图像编码装置100的帧存储器112、选择单元113、帧内预测单元114、运动预测/补偿单元115以及选择单元116。
选择单元210从帧存储器209读取要被帧间处理的图像以及要被参照的图像，并将图像提供给运动预测/补偿单元212。此外选择单元210从帧存储器209读取要用于帧内预测的图像，并将图像提供给帧内预测单元211。
在适当时，将通过解码将头部信息获得的并且指示帧内预测模式等等的信息从无损解码单元202提供给帧内预测单元211。基于该信息，帧内预测单元211根据从帧存储器209获得的参考图像生成预测图像，并将生成的预测图像提供给选择单元213。
运动预测/补偿单元212从无损解码单元202获得通过将头部信息解码获得的信息（预测模式信息、运动矢量信息、参考帧信息、标志、各个参数等等）。
基于从无损解码单元202提供的信息，运动预测/补偿单元212根据从帧存储器209获得的参考图像生成预测图像，并将生成的预测图像提供给选择单元213。
选择单元213选择通过运动预测/补偿单元212或者帧内预测单元211生成的预测图像，并将选择的预测图像提供给算术操作单元205。
[正交变换]
同时，通过AVC编码方法，只有4×4正交变换可用作基线档次、扩展档次以及主要档次中的正交变换。在高级档次和更高级档次中，在屏幕中可以在4×4正交变换与8×8正交变换之间切换操作，如图3所示。
[去块滤波器]
通过AVC编码方法，将去块滤波器包括在每个环路中，如图1和图2所示。通过这种配置，可以有效地从解码图像中去除块失真，并且运动补偿可以有效地防止块失真传播到参照解码图像的图像。
下面，描述根据AVC编码方法的每个去块滤波器中的操作原理。
可以根据压缩图像信息中包含的两个参数、即deblocking_filter_control_present_flag in Picture Parameter Set RBSP和disable_deblocking_filter_idc in Slice Header来指定以下三种操作作为去块滤波器的操作。
（a）在块边界或者宏块边界进行
（b）只在宏块边界进行
（c）不进行
就量化参数QP而言，在对亮度信号进行以下操作时使用QPY，而对色度信号进行以下操作时使用QPC。在运动补偿编码、帧内预测以及熵编码（CAVLC/CABAC）中，将属于不同条带的像素值处理为“不可用”。但是，在去块滤波操作中，将属于不同条带但是属于同一画面的像素值处理为“可用”。
下面，用p0至p3以及q0至q3表示要受到去块滤波操作的像素值，用p0’至p3’以及q0’至q3’表示处理过的像素值，如图3所示。
如图4所示，在去块滤波操作之前，在图3所示的ps和qs上定义Bs（边界强度）。
仅当满足以下两个条件（表达式（1）和表达式（2））时，对图3中的（p2,p1,p0,q0,q1和q2）进行去块滤波操作。
Bs>0…(1)
|p0-q0|<α;|p1-p0|<β;|q1-q0|<β…(2)
虽然根据QP来定义表达式（2）中α和β的默认值，如下所示，但是也可以根据压缩图像信息的条带头中包含的两个参数“slice_alpha_c0_offset_div2”和“lice_beta_offset_div2”，通过用户调节这些值，如图5所示。
图6A和图6B的表格中所示的indexA和indexB被定义为以下表达式（3）至（5）所示。
[数学公式1]
qPav＝(qPp+qPq+1)＞＞1...(3)
[数学公式2]
indexA=Clip3(0，51，qPav+FilterOffsetA)...(4)
[数学公式3]
indexB=Clip3(0,51,qPav+FilterOffsetB)...(5)
在以上表达式（3）至（5）中，“FilterOffsetA”和“FilterOffsetB”是要通过用户调节的部分。
在如下所述的情况（1）Bs<4和（2）Bs=4中，将不同的方法定义为去块滤波操作。
当Bs<4时，根据以下表达式（6）至（8）计算受到去块滤波操作的像素值p'0和q'0。
[数学公式4]
Δ＝Clip3(-tC，tc，((((q0-p0)＜＜2)+(p1-q1)+4)＞＞3))...(6)
[数学公式5]
p’0＝Clipl(p0+Δ)...(7)
[数学公式6]
q’0＝Clip1(q0+Δ)...(8)
这里，如下所述地计算tc。也就是说，当chromaEdgeFlag的值为0时，根据以下所示的表达式（9）计算tc。在其他情况下，根据以下所示的表达式（10）计算tc。
[数学公式7]
tC＝tC0+((ap＜β)？１:0)+((aq＜β)？l:0)...(9)
[数学公式8]
tC＝tC0+1...(10)
根据Bs和indexA的值定义tc0的值，如图7A和图7B的表格所示。此外，根据以下表达式（11）和（12）计算ap和aq的值。
[数学公式9]
ap＝|p2-p0|...(11)
[数学公式10]
aq＝|q2-q0|...(12)
如下所述地计算受到去块滤波操作的像素值p'1。也就是说，当chromaEdgeFlag的值为0，并且ap的值等于或小于β时，根据以下所示的表达式（13）计算p'1。当不满足该条件时，根据以下所示的表达式（14）计算p'1。
[数学公式11]
p’1＝p1+Clip3(-tC0，tC0，(P2+((p0+q0+1)＞＞1)-(p1＜＜1))＞＞1)...(13)
[数学公式12]
p’1＝p1...(14)
如下所述计算受到去块滤波操作的像素值q'1。也就是说，当chromaEdgeFlag的值为0，并且aq的值等于或小于β时，根据以下所示的表达式（15）计算q'1。当不满足该条件时，根据以下所示的表达式（16）计算q'1。
[数学公式13]
q’1＝q1+Clip3(-tC0，tC0，(q2+((p0+q0+1)＞＞1)-(q1＜＜1))＞＞1)...(15)
[数学公式14]
q’1＝q1...(16)
p'2和q'2的值与尚未滤波的p2和q2的值相同。也就是说，根据以下表达式（17）和（18）计算p'2和q'2。
[数学公式15]
p’2＝p2...(17)
[数学公式16]
q’2＝q2...(18)
当Bs=4时，如下所述计算受到去块滤波操作的像素值p'I（i=0,...,2）。也就是说，当chromaEdgeFlag的值为0，并且满足以下所示条件（表达式（19））时，根据以下所示表达式（20）至（22）计算p'0、p'1和p'2。当不满足上述条件时，根据以下所示表达式（23）至（25）计算p'0、p'1和p'2。
[数学公式17]
ap＜β&&|p0-q0|＜((α＞＞2)+2)...(19)
[数学公式18]
p’0＝(p2+2·p1+2·p0+2·q0+q1+4)＞＞3...(20)
[数学公式19]
p’1＝(p2+p1+p0+q0+2)＞＞2...(21)
[数学公式20]
p’2＝(2·p3+3·p2+p1+p0+q0+4)＞＞3...(22)
[数学公式21]
p’0＝(2·p1+p0+q1+2)＞＞2...(23)
[数学公式22]
P’1＝P1...(24)
[数学公式23]
p’2＝p2...(25)
如下所述计算受到去块滤波操作的像素值q'i（i=0,...,2）。也就是说，当chromaEdgeFlag的值为0，并且满足以下所示条件（表达式（26））时，根据以下所示表达式（27）至（29）计算q'0、q'1和q'2。当不满足上述条件时，根据以下所示表达式（30）至（32）计算q'0、q'1和q'2。
[数学公式24]
aq＜β&&|p0-q0|＜((α＞＞2)+2)...(26)
[数学公式25]
q’0＝(p1+2·p0)+2·q0+2·q1+q2+4)＞＞3...(27)
[数学公式26]
q’l=(P0+q0+q1+q2+2)＞>2...(28)
[数学公式27]
q’2＝(2·q3+3，q2+q1+q0+p4+4)＞＞3...(29)
[数学公式28]
q’0＝(2·q1+q0+p1+2)＞＞2...(30)
[数学公式29]
q’1＝q1...(31)
[数学公式30]
q’2＝q2...(32)
[环路滤波器]
如上所述，在非专利文献中公开了以下技术作为提高编码效率的技术。
图8是示出非专利文献中公开的图像编码装置的一部分的示例性结构的方框图。非专利文献中公开的图像编码装置300基本上具有与图像编码装置100（该图像编码装置100已经参照图1描述并通过AVC编码方法将图像编码）相同的结构，但是还包括如图8所示的环路滤波器301。
环路滤波器301是计算环路滤波器系数的Wiener滤波器，从而关于原始图像将残余误差最小化，利用环路滤波器系数对受到去块滤波操作的像素值进行滤波操作，将滤波操作结果提供并存储在帧存储器112。
该环路滤波器系数被提供给无损编码单元106，并被编码（被加入图像数据的编码数据）。也就是说，环路滤波器系数被提供给图像解码装置。
图9是示出与图8所示图像编码装置300兼容的图像解码装置的一部分的示例性结构的方框图。图像解码装置400基本上具有与图像解码装置200（该图像解码装置200已经参照图2描述并将通过AVC编码方法编码的图像的编码数据解码）相同的结构，但是还包括如图9所示的环路滤波器401。
环路滤波器401是Wiener滤波器，其获得连同编码数据一起从图像编码装置300提供的环路滤波器系数，利用环路滤波器系数对受到去块滤波操作的像素值进行滤波操作，将滤波操作结果提供给帧存储器209等等。
通过这种方式，可以提高解码图像的图像质量。此外，还可以进一步提高参考图像的图像质量。
[预测模式选择]
16×16像素的宏块尺寸对于要通过下一代编码方法编码的UHD（超高清晰度：4000×2000像素）帧并非最佳。考虑到这一点，已经提议诸如32×32像素和64×64像素的宏块尺寸。
为了实现更高的编码效率，关键是选择适当的预测模式。例如，可以从两种模式确定方法中选择一种方法：High Complexity Mode（高复杂性模式）和Low Complexity Mode（低复杂性模式）。通过任一种方法，计算关于每种预测模式Mode的成本函数值，并选择将成本函数值最小化的预测模式作为用于块或者宏块的最佳模式。
根据以下表达式（33）可以计算High Complexity Mode中的成本函数。
Cost（Mode∈Ω）=D+λ×R…(33)
在表达式（33）中，Ω表示用于将块或者宏块编码的候选预测模式的通用组。D表示在预测模式Mode中执行编码的情况下解码图像与输入图像之间的差异能量。此外，λ表示作为量化参数函数提供的拉格朗日待定乘子。R表示在模式Mode中进行编码的情况下的总比特率，包括正交变换系数。
也就是说，为了在High Complexity Mode中执行编码，临时编码操作需要在所有候选预测模式Mode中执行，以计算以上参数D和R，并且因此，需要更大的计算量。
另一方面，根据以下表达式（34）可以计算低复杂性模式中的成本函数。
Cost（Mode∈Ω）=D+QP2Quant（QP）×HeaderBit…(34)
在表达式（34）中，D不同于High Complexity Mode中的D，其表示预测图像与输入图像之间的差异能量。QP2Quant（QP）表示量化参数QP的函数。此外，HeaderBit表示关于不包括正交变换系数并属于头部的信息（例如运动矢量和模式）的比特率。
也就是说，在Low Complexity Mode中，预测操作需要对每个候选模式Mode进行，但是不需要解码图像。因此，不需要进行编码操作。因此，与Low Complexity Mode中相比，计算量更小。
因为如上所述对于序列中所有画面和条带使用非专利文献1中提议的自适应环路滤波器需要庞大计算量，所以有可能增加图像编码操作工作量。
考虑到这一点，下面描述通过不增加工作量的方式进行环路滤波操作的图像编码装置。
[图像编码装置]
图10示出作为图像处理装置的图像编码装置的实施例的结构。
图10的图像编码装置500与图1的图像编码装置100的相同之处在于包括A/D转换器101、屏幕重置缓冲器102、算术操作单元103、正交变换单元104、量化单元105、无损编码单元106、累积缓冲器107、逆量化单元108、逆正交变换单元109、算术操作单元110、去块滤波器111、帧存储器112、选择单元113、帧内预测单元114、运动预测/补偿单元115、选择单元116以及速率控制单元117。
图10的图像编码装置500与图1的图像编码装置100的不同之处在于还包括滤波器控制单元501和自适应环路滤波器502。
自适应环路滤波器502被设置在去块滤波器111与帧存储器112之间。也就是说，自适应环路滤波器502被设置在通过算术操作单元103、正交变换单元104、量化单元105、逆量化单元108、逆正交变换单元109、算术操作单元110、去块滤波器111、帧存储器112、选择单元113、帧内预测单元114或者运动预测/补偿单元115以及选择单元116形成的环路中。因此，在运动补偿环路中图像被循环（loop）。
滤波器控制单元501从屏幕重置缓冲器102获得关于要受到自适应环路滤波操作的图像（画面或条带）的类型的信息。根据类型，滤波器控制单元501控制是否通过自适应环路滤波器502（切换自适应环路滤波器的开/关（ON/OFF））对来自去块滤波器111的输出执行滤波操作。
例如，仅当要受到自适应环路滤波操作的图像是“要被参照的图像”时，滤波器控制单元501才打开自适应环路滤波器（对于任何其他图像，自适应环路滤波器关闭）。稍后描述控制方法的更具体示例。
在滤波器控制单元501的控制下，自适应环路滤波器502计算滤波器系数，利用计算的滤波器系数，对从去块滤波器输出的图像执行滤波操作，并将经过滤波的图像输出到帧存储器112。该滤波器例如可以是Wiener滤波器。
此外，自适应环路滤波器502向无损编码单元106发送指示计算的滤波器系数以及切换滤波操作的开/关的标志信息（开/关标志）。此外，无损编码单元106将滤波器系数和开/关标志编码，并将编码结果加入编码数据。
[自适应环路滤波器的细节]
图11是示出自适应环路滤波器502的典型示例性结构的方框图。如图11所示，自适应环路滤波器502包括开/关单元511、滤波器系数计算单元512以及滤波单元513。
关于要受到自适应环路滤波操作的图像的类型（例如画面类型或条带类型）的信息被从屏幕重置缓冲器102提供给滤波器控制单元501。基于该信息，滤波器控制单元501生成用于确定（控制）切换自适应环路滤波器的开/关的开/关信息，并将开/关信息提供给自适应环路滤波器502的开/关单元511。
根据从滤波器控制单元501提供的开/关信息的值，开/关单元511生成用于控制滤波器系数计算单元512的操作的开/关标志，并将开/关标志提供给滤波器系数计算单元512。当提供将自适应环路滤波操作设置为开的开/关信息时，例如，开/关单元511将开/关标志设置为指示自适应环路滤波操作打开的值，并将开/关标志提供给滤波器系数计算单元512。当提供将自适应环路滤波操作设置为关的开/关信息时，例如，开/关单元511将开/关标志设置为指示自适应环路滤波操作关闭的值，并将开/关标志提供给滤波器系数计算单元512。
除了开/关标志之外，要受到去块滤波操作的图像从去块滤波器111提供给滤波器系数计算单元512。此外，输入图像从屏幕重置缓冲器102提供给滤波器系数计算单元512。这些图像至少包括要受到自适应环路滤波操作的部分。
当从开/关单元511提供的开/关标志是指示自适应环路滤波操作打开的值时，滤波器系数计算单元512利用已经受到去块滤波操作并从去块滤波器111提供的图像以及从屏幕重置缓冲器102获得的输入图像，来计算自适应环路滤波操作的滤波器系数。滤波器系数计算单元512将滤波器系数以及开/关标志提供给滤波单元513。
另一方面，当从开/关单元511提供的开/关标志是指示自适应环路滤波操作关闭的值时，滤波器系数计算单元512不计算滤波器系数，只将指示自适应环路滤波操作关闭的开/关标志提供给滤波单元513。
当从滤波器系数计算单元512提供的开/关标志是指示自适应环路滤波操作打开的值时，滤波单元513利用从滤波器系数计算单元512提供的滤波器系数，对已经受到去块滤波操作并从去块滤波器111提供的图像执行自适应环路滤波操作。滤波单元513将滤波操作结果提供并存储在帧存储器112中。
当从滤波器系数计算单元512提供的开/关标志是指示自适应环路滤波操作关闭的值时，滤波单元513不执行自适应环路滤波操作，并将已经受到去块滤波操作并从去块滤波器111提供的图像提供并存储在帧存储器112中。
当从开/关单元511提供的开/关标志是指示自适应环路滤波操作打开的值时，滤波器系数计算单元512将计算的滤波器系数以及开/关标志提供给无损编码单元106。当从开/关单元511提供的开/关标志是指示自适应环路滤波操作关闭的值时，滤波器系数计算单元512只将开/关标志提供给无损编码单元106。
[开/关控制示例1]
例如，在图12所示的序列中处理各种类型的画面（例如，从左至右）。在这些画面中，滤波器控制单元501处理I画面和P画面，I画面和P画面是“要被参照的图像”并且是要受到自适应环路滤波操作的目标。具体而言，当要执行自适应环路滤波操作的画面是I画面或者P画面时，滤波器控制单元501向开/关单元511提供将自适应环路滤波操作设置为打开的开/关信息。对于每个B画面，滤波器处理单元501向开/关单元511提供将自适应环路滤波操作设置为关闭的开/关信息。
通过非专利文献1中公开的方法，对所有画面或条带执行自适应环路滤波。另一方面，滤波器控制单元501控制是否对每个预定图像单元执行自适应环路滤波。
在自适应环路滤波操作中，要用Wiener滤波器计算最佳滤波器系数，这需要庞大的计算量。因此，通过非专利文献1中公开的方法，要对所有图像（画面或条带）计算最佳滤波器系数。因此，计算量剧增，并且图像编码操作工作量可能变得极大。
但是，如果简单省略全部自适应环路滤波操作，那么与执行自适应环路滤波操作的情况相比，在解码图像时图像恶化可能变得更加明显。
最初，自适应环路滤波器的作用是提高解码图像的图像质量，并且还通过参照解码图像提高预测图像的效率。也就是说，与用于并非参照的图像的自适应环路滤波器的效果相比，用于成为参照的图像（待参照图像）的自适应环路滤波器的效果对于整个序列的图像质量具有更大的影响。
考虑到这一点，滤波器控制单元501控制自适应环路滤波器502的操作，只对序列中要被参照的图像（例如画面或条带）执行自适应环路滤波，而对不参照的图像（例如画面或条带）不执行自适应环路滤波。
通过以上述方式执行控制从而省略对于解码图像具有小影响的图像的自适应环路滤波操作，图像编码装置500可以显著降低滤波器系数计算等等中的计算量，同时抑制解码图像中的图像质量恶化。换言之，通过只对受滤波操作显著影响的图像进行自适应环路滤波操作，图像编码装置500可以提高解码图像的图像质量，同时抑制工作量的不必要增加。
应当注意，图12中所示的画面序列只是示例，本技术还可以应用于除此之外的任何其他序列。
[开/关控制示例2]
图13是示出通过分等级的B画面形成的GOP（画面组）结构的示例的示意图。
如图13所示，在这种情况下，在分等级的层级中布置B画面。在图13中，从底部到顶部将B画面分等级。也就是说，最低层级中的B画面形成第一等级层级，中间层级的B画面形成第二等级层级，以及最高层级的B画面形成第三等级层级。B（n）的括号中的数字表示等级数。具体而言，B（1）表示第一等级层级的B画面，B（2）表示第二等级层级的B画面，而B（3）表示第三等级层级的B画面。
箭头表示参照关系。在箭头所示方向上进行参照。具体而言，第三等级层级的B画面（B（3））参照第二等级层级的B画面（B（2））、I画面、P画面或者第一等级层级的B画面（B（1））。第二等级层级的B画面（B（2））参照第一等级层级的B画面（B（1））、I画面或者P画面。第一等级层级的B画面（B（1））不参照任何其他B画面，只参照I画面和P画面。
更具体而言，第一等级层级的B画面533参照I画面531和P画面532。第二等级层级的B画面534参照I画面531和B画面533，而B画面535参照B画面533和P画面532。
此外，第三等级层级的B画面536参照I画面531和B画面534，B画面537参照B画面533和B画面534，B画面538参照B画面533和B画面535，而B画面539参照B画面535和P画面532。
当然，等级层级的数量、等级结构、各个画面的布局以及各个画面之间的参照关系可以任意设置，而不一定与图13所示模式相同。
对于具有这种GOP结构的图像，滤波器控制单元501设置“要参照的图像”，它们是除了第三等级层级的B画面之外的画面，或者是第二等级层级的B画面、第一等级层级的B画面、I画面以及P画面。
如同图12中所示的情况，确定哪个图像是“要被参照的图像”的方法可以是除了上述方法之外的任何方法。
例如，可以将第一等级层级的B画面、I画面以及P画面设置为“要被参照的图像”。或者，可以将I画面以及P画面设置为“要被参照的图像”。可以只将I画面或者P画面设置为“要被参照的图像”。
在这种情况下，基于指示每个预定单位图像的类型，可以进行检查以以确定图像是否是“要被参照的图像”，如同图12中所示的情况。例如，基于条带类型，可以进行检查以确定条带是否是“要被参照的图像”。或者，可以通过某些其他单位控制自适应环路滤波器的操作。
如图13所示的使用分等级的B画面的GOP结构适合于特定速度的再现（特技播放），例如快进和倒带。例如，通过只解码I画面和P画面可以实现八倍速解码，通过进一步解码第一等级层级的B画面可以实现四倍速解码，通过进一步解码第二等级层级的B画面可以实现二倍速解码。
当滤波器控制单元501通过上述方式控制自适应环路滤波器的操作时，通过自适应环路滤波器502进行的滤波操作，可以保持要通过这种高速解码来显示的画面的高图像质量。也就是说，滤波器控制单元501可以进行适合于高速解码的滤波器控制。
[图像类型]
如上所述，滤波器控制单元501根据图像类型控制自适应环路滤波器502的操作。图14示出条带头的示例性语法。如图14所示，在条带头中，写入表示条带的类型（例如，I、P或B）的条带类型（slice_tupe）。例如，滤波器控制单元501从屏幕重置缓冲器102获得输入图像的条带头，并基于条带头中写入的信息（条带类型），确定图像的类型。
应当注意，可以在除了条带头之外的部分写入关于图像类型的信息。例如，可将指示画面类型的信息写入画面参数设置信息。在这种情况下，滤波器控制单元501从屏幕重置缓冲器102获得关于输入图像的画面参数设置信息，并基于其中写入的指示画面类型的信息的值，确定图像的类型。
应当注意，条带头、画面参数设置信息等等可以事先包含在输入图像的数据中，或者可以在屏幕重置缓冲器102等等中生成。
基于指示图像的类型的信息，滤波器控制单元501可以容易地控制自适应环路滤波器502的操作。
[开/关标志]
如上所述，滤波器系数计算单元512将开/关标志（以及滤波器系数，如果有计算的滤波器系数的话）提供给无损编码单元106。图15至图17是示出关于自适应环路滤波器的标志信息的语法的示意图。
例如，无损编码单元106将从滤波器系数计算单元512提供的开/关标志设置为自适应环路滤波器标志（adaptive_loop_filter_flag）给编码数据（图15）。当提供了滤波器系数时，无损编码单元106还将滤波器系数编码，并将滤波器系数加入编码数据（图15至图17）。
通过这种方式，将开/关标志以及自适应环路滤波操作的滤波器系数提供给图像解码装置。
诸如开/关标志以及滤波器系数的上述信息可以加入编码数据的一部分，或者可以独立于编码数据被发送到解码端。例如，无损编码单元106可将这些信息作为语法写入比特流。或者，无损编码单元106可将这些信息作为辅助信息存储在预定区域，然后发送该信息。例如，可将这些信息存储在SEI（补充增强信息）等等的参数组（例如序列或者画面的头部）中。
或者，无损编码单元106可以独立于编码数据将这些信息（作为单独文件）传输给图像解码装置。在这种情况下，需要澄清这些信息与编码数据之间的对应关系（从而在解码端被识别），但是在这样做的时候可以使用任何方法。例如，可以产生指示对应关系的表格信息，或者可将指示对应的数据的链接信息嵌入任一端的数据中。
[编码操作流程]
下面参照图18中的流程图，描述要通过图10的图像编码装置500执行的编码操作的流程的示例。
在编码操作开始之后，在步骤S501，A/D转换器101对输入图像执行A/D转换。在步骤S502，屏幕重置缓冲器102存储从A/D转换器101提供的图像，并按照编码顺序而不是显示顺序重置各个画面。
当已经从屏幕重置缓冲器102提供的当前图像是要帧内处理的块的图像时，从帧存储器112读取要被参照的解码图像，并经由选择单元113将其提供给帧内预测单元114。
基于这些图像，在步骤S503，帧内预测单元114在所有候选帧内预测模式中对当前块的像素执行帧内预测。要被参照的解码像素是没有受到去块滤波器111和自适应环路滤波器502的滤波的像素。
通过步骤S503的程序，在所有候选帧内预测模式中执行帧内预测，并且在所有候选帧内预测模式中计算成本函数值。基于计算的成本函数值，选择最佳帧内预测模式，并将通过最佳帧内预测模式中的帧内预测生成的预测图像及其成本函数值提供给选择单元116。
当已经从屏幕重置缓冲器102提供的当前图像是要被帧间处理的图像时，从帧存储器112读取要参照的图像，并经由选择单元113将其提供给运动预测/补偿单元115。基于这些图像，在步骤S504，运动预测/补偿单元115执行帧间运动预测操作。
通过步骤S504的程序，在所有候选帧间预测模式中执行运动预测操作，并且在所有候选帧间预测模式中计算成本函数值。基于计算的成本函数值，确定最佳帧间预测模式。在最佳帧间预测模式中生成的预测图像及其成本函数值被提供给选择单元116。
在步骤S505，基于从帧内预测单元114以及运动预测/补偿单元115输出的各个成本函数值，选择单元116确定最佳预测模式，即是最佳帧内预测模式或者是最佳帧间预测模式。选择单元116选择在确定的最佳预测模式中生成的预测图像，并将选择的预测图像提供给算术操作单元103以及算术操作单元110。该预测图像要在步骤S506和步骤S511的后述算术操作中使用。
关于该预测图像的选择信息被提供给帧内预测单元114或者运动预测/补偿单元115。当选择最佳帧内预测模式中生成的预测图像时，帧内预测单元114将指示最佳帧内预测模式的信息（或者帧内预测模式信息）提供给无损编码单元106。
当选择最佳帧间预测模式中生成的预测图像时，运动预测/补偿单元115将指示最佳帧间预测模式的信息以及根据最佳帧间预测模式的信息（如果必要的话）输出到无损编码单元106。根据最佳帧间预测模式的信息可以是运动矢量信息、参考帧信息等等。
在步骤S506，算术操作单元103计算步骤S502中重置的图像与步骤S505中选择的预测图像之间的差异。当执行帧间预测时，将预测图像从运动预测/补偿单元115经由选择单元116提供给算术操作单元103，当执行帧内预测时，将预测图像从帧内预测单元114经由选择单元116提供给算术操作单元103。
差异数据的数据量小于原始图像数据的数据量。因此，与将图像直接编码的情况相比，可使得数据量更小。
在步骤S507，正交变换单元104对从算术操作单元103提供的差异信息执行正交变换。具体而言，执行诸如离散余弦变换或者Karhunen-Loeve变换的正交变换，并输出变换系数。
在步骤S508，量化单元105将变换系数量化。在该量化中，如同后面在步骤S517的描述中所述，执行速率控制。
通过以下方式将以上述方式量化的差异信息局部解码。具体而言，在步骤S509，逆量化单元108将通过量化单元105量化的变换系数逆量化，该逆量化单元108具有与量化单元105的特性兼容的特性。在步骤S510，逆正交变换单元109对通过逆量化单元108逆量化的变换系数执行逆正交变换，该逆正交变换单元109具有与正交变换单元104的特性兼容的特性。
在步骤S511，算术操作单元110将经由选择单元116输入的预测图像加入局部解码的差异信息，以生成局部解码图像（与算术操作单元103的输入相对应的图像）。
在步骤S512，去块滤波器111对于从算术操作单元110输出的图像执行去块滤波操作。通过这样做，去除块失真。来自去块滤波器111的解码图像被输出到自适应环路滤波器502。
在步骤S513，如果必要的话，滤波器控制单元501和自适应环路滤波器502对于在步骤S512受到去块滤波操作的图像执行自适应环路滤波操作。下面将详细描述自适应环路滤波操作。
在步骤S514，帧存储器112存储在步骤S513视情况滤波的图像。应当注意，没有受到去块滤波器111以及自适应环路滤波器502的滤波操作的图像也从算术操作单元110提供给帧存储器112，并存储在帧存储器112中。
同时，在步骤S508量化的变换系数也被提供给无损编码单元106。在步骤S515，无损编码单元106将已经从量化单元105输出的量化变换系数编码。也就是说，差异图像受到诸如可变长度编码或算术编码的无损编码，并被压缩。
在无损编码单元106，输入的开/关标志、自适应滤波器系数以及帧内预测模式信息或者根据最佳帧间预测模式的信息被编码，并被加入头部信息。
例如，对于每个宏块将指示帧内预测模式的信息编码。对于每个被处理的块将运动矢量信息以及参考帧信息编码。对于每个条带或者每个画面参数组将滤波器系数以及开/关标志编码。
在步骤S516，累积缓冲器107存储差异图像作为压缩图像。累积缓冲器107中存储的压缩图像在必要时被读取，并经由发送路径（未示出）发送给解码端。
在步骤S517，基于累积缓冲器107中存储的压缩图像，速率控制单元117控制量化单元105的量化操作速率，从而不引起上溢或下溢。
[自适应环路滤波操作的流程]
下面参照图19中的流程图，详细描述图18的步骤S513中进行的自适应环路滤波操作的流程的示例。
当自适应环路滤波操作开始时，在步骤S531，滤波器控制单元501确定受到自适应环路滤波操作的图像的类型。在步骤S532，滤波器控制单元501确定受到自适应环路滤波操作的图像是否是要被参照的图像。当步骤S531中的类型确定的结果显示图像是要被参照的图像时，滤波器控制单元501进行到步骤S533。
在步骤S533，开/关单元511将开/关标志设置为开。在步骤S534，基于受到去块滤波操作的图像以及输入图像，滤波器系数计算单元512计算适当的滤波器系数。在步骤S535，滤波单元513利用步骤S534中计算的滤波器系数，对受到去块滤波操作的图像执行自适应环路滤波操作。
在步骤S536，滤波单元513将如上所述使用的开/关标志以及滤波器系数提供给无损编码单元106，然后无损编码单元106将开/关标志和滤波器系数编码。
在结束步骤S536的程序之后，自适应环路滤波器502结束自适应环路滤波操作。然后操作返回图18的步骤S513，并执行步骤S514和之后的程序。
当在图19的步骤S532确定受到自适应环路滤波操作的图像并非要参照的图像时，滤波器控制单元501进行到步骤S537。
在步骤S537，开/关单元511将开/关标志设置为关（OFF）。在步骤S538，滤波单元513将如上所述设置的开/关标志提供给无损编码单元106，然后无损编码单元106将开/关标志编码。
在结束步骤S538的程序之后，自适应环路滤波器502结束自适应环路滤波操作。然后操作返回图18的步骤S513，并执行步骤S514和之后的程序。
通过以上方式，滤波器控制单元501能够容易地控制自适应环路滤波器502的操作。此外，因为滤波器控制单元501根据图像的类型控制自适应环路滤波器502的操作，所以图像编码装置500可以减少编码操作工作量，同时抑制解码图像中图像质量的恶化。
按照与通过传统图像解码装置（例如非专利文献1中公开并参照图9描述的图像解码装置400）的传统方式相同的方式（按照与将通过图像编码装置300生成的编码数据解码的情况相同的方式），可将通过如上所述图像编码装置500生成并输出的编码数据解码。
也就是说，利用加入编码数据的信息，例如自适应环路滤波器标志（adaptive_loop_filter_flag）和滤波器系数，环路滤波器401在适当时对受到去块滤波器206的去块滤波操作的图像进行自适应环路滤波操作。通过这种方式，图像解码装置400可以抑制解码图像中的图像质量恶化。
<2.第二实施例>
[图像编码装置的另一示例]
虽然上面已经描述了根据图像的类型通过自适应环路滤波器执行的开/关控制，但是本发明不限于此，并且可以根据图像的类型控制自适应环路滤波器的抽头的数量。
具体而言，在自适应环路滤波操作中，可以根据图像的类型（例如画面类型或者条带类型）来改变抽头长度。例如，在自适应环路滤波操作中，较长的抽头长度可用于要被参照的画面，并且较短的抽头长度可用于不被参照的画面。
根据非专利文献1中公开的方法，对于所有预定抽头长度进行自适应环路滤波操作，例如5抽头、7抽头以及9抽头，并根据各个操作结果的成本来选择具有最佳抽头长度的滤波操作结果。
此时，通过进行滤波操作，可以缩短抽头长度，将各个系数的一部分减少为零。例如，在9抽头滤波操作中，将第一系数和第九系数（两端的系数）减少为零（0），以实际上缩短抽头长度（至7抽头）。通过与上述相同的方式，也可以在5抽头滤波操作和7抽头滤波操作中缩短抽头长度。当然，可以任意地确定要减少为零的系数的数量。此外，可以任意地确定哪个系数（多个系数）要减少为零。
因为如上所述缩短用于不参照的图像的自适应环路滤波操作中的抽头长度，所以能够减少计算量。在这种情况下，通过缩短的抽头长度执行滤波操作。因此，与第一实施例中相比，可以使得对解码图像的不利影响更小。也就是说，与第一实施例中相比，可以更有效地抑制解码图像中的图像质量恶化。
图20是示出这种情况下使用的滤波器控制单元以及自适应环路滤波器的示例性结构的方框图。
如图20所示，这种情况下的图像编码装置500包括滤波器控制单元601（代替滤波器控制单元501）和自适应环路滤波器602（代替自适应环路滤波器502）。
当滤波器控制单元501根据受到自适应环路滤波操作的图像的类型来控制切换自适应环路滤波器502的自适应环路滤波操作的开/关时，滤波器控制单元601根据受到自适应环路滤波操作的图像的类型来控制自适应环路滤波器602的自适应环路滤波操作的抽头长度。
更具体而言，基于指示屏幕重置缓冲器102提供的画面类型（或者条带类型）的信息，滤波器控制单元601确定受到自适应环路滤波操作的图像是否是“要被参照的图像”。当受到自适应环路滤波操作的图像不是“要被参照的图像”时，滤波器控制单元601控制自适应环路滤波器602的操作从而缩短抽头长度。
滤波器控制单元601将指定抽头长度的抽头长度信息提供给自适应环路滤波器602的抽头长度设置单元611。
在滤波器控制单元601的控制下，自适应环路滤波器602通过根据受到滤波操作的图像的类型设置的抽头长度，执行自适应环路滤波操作。
自适应环路滤波器602包括抽头长度设置单元611、滤波器系数计算单元612以及滤波单元513。
抽头长度设置单元611生成系数控制信息，并将系数控制信息提供给滤波器系数计算单元612，该系数控制信息是发出指令以计算由滤波器控制单元601提供的抽头长度信息而指定的抽头长度的滤波器系数的控制信息。
也就是说，当受到自适应环路滤波操作的图像不是如上所述“要被参照的图像”时，抽头长度设置单元611生成系数控制信息，从而缩短抽头长度，并将系数控制信息提供给滤波器系数计算单元612。换言之，当受到自适应环路滤波操作的图像是“要被参照的图像”时，抽头长度设置单元611生成系数控制信息，从而增加抽头长度，并将系数控制信息提供给滤波器系数计算单元612。
抽头长度设置单元611包括零系数设置单元621。零系数设置单元621将通过滤波器系数计算单元612计算的某些滤波器系数的值设置为零。也就是说，抽头长度设置单元611生成系数控制信息，将零指定为通过滤波器系数计算单元612计算的某些滤波器系数的值。在这种情况下，因为将某些系数设置为零，所以实现期望的抽头长度。
例如，当滤波器系数计算单元612计算9抽头的滤波器系数时，零系数设置单元621将9抽头的第一系数和第九系数设置为零。在这种情况下，系数控制信息指定7个抽头。滤波器系数计算单元612将系数控制信息指定的系数的值设置为零，并计算其他系数。结果，滤波器系数计算单元612计算7个抽头的滤波器系数。
滤波器系数计算单元612将计算的滤波器系数提供给滤波单元513。在这种情况下，滤波器系数计算单元612生成具有开（ON）值的开/关标志，并将开/关标志提供给滤波单元513。
利用滤波器系数计算单元612提供的滤波器系数，滤波单元513对受到去块滤波操作并从去块滤波器111提供的图像进行自适应环路滤波操作。
在这种情况下，滤波单元513将受到自适应环路滤波操作的图像提供并存储在帧存储器112中。滤波器系数计算单元612将计算的滤波器系数以及具有开（ON）值的开/关标志提供给无损编码单元106，无损编码单元106将滤波器系数和开/关标志编码。
通过与参照图18中的流程图所述情况相同的方式执行这种情况下的编码操作。
[自适应环路滤波操作的流程]
下面参照图21中的流程图，描述要在这种情况下执行的自适应环路滤波操作的流程的示例。该流程图等同于图19中的流程图。
当自适应环路滤波操作开始时，在步骤S631，滤波器控制单元601确定受到自适应环路滤波操作的图像的类型。
在步骤S632，滤波器控制单元601确定受到自适应环路滤波操作的图像是否是要被参照的图像。当步骤S631中类型确定的结果显示图像是要被参照的图像时，滤波器控制单元601进行到步骤S633。在步骤S633，抽头长度设置单元611执行控制，从而增加滤波器系数抽头长度，且操作进行到步骤S635。
当在步骤S632确定受到自适应环路滤波操作的图像不是要被参照的图像时，滤波器控制单元601进行到步骤S634。在步骤S634，抽头长度设置单元611执行控制，从而缩短滤波器系数抽头长度，且操作进行到步骤S635。
在步骤S635，基于受到去块滤波操作的图像以及输入图像，滤波器系数计算单元612计算适当的滤波器系数。滤波器系数计算单元612生成具有开（ON）值的开/关标志。在步骤S636，滤波单元513利用步骤S635中计算的滤波器系数，对受到去块滤波操作的图像执行自适应环路滤波操作。
在步骤S637，滤波单元513将如上所述使用的开/关标志以及滤波器系数提供给无损编码单元106，然后无损编码单元106将开/关标志和滤波器系数编码。
在结束步骤S637的程序之后，自适应环路滤波器602结束自适应环路滤波操作。然后操作返回图18的步骤S513，并执行步骤S514和之后的程序。
通过以上方式，滤波器控制单元601能够容易地控制自适应环路滤波器602的操作。此外，因为滤波器控制单元601根据图像的类型控制自适应环路滤波器602的滤波操作中的抽头长度，所以图像编码装置500可以减少编码操作工作量，同时抑制解码图像中的图像质量恶化。
在这种情况下，按照与通过传统图像解码装置（例如非专利文献1中公开并已经参照图9描述的图像解码装置400）的传统方式相同的方式（按照与解码通过图像编码装置300生成的编码数据的情况相同的方式），也可将已经通过如上所述图像编码装置500生成并输出的编码数据解码。
也就是说，利用加入编码数据的信息，例如自适应环路滤波器标志（adaptive_loop_filter_flag）和滤波器系数，环路滤波器401在适当时对受到去块滤波器206的去块滤波操作的图像执行自适应环路滤波操作。通过这种方式，图像解码装置400可以抑制解码图像中的图像质量恶化。
[扩展宏块的示例]
在H.264/AVC中，宏块尺寸是16×16像素。但是，16×16像素的宏块尺寸对于要通过下一代编码方法编码的UHD（超高清晰度：4000×2000像素）帧并非最佳。在图像编码装置500中，宏块尺寸可以是32×32像素、64×64像素等等，如图22所示。
图22是示出扩展宏块尺寸的示例的示意图。在图32所示的示例中，将宏块尺寸扩展到32×32像素。
在图22的最上行，分别由32×32像素形成的宏块被分为32×32像素的块（分区）、32×16像素的块、16×32像素的块以及16×16像素的块，按此顺序显示宏块。在图22的中间行，分别由16×16像素形成的宏块被分为16×16像素的块（分区）、16×8像素的块、8×16像素的块以及8×8像素的块，按此顺序显示宏块。在图22的最下行，分别由8×8像素形成的宏块被分为8×8像素的块（分区）、8×4像素的块、4×8像素的块以及4×4像素的块，按此顺序显示宏块。
也就是说，可将32×32像素的宏块处理为图22中最上行所示的32×32像素的块、32×16像素的块、16×32像素的块或者16×16像素的块。
按照与H.264/AVC中相同的方式，可将最上行右端所示的每个16×16像素的块处理为中间行所示的16×16像素的块、16×8像素的块、8×16像素的块以及8×8像素的块。
按照与H.264/AVC中相同的方式，可将中间行右端所示的每个8×8像素的块处理为最下行所示的8×8像素的块、8×4像素的块、4×8像素的块以及4×4像素的块。
可将这些块分为以下三个等级层级。也就是说，将图22中最上行所示32×32像素的块、32×16像素的块以及16×32像素的块称为第一等级层级。将最上行右端所示16×16像素的块和中间行所示的16×16像素的块、16×8像素的块以及8×16像素的块称为第二等级层级。将中间行右端所示8×8像素的块和最下行所示的8×8像素的块、8×4像素的块、4×8像素的块以及4×4像素的块称为第三等级层级。
使用图22中所示的等级结构，使得16×16像素的块以及更小的块保持与当前H.264/AVC的宏块的兼容性。定义更大的块作为这些块的超集。
当然，可以使用任何宏块尺寸，例如可以定义比64×64像素更大的块。
<3.第三实施例>
[个人计算机]
上述系列操作可通过硬件或软件执行。在这种情况下，例如可以形成图23所示个人计算机。
在图23中，个人计算机700的CPU（中央处理器）701根据ROM（只读存储器）702中存储的程序或者从存储单元713载入RAM（随机访问存储器）703的程序，执行各种操作。在必要时将CPU701执行各种操作所必须的数据也存储在RAM703中。
CPU701、ROM702和RAM703经由总线704相互连接。输入/输出接口710也连接到总线704。
由键盘、鼠标等等形成的输入单元711、由诸如CRT（阴极射线管）或者LCD（液晶显示器）的显示器以及扬声器等等形成的输出单元712、由硬盘等等形成的存储单元713以及由调制解调器等等形成的通信单元714连接到输入/输出接口710。通信单元714经由包括互联网的网络执行通信操作。
在必要时将驱动器715也连接到输入/输出接口710，并且在适当时将可移动介质721（例如磁盘、光盘、磁光盘、半导体存储器等等）安装在驱动器715上。在必要时将从这些介质读取的计算机程序安装在存储单元713中。
当通过软件执行上述一系列操作时，从网络或者记录介质安装形成软件的程序。
可将该记录介质分配为独立于装置向用户传送程序，如图23所示。例如，该记录介质可以由可移动介质721形成，例如上面记录了程序的磁盘（或者软盘）、光盘（或者CD-ROM（压缩盘-只读存储器）或DVD（数字通用盘））、磁光盘（或者MD（迷你盘））或者半导体存储器。或者，该记录介质可以由上面记录了程序的ROM702或者存储单元713中包含的硬盘等等形成。ROM702和硬盘事先包含在装置中，并被分配给用户。
要通过计算机执行的每个程序可以是用于根据本说明书中所述序列，按照时间顺序执行操作的程序，也可以是用于在必要时并行执行操作或者有调用等等时执行操作的程序。
本说明书中，在记录介质上写入要记录的程序的步骤不仅包括根据公开的序列按照时间顺序执行的操作，而且包括并行或者如果不按照时间顺序相互独立执行的操作。
本说明书中，“系统”表示由两个或多个装置（设备）形成的整个设备。
在以上描述中，可将描述为一个装置（或一个处理单元）的任何结构可以被分割并形成为两个或多个装置（或处理单元）。相对地，可将描述为两个或多个装置（或处理单元）的任何结构形成为一个装置（或一个处理单元）。此外，当然可以将上面未描述的结构加入每个装置（或每个处理单元）的结构。此外，只要整个系统的结构和操作保持实际上相同，就可以将装置（或处理单元）的一部分结构合并到另一装置（或另一处理单元）的结构。也就是说，本技术的实施例不限于上述实施例，并且在不脱离本技术的范围的情况下，可以对它们进行各种修改。
例如，可将上述图像编码装置和上述图像解码装置应用于任何电子设备。下面，描述这些应用的示例。
<4.第四实施例>
[电视接收器]
图24是示出使用图像解码装置400的电视接收器的典型示例性结构的方框图。
图24所示的电视接收器1000包括陆地调谐器1013、视频解码器1015、视频信号处理电路1018、图形生成电路1019、面板驱动电路1020以及显示面板1021。
陆地调谐器1013经由天线接收模拟陆地广播的广播波信号，将信号解调以获得视频信号。陆地调谐器1013将视频信号提供给视频解码器1015。视频解码器1015对陆地调谐器1013提供的视频信号进行解码操作，并将得到的数字成分信号提供给视频信号处理电路1018。
视频信号处理电路1018对视频解码器1015提供的视频数据进行诸如去噪的预定处理，并将得到的视频数据提供给图形生成电路1019。
图形生成电路1019通过基于经由网络提供的应用执行操作，生成要在显示面板1021上显示的表示内容的视频数据或者生成图像数据。图形生成电路1019将生成的视频数据或图像数据提供给面板驱动电路1020。此外，图形生成电路1019生成用于显示用户要使用的屏幕的视频数据（或图形），以选择项目，并将视频数据添加在表现内容的视频数据上。在适当时将得到的视频数据提供给面板驱动电路1020。
基于从图形生成电路1019提供的数据，面板驱动电路1020驱动显示面板1021，并使得显示面板1021显示表现内容的视频图像以及每个上述屏幕。
显示面板1021由LCD（液晶显示器）等等形成，并在面板驱动电路1020的控制下显示表现内容的视频图像等等。
此外，电视接收器1000包括音频A/D（模数）转换器电路1014、音频信号处理电路1022、回声消除/语音合成电路1023、音频放大器电路1024以及扬声器1025。
陆地调谐器1013通过将接收到的广播波信号解调，不仅获得视频信号，而且获得音频信号。陆地调谐器1013将获得的音频信号提供给音频A/D转换器电路1014。
音频A/D转换器电路1014对从陆地调谐器1013提供的音频信号执行A/D转换操作，并将得到的数字音频信号提供给音频信号处理电路1022。
音频信号处理电路1022对从音频A/D转换器电路1014提供的音频数据执行诸如去噪的预定处理，并将得到的音频数据提供给回声消除/语音合成电路1023。
回声消除/语音合成电路1023将从音频信号处理电路1022提供的音频数据提供给音频放大器电路1024。
音频放大器电路1024对于从回声消除/语音合成电路1023提供的音频数据执行D/A转换操作以及放大操作。在调节到预定音量之后，将声音从扬声器1025输出。
此外，电视接收器1000包括数字调谐器1016和MPEG解码器1017。
数字调谐器1016经由天线接收数字广播（数字陆地广播或数字BS（广播卫星）/CS（通信卫星）广播）的广播波信号，并将广播波信号解调以获得MPEG-TS（运动图像专家组-传输流）。MPEG-TS被提供给MPEG解码器1017。
MPEG解码器1017对数字调谐器1016提供的MPEG-TS进行解扰，并提取包含要再现（要观看）的表现内容的数据的流。MPEG解码器1017将形成提取流的音频数据包解码，并将得到的音频数据提供给音频信号处理电路1022。此外，MPEG解码器1017将形成流的视频数据包解码，并将得到的视频数据提供给视频信号处理电路1018。此外，MPEG解码器1017经由路径（未示出）将从MPEG-TS提取的EPG（电子节目指南）数据提供给CPU1032。
电视接收器1000将图像解码装置400用作MPEG解码器1017，MPEG解码器1017如上所述将视频数据包解码。从广播站等等发送的MPEG-TS已经通过图像编码装置500编码。
如同图像解码装置400，MPEG解码器1017具有环路滤波器401，通过利用广播站（图像编码装置500）提供的信息、例如自适应环路滤波标记（adaptive_loop_filter_flag）和滤波器系数，在适当时对受到去块滤波器206的去块滤波操作的图像执行自适应环路滤波操作。因此，MPEG解码器1017能够执行更适合于图像内容的自适应环路滤波操作，并抑制解码图像中的图像质量恶化。
从MPEG解码器1017提供的视频数据在视频信号处理电路1018受到预定处理，如同从视频解码器1015提供的视频数据的情况。在图形生成电路1019，在适当时将生成的视频数据等等添加在视频数据上。得到的视频数据经由面板驱动电路1020提供给显示面板1021，并显示图像。
从MPEG解码器1017提供的音频数据在音频信号处理电路1022受到预定处理，如同从音频A/D转换器电路1014提供的音频数据的情况。得到的音频数据经由回声消除/语音合成电路1023提供给音频放大器电路1024，并受到D/A转换操作或者放大操作。结果，被调节到预定声音水平的声音从扬声器1025输出。
电视接收器1000还包括麦克风1026和A/D转换器电路1027。
A/D转换器电路1027接收通过电视接收器1000中为语音谈话提供的麦克风1026所捕捉的用户语音的信号。A/D转换器电路1027对接收的音频信号执行A/D转换操作，并将得到的数字音频数据提供给回声消除/语音合成电路1023。
当从A/D转换器电路1027提供电视接收器1000的用户（用户A）的音频数据时，回声消除/语音合成电路1023对用户A的音频数据执行回声消除，并将音频数据与其他音频数据等等组合。得到的音频数据经由音频放大器电路1024从扬声器1025输出。
此外，电视接收器1000包括音频编解码器1028、内部总线1029、SDRAM（同步动态随机存取存储器）1030、闪存1031、CPU1032、USB（通用串行总线）I/F1033以及网络I/F1034。
A/D转换器电路1027接收通过电视接收器1000中为语音谈话提供的麦克风1026捕捉的用户语音的信号。A/D转换器电路1027对接收的音频信号执行A/D转换操作，并将所得提供给音频编解码器1028。
音频编解码器1028将从A/D转换器电路1027提供的音频数据变换为采用用于经由网络发送的预定格式的数据，并将结果经由内部总线1029提供给网络I/F1034。
网络I/F1034经由附接网络终端1035的电缆连接到网络。网络I/F1034例如将从音频编解码器1028提供的音频数据发送到与网络连接的另一个装置。此外，网络I/F1034经由网络终端1035接收从与网络连接的另一个装置发送的音频数据，并将音频数据经由内部总线1029提供给音频编解码器1028。
音频编解码器1028将网络I/F1034提供的音频数据变换为采用预定格式的数据，并将结果提供给回声消除/语音合成电路1023。
回声消除/语音合成电路1023对音频编解码器1028提供的音频数据进行回声消除，并将该音频数据与其他音频数据等等组合。得到的音频数据从扬声器1025经由音频放大器电路1024输出。
SDRAM1030存储CPU1032执行处理所必须的各种数据。
闪存1031存储要通过CPU1032执行的程序。在预定时间通过CPU1032读取闪存1031中存储的程序，例如当启动电视接收器1000时。此外，闪存1031存储通过数字广播获得的EPG数据、经由网络从预定服务器获得的数据等等。
例如，在CPU1032的控制下，闪存1031存储包含经由网络从预定服务器获得的内容数据的MPEG-TS。例如，在CPU1032的控制下，闪存1031经由内部总线1029将MPEG-TS提供给MPEG解码器1017。
MPEG解码器1017处理MPEG-TS，如同从数字调谐器1016提供的MPEG-TS的情况。通过这种方式，电视接收器1000经由网络接收通过视频图像和声音形成的内容数据，并利用MPEG解码器1017将内容数据解码，以显示视频图像并输出声音。
此外，电视接收器1000包括光接收单元1037，其接收从远程控制器1051发送的红外信号。
光接收单元1037从远程控制器1051接收红外线，并将指示通过解码获得的用户操作的内容的控制代码输出到CPU1032。
CPU1032执行闪存1031中存储的程序，并根据光接收单元1037提供的控制代码等等控制电视接收器1000的全部操作。电视接收器1000的各个组件经由路径（未示出）连接到CPU1032。
USB I/F1033与位于电视接收器1000外部并经由附接到USB终端1036的USB电缆连接到电视接收器1000的设备交换数据。网络I/F1034经由附接到网络终端1035的电缆连接到网络，并与连接到网络的任何种类的装置交换除了音频数据之外的数据。
将图像解码器400用作MPEG解码器1017，电视接收器1000可以对经由天线接收的广播波信号或者经由网络获得的内容数据进行更适合于图像内容的自适应环路滤波操作，并且可以抑制解码图像的主观图像质量的恶化。
<5.第五实施例>
[便携电话装置]
图25是示出使用图像编码装置500和图像解码装置400的便携电话装置的典型示例性结构的方框图。
图25所示的便携电话装置1100包括设计为统一控制各个组件的主控制单元1150、电源电路单元1151、操作输入控制单元1152、图像编码器1153、相机I/F单元1154、LCD控制单元1155、图像解码器1156、复用/分离单元1157、记录/再现单元1162、调制/解调电路单元1158以及音频编解码器1159。这些组件经由总线1160相互连接。
此外便携电话装置1100包括操作键1119、CCD（电荷耦合装置）相机1116、液晶显示器1118、存储单元1123、发送/接收电路单元1163、天线1114、麦克风（麦克）1121以及扬声器1117。
当结束呼入或者通过用户的操作打开电源键时，电源电路单元1151通过向各个组件提供来自电池组的电力，将便携电话装置1100置于可操作状态。
在由CPU、ROM、RAM等等形成的主控制单元1150的控制下，便携电话装置1100在诸如语音通信模式和数据通信模式的各种模式中执行各种操作，例如音频信号的发送和接收、电子邮件和图像数据的发送和接收、图像捕捉和数据记录。
例如，在处于语音通信模式的便携电话装置1100中，通过音频编解码器1159将麦克风（麦克）1121捕捉的音频信号变换为数字音频数据，并且使数字音频数据在调制/解调电路单元1158受到展频处理。然后，得到的数据在发送/接收电路单元1163受到数模转换操作和频率转换操作。便携电话装置1100经由天线1114将通过转换操作获得的发送信号发送到基站（未示出）。此外，发送到基站的发送信号（音频信号）经由公共电话线路网络提供给通信另一端的便携电话装置。
例如，在处于语音通信模式的便携电话装置1100中，通过天线1114接收的接收信号在发送/接收电路单元1163被放大，进而受到频率转换操作和模数转换操作。得到的信号在调制/解调电路单元1158受到逆展频处理，并通过音频编解码器1159变换为模拟音频信号。便携电话装置1100从扬声器1117输出通过转换获得的模拟音频信号。
此外，例如当在数据通信模式中发送电子邮件时，便携电话装置1100的操作输入控制单元1152接收通过操作所述操作键1119输入的电子邮件的文本数据。便携电话装置1100在主控制单元1150处理文本数据，并经由LCD控制单元1155在液晶显示器1118上将文本数据显示为图像。
在便携电话装置1100中，主控制单元1150基于通过操作输入控制单元1152接收的文本数据、用户指令等等，生成电子邮件数据。便携电话装置1100在调制/解调电路单元1158对电子邮件数据进行展频处理，并在发送/接收电路单元1163对电子邮件数据进行数模转换操作和频率转换操作。便携电话装置1100将通过转换操作获得的发送信号经由天线1114发送到基站（未示出）。发送到基站的发送信号（电子邮件）经由网络、邮件服务器等等提供给预定地址。
例如，在数据通信模式中接收电子邮件时，便携电话装置1100的发送/接收电路单元1163经由天线1114接收从基站发送的信号，并且信号被放大，进而受到频率转换操作和模数转换操作。便携电话装置1100在调制/解调电路单元1158对接收的信号进行逆展频处理，以将原始电子邮件数据解压缩。便携电话装置1100经由LCD控制单元1155在液晶显示器1118上显示解压缩的电子邮件数据。
此外，便携电话装置1100可以经由记录/再现单元1162将接收的电子邮件数据记录（存储）在存储单元1123中。
存储单元1123是可重写存储介质。存储单元1123可以是诸如RAM或内部闪存的半导体存储器、硬盘、诸如磁盘、磁光盘、光盘、USB存储器或者存储卡的移动介质。当然，可以使用除了上述之外的存储器。
此外，例如当在数据通信模式中发送图像数据时，便携电话装置1100在捕捉图像的CCD相机1116生成图像数据。CCD相机1116包括诸如透镜和光圈的光学装置以及作为光电转换装置的CCD。CCD相机1116捕捉物体的图像，将接收光的强度转换为电信号，并生成物体的图像的图像数据。CCD相机1116经由相机I/F单元1154在图像编码器1153将图像数据编码，以获得编码图像数据。
便携电话装置1100将上述图像编码装置500用作执行上述操作的图像编码器1153。通过与图像编码装置500的情况相同的方式，图像编码器1153使滤波器控制单元501根据图像的类型控制自适应环路滤波器502的操作。通过这样做，图像编码器1153可以执行更适合于图像的自适应环路滤波操作，并且可以减少编码操作工作量，同时抑制解码图像中的图像质量恶化。
同时如上所述，在便携电话装置1100中，在通过CCD相机1116捕捉图像期间通过麦克风（麦克）1121捕捉的声音在音频编解码器1159被模数转换，进而被编码。
便携电话装置1100的复用/分离单元1157通过预定技术将图像编码器1153提供的编码图像数据以及音频编解码器1159提供的数字音频数据复用。便携电话装置1100在调制/解调电路单元1158对得到的复用数据进行展频处理，并在发送/接收电路单元1163对得到的复用数据进行数模转换操作和频率转换操作。便携电话装置1100经由天线1114将通过转换操作获得的发送信号发送到基站（未示出）。发送到基站的发送信号（图像数据）经由网络等等提供给通信的另一端。
当图像数据没有被发送时，便携电话装置1100也可以经由LCD控制单元1155在液晶显示器1118上显示在CCD相机1116生成的图像数据，而不是图像编码器1153。
当在数据通信模式中接收链接到简化主页的运动图像文件的数据时，便携电话装置1100的发送/接收电路单元1163经由天线1114接收从基站发送的信号。信号被放大，进而受到频率转换操作和模数转换操作。便携电话装置1100在调制/解调电路单元1158对接收到的信号进行反展频处理，将原始复用数据解压缩。便携电话装置1100在复用/分离单元1157将复用数据划分为编码图像数据和音频数据。
通过在图像解码器1156将编码图像数据解码，便携电话装置1100生成再现的运动图像数据，并经由LCD控制单元1155在液晶显示器1118显示再现的运动图像数据。通过这种方式，例如在液晶显示器1118显示链接到简化主页的运动图像文件中包含的运动图像数据。
便携电话装置1100将上述图像解码装置400用作执行上述操作的图像解码器1156。如同图像解码装置400，图像解码器1156利用从编码侧（图像编码装置500）提供的信息，例如自适应环路滤波器标记（adaptive_loop_filter_flag）和滤波器系数，在适当时对受到去块滤波器206的去块滤波操作的图像执行自适应环路滤波操作。因此，图像解码器1156可以进行更适合于图像内容的逆量化操作，并抑制解码图像中的图像质量恶化。
同时如上所述，便携电话装置1100在音频编解码器1159将数字音频数据变换为模拟音频信号，并从扬声器1117输出模拟音频信号。通过这种方式，例如再现链接到简化主页的运动图像文件中包含的音频数据。
如同电子邮件的情况，便携电话装置1100也可以经由记录/再现单元1162将接收的链接到简化主页等等的数据记录（存储）在存储单元1123中。
便携电话装置1100的主控制单元1150也可以分析通过执行图像捕捉的CCD相机1116获得的二维代码，以获得二维代码中记录的信息。
此外，便携电话装置1100的红外通信单元1181可以利用红外线与外设通信。
通过将图像编码装置500用作图像编码器1153，例如在编码和发送在CCD相机1116生成的图像数据时，便携电话装置1100可以进行更适合于图像的自适应环路滤波操作，并生成编码数据，从而减少编码操作工作量，同时抑制解码图像的主观图像质量的恶化。
此外，通过将图像解码装置400用作图像解码器1156，例如在解码链接到简化主页的运动图像文件的数据（编码数据）时，便携电话装置1100可以执行更适合于图像的自适应环路滤波操作，并抑制解码图像的主观图像质量的恶化。
在以上描述中，便携电话装置1100使用CCD相机1116。但是，除了CCD相机1116之外，可以使用利用CMOS（互补金属氧化物半导体）的图像传感器（CMOS图像传感器）。在这种情况下，便携电话装置1100也可以捕捉物体的图像，并生成物体的图像的图像数据，如同使用CCD相机1116的情况。
虽然上面描述了便携电话装置1100，但是也可以通过与便携电话装置1100的情况相同的方式将图像编码装置500和图像解码装置400应用于任何装置，只要该装置具有与便携电话装置1100相同的图像捕捉功能和相同的通信功能。这样的装置例如可以是PDA（个人数字助理）、智能电话、UMPC（超级移动个人计算机）、上网本或笔记本个人计算机。
<6.第六实施例>
[硬盘记录器]
图26是示出使用图像编码装置500和图像解码装置400的硬盘记录器的典型示例性结构的方框图。
图26所示硬盘记录器（HDD记录器）1200是将广播波信号（电视信号）中包含的广播表现内容的音频数据和视频数据存储在内部硬盘中，并在通过用户的指令指定的时间将存储的数据提供给用户的装置，该广播波信号从卫星或陆地天线等等发送并通过调谐器接收。
硬盘记录器1200例如可以从广播波信号提取音频数据和视频数据，在适当时将这些数据解码，并将数据存储在内部硬盘中。此外，硬盘记录器1200例如可以经由网络从另一装置获得音频数据和视频数据，在适当时将这些数据解码，并将数据存储在内部硬盘中。
此外，硬盘记录器1200例如可以将内部硬盘中记录的音频数据和视频数据解码，将这些数据提供给监视器1260，在监视器1260的屏幕上显示图像，并从监视器1260的扬声器输出声音。此外，硬盘记录器1200例如可以将从经由调谐器获得的广播波信号中提取的音频数据和视频数据、或者经由网络从另一装置获得的音频数据和视频数据解码，将这些数据提供给监视器1260，在监视器1260的屏幕上显示图像，并从监视器1260的扬声器输出声音。
当然，硬盘记录器1200可以进行除了上述之外的操作。
如图26所示，硬盘记录器1200包括接收单元1221、解调单元1222、解复用器1223、音频解码器1224、视频解码器1225以及记录器控制单元1226。此外硬盘记录器1200包括EPG数据存储器1227、程序存储器1228、工作存储器1229、显示转换器1230、OSD（屏幕上显示）控制单元1231、显示控制单元1232、记录/再现单元1233、D/A转换器1234以及通信单元1235。
显示转换器1230包括视频编码器1241。记录/再现单元1233包括编码器1251和解码器1252。
接收单元1221从远程控制器（未示出）接收红外信号，将红外信号转换为电信号，并将电信号输出到记录器控制单元1226。记录器控制单元1226例如由微处理器形成，并根据程序存储器1228中存储的程序进行各种操作。此时，记录器控制单元1226在必要时使用工作存储器1229。
通信单元1235连接到网络，并经由网络执行与另一装置的通信操作。例如，在记录器控制单元1226的控制下，通信单元1235与调谐器（未示出）通信，并将站选择控制信号主要输出到调谐器。
解调单元1222将调谐器提供的信号解调，并将信号输出到解复用器1223。解复用器1223将解调单元1222提供的数据分为音频数据、视频数据和EPG数据。解复用器1223将音频数据、视频数据和EPG数据分别输出到音频解码器1224、视频解码器1225和记录器控制单元1226。
音频解码器1224将输入的音频数据解码，并将解码的音频数据输出到记录/再现单元1233。视频解码器1225将输入的视频数据解码，并将解码的视频数据输出到显示转换器1230。记录器控制单元1226将输入的EPG数据提供并存储在EPG数据存储器1227中。
显示转换器1230例如利用视频编码器1241，将视频解码器1225或记录器控制单元1226提供的视频数据编码为符合NTSC（国家电视标准委员会）标准的视频数据。编码的视频数据被输出到记录/再现单元1233。此外，显示转换器1230将视频解码器1225或记录器控制单元1226提供的视频数据的屏幕尺寸转换为与监视器1260的尺寸兼容的尺寸。视频编码器1241将视频数据转换为符合NTSC标准的视频数据。NTSC视频数据被转换为模拟信号，并输出到显示控制单元1232。
在记录器控制单元1226的控制下，显示控制单元1232将OSD（屏幕上显示）控制单元1231输出的OSD信号添加到从显示转换器1230输入的视频信号，并将得到的信号输出到监视器1260的显示器，以显示图像。
从音频解码器1224输出并通过D/A转换器1234转换为模拟信号的音频数据也被提供给监视器1260。监视器1260从内部扬声器输出音频信号。
记录/再现单元1233包括硬盘作为记录视频数据、音频数据等等的存储介质。
记录/再现单元1233例如使得编码器1251将音频解码器1224提供的音频数据编码。此外记录/再现单元1233使得编码器1251将从显示转换器1230的视频编码器1241提供的视频数据编码。记录/再现单元1233利用复用器将音频数据的编码数据与视频数据的编码数据组合。记录/再现单元1233通过频道编码将组合数据放大，并经由记录头将得到的数据写入硬盘。
记录/再现单元1233经由再现头再现硬盘上记录的数据，将数据放大，并利用解复用器将数据分为音频数据和视频数据。记录/再现单元1233利用解码器1252将音频数据和视频数据解码。记录/再现单元1233对解码的音频数据进行D/A转换，并将结果输出到监视器1260的扬声器。此外，记录/再现单元1233对解码的视频数据执行D/A转换，并将结果输出到监视器1260的显示器。
基于通过从远程控制器发送并经由接收单元1221接收的红外信号所指示的用户指令，记录器控制单元1226从EPG数据存储器1227读取最近的EPG数据，并将EPG数据提供给OSD控制单元1231。OSD控制单元1231生成对应于输入的EPG数据的图像数据，并将图像数据输出到显示控制单元1232。显示控制单元1232将从OSD控制单元1231输入的视频数据输出到监视器1260的显示器，以显示图像。通过这种方式，在监视器1260的显示器上显示EPG（电子节目指南）。
硬盘记录器1200也可以获得经由网络（例如互联网）从另一装置提供的各种数据，例如视频数据、音频数据和EPG数据。
在记录器控制单元1226的控制下，通信单元1235经由网络从另一装置获得视频数据、音频数据和EPG数据等等的编码数据，并将这些数据提供给记录器控制单元1226。例如，记录器控制单元1226将获得的视频数据和音频数据的编码数据提供给记录/再现单元1233，并将这些数据存储在硬盘中。此时，记录器控制单元1226和记录/再现单元1233可以在必要时进行诸如重编码的操作。
此外，记录器控制单元1226将获得的视频数据和音频数据的编码数据解码，并将得到的视频数据提供给显示转换器1230。显示转换器1230通过与处理从视频解码器1225提供的视频数据相同的方式，处理从记录器控制单元1226提供的视频数据，并经由显示控制单元122将结果提供给监视器1260，以显示图像。
与图像显示同步，记录器控制单元1226可以经由D/A转换器1234将解码的音频数据提供给监视器1260，并从扬声器输出声音。
此外，记录器控制单元1226将获得的EPG数据的编码数据解码，并将解码的EPG数据提供给EPG数据存储器1227。
上述硬盘记录器1200将图像解码装置400用作视频解码器1225、解码器1252以及记录器控制单元1226中安装的解码器。也就是说，如同图像解码装置400，视频解码器1225、解码器1252以及记录器控制单元1226中安装的解码器利用从编码侧（图像编码装置500）提供的信息、例如自适应环路滤波器标记（adaptive_loop_filter_flag）和滤波器系数，在适当时对受到去块滤波器206的去块滤波操作的图像执行自适应环路滤波操作。因此，视频解码器1225、解码器1252以及记录器控制单元1226中安装的解码器可以进行更适合于图像的自适应环路滤波操作，并抑制解码图像中的图像质量恶化。
因此，硬盘记录器1200可以对通过调谐器或者通信单元1235接收的视频数据（编码数据）以及要通过记录/再现单元1233再现的视频数据（编码数据）执行更适合于图像的自适应环路滤波操作，并抑制解码图像的主观图像质量的恶化。
此外，硬盘记录器1200将图像编码装置500用作编码器1251。因此，通过与图像编码装置500相同的方式，编码器1251使滤波器控制单元501根据图像的类型控制自适应环路滤波器502的操作。通过这样做，编码器1251可以执行更适合于图像的自适应环路滤波操作，并且可以减少编码操作工作量，同时抑制解码图像中的图像质量恶化。
因此，当生成要记录在硬盘上的编码数据时，硬盘记录器1200可以执行更适合于图像的自适应环路滤波操作，并生成编码数据，从而减少编码操作工作量，同时抑制解码图像的主观图像质量的恶化。
在以上描述中，描述了将视频数据和音频数据记录在硬盘上的硬盘记录器1200。但是，如同上述硬盘记录器1200的情况，也可将图像编码装置500和图像解码装置400应用于使用除了硬盘之外的记录介质的记录器，例如闪存、光盘或录像带。
<7.第七实施例>
[相机]
图27是示出使用图像编码装置500和图像解码装置400的相机的典型示例性结构的方框图。
图27所示相机1300捕捉物体的图像，并在LCD1316上显示物体的图像，或者将物体的图像作为图像数据记录在记录介质1333中。
透镜块1311将光线（或者物体的视频图像）入射在CCD/CMOS1312上。CCD/CMOS1312是使用CCD或者CMOS的图像传感器。CCD/CMOS1312将接收到的光的强度转换为电信号，并将电信号提供给相机信号处理单元1313。
相机信号处理单元1313将从CCD/CMOS1312提供的电信号变换为YCrCb色度信号，并将信号提供给图像信号处理单元1314。在控制器1321的控制下，图像信号处理单元1314对于从相机信号处理单元1313提供的图像信号执行预定的图像处理，并利用编码器1341将图像信号编码。图像信号处理单元1314将通过编码图像信号生成的编码数据提供给解码器1315。此外图像信号处理单元1314获得在屏幕上显示（OSD）1320生成的显示数据，并将显示数据提供给解码器1315。
在以上描述中，相机信号处理单元1313利用经由总线1317连接它的DRAM（动态随机存取存储器）1318，在必要时将图像数据和通过编码图像数据生成的编码数据等等存储在DRAM1318中。
解码器1315将从图像信号处理单元1314提供的编码数据解码，并将得到图像数据（解码图像数据）提供给LCD1316。解码器1315还将从图像信号处理单元1314提供的现实数据提供给LCD1316。LCD1316将对应于从解码器1315提供的解码图像数据的图像与对应于显示数据的图像组合，并显示组合图像。
在控制器1321的控制下，屏幕上显示1320将通过符号、字符或数字形成的菜单屏幕或图标的显示数据经由总线1317输出到图像信号处理单元1314。
基于指示通过用户利用操作单元1322指定的内容的信号，控制器1321执行各种操作，并经由总线1317控制图像信号处理单元1314、DRAM1318、外部接口1319、屏幕上显示1320、介质驱动器1323等等。闪存ROM1324存储控制器1321必须的程序、数据等等，以执行各种操作。
例如，代替图像信号处理单元1314和解码器1315，控制器1321可将DRAM1318中存储的图像数据编码，并将DRAM1318中存储的编码数据解码。这样做，控制器1321可以利用与图像信号处理单元1314和解码器1315使用的编码和解码方法相同的方法，执行编码和解码操作，或者可以利用与图像信号处理单元1314和解码器1315不兼容的方法，执行编码和解码操作。
例如，通过操作单元1322请求启动图像打印时，控制器1321从DRAM1318读取图像数据，并将图像数据提供给经由总线1317连接到外部接口1319的打印机1334，从而执行打印。
此外，例如，当通过操作单元1322请求图像记录时，控制器1321从DRAM1318读取编码数据，并将编码数据经由总线1317提供并存储在安装于介质驱动器1323的记录介质1333。
记录介质1333是可读可写的可移动介质，例如磁盘、磁光盘、光盘或者半导体存储器。记录介质1333可以是任何种类的可移动介质，并且可以是磁带装置、盘或存储卡。当然，可以使用非接触IC卡等等。
或者，介质驱动器1323和记录介质1333可以集成，并且可以通过诸如内部硬盘驱动器或者SSD（固态驱动器）的固定存储介质形成。
外部接口1319例如通过USB输入/输出端子等等形成，并且在进行打印时连接到打印机1334。此外，在必要时将驱动器1331连接到外部接口1319，并且在适当时将可移动介质1332（例如磁盘、光盘或者磁光盘）安装在驱动器1331上。在必要时将从这样的盘读取的计算机程序安装在闪存ROM1324中。
此外，外部接口1319包括连接到预定网络（例如LAN或者互联网）的网络接口。例如，根据来自操作单元1322的指令，控制器1321可以从DRAM1318读取编码数据，并经由网络将编码数据从外部接口1319提供给与它连接的另一装置。此外，控制器1321可以获得经由网络从另一装置提供的编码数据和图像数据，并将数据存储在DRAM1318中或者将数据经由外部接口1319提供给图像信号处理单元1314。
上述相机1300将图像解码装置400用作解码器1315。也就是说，如同图像解码装置400，解码器1315利用从编码侧（图像编码装置500）提供的信息，例如自适应环路滤波器标记（adaptive_loop_filter_flag）和滤波器系数，在适当时对受到去块滤波器206的去块滤波操作的图像进行自适应环路滤波操作。因此，解码器1315可以进行更适合于图像的自适应环路滤波操作，并抑制解码图像中的图像质量恶化。
因此，相机1300例如可以对在CCD/CMOS1312生成的图像数据、从DRAM1318或者记录介质1333读取的视频数据的编码数据、或者经由网络获得的视频数据的编码数据进行更适合于图像的自适应环路滤波操作，并抑制主观图像质量的恶化。
此外，相机1300将图像编码装置500用作编码器1341。通过与图像编码装置500的情况相同的方式，编码器1341使滤波器控制单元501根据图像的类型控制自适应环路滤波器502的操作。通过这样做，编码器1341可以执行更适合于图像的自适应环路滤波操作，并且可以减少编码操作工作量，同时抑制解码图像中的图像质量恶化。
因此，在生成要记录在DRAM1318或者记录介质1333上的编码数据时，或者生成要提供给另一装置的编码数据时，相机1300可以执行更适合于图像的自适应环路滤波操作，并减少编码操作工作量，同时抑制解码图像的主观图像质量的恶化。
可将图像解码装置400使用的解码方法应用于要通过控制器1321执行的解码操作。同样，可将图像编码装置500使用的编码方法应用于要通过控制器1321执行的编码操作。
要通过相机1300捕捉的图像数据可以是运动图像，也可以是静止图像。
当然，可以将图像编码装置500和图像解码装置400应用于除了上述装置之外的任何装置和系统。
本技术也可以采用以下形式。
（1）一种图像处理装置，包括：
滤波器控制单元，用于根据图像数据是否要被其他图像数据参照，来控制要对图像数据进行的自适应滤波操作；以及
滤波操作单元，用于在运动补偿环路中、在滤波器控制单元的控制下，对图像数据执行自适应滤波操作。
（2）如（1）的图像处理装置，其中
当在编码图像数据的操作中、受到自适应滤波操作的图像数据要被其他图像数据参照时，滤波器控制单元控制执行自适应滤波操作；以及
当在编码图像数据的操作中、受到自适应滤波操作的图像数据不被其他图像数据参照时，滤波器控制单元控制不进行自适应滤波操作。
（3）如（1）或（2）的图像处理装置，其中
图像数据是画面数据，以及
滤波器控制单元根据画面的类型控制用于图像数据的自适应滤波操作。
（4）如（3）的图像处理装置，其中滤波器控制单元在图像数据是I画面时，控制执行自适应滤波操作，并且在图像数据是P画面和B画面时，控制不执行自适应滤波操作。
（5）如（3）的图像处理装置，其中滤波器控制单元在图像数据是I画面或P画面时，控制执行自适应滤波操作，并且在图像数据是B画面时，控制不执行自适应滤波操作。
（6）如（3）的图像处理装置，其中滤波器控制单元在图像数据是包含分等级的B画面的图像数据中的I画面和P画面或者要被参照的B画面时，控制执行自适应滤波操作，并且当图像数据是包含分等级的B画面的图像数据中不被参照的B画面时，控制不执行自适应滤波操作。
（7）如（1）至（6）之一的图像处理装置，其中
图像数据是条带数据，以及
滤波器控制单元根据条带的类型控制用于图像数据的自适应滤波操作。
（8）如（7）的图像处理装置，其中滤波器控制单元在图像数据是I条带时，控制执行自适应滤波操作，并且在图像数据是P条带和B条带时，控制不执行自适应滤波操作。
（9）如（7）的图像处理装置，其中滤波器控制单元在图像数据是I条带或P条带时，控制执行自适应滤波操作，并且在图像数据是B画面时，控制不执行自适应滤波操作。
（10）如（7）的图像处理装置，其中滤波器控制单元在图像数据是包含分等级的B条带的图像数据中的I条带和P条带或者要被参照的B条带时，控制执行自适应滤波操作，并且在图像数据是包含分等级的B画面的图像数据中不被参照的B条带时，控制不执行自适应滤波操作。
（11）如（1）至（10）之一的图像处理装置，还包括：
编码单元，用于将受到自适应滤波操作的图像数据编码，
其中，该编码单元将自适应滤波操作的滤波器系数以及指示是否执行自适应滤波操作的标志信息编码，并将得到的数据加入图像数据的编码数据。
（12）如（1）至（11）之一的图像处理装置，其中
滤波器控制单元根据图像数据是否要被其他图像数据参照，来控制自适应滤波操作的滤波器系数的抽头长度，以及
滤波操作单元利用具有由滤波器控制单元控制的抽头长度的滤波器系数，对图像数据执行自适应滤波操作。
（13）如（12）的图像处理装置，其中，
当在编码图像数据的操作中、受到自适应滤波操作的图像数据要被其他图像数据参照时，滤波器控制单元执行控制以增加抽头长度，以及
当在编码图像数据的操作中、受到自适应滤波操作的图像数据不被其他图像数据参照时，滤波器控制单元执行控制以缩短抽头长度。
（14）一种图像处理方法，包括步骤：
根据图像数据是否要被其他图像数据参照，控制要对图像数据执行的自适应滤波操作，该控制通过图像处理装置的滤波器控制单元进行；以及
在运动补偿环路中对图像数据执行自适应滤波操作，该自适应滤波操作由图像处理装置的滤波操作单元进行。
附图标记
500图像编码装置，501滤波器控制单元，502自适应环路滤波器，511开/关单元，512滤波器系数计算单元，513滤波单元，601滤波器控制单元，602自适应环路滤波器，611抽头长度设置单元，612滤波器系数计算单元，621零系数设置单元

Claims (14)

1.一种图像处理装置，包括：
滤波器控制单元，被配置为根据图像数据是否要被其他图像数据参照，来控制要对所述图像数据执行的自适应滤波操作；以及
滤波操作单元，被配置为在运动补偿环路中、在所述滤波器控制单元的控制下，对所述图像数据执行自适应滤波操作。
2.根据权利要求1所述的图像处理装置，其中
当在编码所述图像数据的操作中、受到自适应滤波操作的所述图像数据要被所述其他图像数据参照时，所述滤波器控制单元控制执行所述自适应滤波操作；以及
当在编码所述图像数据的操作中、受到自适应滤波操作的所述图像数据不被所述其他图像数据参照时，所述滤波器控制单元控制不执行所述自适应滤波操作。
3.根据权利要求1所述的图像处理装置，其中
所述图像数据是画面数据，以及
所述滤波器控制单元根据所述画面的类型控制用于所述图像数据的所述自适应滤波操作。
4.根据权利要求3所述的图像处理装置，其中所述滤波器控制单元在所述图像数据是I画面时，控制执行所述自适应滤波操作，并且在所述图像数据是P画面和B画面时，控制不执行所述自适应滤波操作。
5.根据权利要求3所述的图像处理装置，其中所述滤波器控制单元在所述图像数据是I画面或P画面时，控制执行所述自适应滤波操作，并且在所述图像数据是B画面时，控制不执行所述自适应滤波操作。
6.根据权利要求3所述的图像处理装置，其中所述滤波器控制单元在所述图像数据是包含分等级的B画面的图像数据中的I画面和P画面或者要被参照的B画面时，控制执行所述自适应滤波操作，并且在所述图像数据是包含分等级的B画面的图像数据中不被参照的B画面时，控制不执行所述自适应滤波操作。
7.根据权利要求1所述的图像处理装置，其中
所述图像数据是条带数据，以及
所述滤波器控制单元根据所述条带的类型控制用于所述图像数据的所述自适应滤波操作。
8.根据权利要求7所述的图像处理装置，其中所述滤波器控制单元在所述图像数据是I条带时，控制执行所述自适应滤波操作，并且在所述图像数据是P条带和B条带时，控制不执行所述自适应滤波操作。
9.根据权利要求7所述的图像处理装置，其中所述滤波器控制单元在所述图像数据是I条带或P条带时，控制执行所述自适应滤波操作，并且在所述图像数据是B画面时，控制不执行所述自适应滤波操作。
10.根据权利要求7所述的图像处理装置，其中所述滤波器控制单元在所述图像数据是包含分等级的B条带的图像数据中的I条带和P条带或者要被参照的B条带时，控制执行所述自适应滤波操作，并且在所述图像数据是包含分等级的B画面的图像数据中不被参照的B条带时，控制不执行所述自适应滤波操作。
11.根据权利要求1所述的图像处理装置，还包括：
编码单元，被配置为将受到所述自适应滤波操作的所述图像数据编码，
其中，所述编码单元将所述自适应滤波操作的滤波器系数以及指示是否执行所述自适应滤波操作的标志信息编码，并将所得的数据加入所述图像数据的编码数据。
12.根据权利要求1所述的图像处理装置，其中
所述滤波器控制单元根据所述图像数据是否要被其他图像数据参照，来控制所述自适应滤波操作的滤波器系数的抽头长度，以及
所述滤波操作单元利用具有由所述滤波器控制单元控制的抽头长度的所述滤波器系数，对所述图像数据执行所述自适应滤波操作。
13.根据权利要求12所述的图像处理装置，其中，
当在编码所述图像数据的操作中、受到所述自适应滤波操作的所述图像数据要被其他图像数据参照时，所述滤波器控制单元执行控制以增加所述抽头长度，以及
当在编码所述图像数据的操作中、受到所述自适应滤波操作的所述图像数据不被其他图像数据参照时，所述滤波器控制单元执行控制以缩短所述抽头长度。
14.一种图像处理方法，包括：
根据图像数据是否要被其他图像数据参照，控制要对所述图像数据执行的自适应滤波操作，所述控制由图像处理装置的滤波器控制单元执行；以及
在运动补偿环路中对所述图像数据执行自适应滤波操作，所述自适应滤波操作由所述图像处理装置的滤波操作单元执行。
CN2011800483285A 2010-10-14 2011-10-05 图像处理装置和方法 Pending CN103155564A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010-231591 2010-10-14
JP2010231591A JP2012085211A (ja) 2010-10-14 2010-10-14 画像処理装置および方法、並びにプログラム
PCT/JP2011/072953 WO2012050021A1 (ja) 2010-10-14 2011-10-05 画像処理装置および方法

Publications (1)

Publication Number Publication Date
CN103155564A true CN103155564A (zh) 2013-06-12

Family

ID=45938250

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800483285A Pending CN103155564A (zh) 2010-10-14 2011-10-05 图像处理装置和方法

Country Status (5)

Country Link
US (1) US20130170542A1 (zh)
JP (1) JP2012085211A (zh)
CN (1) CN103155564A (zh)
BR (1) BR112013008418A2 (zh)
WO (1) WO2012050021A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010125225A1 (en) * 2009-04-27 2010-11-04 Nokia Corporation Method, apparatuses, computer program and computer program distribution medium for a communication receiver
US9241167B2 (en) * 2012-02-17 2016-01-19 Microsoft Technology Licensing, Llc Metadata assisted video decoding
JP2013243636A (ja) * 2012-04-24 2013-12-05 Sharp Corp 画像復号装置および画像符号化装置
JP5833757B2 (ja) * 2012-07-09 2015-12-16 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
CN105409221B (zh) * 2014-04-29 2020-03-06 微软技术许可有限责任公司 用于样本自适应偏移滤波的编码器侧决策
JP2015188249A (ja) * 2015-06-03 2015-10-29 株式会社東芝 動画像符号化装置及び動画像符号化方法
US10382766B2 (en) * 2016-05-09 2019-08-13 Qualcomm Incorporated Signalling of filtering information
JP2017069987A (ja) * 2017-01-18 2017-04-06 株式会社東芝 動画像符号化装置及び動画像符号化方法
US11765376B2 (en) * 2020-10-08 2023-09-19 Tencent America LLC Pruning methods and apparatuses for neural network based video coding

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003304538A (ja) * 2002-04-11 2003-10-24 Matsushita Electric Ind Co Ltd 画像符号化装置、画像復号化装置及びそれらの方法
US20040076333A1 (en) * 2002-10-22 2004-04-22 Huipin Zhang Adaptive interpolation filter system for motion compensated predictive video coding
CN1493157A (zh) * 2001-09-12 2004-04-28 ���µ�����ҵ��ʽ���� 图像编码方法和图像解码方法
US20070160129A1 (en) * 2006-01-10 2007-07-12 Tatsuro Fujisawa Video decoding apparatus and video decoding method
JP2008219204A (ja) * 2007-02-28 2008-09-18 Sony Corp 画像情報符号化装置及び符号化方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8189934B2 (en) * 2006-03-27 2012-05-29 Panasonic Corporation Image coding apparatus and image decoding apparatus
KR20090004659A (ko) * 2007-07-02 2009-01-12 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
US8831086B2 (en) * 2008-04-10 2014-09-09 Qualcomm Incorporated Prediction techniques for interpolation in video coding
JP5233897B2 (ja) * 2009-07-31 2013-07-10 ソニー株式会社 画像処理装置および方法
US20110243222A1 (en) * 2010-04-05 2011-10-06 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using adaptive prediction filtering, method and apparatus for decoding video by using adaptive prediction filtering

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1493157A (zh) * 2001-09-12 2004-04-28 ���µ�����ҵ��ʽ���� 图像编码方法和图像解码方法
JP2003304538A (ja) * 2002-04-11 2003-10-24 Matsushita Electric Ind Co Ltd 画像符号化装置、画像復号化装置及びそれらの方法
US20040076333A1 (en) * 2002-10-22 2004-04-22 Huipin Zhang Adaptive interpolation filter system for motion compensated predictive video coding
US20070160129A1 (en) * 2006-01-10 2007-07-12 Tatsuro Fujisawa Video decoding apparatus and video decoding method
JP2008219204A (ja) * 2007-02-28 2008-09-18 Sony Corp 画像情報符号化装置及び符号化方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHUJOH TAKESHI ET AL: ""Block-based adaptive loop filter"", 《ITU-TELECOMMUNICATIONS STANDARDIZATION SECTOR STUDY GROUP 16 QUESTION 6 VIDEO CODING EXPERTS GROUP (VCEG), VCEG-AI18, 35TH MEETING: BERLIN, GERMANY》, 16 July 2008 (2008-07-16) *
CHUJOH TAKESHI: ""Specification and experimental results of Quadtree-based Adaptive Loop Filter"", 《ITU-TELECOMMUNICATIONS STANDARDIZATION SECTOR STUDY GROUP 16 QUESTION 6 VIDEO CODING EXPERTS GROUP (VCEG), VCEG-AK11(R1), 37TH MEETING: YOKOHAMA,JAPAN》, 18 April 2009 (2009-04-18) *
DOE HYUN YOON ET AL: ""Indication of key picture in AVC compatible base layer"", 《JOINT VIDEO TEAM(JVT) OF ISO/IEC MPEG & ITU-T VCEG(ISO/IEC JTC1/SC29/WG11 AND ITU-T SG16 Q.6),JVT-P079, 16TH MEETING:POZNAN,PL》, 29 July 2005 (2005-07-29) *

Also Published As

Publication number Publication date
WO2012050021A1 (ja) 2012-04-19
US20130170542A1 (en) 2013-07-04
JP2012085211A (ja) 2012-04-26
BR112013008418A2 (pt) 2016-06-28

Similar Documents

Publication Publication Date Title
CN101990099B (zh) 图像处理设备和方法
TWI705702B (zh) 圖像處理裝置及方法
CN103155564A (zh) 图像处理装置和方法
CN103299629B (zh) 图像处理设备和方法
CN102484714B (zh) 图像处理装置和方法
TWI411310B (zh) Image processing apparatus and method
CN104380739B (zh) 图像处理设备和图像处理方法
CN102934429A (zh) 图像处理装置和图像处理方法
CN102934430A (zh) 图像处理装置和方法
CN102714718A (zh) 图像处理装置、方法和程序
KR20140019388A (ko) 화상 처리 장치 및 화상 처리 방법
CN106385586A (zh) 图像处理设备和图像处理方法
MX2012011451A (es) Dispositivo y metodo de procesamiento de imagenes.
CN102714734A (zh) 图像处理设备和方法
CN103503453A (zh) 编码装置和编码方法、以及解码装置和解码方法
CN104255028A (zh) 图像处理设备及图像处理方法
CN102884791A (zh) 图像处理设备和方法
US20130216150A1 (en) Image processing device, image processing method, and program
CN102939759A (zh) 图像处理设备和方法
CN104620586A (zh) 图像处理装置和方法
CN102939757A (zh) 图像处理装置和方法
CN102792693A (zh) 图像处理设备和方法
CN103535041A (zh) 图像处理装置和方法
CN104205847A (zh) 图像处理装置和图像处理方法
CN102742273A (zh) 图像处理装置和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130612