CN103716625B - 图像处理设备和方法 - Google Patents

图像处理设备和方法 Download PDF

Info

Publication number
CN103716625B
CN103716625B CN201310654588.8A CN201310654588A CN103716625B CN 103716625 B CN103716625 B CN 103716625B CN 201310654588 A CN201310654588 A CN 201310654588A CN 103716625 B CN103716625 B CN 103716625B
Authority
CN
China
Prior art keywords
block
image
unit
data
filtering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310654588.8A
Other languages
English (en)
Other versions
CN103716625A (zh
Inventor
近藤健治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103716625A publication Critical patent/CN103716625A/zh
Application granted granted Critical
Publication of CN103716625B publication Critical patent/CN103716625B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及图像处理设备和方法。提供了一种图像处理设备，包括：区域确定单元，被配置为确定用作图像的滤波的控制单位的控制块的区域是否包括编码图像的帧中形成的多个片中的处理对象片的区域；控制信息创建单元，被配置为当所述区域确定单元确定所述控制块的区域包括处理对象片的区域时，针对包括处理对象片的控制块的每个区域，创建代表是否针对包括处理对象片的控制块的区域执行滤波的滤波控制信息；和滤波单元，被配置为基于由所述控制信息创建单元创建的滤波控制信息，对图像执行滤波。

Description

图像处理设备和方法
本申请为同一申请人于2010年7月21日提交的申请号为201010236939.X、发明名称为“图像处理设备和方法”的中国专利申请的分案申请。
技术领域
本发明涉及图像处理设备和方法，更具体地讲，涉及一种可以通过在编码或解码期间局部地控制滤波而抑制编码效率降低的图像处理设备和方法。
背景技术
近来，符合诸如MPEG(运动图像专家组)的标准的设备已经在商业上可用于从广播中心等发送信息以及在顾客驻地接收信息。为了高效率地发送和积累信息，这种设备基于图像信息的特有性冗余使用诸如离散余弦变换的正交变换和运动补偿以数字方式处理并压缩图像信息。
特别地，定义为通用图像编码方案的MPEG2(ISO(国际标准化组织)/IEC(国际电工委员会)13818-2)当前用于广泛的领域，诸如专业应用和消费者应用、隔行扫描和逐行扫描图像，并且是既包含标准分辨率图像又包含高分辨率图像的标准。根据MPEG2压缩方案，例如，4至8Mbps的比特率被分配给720×480像素的标准分辨率隔行扫描图像，18至22Mbps的比特率被分配给1920×1088像素的高分辨率隔行扫描图像，从而能够实现高压缩率和良好的图像质量。
虽然MPEG2主要针对适合于广播的高质量图像编码，但它无法提供具有比MPEG1低的比特率(即，具有更高的压缩率)的编码方案。随着移动电话被广泛使用，可以预期对于这种编码方案的需求在未来会增加。因此，已对MPEG4编码方案进行了标准化。作为图像编码方案，这种标准已经于1998年12月在国际上作为ISO/IEC14496-2而被承认。
另外，近来，为了对电视会议图像进行编码，正在对H.26L(ITU-T(ITU电信标准化部门)Q6/16VCEG(视频编码专家组))进行标准化。根据H.26L，已知与现有的编码方案(诸如MPEG2或MPEG4)相比，为了执行编码和解码需要大量的计算，但能够实现更高的编码效率。另外，当前，作为MPEG4活动之一，通过包括H.26L不支持的附加功能，在H.26L的基础上正在进行为了实现更高编码效率的标准化，作为增强压缩视频编码的联合模型。作为盖标准化的日程表，基于H.264和MPEG4Part10(AVC(高级视频编码))的名称的国际标准已于2003年3月被承认。
近来，作为下一代视频编码技术，正在评议一种自适应环路滤波(ALF)(例如，参见Yi-Jen Chiu和L.Xu,“Adaptive(Wiener)Filter for Video compression,”ITU-TSG16Contribution,C437,Geneva,April2008)。这种自适应滤波能够通过针对每个帧执行最优滤波，减轻使用解块滤波难以处理的块失真或量化失真。
然而，通常，由于图像在局部具有各种特征，所以最优滤波系数在局部是不同的。在Yi-Jen Chiu和L.Xu的“Adaptive(Wiener)Filter for Video compression,”（ITU-TSG16Contribution,C437,Geneva,April2008）所公开的方法中，由于将相同的滤波系数应用于单个帧中的所有像素，所以可以就整个帧提高图像质量，但可能局部地降低图像质量。
在这点上，已提出了一种在图像质量局部地降低的区域中省略滤波的方法(例如，参见Takeshi.Chujoh等,“Block-based Adaptive Loop Filter,”ITU-T SG16Q6VCEGContribution,AI18,Germany,July,2008以及T.Chujoh，N.Wada和G.Yasuda,“Quadtree-based Adaptive Loop Filter,”ITU-T SG16Q6VCEG Contribution,VCEG-AK22(r1),Japan,April,2009)。在这个方法中，图像编码设备通过与在图像的区域上紧密排列的多个控制块进行匹配来控制是否针对每个控制块执行滤波。图像编码设备为每个块建立标记信息并基于该标记信息执行自适应滤波。类似地，图像解码设备基于该标记信息执行自适应滤波。
然而，已提出了一种通过把单个帧分成多个片(多片)，针对每个片执行图像编码或解码的方法。Takeshi.Chujoh等的“Block-based Adaptive Loop Filter”（ITU-TSG16Q6VCEG Contribution,AI18,Germany,July,2008）以及T.Chujoh，N.Wada和G.Yasuda的“Quadtree-based Adaptive Loop Filter”（ITU-T SG16Q6VCEG Contribution,VCEG-AK22(r1),Japan,April,2009）描述了一种为单一的整个帧建立多个块并且创建和发送所有块的标记信息的方法，但是没有描述如何在这种多片的情况下处理标记信息以及如何创建和使用标记信息。
Takeshi.Chujoh等的“Block-based Adaptive Loop Filter”（ITU-T SG16Q6VCEGContribution,AI18,Germany,July,2008）以及T.Chujoh，N.Wada和G.Yasuda的“Quadtree-based Adaptive Loop Filter”（ITU-T SG16Q6VCEG Contribution,VCEG-AK22(r1),Japan,April,2009）仅描述了图像编码设备针对帧内的单个片创建帧内的所有块的标记信息。也就是说，即使在多片的情况下，图像编码设备也要针对每个片创建帧内的所有块的标记信息。
然而，除处理对象片之外的区域的块的标记信息不是必要的。创建的标记信息被与图像数据一起进行编码并被包括在图像压缩信息中。也就是说，根据在Takeshi.Chujoh等的“Block-based Adaptive Loop Filter”（ITU-T SG16Q6VCEG Contribution,AI18,Germany,July,2008）以及T.Chujoh，N.Wada和G.Yasuda的“Quadtree-based AdaptiveLoop Filter”（ITU-T SG16Q6VCEG Contribution,VCEG-AK22(r1),Japan,April,2009）中公开的方法，当应用多片时，图像压缩信息可能不必要地增加，并且降低了编码效率。
发明内容
希望提供一种通过在编码或解码期间局部地控制滤波而抑制编码效率降低的方法。
根据本发明的实施例，提供了一种图像处理设备，包括：区域确定装置，被配置为确定用作图像的滤波的控制单位的控制块的区域是否包括编码图像的帧中形成的多个片中的处理对象片的区域；控制信息创建装置，被配置为当所述区域确定装置确定所述控制块的区域包括处理对象片的区域时，针对包括处理对象片的控制块的每个区域，创建代表是否针对包括处理对象片的控制块的区域执行滤波的滤波控制信息；和滤波装置，被配置为基于由所述控制信息创建装置创建的滤波控制信息，对图像执行滤波。
该图像处理设备还可以包括：片区域指定装置，被配置为指定处理对象片的区域；和控制块区域指定装置，被配置为指定控制块的区域，其中，所述区域确定装置可确定由所述控制块区域指定装置指定的控制块的区域是否包括由所述片区域指定装置指定的处理对象片的区域。
该图像处理设备还可以包括控制装置，该控制装置被配置为确定处理对象的控制块的区域是否包括处理对象片的区域，并且在被确定为包括处理对象片的区域的控制块的滤波控制信息的值代表执行滤波时控制所述滤波装置执行滤波，其中，所述滤波装置可在所述控制装置的控制下对处理对象控制块的区域执行滤波。
该图像处理设备还可以包括编码装置，该编码装置被配置为通过对图像进行编码来创建编码数据，其中，所述编码装置可对由所述控制信息创建装置创建的滤波控制信息进行编码并把编码的滤波控制信息加入到所述编码数据。
该图像处理设备还可以包括滤波系数计算装置，该滤波系数计算装置被配置为计算滤波的滤波系数，其中，所述编码装置对由所述滤波系数计算装置计算的滤波系数进行编码并把编码的滤波系数加入到所述编码数据。
根据本发明的另一实施例，提供了一种图像处理方法，包括下述步骤：在图像处理设备的区域确定装置中，确定用作图像的滤波的控制单位的控制块的区域是否包括编码图像的帧中形成的多个片中的处理对象片的区域；在图像处理设备的控制信息创建装置中，当确定了所述控制块的区域包括处理对象片的区域时，针对包括处理对象片的每个控制块，创建代表是否针对包括处理对象片的控制块的区域执行滤波的滤波控制信息；以及在图像处理设备的滤波装置中，基于创建的滤波控制信息，对图像执行滤波。
根据本发明的另一实施例，提供了一种图像处理设备，包括：控制装置，被配置为针对用作图像的滤波的控制单位的每个控制块，确定图像的该控制块的区域是否包括图像的帧中形成的多个片中的处理对象片区域，并且在代表是否针对被确定为包括处理对象片区域的控制块执行滤波的滤波控制信息的值代表执行滤波时，执行使得针对图像的该控制块的区域执行滤波的控制；和滤波装置，被配置为在所述控制装置的控制下针对图像的该控制块的区域执行滤波。
该图像处理设备还可以包括解码装置，该解码装置被配置为通过对编码数据进行解码而创建图像，所述编码数据是通过对所述图像进行编码而获得的，其中，所述解码装置对加入到所述编码数据的编码的滤波控制信息进行解码，所述控制装置在通过所述解码装置中的解码获得的滤波控制信息的值代表执行滤波时，执行使得针对图像的所述控制块的区域执行滤波的控制，并且所述滤波装置在所述控制装置的控制下针对图像的所述控制块的区域执行滤波。
根据本发明的另一实施例，提供了一种图像处理方法，包括下述步骤：在图像处理设备的控制装置中，针对用作图像的滤波的控制单位的每个控制块，确定图像的该控制块的区域是否包括图像的帧中形成的多个片中的处理对象片区域，并且在代表是否针对被确定为包括处理对象片区域的控制块执行滤波的滤波控制信息的值代表执行滤波时，执行使得针对图像的该控制块的区域执行滤波的控制；以及在图像处理设备的滤波装置中，在所述控制装置的控制下针对图像的该控制块的区域执行滤波。
根据本发明的实施例，确定用作图像的滤波的控制单位的控制块的区域是否包括编码图像的帧中形成的多个片中的处理对象片的区域。当确定该控制块的区域包括处理对象片的区域时，为包括处理对象片的每个控制块创建代表是否针对包括处理对象片的控制块的区域执行滤波的滤波控制信息。基于创建的滤波控制信息，对图像执行滤波。
根据本发明的另一实施例，针对用作图像的滤波的控制单位的每个控制块，确定图像的控制块的区域是否包括图像的帧中形成的多个片中的处理对象片的区域，并在代表是否针对被确定为包括处理对象片的区域的控制块执行滤波的滤波控制信息的值代表执行滤波时，执行使得针对图像的控制块的区域执行滤波的控制。在控制装置的控制下，针对图像的控制块的区域执行滤波。
根据本发明的实施例，能够对图像进行编码或解码。具体地，通过在编码或解码期间局部地控制滤波可以抑制编码效率的降低。例如，即使当图像的每个帧通过分成多个部分而被编码或解码时，也可以抑制编码效率的降低。
附图说明
图1是示出根据本发明实施例的图像编码设备的主要结构的例子的框图。
图2示出可变块尺寸的运动预测/补偿处理。
图3是示出控制信息创建单元的主要结构的例子的框图。
图4A、4B和4C示出ALF块和滤波块标记。
图5示出多片的例子。
图6A和6B示出对片0的处理。
图7A和7B示出对片1的处理。
图8A和8B示出根据本发明实施例的对片1的处理。
图9是示出自适应滤波单元的主要结构的例子的框图。
图10是示出编码处理流程的例子的流程图。
图11是示出控制信息创建处理流程的例子的流程图。
图12是示出块信息创建处理流程的例子的流程图。
图13是示出自适应滤波处理流程的例子的流程图。
图14是示出根据本发明实施例的图像解码设备的主要结构的例子的框图。
图15是示出解码处理流程的例子的流程图。
图16是示出块信息创建处理流程的另一例子的流程图。
图17A至17D示出ALF块和滤波块标记的另一例子。
图18示出ALF块和滤波块标记的另一例子。
图19示出多片的处理。
图20是示出根据本发明实施例的个人计算机的主要结构的例子的框图。
图21是示出根据本发明实施例的电视机的主要结构的例子的框图。
图22是示出根据本发明实施例的移动电话装置的主要结构的例子的框图。
图23是示出根据本发明实施例的硬盘记录器的主要结构的例子的框图。
图24是示出根据本发明实施例的照相机的主要结构的例子的框图。
图25示出宏块的例子。
具体实施方式
现在，将描述本发明的实施例。将按照下面的顺序进行描述。
1、第一实施例(图像编码设备)
2、第二实施例(图像解码设备)
3、第三实施例(滤波块标记创建处理的变型例)
4、第四实施例(QALF)
5、第五实施例(个人计算机)
6、第六实施例(电视机)
7、第七实施例(移动电话装置)
8、第八实施例(硬盘记录器)
9、第九实施例(照相机)
1、第一实施例
装置结构
图1示出作为根据本发明实施例的图像处理设备的图像编码设备的结构。
图1中示出的图像编码设备100是基于例如H.264和MPEG4Part10高级视频编码(以下表示为H.264/AVC)对图像进行压缩编码的编码器，并采用自适应环路滤波。
在图1的例子中，图像编码设备100包括：A/D(模拟/数字)转换单元101、画面排序缓冲器102、计算单元103、正交变换单元104、量化单元105、可逆编码器106和积累缓冲器107。另外，图像编码设备100包括：逆量化单元108、逆正交变换单元109、计算单元110和解块滤波器111。另外，图像编码设备100包括：控制信息创建单元112、自适应滤波单元113和帧存储器114。另外，图像编码设备100包括：帧内预测单元115、运动补偿单元116、运动预测单元117和预测图像选择单元118。图像编码设备100还包括速率控制单元119。
A/D转换单元101对输入图像进行A/D转换并把它输出给画面排序缓冲器102以将其存储。画面排序缓冲器102把按显示顺序存储的帧的图像排序成对应于GOP(画面组)结构的编码帧顺序。
计算单元103从画面排序缓冲器102读取的图像减去由预测图像选择单元118选择的来自帧内预测单元115的预测图像或来自运动补偿单元116的预测图像，并把它们的差信息输出给正交变换单元104。正交变换单元104根据来自计算单元103的差信息针对该差信息执行正交变换(诸如离散余弦变换或Karhunen-Loeve变换)以输出它的变换系数。量化单元105对从正交变换单元104输出的变换系数进行量化。
从量化单元105输出的量化的变换系数被输入到可逆编码器106。可逆编码器106通过执行诸如可变长度编码或算术编码的可逆编码，对量化的变换系数进行压缩。
可逆编码器106从帧内预测单元115获得代表帧内预测等的信息，并从运动预测单元117获得代表帧间预测模式的信息。以下，代表帧内预测的信息也会被称为帧内预测模式信息。另外，代表帧间预测的信息模式的信息在以下会被称为帧间预测模式信息。
可逆编码器106从控制信息创建单元112获得由自适应滤波单元113执行的自适应滤波的控制信息。
可逆编码器106对自适应滤波的控制信息、代表帧内预测或帧间预测模式的信息、量化参数等以及量化的变换系数进行编码，并把它们设置(复用)为压缩图像的头信息的一部分。可逆编码器106把编码的数据提供给积累缓冲器107以积累编码的数据。
例如，可逆编码器106执行可变长度编码或算术编码的可逆编码。作为可变长度编码的例子，可以使用由H.264/AVC方法定义的上下文自适应可变长度编码(CAVLC)。作为算术编码的例子，可以使用上下文自适应二进制算术编码(CABAC)。
积累缓冲器107临时存储从可逆编码器106提供的数据，并在预定定时把该数据作为例如通过H.264/AVC方法编码的压缩图像而输出给位于附图中未示出的下一级的记录器或传输线等。
另外，由量化单元105量化的变换系数还输入到逆量化单元108。逆量化单元108根据与量化单元105的量化对应的方法对量化的变换系数进行逆量化，并把获得的变换系数提供给逆正交变换单元109。
逆正交变换单元109使用与正交变换单元104的正交变换处理对应的方法对提供的变换系数执行逆正交变换。从逆正交变换得到的输出被提供给计算单元110。计算单元110把从预测图像选择单元118提供的预测图像与从逆正交变换单元109提供的逆正交变换结果(即恢复的差信息)相加，以获得局部解码的图像(解码图像)。该相加结果被提供给解块滤波器111。
解块滤波器111从解码图像去除块失真。解块滤波器111把失真去除结果提供给控制信息创建单元112和自适应滤波单元113。
控制信息创建单元112获得从解块滤波器111提供的解码图像和从画面排序缓冲器102读取的当前输入图像，并根据它们创建在自适应滤波单元113中执行的自适应滤波的控制信息。尽管将在下文描述控制信息的细节，但控制信息包括滤波系数、块尺寸、滤波块标记等。
控制信息创建单元112把创建的控制信息提供给自适应滤波单元113。另外，控制信息创建单元112还把创建的控制信息提供给可逆编码器106。如上所述，控制信息可以被可逆编码器106可逆地压缩并被包括(复用)在图像压缩信息中。也就是说，控制信息与图像压缩信息一起被发送给图像解码设备。
自适应滤波单元113使用从控制信息创建单元112提供的控制信息的滤波块标记、块尺寸说明和滤波系数等，对从解块滤波器111提供的解码图像执行滤波。例如，维纳（Wiener）滤波器可以用作这种滤波器。当然，可以使用除Wiener滤波器以外的各种滤波器。自适应滤波单元113把滤波结果提供给帧存储器114并将它们作为参照图像进行积累。
帧存储器114在预定定时把积累的参照图像输出给运动补偿单元116和运动预测单元117。
在图像编码设备100中，例如，来自画面排序缓冲器102的I画面、B画面和P画面作为用于帧内预测(也称为帧内处理)的图像被提供给帧内预测单元115。另外，从画面排序缓冲器102读取的B画面和P画面作为用于帧间预测(也称为帧间处理)的图像被提供给运动预测单元117。
帧内预测单元115基于从画面排序缓冲器102读取的帧内预测图像和从帧存储器114提供的参照图像，执行所有候选的帧内预测模式的帧内预测处理，以创建预测图像。
在帧内预测单元115中，关于应用于相应块/宏块的帧内预测模式的信息被发送给可逆编码器106并被编码为图像压缩信息中的头信息的一部分。根据H.264图像信息编码方案，为亮度信号定义了帧内4×4预测模式、帧内8×8预测模式和帧内16×16预测模式，并且针对色差信号可以为每个宏块定义独立于亮度信号的预测模式。在帧内4×4预测模式中，为每个4×4亮度块定义了单个帧内预测模式。在帧内8×8预测模式中，为每个8×8亮度块定义了单个帧内预测模式。在帧内16×16预测模式和色差信号中，为每一单个宏块定义单个预测模式。
帧内预测单元115针对创建预测图像的帧内预测模式计算代价函数值，并选择给出计算的代价函数值的最小值的帧内预测模式作为最优帧内预测模式。帧内预测单元115把按照最优帧内预测模式产生的预测图像提供给预测图像选择单元118。
运动预测单元117获得从画面排序缓冲器102提供的图像信息(输入图像)和与从帧存储器114提供的参照帧对应的图像信息(解码图像)以对图像进行帧间编码，并计算运动矢量。运动预测单元117把代表计算的运动矢量的运动矢量信息提供给可逆编码器106。运动矢量信息被可逆编码器106无损地压缩并被包括在图像压缩信息中。也就是说，运动矢量信息与图像压缩信息一起被发送给图像解码设备。
另外，运动预测单元117还把运动矢量信息提供给运动补偿单元116。
运动补偿单元116响应于从运动预测单元117提供的运动矢量信息执行运动补偿以创建帧间预测图像信息。运动补偿单元116把创建的预测图像信息提供给预测图像选择单元118。
预测图像选择单元118在帧内编码的情况下把帧内预测单元115的输出提供给计算单元103，并在帧间编码的情况下把运动补偿单元116的输出提供给计算单元103。
速率控制单元119基于积累缓冲器107中积累的压缩图像，控制量化单元105中的量化动作的速率，以免产生上溢或下溢。
根据MPEG(运动图像专家组)2方案，运动预测/补偿的单位是运动补偿块，并且每个运动补偿块可以包括独立的运动矢量信息。运动补偿块尺寸在帧运动补偿模式的情况下可以包括16×16像素，或者在场运动补偿模式的情况下可以包括针对第一场和第二场中的每个场的16×8像素。
相反，根据AVC(高级视频编码)方案，如图2的上半部分所示，包括16×16像素的单个宏块被分成16×16、16×8、8×16或8×8像素的几种分区（partition），每种分区可以具有独立的运动矢量信息。另外，如图2的下半部分所示，8×8分区可以被分成8×8、8×4、4×8或4×4像素的几种子分区，每种子分区可以具有独立的运动矢量信息。通过使用这种运动补偿块作为单位，执行运动预测/补偿。
图3是示出控制信息创建单元112的主要结构的例子的框图。
控制信息创建单元112创建在如上所述的自适应滤波单元113中执行的作为环路滤波的自适应滤波(ALF：自适应环路滤波)中使用的控制信息。控制信息创建单元112创建例如滤波系数、ALF块尺寸和滤波块标记作为控制信息。
控制信息创建单元112具有滤波系数计算单元131和块信息创建单元132。
滤波系数计算单元131获得从解块滤波器111提供的解码图像和从画面排序缓冲器102读取的当前输入图像，并基于它们针对每个帧计算ALF的滤波系数。
块信息创建单元132基于从解块滤波器111提供的解码图像和由滤波系数计算单元131计算的滤波系数确定ALF块尺寸，并为处理对象片内的每个ALF块创建滤波块标记。
这里，将描述ALF块和滤波块标记。图4A至4C示出ALF块和滤波块标记。
如上所述，在自适应滤波中，为每个帧设置滤波系数。也就是说，逐帧地执行最优滤波。然而，通常，帧图像在整体上并不是均一的，而是在局部具有各种特征。因此，最优滤波系数在局部上不同。因此，在使用如上所述为每帧确定的滤波系数进行的滤波中，整个帧的图像质量会提高，但相反地局部的图像质量可能降低。
在这点上，设想了基于块的自适应环路滤波(BALF)，在BALF中，不对图像质量局部降低的区域执行滤波。
图4A的帧151示出解块滤波之后的解码图像。如图4B所示，块信息创建单元132在帧151的整个区域上紧密地排列多个ALF块152，ALF块152是作为均被局部地执行的自适应滤波的控制单位的控制块。尽管排列了ALF块152的区域可以不等于帧151的区域，但它至少包括该帧的整个区域。结果，帧151的区域被分成各ALF块152的区域。
块信息创建单元132确定ALF块152的垂直尺寸(双向箭头154)和水平尺寸(双向箭头153)。可以使用例如8×8、16×16、24×24、32×32、48×48、64×64、96×96或128×128像素中的任何一个为每个片指定ALF块尺寸。另外，用于指定该ALF块尺寸的信息被称为块尺寸索引。
如果确定了块尺寸，则帧尺寸被固定。因此，也确定了每单个帧的ALF块的数量。
如图4C中所示，块信息创建单元132建立用于控制是否针对每个ALF块152执行滤波的滤波块标记155。例如，对于通过自适应滤波提高了图像质量的区域，滤波块标记155被设置为值“1”，对于通过自适应滤波降低了图像质量的区域，滤波块标记155被设置为值“0”。在滤波块标记155中，值“1”代表执行滤波，值“0”代表不执行滤波。
自适应滤波单元113基于滤波块标记155的值，控制自适应滤波。例如，自适应滤波单元113对于滤波块标记155设置为值“1”的ALF块152的区域执行滤波，而对于滤波块标记155设置为值“0”的ALF块152的区域不执行滤波。
另外，前述块尺寸索引和滤波块标记可以包括图像压缩信息的片头部（sliceheader），并且可以从图像编码设备100发送到图像解码设备。与ALF块的数量对应的一个或多个滤波块标记可以按照例如光栅扫描的顺序被包括在片头部中。
因此，当ALF块尺寸减小时，能够进行更准确的滤波控制，从而能够更适当地操作ALF滤波。然而，当ALF块尺寸减小时，滤波块标记的比特量增加。也就是说，当ALF块尺寸减小时，图像压缩信息的编码效率降低。结果，在自适应滤波的性能和图像压缩信息的编码效率之间存在折衷关系。
根据下面的式(1)能够计算ALF块的数量。
[式1]
NALFBLOCK=floor((16×NMBw+NSIZE-1)/NSIZE)×floor((16×NMBh+NSIZE-1)/NSIZE)
在式(1)中，NALFBLOCK表示ALF块的数量。另外，NMBw表示画面的水平方向的宏块的数量，NMBh表示画面的垂直方向的宏块的数量。另外，NSIZE表示ALF块的一条边的尺寸。另外，floor[x]表示舍去小数点后面的数字以获得整数的函数。
然而，根据H.264/AVC，可以把单个帧分成多个片并把图像压缩信息输出给每个片。图5示出多片的例子。在图5的例子中，帧151被分成三个片，包括片0、片1和片2。
图像编码设备通过以比这种帧更精细的片单位输出图像压缩信息，以更短的间隔创建并输出图像压缩信息。也就是说，可以允许对该图像压缩信息进行解码的图像解码设备在更早的时间开始图像压缩信息的解码。换句话说，可以缩短图像输入之后通过编码和解码直到图像输出的延迟时间。
描述BALF的参考文献Takeshi.Chujoh等人的“Block-based Adaptive LoopFilter”（ITU-T SG16Q6VCEG Contribution,AI18,Germany,July,2008）并未公开该多片。也就是说，它并未描述针对整个帧设置ALF块。为了创建滤波块标记，需要提供解块滤波后的解码图像。因此，如果一次创建了整个帧的滤波块标记，则需要等待直到针对帧内的所有片对图像进行编码(直到获得解块滤波后的解码图像)。在这种情况下，由于延迟时间相应地增加，逐片地处理图像就没有意义了。
因此，在多片的情况下，优选地针对每个片建立ALF块并创建滤波块标记，以抑制延迟时间增加。然而，如上所述，ALF块是针对整个帧建立的。也就是说，如上所述针对整个帧建立ALF块。也就是说，在每个片中针对整个帧建立ALF块，需要注意的是，在除片区域以外的区域中可能建立了不必要的ALF块。
例如，在图5中，当如图6A中所示处理片0时，针对由如图6B中所示的边界线161表示的片0的区域，建立整个帧151的ALF块152。
类似地，例如，在图5的例子中，当如图7A中所示处理片1时，针对由如图7B中所示的边界线162表示的片1的区域，建立整个帧151的ALF块152。
图6B和图7B中画阴影线的ALF块152是片0或片1的区域之外的块，也是对于处理片0或片1的区域而言不必要的块。
如上所述，在每个ALF块中建立滤波块标记155。也就是说，在多片的情况下，创建了不必要的滤波块标记，并且图像压缩信息的数据量增加，从而编码效率会降低。
在这点上，图3的控制信息创建单元112的块信息创建单元132创建包括处理对象片区域的ALF块和滤波块标记，以抑制编码效率的降低。
例如，在图5的例子中，当如图8A中所示处理片1时，块信息创建单元132建立包括由如图8B中所示的边界线162表示的片1的区域的ALF块152，并且仅针对这个ALF块152创建滤波块标记。
结果，仅每个片所需的滤波块标记被加入到图像压缩信息。因此，与如上所述针对每个片创建整个帧的滤波块标记的情况相比，减少了滤波块标记的比特量，并且抑制了编码效率的降低。另外，由于针对每个片创建包括控制信息的图像压缩信息，所以图像解码设备能够开始逐片的图像解码处理。因此，与针对每个帧创建滤波块标记的情况相比，可以抑制延迟时间的增加。
返回到图3，块信息创建单元132包括：处理对象片区域指定单元141、ALF块设置单元142、处理对象ALF块区域指定单元143、确定单元144和滤波块标记创建单元145。
处理对象片区域指定单元141指定作为解码图像提供的处理对象片区域在整个帧中的位置。
ALF块设置单元142确定ALF块尺寸并设置整个帧的ALF块152。由于整个帧区域的尺寸是预先确定的，所以ALF块设置单元142能够基于确定的块尺寸指定整个帧的ALF块的数量。
处理对象ALF块区域指定单元143从由ALF块设置单元142设置的ALF块152中逐个地选择处理对象ALF块，并指定所选择的处理对象ALF块的区域的位置。
确定单元144确定处理对象ALF块的区域是否包括处理对象片的区域。滤波块标记创建单元145创建确定单元144确定了包括处理对象片的区域的ALF块的滤波块标记。滤波块标记创建单元145使用由滤波系数计算单元131计算的滤波系数针对处理对象ALF块的区域执行自适应滤波，并基于滤波之后图像质量是否提高来确定滤波块标记的值。
滤波块标记创建单元145输出控制信息，诸如滤波块标记或ALF块尺寸。
图9是示出图1的自适应滤波单元113的主要结构的例子的框图。
自适应滤波单元113使用从控制信息创建单元112提供的控制信息，针对从解块滤波器111提供的解码图像执行滤波。
如图9中所示，自适应滤波单元113包括：控制器171、自适应滤波器172和选择器173。
控制器171执行对自适应滤波器172和选择器173的控制。例如，控制器171从控制信息创建单元112获得控制信息。另外，控制器171把获得的控制信息中包括的滤波系数提供给自适应滤波器172并对它进行设置。另外，控制器171基于控制信息中包括的ALF块尺寸，指定要处理的ALF块的区域的位置。另外，控制器171基于控制信息中包括的滤波块标记的值执行对自适应滤波器172的控制，以在必要的情况下针对每个ALF块的区域执行滤波，同时，控制器171执行对选择器173的操作的控制。
自适应滤波器172使用由控制器171设置的滤波系数，针对从解块滤波器111提供的解码图像中的由控制器171指定为处理对象ALF块的区域执行滤波。自适应滤波器172把滤波结果提供给选择器173。
选择器173选择由控制器171控制并从解块滤波器111提供的解码图像(未经受自适应滤波的解码图像)和从自适应滤波器172提供的解码图像(经受了自适应滤波的解码图像)中的任何一个，把它提供给帧存储器114，并积累它作为参照图像。
也就是说，自适应滤波单元113仅对从解块滤波器111提供的解码图像中根据滤波块标记执行滤波的区域(确定可以通过滤波提高图像质量的区域)执行滤波。
处理流程
接下来，将描述使用上述每个单元的处理流程。首先，将参照图10的流程图描述由图像编码设备100执行的编码的处理流程。
在步骤S101中，A/D转换单元101对输入图像执行A/D转换。在步骤S102中，画面排序缓冲器102存储A/D转换后的图像并把显示每个画面的序列排序成编码序列。
在步骤S103中，计算单元103计算预测图像和步骤S102的处理中的排序后图像之间的差。预测图像在帧间预测的情况下从运动补偿单元116经预测图像选择单元118提供给计算单元103，或者在帧内预测的情况下从帧内预测单元115经预测图像选择单元118提供给计算单元103。
与原始图像数据相比，差数据具有更小的数据量。因此，与不加改变地对图像进行编码的情况相比，可以减少数据量。
在步骤S104中，正交变换单元104针对通过步骤S103创建的差信息执行正交变换。具体地讲，通过正交变换(诸如离散余弦变换或Karhunen-Loeve变换)输出变换系数。在步骤S105中，量化单元105对变换系数进行量化。在该量化中，如在下面描述的步骤S119的处理中所述地控制速率。
如下所述，对如前所述的量化的差信息进行局部解码。也就是说，在步骤S106中，逆量化单元108使用与量化单元105的特性对应的特性，对由量化单元105量化了的变换系数执行逆量化。在步骤S107中，逆正交变换单元109使用与正交变换单元104的特性对应的特性，对由逆量化单元108逆量化了的变换系数执行逆正交变换。
在步骤S108中，计算单元110把通过预测图像选择单元118输入的预测图像与经局部解码的差信息相加以创建局部解码的图像(与计算单元103的输入对应的图像)。在步骤S109中，解块滤波器111对由计算单元110输出的图像执行滤波。结果，去除了块失真。
当针对单个片执行了前述处理时，控制信息创建单元112在步骤S110中创建自适应滤波中使用的控制信息。控制信息创建处理的细节将在下面详细描述。
当通过步骤S110的处理创建了诸如ALF块尺寸和滤波块标记的控制信息时，自适应滤波单元113在步骤S111中使用该控制信息针对步骤S109中的解块滤波后的解码图像执行自适应滤波。该自适应滤波的细节将在下面进行描述。
在步骤S112中，帧存储器114存储在步骤S111中经受了自适应滤波的图像。
在步骤S113中，帧内预测单元115执行帧内预测模式的帧内预测处理。在步骤S114中，运动预测单元117和运动补偿单元116执行帧间预测模式的帧间运动预测/补偿处理。
在步骤S115中，预测图像选择单元118根据处理对象帧的预测模式，选择通过帧内预测处理创建的预测图像或通过帧间运动预测/补偿处理创建的预测图像中的任何一个。预测图像选择单元118把选择的预测图像提供给计算单元103和计算单元110。这个预测图像用于如前所述的步骤S103和步骤S108中的运算。
在步骤S116中，可逆编码器106对从量化单元105输出的量化的变换系数进行编码。也就是说，使用诸如可变长度编码或算术编码的可逆编码来压缩差图像。在这种情况下，可逆编码器106还对在步骤S110中创建的控制信息、步骤S113的帧内预测处理的帧内预测模式信息、步骤S114的帧间运动预测/补偿处理的帧间预测模式等进行编码。
在步骤S117中，可逆编码器106把诸如编码的控制信息的元数据嵌入(记述)到片头部中。当对图像解码时读取并使用该元数据。通过如上所述在片头部中包括(复用)执行解码处理所需的元数据，可以使用比帧单位更精确的单位执行解码处理并抑制延迟时间的增加。
在步骤S118中，积累缓冲器107积累差图像作为压缩图像。积累缓冲器107中积累的压缩图像被适当地读取并通过传输线发送到解码侧。
在步骤S119中，速率控制单元119基于积累缓冲器107中积累的压缩图像，执行对量化单元105的量化操作的速率的控制，以免产生上溢或下溢。
接下来，在图10的步骤S110中，将参照图11的流程图描述由控制信息创建单元112执行的控制信息创建处理流程的例子。
当开始控制信息创建处理时，在步骤S131中，控制信息创建单元112的滤波系数计算单元131使用从画面排序缓冲器102提供的输入图像和从解块滤波器111提供的解块滤波后的解码图像计算滤波系数。例如，滤波系数计算单元131确定使得输入图像和解码图像之间的残差变得最小的滤波系数的值。
当计算出滤波系数时，块信息创建单元132在步骤S132中执行包括ALF块尺寸或滤波块标记的块信息的创建。块信息创建处理的细节将在下面描述。当创建了块信息时，该处理返回到图10的步骤S110，并且执行步骤S111及之后的处理。
另外，在步骤S131中计算的滤波系数可以逐帧地获得。在这种情况下，可以仅针对帧内的预定片(诸如帧内具有例如0的识别号的预定值的片或帧内最初处理的片等)执行步骤S131的处理，并且可以在其它片中类似地使用该值。另外，任何图像能够用于计算滤波系数。例如，可以基于过去的帧图像计算滤波系数。
接下来，将参照图12的流程图描述在图11的步骤S132中执行的块信息创建处理流程的例子。
当开始块信息创建处理时，处理对象片区域指定单元141在步骤S151中指定处理对象片区域。
通过识别对应的片中包括的宏块和识别该宏块中包括的像素，可以识别对应的处理对象片区域。处理对象片区域指定单元141从片头部获得对应的片的前端宏块地址。
这里，前端宏块地址指的是从图像的左上开始按照光栅扫描的顺序附属于宏块的号码。如图5中所示，图像(帧151)内的左上宏块的地址设置为0。由于片0是从帧151的左上部开始的，所以片0的前端宏块156-1的宏块地址是0。按照这个顺序，片0的最后宏块156-2的宏块地址设置为E0。另外，与该片0类似，片1的前端宏块157-1的宏块地址设置为S1，并且最后宏块157-2的宏块地址设置为E1。另外，片2的前端宏块158-1的宏块地址设置为S2，并且最后宏块158-2的宏块地址设置为E2。
当对相应片进行解码时，每当对于单个宏块完成解码处理时宏块地址增加1，最终到达相应片的最后宏块。在片的最后宏块中，设置标记。结果，可以识别相应片的所有宏块地址，即，从前端宏块地址到最后宏块地址。
然而，单个帧的图像尺寸由AVC流(图像压缩信息)的SPS(序列参数集)中的宏块数量表示。参数pic_height_in_map_units_minus1表示图像的垂直方向的宏块的数量。参数pic_width_in_mbs_minus1表示图像的水平方向的宏块的数量。
因此，宏块的位置能够根据宏块地址由下面的式(2)和(3)表示。
mbx=宏块地址MOD pic_width_in_mbs_minus1 …(2)
mby=floor[宏块地址/pic_width_in_mbs_minus1] …(3)
在式(2)和(3)中，参数mbx代表宏块从最左侧起的位置，参数mby代表宏块从最上侧起的位置。另外，算子floor[z]代表舍去小数点后面的数字以产生整数的运算。A MOD B是计算通过将数字A除以数字B获得的余数。
假设宏块尺寸确定为16×16像素，宏块的左上角像素的垂直方向和水平方向的位置被设置为(16×mbx,16×mby)。该宏块包括相对于左上角像素的位置沿向下方向的16个像素和沿向右方向的16个像素。结果，能够识别相应片的所有像素。也就是说，指定了处理对象片区域。
在图12的步骤S152中，ALF块设置单元142确定ALF块尺寸。在步骤S153中，ALF块设置单元142确定帧内的ALF块的数量。由于帧图像尺寸是预先确定的，所以当确定了ALF块尺寸时，可以使用帧的左上角作为原点计算在整个区域上排列ALF块所需的ALF块的数量(帧内的ALF块的数量)。由于在先前提供了ALF块的垂直和水平尺寸(像素数)的设置值，所以ALF块设置单元142基于所述设置值确定ALF块尺寸和ALF块的数量，并在解码图像中排列ALF块。
另外，基于下面的式(4)和(5)计算ALF块的数量。
num_alf_block_x=floor[(16x(pic_width_in_mbs_minus1+1)+(alf_block_size-1))/alf_block_size] …(4)
num_alf_block_y=floor[(16x(pic_height_in_map_units_minus1+1)+(alf_block_size-1))/alf_block_size] …(5)
在式(4)和(5)中，参数num_alf_block_x和num_alf_block_y分别代表图像中包括的ALF块的水平数量和垂直数量。参数alf_block_size代表ALF块的一条边的尺寸。这里，为了便于说明，假设ALF块是正方形。不言自明的是，ALF块的水平和垂直尺寸可以彼此不同。
在步骤S154中，处理对象ALF块区域指定单元143确定处理对象ALF块区域。在步骤S155中，处理对象ALF块区域指定单元143指定处理对象ALF块的区域。
第i个ALF块的位置在下面的式(6)和(7)中表示。
alf_block_x=i(num_alf_block_x-1) …(6)
alf_block_y=floor[i/(num_alf_block_x-1)] …(7)
在式(6)和(7)中，参数alf_block_x和alf_block_y分别代表第i个ALF块在水平方向和垂直方向上所处的位置。通过把参数alf_block_x和alf_block_y的每个值乘以参数alf_block_size，能够获得第i个ALF块的左上角像素的位置。也就是说，水平方向的位置设置为16×alf_block_x，垂直方向的位置设置为16×alf_block_y。因此，第i个ALF块区域占据相对于左上角像素的alf_block_size×alf_block_size的范围。
在步骤S156中，确定单元144确定在如上所述指定的处理对象ALF块中是否包括处理对象片的区域。
如果确定在处理对象ALF块的区域中包括处理对象片的区域，则处理前进至步骤S157。在步骤S157中，因为处理对象ALF块是处理对象片所需的ALF块，所以滤波块标记创建单元145针对该ALF块创建滤波块标记。在步骤S158中，滤波块标记创建单元145输出创建的滤波块标记。
如果步骤S158的处理结束，则处理前进至步骤S159。另外，在步骤S156中，如果确定在处理对象ALF块的区域中不包括处理对象片的区域，则该ALF块对于处理对象片不是必需的，处理前进至步骤S159。
在步骤S159中，处理对象ALF块区域指定单元143确定是否已处理帧内所有的ALF块。如果确定尚未处理所有的ALF块，则处理返回至步骤S154，并且通过把新的ALF块设置为处理对象来重复后续处理。当重复这个循环处理时，处理对象ALF块区域指定单元143从左上的ALF块开始按照光栅扫描的顺序从整个帧区域中排列的ALF块组中逐个地选择ALF块作为处理对象ALF块。
另外，在步骤S159中，如果确定处理了帧内的所有ALF块，则块信息创建处理结束，并且处理返回至图11的步骤S132。当控制信息创建处理结束时，处理返回至图10的步骤S110，并且执行步骤S111及后面的处理。
另外，尽管在前面的描述中当在整个帧图像区域中排列ALF块时把帧的左上点设置为原点，但这个原点的位置可以任意设置。例如，原点的位置可以设置为左下点、右下点、右上点或中心点。然而，原点的位置以及如何排列ALF块需要被预先设置以便在编码和解码之间相同。
尽管在前面的描述中选择处理对象ALF块的顺序被设置为从左上点开始的光栅扫描顺序，但选择顺序和开始位置可以任意设置。
接下来，将参照图13的流程图描述图10的步骤S111中执行的自适应滤波处理流程的例子。
当开始自适应滤波时，把处理对象片的解码图像提供给自适应滤波器172和选择器173。在步骤S171中，控制器171指定处理对象片的区域。类似于图12的步骤S151的处理，控制器171获得片头部的相应片的前端宏块地址，进一步检测代表最后宏块的标记，并指定从前端宏块地址到最后宏块地址的区域作为处理对象片的区域。
在步骤S172中，控制器171获得由控制信息创建单元112创建的滤波系数，并在自适应滤波器172中设置该滤波系数。在步骤S173中，控制器171获得由控制信息创建单元112确定的ALF块尺寸，并在整个帧区域中设置(排列)具有该ALF块尺寸的ALF块。
在步骤S174中，类似于图12的步骤S154，控制器171确定如前所述建立的ALF块组中未处理的ALF块之一作为处理对象ALF块。该ALF块选择顺序在预先确定的并且与控制信息创建单元112的选择顺序相同。
在步骤S175中，类似于图12的步骤S155，控制器171指定所确定的处理对象ALF块的区域。
在步骤S176中，类似于图12的步骤S156，控制器171确定在处理对象ALF块的区域中是否包括处理对象片的区域。如果确定了包括处理对象片的区域，则处理前进至步骤S177。
在步骤S177中，控制器171获得在控制信息创建单元112中创建的处理对象ALF块的滤波块标记。由于控制信息创建单元112如前所述创建滤波块标记，所以滤波块标记实际上仅被提供给包括处理对象片的区域的ALF块。由于ALF块的处理顺序与控制信息创建单元112相同，所以按照ALF块的处理顺序提供滤波块标记。因此，通过按照该提供顺序获得(采用)滤波块标记，控制器171能够获得(采用)处理对象ALF块的滤波块标记。
另外，提供滤波块标记的定时和使用控制器171获得滤波块标记的定时可以不同。也就是说，控制器171可以在例如内部缓冲器等中临时存储从控制信息创建单元112提供的滤波块标记，并且在步骤S177的处理中从该缓冲器读取滤波块标记。即使在这种情况下，控制器171也能够仅通过使读取滤波块标记的顺序与从控制信息创建单元112提供滤波块标记的顺序(即，该缓冲器中的积累顺序)相同，来获得处理对象ALF块的滤波块标记。
在步骤S178中，控制器171确定滤波块标记的值是否是1。如果滤波块标记的值是1，则指示针对处理对象ALF块的区域执行滤波，处理前进至步骤S179。在步骤S179中，自适应滤波器172由控制器171控制，并且针对处理对象ALF块执行滤波。如果步骤S179的处理结束，则处理前进至步骤S180。在这种情况下，在步骤S180中，选择器173由控制器171控制，并且选择自适应滤波器172的输出并把它输出给帧存储器114。换句话说，在帧存储器114中积累经受了滤波的解码图像(的一部分区域)。当步骤S180的处理结束时，处理前进至步骤S181。
另外，在步骤S178中，如果滤波块标记的值是0，则指示不针对处理对象ALF块的区域执行滤波，省略步骤S179的处理，并且处理前进至步骤S180。在这种情况下，在步骤S180中，选择器173由控制器171控制，并且选择解块滤波器111的输出并把它输出给帧存储器114。也就是说，在帧存储器114中积累未经受滤波的解码图像(的一部分区域)。当步骤S180的处理结束时，处理前进至步骤S181。
另外，在步骤S176中，如果确定在处理对象ALF块的区域中不包括处理对象片的区域，则处理对象ALF块是与处理对象片无关的ALF块。因此，省略步骤S177至S180的处理，并且处理前进至步骤S181。
在步骤S181中，控制器171确定是否已处理了帧内所有的ALF块。如果确定存在任何未处理的ALF块，则处理返回至步骤S174，并且针对新的处理对象ALF块重复后续处理。当重复这个循环处理时，控制器171从左上的ALF块开始按照光栅扫描的顺序从在整个帧区域中排列的ALF块组中逐个地选择ALF块作为处理对象ALF块。
另外，在步骤S181中，如果确定已处理了帧内所有的ALF块，则自适应滤波结束。处理返回至图10的步骤S111，并且重复步骤S112及后面的处理。
通过如上所述执行自适应滤波，自适应滤波单元113能够基于帧内的一部分ALF块的滤波块标记，适当地执行帧中形成的多个片中的处理对象片所需的对处理对象片的滤波。结果，自适应滤波单元113能够减小未由处理对象片的解块滤波处理的块失真或量化失真。
如何排列ALF块是预先确定的。因此，在整个帧区域中排列ALF块的状态下，可以根据ALF块尺寸容易地获得每个ALF块的位置。因此，当像现有技术一样针对帧内所有ALF块创建了滤波块标记时，可以容易地指定与每个滤波块标记对应的区域的位置。
然而，例如，在帧中具有多个片的多片情况下，可以想到使用帧内的一部分ALF块的滤波块标记针对处理对象片执行滤波。在这种情况下，根据处理对象片的区域的位置(即，处理对象片是从帧内的多个片中的任何一个选择的)，与使用的滤波块标记对应的区域的位置是不同的。
然而，根据现有技术的方法，未指定滤波块标记或处理对象片的位置。因此，可能无法适当地执行根据控制信息创建单元112中创建的滤波块标记的控制，并且可能无法适当地执行自适应滤波。
如上所述，由于自适应滤波单元113指定作为帧内一部分区域的处理对象片区域的位置和与帧内一部分ALF块的滤波块标记对应的区域的位置，所以可以适当地执行自适应滤波。也就是说，由于不需要不包括处理对象片区域的ALF块的、不影响处理对象片的滤波块标记，所以自适应滤波单元113能够抑制图像压缩信息的编码效率的降低。
另外，由于控制信息创建单元112如上所述仅针对包括处理对象片区域的ALF块创建滤波块标记，所以可以防止创建不必要的滤波块标记并抑制图像压缩信息的编码效率的降低。
另外，自适应滤波单元113能够通过使用与如上所述的控制信息创建单元112的方法相同的方法，容易地指定处理对象片的区域的位置和与滤波块标记对应的区域的位置。
另外，由于可逆编码器106把包括ALF块尺寸和滤波块标记的块信息加入到编码数据(例如，把它嵌入到片头部中)，所以对这些编码数据进行解码的图像解码设备也能够基于与自适应滤波单元113的块信息类似的块信息执行滤波。
这里，“加入”指的是块信息以任何方式与编码数据关联。例如，块信息可以记述为编码数据的语法，或者可以记述为用户数据。另外，块信息可以作为元数据与编码数据连结。也就是说，“加入”包括“嵌入”、“记述”、“复用”、“连结”等。
通过伴随着如上所述的块信息创建处理或自适应滤波执行编码，仅那些必要的滤波块标记会被包括在图像压缩信息中。因此，图像编码设备100通过在编码或解码期间局部地控制滤波，能够抑制编码效率的降低。例如，即使当图像的每个帧被分成多个片并且针对每个片执行使用自适应滤波的编码并输出时，图像编码设备100也能够抑制编码效率的降低。
2、第二实施例
装置结构
接下来，将描述与本发明的第一实施例的图像编码设备100对应的图像解码设备。图14是示出作为根据本发明实施例的图像处理设备的图像解码设备的结构例子的框图。
图像解码设备200对从图像编码设备100输出的图像压缩信息进行解码以创建解码图像。
图像解码设备200包括：积累缓冲器201、可逆解码单元202、逆量化单元203、逆正交变换单元204、计算单元205和解块滤波器206。另外，图像解码设备200具有自适应滤波单元207。另外，解码设备200具有画面排序缓冲器208和D/A(数字-模拟)转换单元209。另外，图像解码设备200具有帧存储器210、帧内预测单元211、运动补偿单元212和选择器213。
积累缓冲器201积累发送来的图像压缩信息。可逆解码单元202使用与可逆编码器106的编码方案对应的解码方案，对从积累缓冲器201提供的、由图1的可逆编码器106编码的信息进行解码。
当相应的宏块被帧内编码时，可逆解码单元202对图像压缩信息的头部中存储的帧内预测模式信息进行解码并把该信息发送给帧内预测单元211。另外，当相应的宏块被帧间编码时，可逆解码单元202对图像压缩信息的头部中存储的运动矢量信息进行解码并把该信息发送给运动补偿单元212。
另外，可逆解码单元202从图像压缩信息的片头部提取用于自适应滤波的控制信息(由控制信息创建单元112创建的控制信息)，对该控制信息进行解码，并把该信息提供给自适应滤波单元207。
逆量化单元203使用与图1的量化单元105的量化方案对应的方案，对由可逆解码单元202解码的图像执行逆量化。逆正交变换单元204使用与图1的正交变换单元104的正交变换方案对应的方案，对逆量化单元203的输出执行逆正交变换。
计算单元205把从选择器213提供的预测图像与经受了逆正交变换的差信息相加，以创建解码图像。解块滤波器206去除通过这种相加创建的解码图像的块失真。
自适应滤波单元207基于从可逆解码单元202提供的控制信息中包括的诸如ALF块尺寸、滤波块标记和滤波系数的信息，对从解块滤波器206提供的图像执行滤波。自适应滤波单元207执行与图1的自适应滤波单元113相同的自适应滤波。结果，自适应滤波单元207能够减小未由解块滤波器206去除的块失真或量化失真。
自适应滤波单元207把滤波之后的图像提供给帧存储器210，积累该图像作为参照图像信息，并把它输出给画面排序缓冲器208。
画面排序缓冲器208对图像执行排序。也就是说，按原始显示序列来排序图1的画面排序缓冲器102的按编码序列排序的帧序列。D/A转换单元209对从画面排序缓冲器208提供的图像执行D/A转换，并将其输出。例如，D/A转换单元209把通过D/A转换获得的输出信号输出给显示单元(未示出)以进行显示。
当相应帧被帧内编码时，帧内预测单元211基于从可逆解码单元202提供的信息创建预测图像，并把创建的预测图像输出给选择器213。
当相应帧被帧间编码时，运动补偿单元212基于从可逆解码单元202提供的运动矢量信息，对帧存储器210中存储的参照图像信息执行运动补偿处理。
当相应宏块被帧内编码时，选择器213连接到帧内预测单元211并把从帧内预测单元211提供的图像作为预测图像提供给计算单元205。另外，当相应宏块被帧间编码时，选择器213连接到运动补偿单元212并把从运动补偿单元212提供的图像作为预测图像提供给计算单元205。
处理流程
将参照图15的流程图描述由图像解码设备200执行的解码处理流程的例子。
在步骤S201中，积累缓冲器210积累发送来的图像。在步骤S202中，可逆解码单元202对从积累缓冲器201提供的压缩图像进行解码。也就是说，I画面、P画面和B画面由图1的可逆编码器106编码。
在这种情况下，运动矢量信息、参照帧信息、预测模式信息(代表帧内预测模式或帧间预测模式的信息)等也被解码。
也就是说，当预测模式信息是帧内预测模式信息时，该预测模式信息被提供给帧内预测单元211。当预测模式信息是帧间预测模式信息时，与该预测模式信息对应的参照帧信息和运动矢量信息被提供给运动补偿单元212。
另外，可逆解码单元202在步骤S202中从图像压缩信息的片头部提取自适应滤波的控制信息，并对其进行解码。解码的控制信息被提供给自适应滤波单元207。
在步骤S204中，逆量化单元203使用与图1的量化单元105的特性对应的特性，对在步骤S202中解码的变换系数执行逆量化。在步骤S205中，逆正交变换单元204使用与图1的正交变换单元104的特性对应的特性，对在步骤S204中经受了逆量化的变换系数执行逆正交变换。结果，与图1的正交变换单元104的输入(计算单元103的输出)对应的差信息被解码。
在步骤S206中，计算单元205把下文描述的步骤S212中选择的预测图像与该差信息相加。结果，原始图像被解码。在步骤S207中，解块滤波器206针对从计算单元205输出的图像执行滤波。结果，去除了块失真。
在步骤S208中，自适应滤波单元207进一步对经受了解块滤波的图像执行自适应滤波。该自适应滤波类似于由图1的自适应滤波单元113执行的处理。也就是说，使用从可逆解码单元202提供的控制信息，以与参照图13的流程图描述的方式相似的方式执行该自适应滤波。然而，从可逆解码单元202提供的控制信息也是由图1的控制信息创建单元112创建的，并且基本与由图1的自适应滤波单元113使用的从控制信息创建单元112提供的控制信息相同。
通过该自适应滤波，可以减小未通过解块滤波去除的块失真或量化失真。
在步骤S209中，帧存储器210存储经受了该滤波的图像。
当提供了帧内预测模式信息时，帧内预测单元211在步骤S210中执行帧内预测模式的帧内预测。另外，当提供了帧间预测模式信息时，运动补偿单元212在步骤S211中执行帧间预测模式的运动补偿。
在步骤S212中，选择器213选择预测图像。也就是说，选择器213选择由帧内预测单元211创建的预测图像或由运动补偿单元212创建的预测图像中的任何一个，并把选择的预测图像提供给计算单元205。
例如，在帧内编码图像的情况下，选择器213选择由帧内预测单元211创建的预测图像并把它提供给计算单元205。另外，在帧间编码图像的情况下，选择器213选择由运动补偿单元212创建的预测图像并把它提供给计算单元205。
在步骤S213中，画面排序缓冲器208执行排序。也就是说，按原始显示序列来排序由图1的图像编码设备100的画面排序缓冲器102为了编码而排序的帧序列。
在步骤S214中，D/A转换单元209对来自画面排序缓冲器208的图像执行D/A转换。该图像被输出给显示单元(未示出)并在显示单元上显示。
这样，在图像解码设备200中，可逆解码单元202提取从图像编码设备100提供的控制信息并对其解码，自适应滤波单元207使用这种控制信息以与图像编码设备100的自适应滤波单元113相似的方式执行自适应滤波。
如上所述，通过执行自适应滤波，可以允许自适应滤波单元207基于帧内的一部分ALF块的滤波块标记适当地执行帧中形成的多个片中的处理对象片所需的滤波。结果，自适应滤波单元207能够去除处理对象片中的未由解块滤波器去除的块失真或量化失真。
也就是说，类似于自适应滤波单元113的情况，自适应滤波单元207能够基于仅提供给处理对象片所需的ALF块的滤波块标记，适当地对处理对象片执行滤波。
因此，图像解码设备200能够适当地对仅包括图像编码设备100所需的滤波块标记的图像压缩信息进行解码。也就是说，图像解码设备200能够通过在编码或解码期间局部地控制滤波来抑制编码效率的降低。例如，即使当图像的每个帧被分成多个片并且使用自适应滤波针对每个片对编码的图像压缩信息进行解码并输出时，也可以抑制编码效率的降低。
3、第三实施例
处理对象ALF块的另一例子
在前面的描述中，控制信息创建单元112针对至少包括处理对象片区域的所有ALF块创建滤波块标记，并且由自适应滤波单元113对至少包括处理对象片区域的所有ALF块执行滤波。
然而，例如，当在ALF块中仅包括处理对象片区域的单个像素时，滤波几乎不影响处理对象片的图像质量。这样，即使当针对具有小比率的处理对象片区域的ALF块执行滤波时，也无法获得充分的效果，并且处理(负荷)可能变得无用。
在这点上，可将仅包括预定比率以上的处理对象片区域的ALF块设置为处理对象。这个用作阈值的预定比率可以任意设置。另外，这个值可以预先设置或者可以设置为根据图像的内容等而改变。
处理流程
将参照图16的流程图描述在这种情况下的块信息创建处理流程的例子。图16的流程图对应于图12的流程图。
也就是说，如图16中所示，即使在这种情况下，也以与参照图12描述的情况基本相似的方式执行块信息创建处理。
因此，在这种情况下的控制信息创建单元112的结构类似于图3的情况。
图16的步骤S351至S355的各个处理以与图12的步骤S151至S155的各个处理类似的方式执行。
然而，在图16中，当指定处理对象ALF块的区域时，确定单元144在步骤S356中确定是否预定比率以上的处理对象ALF块的区域是处理对象片区域。
如果确定预定比率以上的处理对象ALF块的区域是处理对象片区域，则处理前进至步骤S357。另外，在步骤S356中，如果确定处理对象ALF块中包括的处理对象片区域小于预定比率，则处理前进至步骤S359。
步骤S357至S359的各处理以与图12中的步骤S157至S159的各处理相似的方式执行。
这样，与第一实施例相比，创建滤波块标记的条件可被设置为实质上更有用的范围。结果，图像编码设备100和图像解码设备200能够进一步抑制编码效率的降低。
另外，尽管在前面的描述中逐片地执行使用自适应滤波的编码或解码，但本发明不限于此。如果数据单位小于帧单位，则可以以更精确的数据单位执行编码或解码。
4、第四实施例
QALF的说明
如T.Chujoh N.Wada和G.Yasuda的“Quadtree-based Adaptive Loop Filter”（ITU-T SG16Q6VCEG Contribution,VCEG-AK22(r1),Japan,April,2009）中所公开的，ALF块可以具有四叉树结构。该技术称为基于四叉树的自适应环路滤波(QALF)。在这个四叉树结构中，上层中的单个ALF块区域在下层中分成四个区域。
图17A至17D示出通过使用具有最大层数为3的四叉树结构表示ALF块划分，指定每个ALF块中的滤波块标记的例子。
图17A示出层0，层0是用作四叉树结构的基础的ALF块。在该四叉树结构中，每个ALF块具有块分割标记，该块分割标记表示每个ALF块是否在下层中被四分。图17A中所示的ALF块的块分割标记的值设置为“1”。也就是说，这个ALF块在下层(层1)中被四分。图17B显示层1。也就是说，在层1中形成四个ALF块。
当块分割标记设置为“0”时，ALF块不在下层中被四分。也就是说，不再进行划分，并且针对该ALF块创建滤波块标记。也就是说，具有值为“0”的块分割标记的ALF块也具有滤波块标记。在图17B示出的“0-1”之中，左侧的“0”代表相应ALF块的块分割标记，右侧的“1”代表相应ALF块的滤波块标记。
层1中的块分割标记被设置为“1”的两个ALF块在更下层(层2)中被四分。图17C显示层2。也就是说，在层2中创建了10个ALF块。
类似地，也可以为层2中的块分割标记被设置为“0”的ALF块分配滤波块标记。在图17C中，一个ALF块的块分割标记被设置为“1”。也就是说，该ALF块在更下层(层3)中被四分。图17D显示层3。也就是说，在层3中创建了13个ALF块。
如图17A至17D中所示通过四叉树划分获得的ALF块的最种配置示出于图18中。这样，在该四叉树结构中，ALF块尺寸在每个层中是不同的。也就是说，通过使用四叉树结构，ALF块可以在帧内具有不同的尺寸。
对每个ALF块中的滤波块标记的控制类似于第一实施例中的情况。也就是说，当滤波块标记的值是“0”时，不对(图18中画阴影线的)ALF块区域执行滤波。
当在小于帧的片区域中建立了ALF块时，也产生在多片情况下编码效率会降低的问题。因此，在通过改进ALF块的表现而获得的QALF结构中产生相同的问题。
图19示出使用QALF技术对图5的片1的区域进行编码的例子。这里，由粗线421编码区域代表片1的区域。类似于根据本发明第一实施例描述的BALF，图19中画阴影线的ALF块不包括片1的区域并因此变为不必要的ALF块。
如现有技术中一样，如果甚至在不必要的ALF块中也提供滤波块标记，则图像压缩信息不必要地增加，并且编码效率会降低。
即使在QALF的情况下，图像编码设备100也能够使用与根据第一实施例描述的BALF相同的方式防止创建并在片头部中包括不必要的滤波块标记。
也就是说，在图像编码设备100和图像解码设备200中，识别出图19中画阴影线的块不包括相应的片(图19中的片1)。在这点上，图像编码设备100针对包括相应片的具有四叉树结构的ALF块创建滤波块标记，并把它与图像压缩信息一起提供给图像解码设备200。因此，可以防止创建不必要的滤波块标记以及编码效率的降低。
5、第五实施例
个人计算机
一系列前述处理可以在软件和硬件中执行。在这种情况下，例如，本发明可以在如图20中所示的个人计算机中实现。
在图20中，个人计算机500的CPU501根据存储在ROM(只读存储器)502中的程序或从存储单元513载入到RAM(随机存取存储器)503的程序执行各种处理。RAM503适当地存储在CPU501中执行各种处理所需的数据。
CPU501、ROM502和RAM503经总线504彼此连接。总线504也连接到输入/输出接口510。
输入/输出接口510连接到诸如键盘和鼠标的输入单元511、诸如CRT(阴极射线管)和LCD(液晶显示器)的显示单元、诸如扬声器的输出单元512、诸如硬盘的存储单元513和诸如调制解调器的通信单元514。通信单元514经由包括互联网的网络执行通信处理。
输入/输出接口510在必要的情况下连接到驱动器515，并且在必要的情况适当安装可移动介质521，诸如磁盘、光盘、光磁盘或半导体存储器，从而从它们读取的计算机程序安装在存储单元513中。
当在软件中执行一系列前述处理时，从网络或记录介质安装组成该软件的程序。
例如，记录介质可以包括：与如图20中所示的装置主体分开的、记录为了向用户传送程序而分发的程序的可移动介质521，诸如磁盘(包括软盘)、光盘(包括CD-ROM(压缩盘-只读存储器)、DVD(数字通用盘)等)、光磁盘(MD(迷你盘))或半导体存储器；ROM502，在提前装配在装置主体中以存储程序的情况下传送给用户；存储单元513中包括的硬盘等。
由计算机执行的程序可以根据这里描述的序列按时间顺序处理，或者可以并行地处理，或者可以在必要的定时(例如，当程序被调用时)处理。
这里，用于描述记录介质中存储的程序的步骤可以包括根据描述的序列按时间顺序执行的处理，或者并行地或分别地执行的、不按时间顺序处理的处理。
另外，在这里，系统指的是包括多个装置(设备)的整个设备。
在前面的描述中，描述为单个设备(或处理单元)的结构可以由多个设备(或处理单元)形成。相反，描述为多个设备(或处理单元)的结构可以由单个设备(或处理单元)形成。另外，除了上述结构以外的其它结构可以加入到每个设备(或每个处理单元)的结构。另外，如果从系统的观点来说结构或操作基本上相同，则任何设备(或处理单元)的一部分结构可以被包括在其它设备(或其它处理单元)的结构中。也就是说，本发明的实施例不限于上述内容，而是可以在不脱离本发明的精神和范围的情况下进行各种改变。
例如，以上描述的图像编码设备100或图像解码设备200可以应用于任何电子装置。以下，将描述其例子。
6、第六实施例
电视机
图21是示出使用根据本发明实施例的图像解码设备200的电视机的主要结构的例子的框图。
图21中示出的电视机1000包括：地面波调谐器1013、视频解码器1015、视频信号处理电路1018、图形产生电路1019、面板驱动电路1020和显示面板1021。
地面波调谐器1013经由天线接收地面模拟广播的广播波信号，对它进行解调以获得视频信号，并把它提供给视频解码器1015。视频解码器1015对从地面波调谐器1013提供的视频信号执行解码处理，并把得到的数字分量信号提供给视频信号处理电路1018。
视频信号处理电路1018对从视频解码器1015提供的视频数据执行诸如噪声去除的预定处理，并把得到的视频数据提供给图形产生电路1019。
图形产生电路1019产生在显示面板1021上显示的节目的视频数据或基于经由网络提供的应用通过处理获得的图像数据，并把产生的视频或图像数据提供给面板驱动电路1020。另外，图形产生电路1019适当地执行如下处理：产生用于显示用户用来选择项目的窗口的视频数据(图形)，并把通过将该图形与节目的视频数据进行重叠而获得的视频数据提供给面板驱动电路1020。
面板驱动电路1020基于从图形产生电路1019提供的数据，驱动显示面板1021，并在显示面板1021上显示上述节目视频或各种窗口。
显示面板1021由LCD(液晶显示器)形成，用以在面板驱动电路1020的控制下显示节目视频。
另外，电视机1000还包括：音频A/D(模拟/数字)转换电路1014、音频信号处理电路1022、回声消除/音频合成电路1023、音频放大电路1024和扬声器1025。
地面波调谐器1013通过解调接收到的广播波信号获得音频信号以及视频信号。地面波调谐器1013把获得的音频信号提供给音频A/D转换电路1014。
音频A/D转换电路1014对从地面波调谐器1013提供的音频信号执行A/D转换处理，并把得到的数字音频信号提供给音频信号处理电路1022。
音频信号处理电路1022对从音频A/D转换电路1014提供的音频数据执行预定处理(诸如噪声去除)，并把得到的音频数据提供给回声消除/音频合成电路1023。
回声消除/音频合成电路1023把从音频信号处理电路1022提供的音频数据提供给音频放大电路1024。
音频放大电路1024对从回声消除/音频合成电路1023提供的音频数据执行D/A转换处理和放大处理以把音频调整至预定音量，并把音频输出给扬声器1025。
另外，电视机1000还具有数字调谐器1016和MPEG解码器1017。
数字调谐器1016经由天线接收数字广播波信号(诸如地面数字广播或BS(广播卫星)/CS(通信卫星)数字广播)，解调该信号以获得MPEG-TS(运动图像专家组-传输流)，并把它提供给MPEG解码器1017。
MPEG解码器1017解除施加于从数字调谐器1016提供的MPEG-TS的扰码以提取作为再现对象(观看对象)的节目数据流。MPEG解码器1017对提取的流中包括的音频包进行解码并把得到的音频数据提供给音频信号处理电路1022。同时，MPEG解码器1017对流中包括的视频包进行解码并把得到的视频数据提供给视频信号处理电路1018。MPEG解码器1017经由一路径(未示出)把从MPEG-TS提取的EPG(电子节目指南)数据提供给CPU1032。
电视机1000使用前述图像解码设备200作为如前所述对视频包进行解码的MPEG解码器1017。另外，从广播中心等发送的MPEG-TS由图像编码设备100编码。
类似于图像解码设备200，MPEG解码器1017适当地对仅包括对图像编码设备100必要的滤波块标记的图像压缩信息进行解码。因此，通过局部地控制滤波可以抑制编码效率的降低。例如，即使当图像的每个帧分成多个片并且使用自适应滤波对针对每个片编码的图像压缩信息进行解码以将其输出时，也可以抑制编码效率的降低。
类似于从视频解码器1015提供的视频数据，从MPEG解码器1017提供的视频数据在视频信号处理电路1018中经受预定处理，被适当地与图形产生电路1019中产生的视频数据重叠，并经由面板驱动电路1020被提供给显示面板1021以便显示图像。
类似于从音频A/D转换电路1014提供的音频信号，从MPEG解码器1017提供的音频信号在音频信号处理电路1022中经受预定处理，经由回声消除/音频合成电路1023被提供给音频放大电路1024，并经受D/A转换处理或放大处理。结果，从扬声器1025输出调整到预定音量的音频。
电视机1000还具有麦克风1026和A/D转换电路1027。
A/D转换电路1027通过设置在电视机1000中用于语音通信的麦克风1026接收用户的语音，对接收的语音信号执行A/D转换处理，并把得到的数字音频数据提供给回声消除/音频合成电路1023。
当从A/D转换电路1027提供电视机1000的用户(用户A)的语音数据时，回声消除/音频合成电路1023对用户A的语音数据执行回声消除，把它们与另一音频数据合成，并经由音频放大电路1024把得到的音频数据提供给扬声器1025。
另外，电视机1000还包括音频编解码器1028、内部总线1029、SDRAM(同步动态随机存取存储器)1030、闪速存储器1031、CPU1032、USB(通用串行总线)接口1033和网络接口1034。
A/D转换电路1027接收通过设置在电视机1000中用于语音通信的麦克风1026接收的用户的语音信号，对接收的语音信号执行A/D转换处理，并把得到的数字音频数据提供给音频编解码器1028。
音频编解码器1028把从A/D转换电路1027提供的音频数据转换成具有用于经网络传输的预定格式的数据，并经由内部总线1029把该数据提供给网络接口1034。
网络接口1034经由安装在网络端子1035中的线缆连接到网络。例如，网络接口1034把从音频编解码器1028提供的音频数据发送给连接到该网络的另一装置。另外，例如，网络接口1034通过网络端子1035接收从经由网络连接的另一装置发送的音频数据，并通过内部总线1029把该音频数据提供给音频编解码器1028。
音频编解码器1028把从网络接口1034提供的音频数据转换成具有预定格式的数据，并把该数据提供给回声消除/音频合成电路1023。
回声消除/音频合成电路1023对从音频编解码器1028提供的音频数据执行回声消除，并经由音频放大电路1024把通过使它们与另一音频数据合成而获得的音频数据输出给扬声器1025。
SDRAM1030存储CPU1032执行处理所需的各种数据。
闪速存储器1031存储由CPU1032执行的程序。存储在闪速存储器1031中的程序在预定定时(诸如当操作电视机1000时)由CPU1032读取。闪速存储器1031还存储通过数字广播获得的EPG数据或经由网络从预定服务器获得的数据。
例如，闪速存储器1031在CPU1032的控制下存储包括经由网络从预定服务器获得的内容数据的MPEG-TS。例如，闪速存储器1031在CPU1032的控制下经由内部总线1029把MPEG-TS提供给MPEG解码器1017。
类似于从数字调谐器1016提供的MPEG-TS，MPEG解码器1017处理MPEG-TS。这样，电视机1000可以经由网络接收包括视频和音频的内容数据。可以使用MPEG解码器1017对内容数据进行解码，并且可以显示或输出视频或音频。
另外，电视机1000还包括用于接收从遥控器1051发送的红外信号的光学接收器1037。
光学接收器1037从遥控器1051接收红外光，并把通过对该光解码而获得的代表用户操作的控制码输出给CPU1032。
CPU1032根据从光学接收器1037提供的控制码，执行闪速存储器1031中存储的程序并控制电视机1000的全部操作。电视机1000的每个部件和CPU1032经由一路径(未示出)彼此连接。
USB接口1033向经由安装在USB端子1036中的USB线缆连接的电视机1000外部的装置发送数据或从该装置接收数据。网络接口1034经由安装在网络端子1035中的线缆连接到网络，并且也向连接到网络的各种装置发送除音频数据以外的数据或从所述各种装置接收除音频数据以外的数据。
通过使用图像解码设备200作为MPEG解码器1017，电视机1000能够适当地对仅包括图像编码设备100所需的滤波块标记的图像压缩信息进行解码。结果，通过对于经由天线接收的广播信号或经由网络获得的内容数据的滤波进行局部控制，电视机1000能够抑制编码效率的降低。
7、第七实施例
移动电话
图22是示出使用根据本发明实施例的图像编码设备和图像解码设备的移动电话的主要结构的例子的框图。
图22中示出的移动电话1100包括：用于总体控制各部件的主控制单元1150、电源电路单元1151、操作输入控制单元1152、图像编码器1153、照相机接口单元1154、LCD控制单元1155、图像解码器1156、复用器/解复用器单元1157、记录再现单元1162、调制/解调电路单元1158和音频编解码器1159。这些单元经由总线1160彼此连接。
另外，移动电话1100包括：操作键1119、CCD(电荷耦合器件)照相机1116、液晶显示器1118、存储单元1123、收发器电路1163、天线1114、麦克风1121和扬声器1117。
当通过用户的操作接通呼叫清除和电源键时，电源电路单元1151通过从电池组向每个部件供电，把移动电话1100驱动至可操作状态。
移动电话1100基于包括CPU、ROM、RAM等的主控制单元1150的控制，使用诸如语音呼叫模式或数据通信模式的各种模式执行各种操作，诸如发送/接收音频信号、电子邮件或图像数据、拍摄图像和记录数据。
例如，在语音呼叫模式下，移动电话1100使用音频编解码器1159把从麦克风1121收集的语音信号转换成数字音频数据，使用调制/解调电路单元1158执行谱扩散处理，并使用收发器电路1163执行数字-模拟转换处理和频率转换处理。移动电话1100经由天线1114向基站(未示出)发送通过这些转换处理获得的发送信号。发送给基站的发送信号(音频信号)经由公共交换电话网络被提供给被叫方的移动电话。
例如，在语音呼叫模式下，移动电话1100使用收发器电路1163放大通过天线1114接收的接收信号，执行频率转换处理和模拟-数字转换处理，使用调制/解调电路单元1158执行谱逆扩散处理，并使用音频编解码器1159把它转换成模拟音频信号。移动电话1100把通过该转换获得的模拟音频信号输出给扬声器1117。
例如，当在数据通信模式下发送电子邮件时，移动电话1100接收通过使用操作输入控制单元1152对操作键1119进行操作而输入的电子邮件文本数据。移动电话1100使用主控制单元1150处理文本数据，并使用LCD控制单元1155在液晶显示器1118上将该数据作为图像显示。
移动电话1100使用主控制单元1150，基于由操作输入控制单元1152接收的文本数据或用户指令，产生电子邮件数据。移动电话1100使用调制/解调电路单元1158对电子邮件数据执行谱扩散处理，并使用收发器电路1163执行数字-模拟转换处理和频率转换处理。移动电话1100经由天线1114把通过这些转换处理获得的发送信号发送给基站(未示出)。发送给基站的发送信号(电子邮件)经由网络、邮件服务器等被提供给预定目的地。
例如，当在数据通信模式下接收电子邮件时，移动电话1100经由天线1114使用收发器电路1163接收从基站发送的信号，放大该信号，并进一步执行频率转换处理和模拟-数字转换处理。移动电话1100使用调制/解调电路单元1158对该接收信号执行谱逆扩散处理，以恢复原始电子邮件数据。移动电话1100使用LCD控制单元1155在液晶显示器1118上显示恢复的电子邮件数据。
另外，移动电话1100可以使用记录再现单元1162把接收的电子邮件数据记录在存储单元1123中。
这个存储单元1123是任意的可重写存储介质。存储单元1123例如可以包括：诸如RAM或内部闪速存储器的半导体存储器、硬盘或诸如磁盘、光磁盘、光盘、USB存储器或存储卡的可移动介质。当然，可以使用其它存储介质。
例如，当在数据通信模式下发送图像数据时，移动电话1100通过使用CCD照相机1116拍摄图像来创建图像数据。CCD照相机1116具有诸如透镜或光圈的光学装置和作为光电转换元件的CCD。CCD照相机1116拍摄物体的图像，把接收的光的强度转换成电信号，并创建物体的图像的图像数据。CCD照相机1116通过照相机接口单元1154使用图像编码器1153对图像数据进行编码，以把图像数据转换成编码的图像数据。
移动电话1100使用图像编码设备100作为用于执行这些处理的图像编码器1153。因此，类似于图像编码设备100，图像编码器1053能够通过局部地控制滤波而抑制编码效率的降低。例如，即使当图像的每个帧分成多个片并且使用自适应滤波对每个片进行编码并输出时，图像编码器1053也能够抑制编码效率的降低。
另外，同时，移动电话1100使用音频编解码器1159对在CCD照相机1116的图像拍摄期间由麦克风1121收集的音频信号进行模拟-数字转换，并进一步对收集的音频信号进行编码。
移动电话1100根据预定方案使用复用器/解复用器单元1157对从图像编码器1153提供的编码的图像数据和从音频编解码器1159提供的数字音频数据进行复用。移动电话1100使用调制/解调电路单元1158对得到的复用数据执行谱扩散处理，并使用收发器电路1163执行数字-模拟转换处理和频率转换处理。移动电话1100经由天线1114把通过转换处理获得的发送信号发送给基站(未示出)。发送给基站的发送信号(图像数据)经由网络等被提供给被叫方。
另外，当不发送图像数据时，移动电话1100可以使用LCD控制单元1155在液晶显示器1118上显示由CCD照相机1116产生的图像数据，而不使用图像编码器1153。
例如，在数据通信模式下，当运动画面文件的数据链接到简化的主页时，移动电话1100使用收发器电路1163经由天线1114接收从基站发送的信号，放大该信号，并执行频率转换处理和模拟-数字转换处理。移动电话1100使用调制/解调电路单元1158对该接收信号执行谱逆扩散处理，以恢复原始复用数据。移动电话1100使用复用器/解复用器单元1157分离该复用数据，并把它们分成编码的图像数据和音频数据。
移动电话1100通过使用图像解码器1156对编码的图像数据进行解码来创建再现运动画面数据，并使用LCD控制单元1155在液晶显示器1118上显示它们。结果，例如，链接到简化的主页的运动画面文件中包括的运动画面数据显示在液晶显示器1118上。
移动电话1100使用前述图像解码设备200作为用于执行这种处理的图像解码器1156。因此，类似于图像解码设备200，图像解码器1156适当地对仅包括图像编码设备100所需的滤波块标记的图像压缩信息进行解码。因此，结果，通过局部地控制滤波可以抑制编码效率的降低。例如，即使当图像的每个帧分成多个片并且使用自适应滤波对针对每个片编码的图像压缩信息进行解码并输出时，也可以抑制编码效率的降低。
在这种情况下，移动电话1100使用音频编解码器1159把数字音频数据转换成模拟音频信号，并把模拟音频信号输出给扬声器1117。结果，例如，再现了链接到简化的主页的运动画面文件中包括的音频数据。
另外，类似于电子邮件，移动电话1100可以使用记录再现单元1162把链接到简化的主页的接收数据记录(存储)在存储单元1123中。
在移动电话1100中，主控制单元1150分析通过图像拍摄由CCD照相机1116获得的2维码以获得记录在2维码上的信息。
另外，移动电话1100能够使用红外通信单元1181通过红外线与外部装置通信。
在移动电话1100中，通过使用图像编码设备100作为图像编码器1153，例如对于通过对CCD照相机1116中产生的图像数据进行编码而创建的编码数据，通过局部地控制对该编码数据的滤波，可以抑制编码效率的降低。结果，移动电话1100能够向其它装置提供具有极好编码效率的编码数据(图像数据)。
另外，在移动电话1100中，通过使用图像解码设备200作为图像解码器1156，可以适当地对仅包括图像编码设备100所需的滤波块标记的图像压缩信息进行解码。结果，在移动电话1100中，通过局部控制对于例如链接到简化的主页的运动画面文件的数据的滤波，可以抑制编码效率的降低。
尽管在前面的描述中在移动电话1100中使用CCD照相机1116，但替代CCD照相机1116，可以使用利用CMOS(互补金属氧化物半导体)的图像传感器(CMOS图像传感器)。即使在这种情况下，类似于CCD照相机1116，移动电话1100也能够通过拍摄物体的图像，创建关于物体的图像的图像数据。
尽管在前面的描述中以移动电话1100作为示例，但图像编码设备100和图像解码设备200可以应用于类似于移动电话1100的具有图像拍摄功能或通信功能的任何其它设备，诸如PDA(个人数字助理)、智能电话、UMPC(超移动个人计算机)、上网本或笔记本型个人计算机。
8、第八实施例
硬盘记录器
图23是示出使用根据本发明实施例的图像编码设备和图像解码设备的硬盘记录器的主要结构的例子的框图。
图23中示出的硬盘记录器(HDD记录器)1200是这样一种设备，其用于在内部硬盘中存储从卫星或地面天线等发送并由调谐器接收的广播波信号(电视信号)中包括的广播节目的音频数据和视频数据，并在与用户指示对应的定时把存储的数据提供给用户。
硬盘记录器1200可以从例如广播信号提取音频信号和视频信号，适当地对它们进行解码，并把它们存储在硬盘中。硬盘记录器1200可以经由例如网络从其它装置获得音频数据或视频数据，对它们进行解码，并把它们存储在内部硬盘中。
另外，硬盘记录器1200可以对例如存储在内部硬盘中的音频数据或视频数据进行解码，把它们提供给监视器1260，在监视器1260的屏幕上显示图像，并从监视器1260的扬声器输出音频。另外，硬盘记录器1200可以对例如从使用调谐器获得的广播信号提取的音频数据和视频数据或者经由网络从其它装置获得的音频数据或视频数据进行解码，把它们提供给监视器1260，在监视器1260的屏幕上显示图像，并从监视器1260的扬声器输出音频。
当然，可以进行其它操作。
如图23中所示，硬盘记录器1200包括：接收器单元1221、解调单元1222、解复用器1223、音频解码器1224、视频解码器1225和记录器控制单元1226。硬盘记录器1200还包括：EPG数据存储器1227、程序存储器1228、工作存储器1229、显示转换器1230、OSD(同屏显示)控制单元1231、显示控制单元1232、记录再现单元1233、D/A转换器1234和通信单元1235。
另外，显示转换器1230包括视频编码器1241。记录再现单元1233包括编码器1251和解码器1252。
接收器单元1221从遥控器(未示出)接收红外信号，把它转换成电信号，并把它输出给记录器控制单元1226。记录器控制单元1226例如由微处理器等构成，并根据存储在程序存储器1228中的程序执行各种处理。在这种情况下，记录器控制单元1226根据需要使用工作存储器1229。
通信单元1235连接到网络并经由网络与其它设备通信。例如，通信单元1235由记录器控制单元1226控制并与调谐器(未示出)通信以通常向调谐器输出信道选择控制信号。
解调单元1222解调从调谐器提供的信号并把它输出给解复用器1223。解复用器1223把从解调单元1222提供的数据分离成音频数据、视频数据和EPG数据，并把它们分别输出给音频解码器1224、视频解码器1225或记录器控制单元1226。
音频解码器1224对输入的音频数据进行解码并把它们输出给记录再现单元1233。视频解码器1225对输入的视频数据进行解码并把它们输出给显示转换器1230。记录器控制单元1226把输入的EPG数据提供给EPG数据存储器1227以将它们存储在EPG数据存储器1227中。
显示转换器1230使用视频编码器1241把从视频解码器1225或记录器控制单元1226提供的视频数据编码成例如NTSC(国家电视标准委员会)类型视频数据，并把它输出给记录再现单元1233。另外，显示转换器1230把从视频解码器1225或记录器控制单元1226提供的视频数据的屏幕尺寸转换成与监视器1260的尺寸对应的尺寸，使用视频编码器1241把它们转换成NTSC类型视频数据，把它们转换成模拟信号，并把它们输出给显示控制单元1232。
显示控制单元1232在记录器控制单元1226的控制下使从OSD控制单元1231输出的OSD信号与从显示转换器1230输入的视频信号重叠，并把它输出给监视器1260的显示单元以进行显示。
另外，从音频解码器1224输出的音频数据由D/A转换器1234转换成模拟信号并提供给监视器1260。监视器1260从内部扬声器输出这个音频信号。
记录再现单元1233具有硬盘作为用于记录视频数据、音频数据等的存储介质。
记录再现单元1233使用编码器1251对例如从音频解码器1224提供的音频数据进行编码。另外，记录再现单元1233使用编码器1251对从显示转换器1230的视频编码器1241提供的视频数据进行编码。记录再现单元1233使用复用器把音频数据的编码数据与视频数据的编码数据合成。记录再现单元1233对合成的数据执行信道编码，放大该数据，并使用记录头把该数据写到硬盘上。
记录再现单元1233使用再现头再现记录在硬盘上的数据，放大该数据，并使用解复用器把它分离成音频数据和视频数据。记录再现单元1233使用解码器1252对音频数据和视频数据进行解码。记录再现单元1233对解码的音频数据进行数字-模拟转换，并把结果输出给监视器1260的扬声器。另外，记录再现单元1233对解码的视频数据进行数字-模拟转换，并把结果输出给监视器1260的显示单元。
记录器控制单元1226基于由接收器单元1221从遥控器接收的红外线信号所代表的用户指示，从EPG数据存储器1227读取最新的EPG数据，并把它提供给OSD控制单元1231。OSD控制单元1231产生与输入的EPG数据对应的图像数据，并把它输出给显示控制单元1232。显示控制单元1232把从OSD控制单元1231输入的视频数据输出给监视器1260的显示单元并显示它。结果，EPG(电子节目指南)显示在监视器1260的显示单元上。
另外，硬盘记录器1200能够经由网络(诸如互联网)获得从其它装置提供的各种数据，诸如视频数据、音频数据或EPG数据。
通信单元1235由记录器控制单元1226控制以经由网络获得从其它装置发送的诸如视频数据、音频数据和EPG数据的编码数据，并把它们提供给记录器控制单元1226。记录器控制单元1226把例如获得的视频数据或音频数据的编码数据提供给记录再现单元1233并把它们存储在硬盘中。在这种情况下，记录器控制单元1226和记录再现单元1233可以根据需要执行重新编码等。
另外，记录器控制单元1226对获得的视频数据或音频数据的编码数据进行解码，并把得到的视频数据提供给显示转换器1230。类似于从视频解码器1225提供的视频数据，显示转换器1230处理从记录器控制单元1226提供的视频数据，并使用显示控制单元1232把该视频数据提供给监视器1260以显示图像。
另外，与图像显示同步地，记录器控制单元1226可以经由D/A转换器1234把解码的音频数据提供给监视器1260并从扬声器输出该音频。
另外，记录器控制单元1226对获得的EPG数据的编码数据进行解码并把解码的EPG数据提供给EPG数据存储器1227。
上述硬盘记录器1200使用图像解码设备200作为嵌入在视频解码器1225、解码器1252和记录器控制单元1226中的解码器。因此，类似于图像解码设备200，嵌入在视频解码器1225、解码器1252和记录器控制单元1226中的解码器适当地对仅包括图像编码设备100所需的滤波块标记的图像压缩信息进行解码。因此，结果，通过局部控制滤波可以抑制编码效率的降低。例如，即使当图像的每个帧分成多个片并且使用自适应滤波对针对每个片编码的图像压缩信息进行解码并输出时，也可以抑制编码效率的降低。
因此，硬盘记录器1200能够适当地对仅包括图像编码设备100所需的滤波块标记的图像压缩信息进行解码。结果，对于例如经由调谐器或通信单元1235接收的视频数据或记录在记录再现单元1233的硬盘上的视频数据，硬盘记录器1200能够通过局部地控制对所述视频数据的滤波，来抑制编码效率的降低。
另外，硬盘记录器1200使用图像编码设备100作为编码器1251。因此，类似于图像编码设备100，编码器1251通过局部地控制滤波能够抑制编码效率的降低。例如，即使当图像的每个帧分成多个片并且使用自适应滤波对每个片进行解码并输出时，编码器1251也能够抑制编码效率的降低。
因此，硬盘记录器1200通过局部地控制针对例如记录在硬盘上的编码数据的滤波，能够抑制编码效率的降低。结果，硬盘记录器1200能够更高效地使用硬盘的存储区域。
尽管在前面的描述中例示了把视频数据或音频数据记录在硬盘上的硬盘记录器1200，但可以使用任何其它记录介质。例如，即使当记录器使用除硬盘以外的记录介质(诸如闪速存储器、光盘或录像带)时，类似于前述的硬盘记录器1200，也能够使用图像编码设备100和图像解码设备200。
9、第九实施例
照相机
图24是示出使用据本发明实施例的图像编码设备和图像解码设备的照相机的主要结构的例子的框图。
图24中示出的照相机1300拍摄物体的图像并在LCD1316上显示物体的图像或把它作为图像数据记录在记录介质1333上。
透镜块1311把光(即，物体的像)输入到CCD/CMOS1312。CCD/CMOS1312是使用CCD或CMOS的图像传感器，该图像传感器把接收的光的强度转换成电信号并把它提供给照相机信号处理单元1313。
照相机信号处理单元1313把从CCD/CMOS1312提供的电信号转换成色差信号(Y,Cr,Cb)并把它提供给图像信号处理单元1314。图像信号处理单元1314在控制器1321的控制下对从照相机信号处理单元1313提供的图像信号执行预定图像处理，或者使用编码器1341对图像信号重新编码。图像信号处理单元1314把通过对图像信号进行编码而创建的编码数据提供给解码器1315。另外，图像信号处理单元1314获得同屏显示(OSD)1320中产生的显示数据并把它们提供给解码器1315。
在前面的描述中，照相机信号处理单元1313适当地使用经由总线1317连接的DRAM(动态随机存取存储器)1318并把通过对图像数据等进行编码而获得的编码数据存储在DRAM1318中。
解码器1315对从图像信号处理单元1314提供的编码数据进行解码，并把得到的图像数据(解码的图像数据)提供给LCD1316。另外，解码器1315把从图像信号处理单元1314提供的显示数据提供给LCD1316。LCD1316适当地合成从解码器1315提供的解码的图像数据的图像与显示数据的图像，并显示合成的图像。
同屏显示1320在控制器1321的控制下经由总线1317把诸如包括符号、文字或图形的图标或菜单窗口的显示数据输出给图像信号处理单元1314。
控制器1321基于代表由用户使用操作单元1322指示的内容的信号执行各种处理，并且还经由总线1317控制图像信号处理单元1314、DRAM1318、外部接口1319、同屏显示1320、介质驱动器1323等。控制器1321执行各种处理所需的程序或数据等存储在闪速ROM1324中。
例如，替代图像信号处理单元1314或解码器1315，控制器1321可以对存储在DRAM1318中的图像数据进行编码或对存储在DRAM1318中的编码数据进行解码。在这种情况下，控制器1321可以使用与图像信号处理单元1314或解码器1315的编码或解码方案相同的方案执行编码或解码，或者可以使用与图像信号处理单元1314或解码器1315的编码或解码方案不同的方案执行编码或解码。
例如，当从操作单元1322指示了开始图像打印时，控制器1321从DRAM1318读取图像数据并经由总线1317把图像数据提供给连接到外部接口1319的打印机1334以进行打印。
例如，当从操作单元1322指示了记录图像时，控制器1321从DRAM1318读取编码数据并经由总线1317把编码数据提供给安装在介质驱动器1323中的记录介质1333以进行存储。
记录介质1333是任何可读/可写的可移动介质，诸如磁盘、光磁盘、光盘或半导体存储器。记录介质1333的类型以及可移动介质的类型可以任意地从磁带装置、盘、存储卡等之中选择。当然，可以使用非接触式IC卡。
另外，介质驱动器1323和记录介质1333可以集成为一体并由诸如内部硬盘驱动器或SSD(固态驱动器)的非便携式存储介质构成。
当外部接口1319由例如USB输入/输出端子等构成用以打印输出图像时，外部接口1319连接到打印机1334。另外，外部接口1319根据需要连接到驱动器1331，并且诸如磁盘、光盘或光磁盘的可移动介质1332适当地安装在驱动器1331中从而根据需要使从可移动介质1332读取的计算机程序安装到闪速ROM1324中。
另外，外部接口1319具有连接到预定网络(诸如LAN或互联网)的网络接口。控制器1321可以根据例如来自操作单元1322的指令从DRAM1318读取编码数据，并从外部接口1319把编码数据提供给经由网络连接的其它装置。另外，控制器1321可以使用外部接口1319经由网络获得从其它装置提供的编码数据或图像数据，并把它们存储在DRAM1318中或者把它们提供给图像信号处理单元1314。
上述照相机1300使用图像解码设备200作为解码器1315。因此，类似于图像解码设备200，解码器1315适当地对仅包括图像编码设备100所需的滤波块标记的图像压缩信息进行解码。因此，结果，通过局部地控制滤波可以抑制编码效率的降低。例如，即使当图像的每个帧分成多个片并且使用自适应滤波对针对每个片编码的图像压缩信息进行解码并输出时，也可以抑制编码效率的降低。
因此，照相机1300能够适当地对仅包括图像编码设备100所需的滤波块标记的图像压缩信息进行解码。结果，对于例如在CCD/CMOS1312中产生的图像数据、从记录介质1333读取的视频数据的编码数据或经由网络获得的视频数据的编码数据，照相机1300能够通过局部地控制对这些数据的滤波，抑制编码效率的降低。
另外，照相机1300使用图像编码设备100作为编码器1341。因此，类似于图像编码设备100，编码器1341能够通过局部地控制滤波而抑制编码效率的降低。例如，即使当图像的每个帧分成多个片并且使用自适应滤波对每个片进行编码并输出时，编码器1341也能够抑制编码效率的降低。
因此，照相机1300能够通过局部地控制针对例如记录在DRAM1318或记录介质1333中的编码数据或者提供给其它装置的编码数据的滤波，抑制编码效率的降低。结果，照相机1300能够更高效地使用DRAM1318或记录介质1333的存储区域。另外，照相机1300能够向其它装置提供具有极好编码效率的编码数据(图像数据)。
另外，图像解码设备200的解码方法可以应用于控制器1321的解码处理。类似地，图像编码设备100的编码方法可以应用于控制器1321的编码。
另外，由照相机1300拍摄的图像数据可以是运动画面或静止图像。
当然，图像编码设备100和图像解码设备200可以应用于除前述设备以外的设备或系统。
另外，宏块的尺寸不限于16×16像素。例如，能够使用所有尺寸的宏块，诸如图25中示出的32×32像素。
尽管在前面的描述中标记信息等被复用（记述）到比特流中，但是，例如，除了复用之外，还可以发送(记录)标记和图像数据(或比特流)。将标记链接(加入)到图像数据(或比特流)的实施例是可行的。
链接(加入)指的是图像数据(或比特流)和标记彼此链接并且它们的物理位置的关系被任意设置的状态。例如，图像数据(或比特流)和标记可以发送给不同的传输线。另外，图像数据(或比特流)和标记可以记录在不同的记录介质中(或同一记录介质内的不同记录区域中)。另外，在图像数据(或比特流)和标记之间进行链接的单位可以任意设置，例如，可以设置为编码单位(诸如单个帧或多个帧)。
本申请包含与2009年7月31日提交到日本专利局的日本在先专利申请JP2009-179394中公开的主题相关的主题，通过引用将其全部内容包含于此。
本领域技术人员应该理解，在权利要求或其等同物的范围内，根据设计要求和其它因素可以进行各种修改、组合、子组合和替换。

Claims (23)

1.一种图像处理设备，其特征在于，具备：
滤波器部，在根据与像素块的尺寸有关的尺寸数据而求出的位置中的所述像素块的像素被包含于作为滤波处理的对象的片中的情况下、并且在根据控制是否对每个所述像素块进行滤波处理的控制数据确定为对所述像素块进行所述滤波处理的情况下，对所述像素块进行所述滤波处理；以及
编码部，对所述尺寸数据和所述控制数据进行编码。
2.如权利要求1所述的图像处理设备，其特征在于，
所述像素块是四叉树结构。
3.如权利要求2所述的图像处理设备，其特征在于，
所述四叉树结构是由表示所述像素块是否在下层被4分割的信息定义的。
4.如权利要求3所述的图像处理设备，其特征在于，
直到所述像素块无法被4分割为止，在各层中利用所述信息递归地对所述四叉树结构进行定义。
5.如权利要求4所述的图像处理设备，其特征在于，
所述四叉树结构具有3层以下的层结构。
6.如权利要求1所述的图像处理设备，其特征在于，
所述滤波处理是自适应滤波处理。
7.如权利要求1所述的图像处理设备，其特征在于，
还具备传送部，所述传送部传送由所述滤波器部进行了滤波处理的所述像素块。
8.如权利要求1所述的图像处理设备，其特征在于，
还具备电源部，当通过用户的操作而呼叫清除和接通电源键时，通过从电池组向各处理部供电，启动为可操作状态。
9.如权利要求1所述的图像处理设备，其特征在于，
还具备接收图像数据的接收部，
所述滤波器部对由所述接收部接收到的所述图像数据的像素块进行所述滤波处理。
10.如权利要求9所述的图像处理设备，其特征在于，
所述接收部接收通过谱扩散处理调制出的图像数据，
所述图像处理设备还具备解调部，该解调部通过谱逆扩散处理对由所述接收部接收到的、通过所述谱扩散处理调制出的所述图像数据进行解调，
所述滤波器部对被所述解调部解调出的所述图像数据的像素块进行所述滤波处理。
11.如权利要求10所述的图像处理设备，其特征在于，
所述接收部接收通过谱扩散处理调制出的、复用了所述图像数据和其他数据的复用数据，
所述解调部通过所述谱逆扩散处理对由所述接收部接收到的、通过所述谱扩散处理调制出的所述复用数据进行解调，
所述图像处理设备还具备分离部，该分离部将由所述解调部解调出的所述复用数据分离为所述图像数据和所述其他数据，
所述滤波器部对由所述分离部进行分离而得到的所述图像数据的像素块进行所述滤波处理。
12.一种图像处理方法，其特征在于，
在根据与像素块的尺寸有关的尺寸数据而求出的位置中的所述像素块的像素被包含于作为滤波处理的对象的片中的情况下、并且在根据控制是否对每个所述像素块进行滤波处理的控制数据确定为对所述像素块进行所述滤波处理的情况下，对所述像素块进行所述滤波处理；以及
对所述尺寸数据和所述控制数据进行编码。
13.如权利要求12所述的图像处理方法，其特征在于，
所述像素块是四叉树结构。
14.如权利要求13所述的图像处理方法，其特征在于，
所述四叉树结构是由表示所述像素块是否在下层被4分割的信息定义的。
15.如权利要求14所述的图像处理方法，其特征在于，
直到所述像素块无法被4分割为止，在各层中利用所述信息递归地对所述四叉树结构进行定义。
16.如权利要求15所述的图像处理方法，其特征在于，
所述四叉树结构具有3层以下的层结构。
17.如权利要求12所述的图像处理方法，其特征在于，
所述滤波处理是自适应滤波处理。
18.如权利要求12所述的图像处理方法，其特征在于，
对所述像素块进行解码，
对被解码出的所述像素块进行所述滤波处理。
19.如权利要求12所述的图像处理方法，其特征在于，
当通过用户的操作呼叫清除和接通电源键时，通过从电池组向各处理部供电，启动为可操作状态。
20.如权利要求12所述的图像处理方法，其特征在于，
使被进行了滤波处理的图像显示于显示器。
21.如权利要求12所述的图像处理方法，其特征在于，
接收图像数据，
对接收到的所述图像数据的像素块进行所述滤波处理。
22.如权利要求21所述的图像处理方法，其特征在于，
接收通过谱扩散处理调制出的图像数据，
通过谱逆扩散处理对接收到的、通过所述谱扩散处理调制出的所述图像数据进行解调，
对被解调出的所述图像数据的像素块进行所述滤波处理。
23.如权利要求22所述的图像处理方法，其特征在于，
接收通过谱扩散处理调制出的、复用了所述图像数据和其他数据的复用数据，
通过所述谱逆扩散处理对接收到的、通过所述谱扩散处理调制出的所述复用数据进行解调，
将被解调出的所述复用数据分离为所述图像数据和所述其他数据，
对进行分离而得到的所述图像数据的像素块进行所述滤波处理。
CN201310654588.8A 2009-07-31 2010-07-21 图像处理设备和方法 Active CN103716625B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009-179394 2009-07-31
JP2009179394A JP5359657B2 (ja) 2009-07-31 2009-07-31 画像符号化装置および方法、記録媒体、並びにプログラム
CN201010236939.XA CN101990099B (zh) 2009-07-31 2010-07-21 图像处理设备和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201010236939.XA Division CN101990099B (zh) 2009-07-31 2010-07-21 图像处理设备和方法

Publications (2)

Publication Number Publication Date
CN103716625A CN103716625A (zh) 2014-04-09
CN103716625B true CN103716625B (zh) 2017-11-07

Family

ID=43526965

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201310654860.2A Active CN103716626B (zh) 2009-07-31 2010-07-21 图像处理设备和方法
CN201010236939.XA Active CN101990099B (zh) 2009-07-31 2010-07-21 图像处理设备和方法
CN201310654588.8A Active CN103716625B (zh) 2009-07-31 2010-07-21 图像处理设备和方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201310654860.2A Active CN103716626B (zh) 2009-07-31 2010-07-21 图像处理设备和方法
CN201010236939.XA Active CN101990099B (zh) 2009-07-31 2010-07-21 图像处理设备和方法

Country Status (3)

Country Link
US (5) US9215460B2 (zh)
JP (1) JP5359657B2 (zh)
CN (3) CN103716626B (zh)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7295609B2 (en) 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
JP5344238B2 (ja) 2009-07-31 2013-11-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5359657B2 (ja) 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5914962B2 (ja) 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
US9094658B2 (en) 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
TWI508534B (zh) 2010-05-18 2015-11-11 Sony Corp Image processing apparatus and image processing method
DK3177017T3 (da) 2010-06-04 2020-03-02 Sony Corp Kodning af en qp og en delta qp for billedblokke, der er større end en minimumsstørrelse
KR101391365B1 (ko) * 2010-09-17 2014-05-07 닛본 덴끼 가부시끼가이샤 영상 부호화 장치 및 영상 복호 장치
CN106878729B (zh) * 2010-10-05 2019-09-24 寰发股份有限公司 基于分区基础的自适应环路滤波方法和装置
CN103716632B (zh) 2010-12-07 2017-04-19 索尼公司 图像处理设备和图像处理方法
CN106385586A (zh) 2010-12-07 2017-02-08 索尼公司 图像处理设备和图像处理方法
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
US8630356B2 (en) * 2011-01-04 2014-01-14 The Chinese University Of Hong Kong High performance loop filters in video compression
KR20190069613A (ko) 2011-02-10 2019-06-19 벨로스 미디어 인터내셔널 리미티드 화상 처리 장치 및 화상 처리 방법
WO2012117744A1 (en) 2011-03-03 2012-09-07 Panasonic Corporation Method of encoding an image into a coded image, method of decoding a coded image, and apparatuses thereof
US20120230423A1 (en) * 2011-03-10 2012-09-13 Esenlik Semih Line memory reduction for video coding and decoding
MY186854A (en) 2011-03-11 2021-08-26 Sony Corp Image processing apparatus and method
TWI530161B (zh) 2011-06-07 2016-04-11 Sony Corp Image processing apparatus and method
MY167204A (en) 2011-06-28 2018-08-13 Sony Corp Image processing device and image processing method
JP5907367B2 (ja) 2011-06-28 2016-04-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
BR112013033899B1 (pt) 2011-07-01 2019-08-20 Samsung Electronics Co., Ltd. Método de decodificação de vídeo
EP2769550A4 (en) * 2011-10-14 2016-03-09 Mediatek Inc METHOD AND APPARATUS FOR LOOP FILTRATION
EP2767089A4 (en) * 2011-10-14 2016-03-09 Mediatek Inc METHOD AND APPARATUS FOR LOOP FILTERING
JP6034010B2 (ja) * 2011-10-24 2016-11-30 ソニー株式会社 符号化装置、符号化方法、およびプログラム
US9386305B2 (en) * 2011-11-28 2016-07-05 Qualcomm Incorporated Largest coding unit (LCU) or partition-based syntax for adaptive loop filter and sample adaptive offset in video coding
US9635359B2 (en) * 2011-11-28 2017-04-25 Canon Kabushiki Kaisha Method and apparatus for determining deblocking filter intensity
US8792745B2 (en) * 2011-12-06 2014-07-29 Sony Corporation Encoder optimization of adaptive loop filters in HEVC
US20150304572A1 (en) * 2012-11-05 2015-10-22 Sharp Kabushiki Kaisha Video processing device and video processing method
US9554131B1 (en) * 2013-07-23 2017-01-24 Harmonic, Inc. Multi-slice/tile encoder with overlapping spatial sections
JP2015032916A (ja) * 2013-07-31 2015-02-16 ブラザー工業株式会社 通信装置のプログラム、及び通信装置
CN104935927A (zh) * 2014-03-17 2015-09-23 上海京知信息科技有限公司 一种基于流水线的hevc视频序列编解码加速方法
CN105635067B (zh) * 2014-11-04 2019-11-15 华为技术有限公司 报文发送方法及装置
US10057574B2 (en) * 2015-02-11 2018-08-21 Qualcomm Incorporated Coding tree unit (CTU) level adaptive loop filter (ALF)
US20170102834A1 (en) * 2015-10-09 2017-04-13 SoukTel, Inc. Asynchronous survey data collection through mobile devices
DE112016007098T5 (de) * 2016-07-26 2019-04-18 Hewlett-Packard Development Company, L.P. Indexierung von voxeln für das 3d-drucken
WO2018037896A1 (ja) * 2016-08-26 2018-03-01 シャープ株式会社 画像復号装置、画像符号化装置、画像復号方法、および画像符号化方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06178127A (ja) * 1992-12-04 1994-06-24 Sanyo Electric Co Ltd 符号化装置
CN1593065A (zh) * 2001-11-27 2005-03-09 诺基亚有限公司 其中图像被分成条带的前景和背景的视频编码与解码
CN1819660A (zh) * 2005-02-07 2006-08-16 上海芯华微电子有限公司 视频码流的跨多个条带的解码方法及其装置
CN101150719A (zh) * 2006-09-20 2008-03-26 华为技术有限公司 并行视频编码的方法及装置
JP2008182562A (ja) * 2007-01-25 2008-08-07 Matsushita Electric Ind Co Ltd 量子化マトリクスを用いた適応的デブロッキングフィルタリングの方法と装置

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU717480B2 (en) * 1998-08-01 2000-03-30 Korea Advanced Institute Of Science And Technology Loop-filtering method for image data and apparatus therefor
CA2582664C (en) * 2001-09-12 2012-04-24 Matsushita Electric Industrial Co., Ltd. Picture coding method and picture decoding method
US7295609B2 (en) 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
CN100358366C (zh) * 2002-07-11 2007-12-26 松下电器产业株式会社 滤波强度的决定方法、动态图像编码方法及解码方法
US7127120B2 (en) 2002-11-01 2006-10-24 Microsoft Corporation Systems and methods for automatically editing a video
HUP0301368A3 (en) * 2003-05-20 2005-09-28 Amt Advanced Multimedia Techno Method and equipment for compressing motion picture data
JP2005123732A (ja) 2003-10-14 2005-05-12 Matsushita Electric Ind Co Ltd デブロックフィルタ処理装置およびデブロックフィルタ処理方法
JP4533081B2 (ja) * 2004-10-12 2010-08-25 キヤノン株式会社 画像符号化装置及びその方法
CN100345450C (zh) * 2005-01-31 2007-10-24 浙江大学 视频或图像去块滤波的方法和装置
JP4475196B2 (ja) * 2005-07-21 2010-06-09 日本ビクター株式会社 ブロックノイズ検出装置及びブロックノイズ検出プログラム
CN100435588C (zh) 2005-09-23 2008-11-19 逐点半导体（上海）有限公司 压缩视频中分块效应的消除方法
JP4649355B2 (ja) * 2006-03-27 2011-03-09 富士通株式会社 ブロックノイズ検出方法及び装置並びにブロックノイズ低減方法及び装置
CN100512442C (zh) * 2007-04-20 2009-07-08 西安交通大学 一种自适应运动补偿时域滤波的方法
US20090154567A1 (en) 2007-12-13 2009-06-18 Shaw-Min Lei In-loop fidelity enhancement for video compression
EP2229782A2 (en) * 2008-01-14 2010-09-22 Thomson Licensing Methods and apparatus for de-artifact filtering using multi-lattice sparsity-based filtering
KR20100105680A (ko) * 2008-03-07 2010-09-29 가부시끼가이샤 도시바 동화상 부호화/복호화 방법 및 장치
US20090304086A1 (en) * 2008-06-06 2009-12-10 Apple Inc. Method and system for video coder and decoder joint optimization
US8634456B2 (en) * 2008-10-03 2014-01-21 Qualcomm Incorporated Video coding with large macroblocks
KR101647376B1 (ko) * 2009-03-30 2016-08-10 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
EP2262267A1 (en) * 2009-06-10 2010-12-15 Panasonic Corporation Filter coefficient coding scheme for video coding
US20100329361A1 (en) * 2009-06-30 2010-12-30 Samsung Electronics Co., Ltd. Apparatus and method for in-loop filtering of image data and apparatus for encoding/decoding image data using the same
JP5344238B2 (ja) 2009-07-31 2013-11-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5359657B2 (ja) 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5233897B2 (ja) 2009-07-31 2013-07-10 ソニー株式会社 画像処理装置および方法
JP5914962B2 (ja) 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
TWI508534B (zh) 2010-05-18 2015-11-11 Sony Corp Image processing apparatus and image processing method
DK3177017T3 (da) 2010-06-04 2020-03-02 Sony Corp Kodning af en qp og en delta qp for billedblokke, der er større end en minimumsstørrelse
CN106385586A (zh) 2010-12-07 2017-02-08 索尼公司 图像处理设备和图像处理方法
CN103716632B (zh) 2010-12-07 2017-04-19 索尼公司 图像处理设备和图像处理方法
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
KR20190069613A (ko) 2011-02-10 2019-06-19 벨로스 미디어 인터내셔널 리미티드 화상 처리 장치 및 화상 처리 방법
MY186854A (en) 2011-03-11 2021-08-26 Sony Corp Image processing apparatus and method
TWI530161B (zh) 2011-06-07 2016-04-11 Sony Corp Image processing apparatus and method
JP5907367B2 (ja) 2011-06-28 2016-04-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
EP2869560A4 (en) 2012-06-29 2016-09-07 Sony Corp DEVICE AND METHOD OF ENCODING

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06178127A (ja) * 1992-12-04 1994-06-24 Sanyo Electric Co Ltd 符号化装置
CN1593065A (zh) * 2001-11-27 2005-03-09 诺基亚有限公司 其中图像被分成条带的前景和背景的视频编码与解码
CN1819660A (zh) * 2005-02-07 2006-08-16 上海芯华微电子有限公司 视频码流的跨多个条带的解码方法及其装置
CN101150719A (zh) * 2006-09-20 2008-03-26 华为技术有限公司 并行视频编码的方法及装置
JP2008182562A (ja) * 2007-01-25 2008-08-07 Matsushita Electric Ind Co Ltd 量子化マトリクスを用いた適応的デブロッキングフィルタリングの方法と装置

Also Published As

Publication number Publication date
CN103716626B (zh) 2017-11-07
CN103716626A (zh) 2014-04-09
US9210428B2 (en) 2015-12-08
US10306224B2 (en) 2019-05-28
US9215460B2 (en) 2015-12-15
JP5359657B2 (ja) 2013-12-04
US20190215514A1 (en) 2019-07-11
US20110026611A1 (en) 2011-02-03
JP2011035619A (ja) 2011-02-17
US9955161B2 (en) 2018-04-24
US20140023150A1 (en) 2014-01-23
CN103716625A (zh) 2014-04-09
US20160065960A1 (en) 2016-03-03
CN101990099A (zh) 2011-03-23
CN101990099B (zh) 2014-01-08
US20180131935A1 (en) 2018-05-10
US10841580B2 (en) 2020-11-17

Similar Documents

Publication Publication Date Title
CN103716625B (zh) 图像处理设备和方法
CN103546746B (zh) 图像解码装置、图像解码方法、电视接收机和便携式电话
CN102511165B (zh) 图像处理装置及方法
CN102714716B (zh) 图像处理设备和方法
CN104602002B (zh) 图像处理装置和方法
CN103299629B (zh) 图像处理设备和方法
CN104125468B (zh) 图像处理装置和方法
CN104113764B (zh) 图像处理装置和图像处理方法
CN102812708B (zh) 图像处理设备和方法
CN102160379A (zh) 图像处理装置和图像处理方法
CN103283228B (zh) 图像处理装置和方法
CN102742274A (zh) 图像处理设备和方法
CN102986226A (zh) 图像处理装置和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant