CN103957407B - 图像处理装置及方法 - Google Patents

图像处理装置及方法 Download PDF

Info

Publication number
CN103957407B
CN103957407B CN201410206559.XA CN201410206559A CN103957407B CN 103957407 B CN103957407 B CN 103957407B CN 201410206559 A CN201410206559 A CN 201410206559A CN 103957407 B CN103957407 B CN 103957407B
Authority
CN
China
Prior art keywords
data
block
image
coding
filtering process
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410206559.XA
Other languages
English (en)
Other versions
CN103957407A (zh
Inventor
近藤健治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Has Media International Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Has Media International Ltd filed Critical Has Media International Ltd
Publication of CN103957407A publication Critical patent/CN103957407A/zh
Application granted granted Critical
Publication of CN103957407B publication Critical patent/CN103957407B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本发明涉及一种图像处理装置及方法，其可抑制由编码时或解码时的滤波处理的局部控制所引起的滤波处理的效果的降低。控制信息生成部112的边界控制标志生成部132根据系统规格管理部141所管理的系统规格信息，生成边界控制标志。自适应滤波处理部113的控制部171根据该边界控制标志的值，决定针对片层边界附近的像素进行的滤波处理的处理方法。例如，选择进行跨越片层的滤波处理、或者进行在当前片层关闭的滤波处理。本发明例如可应用于图像处理装置。

Description

图像处理装置及方法
本申请是同一申请人的申请日为2010年7月23日的、申请号为201080042415.5(PCT/JP2010/062398)、发明名称为“图像处理装置及方法”的中国发明专利申请的分案申请。
技术领域
本发明涉及一种图像处理装置及方法，特别涉及一种能够对由编码时或解码时的滤波处理的局部控制所引起的滤波处理的效果的降低进行抑制的图像处理装置及方法。
背景技术
近年来，将图像信息作为数字信号进行处理，并且此时以高效率的信息的传输、存储为目的，利用图像信息特有的冗余性，依照通过诸如离散余弦变换等正交变换与运动补偿对图像进行压缩的MPEG(Moving Picture Experts Group，运动图像专家组)等格式的装置，作为诸如广播等的信息发送及一般家庭中的信息接收两者都正变得普及。
尤其，MPEG2(ISO(International Organization for Standardization，国际标准化组织)/IEC(International Electrotechnical Commission，国际电工委员会)13818-2)被定义为通用图像编码格式，并且它包括隔行扫描图像及连续扫描图像两者和标准解析度图像及高清晰度图像的标准。例如，MPEG2目前已广为用于专业用途及消费型用途的广泛应用。通过使用MPEG2压缩格式，例如若为具有720×480像素的标准解析度的交错扫描图像，则分配4至8Mbps的码量(比特率)。同样，若为具有1920×1088像素的高解析度的交错扫描图像，则分配18至22Mbps的码量(比特 率)，从而可实现高的压缩率及良好的画质。
利用MPEG2主要以适合于播放用的高画质编码为对象，而并不处理比MPEG1的码量更低的码量(比特率)，即具有更高压缩率的编码格式。可以预计随着个人数字助理的普及，今后对这种编码格式的需求将增长，对应于此，已进行了MPEG4编码格式的标准化。关于图像编码格式，其规格于1998年12月作为ISO/IEC14496-2被批准为国际标准。
进而，近年来，当初打算供电视会议用的图像编码的H.26L(ITU-T(ITUTelecommunication Standardization Sector，国际电信联盟电信标准化部门)Q6/16VCEG(Video Coding Experts Group，视频编码专家群))这一标准的标准化已在推进。众所周知，H.26L虽与诸如MPEG2或MPEG4之类常规的编码格式相比，其编码、解码要求更多的运算量，但可实现更高的编码效率。并且，目前，作为MPEG4的活动的一环，已在进行以该H.26L为基础，还导入H.26L无法支持的功能以实现更高的编码效率的标准化作为Joint Model ofEnhanced-Compression Video Coding(增强压缩视频编码的联合模型)。作为标准化的日程安排，H.264和MPEG4Part10(AVC(Advanced Video Coding，先进视频编码))于2003年3月成为国际标准。
最近作为正在考虑的下一代视频编码技术，还有自适应环路滤波器(ALF(Adaptive Loop Filter))(例如，参见非专利文献1)。通过该自适应滤波器，对每帧(frame)进行最佳的滤波处理，能够减少未被解块滤波器完全去除的块(block)噪声和由量化所引起的噪声。
然而，图像通常具有各种特征，因此最佳滤波系数在局部不同。根据非专利文献1所记载的方法，对于1个帧内的所有像素应用相同的滤波系数，因此帧整体的画质改善了，但存在局部劣化的可能性。
因此，考虑了不对局部劣化的区域进行滤波处理的方法(例如参见非专利文献2和非专利文献3)。在这样的情况下，图像编码装 置使以如同铺设的、无间隙地排列的多个控制块对应于图像的区域，并控制是否对每个块中的图像进行滤波处理。图像编码装置对每个块设定标志信息，并根据该标志信息进行自适应滤波处理。同样地，图像解码装置也根据该标志信息而进行自适应滤波处理。
引用文献
非专利文献
非专利文献1:Yi-Jen Chiu and L.Xu，“Adaptive(Wiener)Filter for VideoCompression,”ITU-T SGl6Contribution，C437，Geneva，April2008.
非专利文献2:Takeshi，Chujoh，et al.，“B1ock-based Adaptive Loop Filter”ITU-T SGl6Q6VCEG Contribution，AI18，Germany，July，2008.
非专利文献3:T.Chujoh，N.Wada and G.Yasuda，“Quadtree-based AdaptiveLoop Filter，”ITU-T SGl6Q6VCEG Contribution，VCEG-AK22(r1)，Japan，April，2009.
发明内容
发明所要解决的技术问题
然而，有将1帧分割成多个片层(slice)，并对每个这样的片层(多片层multi-slice)进行图像的编码处理和解码处理的方法。在非专利文献2和非专利文献3中，并未记载在这样的多片层的情况下的片层的边界附近的像素的处理，而应该如何处理尚不明确。
本发明是鉴于这种情况而提出的，其目的在于抑制由编码时或解码时的滤波处理的局部控制所引起的滤波处理的效果的降低。
解决问题的技术手段
本发明的一个方面是一种图像处理装置，包括：判断单元，配置为判断在对图像局部进行的滤波处理的要处理的像素的周边像素中，是否包括与包括上述要处理的像素的片层相邻片层的像素；选择单元，配置为在通过上述判断单元判断为上述周边像素中包括上述相 邻片层的像素的情况下，根据边界控制标志，从多种方法中选择针对上述要处理的像素的上述滤波处理的方法；以及滤波处理单元，配置为利用由上述选择单元所选择的方法，对上述要处理的像素进行上述滤波处理。
上述选择单元可从如下两种方法中选择任一种方法：一种是获得位于上述相邻片层的上述周边像素后进行针对上述要处理的像素的上述滤波处理；另一种是通过复制位于包括上述要处理的像素的片层的上述周边像素，生成位于上述相邻片层的上述周边像素的虚拟数据(dummy data)，进行针对上述要处理的像素的上述滤波处理。
上述选择单元可从如下两种方法中选择任一种方法：一种是获得位于上述相邻片层的上述周边像素后进行针对上述要处理的像素的上述滤波处理；另一种是省略针对上述要处理的像素的上述滤波处理。
上述图像处理装置还可以包括：生成单元，配置为根据系统规格而生成上述边界控制标志；上述选择单元根据由上述生成单元所生成的上述边界控制标志，选择关于要处理的像素的上述滤波处理的方法。
上述系统规格可包括上述图像处理装置的硬件资源。
上述系统规格可包括上述图像处理装置的使用目的。
上述图像处理装置还可以包括：编码单元，配置为对上述图像进行编码而生成编码数据；上述编码单元还对由上述生成单元所生成的上述边界控制标志进行编码，并将其附加至上述编码数据。
上述图像处理装置还可以包括：解码单元，配置为对将上述图像编码所得的编码数据进行解码而生成上述图像；上述解码单元还对附加至上述编码数据的经编码的上述边界控制标志进行解码；上述选择单元根据由上述解码单元所解码的上述边界控制标志，选择关于要处理的像素的上述滤波处理的方法。
本发明的另一个方面为一种图像处理方法，包括如下步骤：由图像处理装置的判断单元判断在对图像局部进行的滤波处理的要处 理的像素的周边像素中，是否包括与包括上述要处理的像素的片层相邻片层的像素；由上述图像处理装置的选择单元在判断为上述周边像素中包括上述相邻的片层的像素的情况下，根据边界控制标志，从多种方法中选择针对上述要处理的像素的上述滤波处理的方法；由上述图像处理装置的滤波处理单元利用所选择的方法，对上述要处理的像素进行上述滤波处理。
根据本发明的一个方面，判断在针对图像局部进行的滤波处理的要处理的像素的周边像素中，是否包括与包括要处理的像素的片层相邻片层的像素，在判断为周边像素中包括相邻片层的像素的情况下，根据边界控制标志，从多种方法中选择针对要处理的像素的滤波处理的方法，且利用所选择的方法，对要处理的像素进行滤波处理。
根据本发明，可对图像进行编码或解码。尤其，可抑制由编码时或解码时的滤波处理的局部控制所引起的滤波处理的效果的降低。例如，即使于将图像的各帧分为多个进行编码或解码的情况下，也能够抑制滤波处理的效果的降低。
附图说明
图1是表示应用本发明的图像编码装置的实施例的构成的框图。
图2是说明可变块大小运动预/补偿处理的图。
图3是表示控制信息生成部的主要构成例的框图。
图4是说明ALF块和滤波器块标志的图。
图5是说明多片层的例子的图。
图6是说明用于滤波处理的周边像素的图。
图7是说明边界附近的进行滤波处理的情况的图。
图8是表示自适应滤波处理部的主要构成例的框图。
图9是说明编码处理的流程的例子的流程图。
图10是说明控制信息生成处理的流程的例子的流程图。
图11是说明边界控制标志设定处理的流程的例子的流程图。
图12是说明自适应滤波控制处理的流程的例子的流程图。
图13是说明滤波处理的流程的例子的流程图，
图14是说明滤波处理的流程的例子的流程图。
图15是表示应用本发明的图像解码装置的主要构成例的框图。
图16是说明解码处理的流程的例子的流程图。
图17是表示应用本发明的图像编码装置的其他构成例的框图。
图18是表示应用本发明的图像解码装置的其他构成例的框图。
图19是说明进行规格信息的交换的处理的流程的例子的流程图。
图20是说明ALF块和滤波器块标志的其他例的图。
图21是说明ALF块和滤波器块标志的其他例的图。
图22是说明多片层的情况下的处理的方式的图。
图23是表示应用本发明的个人计算机的主要构成例的框图。
图24是表示应用本发明的电视接收机的主要构成例的框图。
图25是表示应用本发明的移动电话的主要构成例的框图。
图26是表示应用本发明的硬盘记录器的主要构成例的框图。
图27是表示应用本发明的相机的主要构成例的框图。
图28是表示宏块的例子的图。
具体实施方式
以下，对本发明的实施例进行说明。说明按以下的顺序进行。
1.第1实施例(图像编码装置)
2.第2实施例(图像解码装置)
3.第3实施例(图像编码/解码系统)
4.第4实施例(QALF)
5.第5实施例(个人计算机)
6.第6实施例(电视接收机)
7.第7实施例(移动电话)
8.第8实施例(硬盘记录器)
9.第9实施例(相机)
<1.第1实施例>
[装置的构成]
图1表示作为应用本发明的图像处理装置的图像编码装置的一个实施例的构成。
图1所示的图像编码装置100是使用例如H.264和MPEG4Part10(先进视频编码，Advanced Video Coding)(以下记作H.264/AVC)格式对图像进行压缩编码的图像编码装置，并且还采用自适应环路滤波器。
在图1的例中，图像编码装置100包括：A/D(模拟/数字)变换部10l、画面重排缓冲器(screen rearranging buffer)102、运算部103、正交变换部104、量化部105、无损编码部106和存储缓冲器107。图像编码装置100还包括：反量化部108、逆正交变换部109、运算部110和解块滤波器111。图像编码装置100还包括：控制信息生成部112、自适应滤波处理部113和帧存储器114。图像编码装置100还包括：帧内预测部(intra prediction unit)115、运动补偿部116、运动预测部117和预测图像选择部118。进而，图像编码装置100包括码率控制部(rate control unit)119。
A/D变换部101对所输入的图像进行A/D变换，并输出至画面重排缓冲器102中加以存储。画面重排缓冲器102将所存储的用于显示的顺序的帧的图像重排为对应于GOP(Groupof Picture，图像群组)的用于编码的帧的顺序。运算部103从画面重排缓冲器102读出的图像减去由预测图像选择部118所选择的来自帧内预测部115的预测图像、或来自运动补偿部116的预测图像，并将该差分信息输出至正交变换部104中。正交变换部104对来自运算部103的差分信息实施诸如离散余弦变换、K-L(Karhunen-Loéve)变换等正交变换，并输出其变换系数。量化部105将正交变换部104所输出的变换系数量化。
成为量化部105的输出的经量化的变换系数被输入至无损编码部106中。无损编码部106对该经量化的变换系数实施诸如可变长度编码、算术编码等无损编码并进行压缩。
无损编码部106从帧内预测部115获取表示帧内预测的信息等，并从运动预测部117获取表示帧间预测模式(inter prediction mode)的信息等。注意，表示帧内预测的信息以下也被称为帧内预测模式信息。另外，表示帧间预测的信息以下也被称为帧间预测模式信息。
无损编码部106从控制信息生成部112获取在自适应滤波处理部113中所进行的自适应滤波处理的控制信息。
无损编码部106对经量化的变换系数进行编码，并且对自适应滤波处理的控制信息、表示帧内预测的信息、表示帧间预测模式的信息以及量化参数等进行编码，并且将它们作为压缩图像中的首部信息(header information)的一部分(进行复用，multiplexes)。无损编码部106将经编码的数据提供至存储缓冲器107中加以存储。
例如，无损编码部106进行诸如可变长度编码或者算术编码等无损编码处理。可变长度编码的例子包括由H.264/AVC格式所规定的CAVIC(Context-Adaptive VariableLength Coding，上下文自适应变长编码)等。算术编码的例子包括CABAC(Context-Adaptive Binary Arithmetic Coding，上下文自适应二进制算术编码)等。
存储缓冲器107临时保持从无损编码部106所提供的数据，并在特定的时间点(timing)将其作为以H.264/AVC格式进行编码的压缩图像，输出至例如后继的未图示的存储装置或传输路径等。
另外，从量化部105输出的经量化的变换系数还被输入至反量化部108。反量化部108用与在量化部105所进行的量化相对应的方法对该经量化的变换系数进行反量化，并将所获得的变换系数提供至逆正交变换部109。
逆正交变换部109以与由正交变换部104所进行的正交变换处理相对应的方法对所提供的变换系数进行逆正交变换。经逆正交变换的输出被提供至运算部110。运算部110将从逆正交变换合109所提 供的逆正交变换结果，即经恢复的差分信息与从预测图像选择部118所提供的预测图像相加，而获得局部经解码的图像(解码图像)。该相加结果被提供至解块滤波器111。
解块滤波器11l从解码图像中去除块噪声。解块滤波器111之后将该噪声去除结果提供至控制信息生成部112和自适应滤波处理部113。
控制信息生成部112获取从解块滤波器111所提供的解码图像和从画面重排缓冲器102所读出的当前的输入图像，并根据它们生成在适应滤波处理部113所进行的自适应滤波的控制信息。详细情况将后述，而控制信息包括滤波系数、块大小、滤波器块标志和边界控制标志等。
控制信息生成部112将所生成的控制信息提供至自适应滤波处理部113。控制信息生成部112也还将所生成的控制信息提供至无损编码部106。如上所述，控制信息由无损编码部106进行无损压缩处理，并被包括在图像压缩信息中(被复用)。即，控制信息与图像压缩信息一并被输送至图像解码装置。
自适应滤波处理部113使用从控制信息生成部112所提供的控制信息的滤波系数、块大小指定以及滤波器块标志等，对从解块滤波器111所提供的解码图像进行滤波处理。作为该滤波器，例如使用维纳滤波器(Wiener Filter)。当然，也可以使用维纳滤波器以外的滤波器。自适应滤波处理部113将滤波处理结果提供至帧存储器114，并将其作为参考图像而加以存储。
帧存储器114在特定的时间点，将所存储的参考图像输出至运动补偿部116和运动预测部117。
在该图像编码装置100中，例如将来自画面重排缓冲器102的I画面、B画面以及P画面作为进行帧内预测(也称为帧内处理)的图像提供至帧内预测部115。另外，将从画面重排缓冲器102所读出的B画面以及P画面作为进行帧间预测(也称为帧间处理)的图像提供至运动预测部117。
帧内预测部115根据从画面重排缓冲器102所读出的进行帧内预测的图像和从帧存储器114所提供的参考图像，进行对所有作为候补的帧内预测模式的帧内预测处理，而生成预测图像。
在帧内预测部115中，与对当前块/宏块所应用的帧内预测模式有关的信息被传输至无损编码部106，并作为图像压缩信息中的首部信息的一部分而被编码。在H.264图像信息编码格式中，对于亮度信号，定义有帧内4×4预测模式、帧内8×8预测模式及帧内16×16预测模式，另外，关于色差信号，可对于每个宏块定义独立于亮度信号的预测模式。对于帧内4×4预测模式，针对各个4×4亮度块定义1个帧内预测模式。对于帧内8×8预测模式，针对各个8×8亮度块定义1个帧内预测模式。对于帧内16×16预测模式及色差信号，针对每个宏块定义1个帧内预测模式。
帧内预测部115针对已生成预测图像的帧内预测模式计算出成本函数值，并将所计算出的成本函数值给出最小值的帧内预测模式选择为最佳帧内预测模式。帧内预测部115将由最佳帧内预测模式所生成的预测图像提供至预测图像选择部118。
运动预测部117针对要进行帧间编码的图像，获取从画面重排缓冲器102所提供的图像信息(输入图像)和从帧存储器114所提供的作为参考帧的图像信息(解码图像)，并计算运动向量。运动预测部117将表示所计算出的运动向量的运动向量信息提供至无损编码部106。该运动向量信息通过无损编码部106而进行无损压缩处理，并被包括在图像压缩信息中。即，运动向量信息与图像压缩信息一并被输送至图像解码装置。
另外，运动预测部117还将运动向量信息提供至运动补偿部116。
运动补偿部116对应于从运动预测部117所提供的运动向量信息进行运动补偿处理，生成帧间预测图像信息。运动补偿部116将所生成的预测图像信息提供至预测图像选择部118。
预测图像选择部118在进行帧内编码的图像的情况下，将帧内 预测部115的输出提供至运算部103，并在进行帧间编码的图像的情况下，将运动补偿部116的输出提供至运算部103。
码率控制部119根据存储缓冲器107中所存储的压缩图像，控制量化部105的量化操作的码率，以防止产生溢出或下溢。
在MPEG(运动图像专家组，Moving Picture Experts Group)2中，运动预测补偿/处理的单位是运动补偿块，并且能够在每个运动补偿块中保持独立的运动向量信息。该运动补偿块的大小在帧运动补偿模式的情形下是16×16像素，在场运动补偿模式的情况下，针对第一场、第二场的各自是16×8像素。
另一方面，在AVC(先进视频编码，Advanced Video Coding)中，如图2上侧所示，可将由16×16像素所构成的一个宏块分割成16×16、16×8、8×16或8×8的任一分区，且分别具有独立的运动向量信息。进而，如图2下侧所示，一个8×8分区可分割成8×8、8×4、4×8或4×4的任一子分区，且分别具有独立的运动向量信息。将该运动补偿块作为单位进行运动预测补偿处理。
图3是表示控制信息生成部112的主要构成例的框图。
控制信息生成部112生成在自适应滤波处理部113中所运行的作为环路滤波器的自适应滤波器(ALF(Adaptive Loop Filter))所使用的控制信息。控制信息生成部112生成例如滤波系数、ALF块大小、滤波器块标志以及边界控制标志作为该控制信息。
控制信息生成部112具有：滤波系数计算部131、边界控制标志生成部132以及块信息生成部133。
滤波系数计算部131获取从解块滤波器111所提供的解码图像和从画面重排缓冲器102所读出的当前的输入图像，并针对每个帧计算ALF的滤波系数。
边界控制标志生成部132生成边界控制标志(alf_enable_in_slice_boundary)，该边界控制标志控制对在帧中形成多个的片层的边界附近的像素如何进行滤波处理(指定滤波处理方法)。详细情况将后述。
块信息生成部133根据从解块滤波器111所提供的解码图像和由滤波系数计算部131所计算出的滤波系数，决定ALF块大小，并针对要处理的片层内的各ALF块生成滤波器块标志。
此处，对ALF块和滤波器块标志进行说明。图4是说明ALF块和滤波器块标志的图。
如上所述，自适应滤波器针对每个帧设定滤波系数。即，以帧单位进行最佳的滤波处理。但是，一般而言，帧图像的整体并不均一，局部具有各种特征。因此，局部的最佳的滤波系数不同。因此，如上所述，在使用针对每个帧所决定的滤波系数的滤波处理中，存在改善帧整体的画质，但局部劣化的可能性。
因此，业界考虑了不对画质恶化的局部区域进行滤波处理的BALF(Block basedAdaptive Loop Filter，基于块的自适应环路滤波器)。
图4中的A中的帧151示出解块滤波处理后的解码图像。如图4的B所示，块信息生成部133将分别作为局部所进行的自适应滤波处理的控制单位的控制块的多个ALF块152以铺满该帧151的整个区域的方式无间隙地配置。配置该ALF块152的区域可与帧151的区域不同，但至少包括帧的整个区域。结果，帧151的区域被分割成ALF块152的区域(多个区域)。
块信息生成部133决定ALF块152的水平方向的大小(双箭头153)与垂直方向的大小(双箭头154)。ALF块的大小可针对每个片层而指定例如8×8、16×16、24×24、32×32、48×48、64×64、96×96或128×128的任一者。将指定该ALF块的大小的信息称为块大小指数(block size index)。
若已决定块大小，则帧大小固定，因此每个帧的ALF块数也被决定。
块信息生成部133如图4的C所示，针对每个ALF块152，设定控制是否进行滤波处理的滤波器块标志155。例如，对于通过自适应滤波器而改善画质的区域，生成值为“1”的滤波器块标志155， 对于因自适应滤波器而导致画质恶化的区域，生成值为“0”的滤波器块标志155。在滤波器块标志155中，值“1”是表示要进行滤波处理的值，值“0”是表示不进行滤波处理的值。
自适应滤波处理部113根据该滤波器块标志155的值控制自适应滤波处理。例如，自适应滤波处理部113仅对滤波器块标志155的值为“1”的ALF块152的区域进行滤波处理，而不对滤波器块标志155的值为“0”的ALF块152的区域进行滤波处理。
另外，上述块大小指数与滤波器块标志包括在图像压缩信息的片层首部中，并且从图像编码装置100输送至图像解码装置。对应于ALF块的数量的l个以上的滤波器块标志以例如光栅扫描(raster scan)的顺序包括于片层首部中。
因此，ALF块的大小越小，越能够实现更细致的滤波器控制，而且越能够实现更适当的ALF滤波。但是，较小的ALF块的大小会增加滤波器块标志的比特量。即，ALF块的大小越小，图像压缩信息的编码效率越下降。从而，自适应滤波器的性能与图像压缩信息的编码效率处于折衷的关系。
AlF块的数量按照如下的表达式(1)而计算：
[数学表达式1]
在表达式(1)中，NALFBLOCK表示ALF块的数量。另外，NMBw表示画面的水平方向的宏块数，NMBh表示画面的垂直方向的宏块数。进而，NSIZE表示ALF块的一边的大小。另外，floor[x]是将x的小数点以下舍去而成为整数的函数。
然而，在H.264/AVC中，可将1个帧分割成多个片层，并对每个片层输出图像压缩信息。图5是说明多片层的例子的图。在图5的例子的情况下，帧151被分割成片层0、片层1和片层2这3个片 层。
通过以比帧更细小的片层单位输出图像压缩信息，图像编码装置能够以更短的间隔生成图像压缩信息并将其输出。即，对该图像压缩信息进行解码的图像解码装置还可以在更早的阶段开始图像压缩信息的解码。即，能够缩短从输入图像起，进行编码处理及解码处理，直至输出图像为止的延迟时间。
在对BALF进行记载的非专利文献2中，并未公开该多片层。即，仅记载有针对帧整体设定ALF块。然而，在多片层的情况下，对于片层的边界附近的像素，有时无法进行通常的滤波处理。
图6是表示针对片层的边界附近的像素的滤波处理的情况的图。自适应滤波处理部113在对要处理的像素进行滤波处理的情况下，使用该要处理的像素周边的特定的范围内的像素(周边像素)而进行。例如，在图6的情况下，自适应滤波处理部113使用由阴影所示的9×9的周边像素162进行对要处理的像素161的滤波处理。
但是，如图6所示，要处理的像素161为片层边界163附近的像素。此处，片层边界163表示当前要处理的的片层(当前片层)与邻接于该要处理的片层的片层(相邻片层)的边界。即，片层边界163表示当前片层的外框。
如图6所示，用于针对该片层边界163附近的要处理的像素161的滤波处理的周边像素162的一部分超过片层边界163，而跨越至相邻片层的区域。即，为了如例如图7的A所示地对该要处理的像素161进行与通常的情形相同的滤波处理，需要相邻片层的像素值。
在图7的A的例子的情况下，自适应滤波处理部113使用当前片层与相邻片层两者的像素AA至像素JJ，对作为要处理的像素的像素EE进行滤波处理。
但是，为此必需待机至相邻片层的解码图像生成为止，因此，在此情况下，编码处理的延迟时间有增大的可能性。
另一方面，例如如图7的B所示，有生成并利用虚拟数据的方法。在图7的B的例子的情况下，自适应滤波处理部113对相邻于 片层边界163的像素EA至像素EJ进行复制，从而生成周边像素162的相邻片层内的像素(虚拟数据)。滤波处理部113使用所生成的虚拟数据进行针对像素EE的滤波处理。
从而，自适应滤波处理部113无需等待相邻片层的像素生成，而能够比图7的A的情形更早地对像素EE进行滤波处理。
即，在使用邻接片层的像素的图7的A的方法的情况下，由于自适应滤波处理部113使用实际的数据，因此可进行更适合于实际的图像的内容的滤波处理。即，可期待通过滤波处理而使画质得到更大的改善。
另一方面，在图7的B的方法的情况下，自适应滤波处理部113无需将相邻片层的数据用于滤波处理，而可仅利用当前片层的数据进行处理，因此还可以更早地进行滤波处理。
哪一种方法较理想根据系统的规格、用户的要求等而不同。例如，如果系统重视画质，则图7的A所示的方法更理想，但图7的A的方法与图7的B的方法相比存储器消耗量更多，且存在延迟时间增大的可能性。因此，根据系统中可使用的存储器的容量和允许的延迟时间的长度，有时也可能认为图7的B的方法更理想。
边界控制标志控制针对这样的边界附近的像素的滤波处理的方法。
返回至图3，边界控制标志生成部132生成这样的边界控制标志。边界控制标志生成部132具有：系统规格管理部141、判断部142和生成部143。
系统规格管理部141管理包括图像编码装置100的进行图像处理的系统的规格(硬件资源或使用目的等)。例如，系统规格管理部141可安排为管理在图像编码装置100中经编码的图像解码装置的规格(硬件资源或使用目的等)。
判断部142判断要处理的像素是否为边界附近的像素。生成部143针对判断为边界附近的像素的要处理的像素生成边界控制标志。
图8是表示图1的自适应滤波处理部113的主要构成例的框图。
自适应滤波处理部113使用自控制信息生成部112所提供的控制信息，对从解块滤波器111所提供的解码图像进行滤波处理。
自适应滤波处理部113如图8所示，包括：控制部171、自适应滤波器172和选择部173。
控制部171控制自适应滤波器172和选择部173。例如，控制部171从控制信息生成部112获取控制信息，并根据该控制信息而控制滤波处理。
自适应滤波器172使用由控制部171所设定的滤波系数，对自解块滤波器111所提供的解码图像的由控制部171指定为要处理的ALF块的区域进行滤波处理。
自适应滤波器172具有：缓冲器181、片层内自适应滤波器182、边界用第1自适应滤波器183和边界用第2自适应滤波器184。
缓冲器181临时保持从解块滤波器111所提供的解码图像。缓冲器181不仅可保持要处理的片层，也能够保持邻接于要处理的片层的片层(相邻片层)。
片层内自适应滤波器182在控制部171的控制下，对周边像素中不包括相邻片层的像素的、并且不是片层边界附近的要处理的像素进行滤波处理。即，片层内自适应滤波器182仅使用当前片层的像素进行滤波处理。
边界用第1自适应滤波器183在控制部171的控制下，对周边像素中包括相邻片层的像素的片层边界附近的要处理的像素进行跨越片层的滤波处理。即，边界用第1自适应滤波器183以如图7的A所示的方法，利用当前片层和相邻片层的像素进行滤波处理。因此，边界用第1自适应滤波器183在缓冲器181中存储有相邻片层的像素之后开始滤波处理。
边界用第2自适应滤波器184在控制部171的控制下，对周边像素中包括相邻片层的像素的片层边界附近的要处理的像素进行在当前片层关闭的滤波处理。即，边界用第2自适应滤波器184以如图7的B所示的方法，仅利用当前片层的像素，且根据需要生成虚拟数据而进行滤波处理。因此，边界用第2自适应滤波器184在一旦缓冲器18l存储当前片层的像素时便开始滤波处理。
控制部171根据要处理的像素的位置和控制信息中所包括的边界控制标志的值，从片层内自适应滤波器182、边界用第1自适应滤波器183和边界用第2自适应滤波器184中选择任一者，并且使所选择的处理部以各自的方法执行滤波处理。
另外，控制部171对应于缓冲器181中的图像的存储状况，控制所选择的处理部(片层内自适应滤波器182、边界用笫1自适应滤波器183、或边界用第2自适应滤波器184)的滤波处理的开始时间点。
自适应滤波器172(片层内自适应滤波器182、边界用第1自适应滤波器183、或边界用第2自适应滤波器184)将滤波处理结果提供至选择部173。
在控制部171的控制下，选择部173从解块滤波器111所提供的解码图像(未经自适应滤波处理的解码图像)和从自适应滤波器172所提供的解码图像(经自适应滤波处理的解码图像)中选择其中之一，并将其提供至帧存储器114，使其作为参考图像而加以存储。
控制部171根据控制信息中所包括的滤波器块标志的值，控制选择部173，使其选择未经自适应滤波处理的解码图像、或者经自适应滤波处理的解码图像的其中之一。
即，自适应滤波处理部113仅对从解块滤波器111所提供的解码图像的通过滤波器块标志表示要进行滤波处理的区域(判断为通过滤波处理而使画质得到改善的区域)进行滤波处理。
[处理的流程]
接下来，对使用如上述构成的各部分的处理的流程进行说明。首先，参考图9的流程图说明由图像编码装置100所进行的编码处理的流程的例子。
在步骤S101中，A/D变换部101将所输入的图像从模拟变换为数字。在步骤S102中，画面重排缓冲器102存储经A/D变换的图像， 并且进行各画面的从显示顺序向编码顺序的重排。
在步骤S103中，运算部103对通过步骤S102的处理而重排的图像与预测图像的差分进行运算。预测图像在进行帧间预测的情况下是从运动补偿部116经由预测图像选择部118而提供至运算部103，而在进行帧内预测的情况下则是从帧内预测部115经由预测图像选择部118而提供至运算部103。
差分数据与原始图像数据相比数据量变小，因此，与对原始图像进行编码的情况相比，可压缩数据量。
在步骤S104中，正交变换部104对通过步骤S103的处理所生成的差分信息进行正交变换。具体而言，进行离散余弦变换、Karhunen-Loéve变换等正交变换，并输出变换系数。在步骤S105中，量化部105将变换系数加以量化。在该量化时，如后述的步骤S119的处理中所说明的，码率受到控制。
如上所述的量化的差分信息以如下方式被局部解码。即，在步骤S106中，反量化部108以与量化部105的特性相对应的特性将通过量化部105而量化的变换系数反量化。在步骤S107中，逆正交变换部109以与正交变换部104的特性相对应的特性对通过反量化部108而反量化的变换系数进行逆正交变换。
在步骤S108中，运算部110使经由预测图像选择部118而输入的预测图像与经局部解码的差分信息相加，生成经局部解码的图像(与向运算部103的输入相对应的图像)。在步骤S109中，解块滤波器111对从运算部110所输出的图像进行滤波。从而去除块噪声。
当对1个片层进行以上的处理时，则在步骤S110中，控制信息生成部112生成用于自适应滤波处理的控制信息。控制信息的生成处理的详细情况将后述。
当通过步骤S110的处理，生成滤波系数、ALF块大小、及滤波器块标志等控制信息时，则自适应滤波处理部113在步骤S111中，使用该控制信息，对通过步骤S109的处理而受到解块滤波处理的解码图像进行自适应滤波处理。该自适应滤波处理的详细情况将后述。
在步骤S112中，帧存储器114存储步骤S111中经自适应滤波处理的图像。
在步骤S113中，帧内预测部115进行帧内预测模式的帧内预测处理。在步骤S114中，运动预测部117和运动补偿部116进行帧间预测模式的帧间运动预测/补偿处理。
在步骤S115中，预测图像选择部118对应于要处理的帧的预测模式，从通过帧内预测处理所生成的预测图像、或者通过帧间运动预测/补偿处理所生成的预测图像中选择其中之一。预测图像选择部118将所选择的预测图像提供至运算部103和110。该预测图像如上所述，被用于步骤S103和步骤S108的运算。
在步骤S116中，无损编码部106对从量化部105所输出的经量化的变换系数进行编码。特别地，对差分图像进行可变长度编码、算术编码等无损编码，并加以压缩。此时，无损编码部106也对在步骤S110中所生成的控制信息、步骤S113的帧内预测处理的帧内预测模式信息和步骤S114的帧间运动预测/补偿处理的帧间预测模式等进行编码。
在步骤S117中，无损编码部106将经编码的控制信息等的元数据嵌入(记述)至片层首部。该元数据在图像解码时被读出、利用。以这种方式包括(复用)解码处理中所需要的元数据，从而能够以比帧单位更细小的单位来执行解码处理，并可抑制延迟时间的增大。
在步骤S118中，存储缓冲器107将差分图像作为压缩图像加以存储。适当地读出存储缓冲器107中所存储的压缩图像，并将其经由传输路径而传输至解码侧。
在步骤S119中，码率控制部119根据存储缓冲器107中所存储的压缩图像，控制量化部105的量化操作的码率，以防止产生溢出或下溢。
接下来，参考图11的流程图说明图10的步骤S110中通过控制信息生成部112所执行的控制信息生成处理的流程的例子。
当控制信息生成处理开始时，则控制信息生成部112的滤波系 数计算部131在步骤S131中，使用从画面重排缓冲器102所提供的输入图像和从解块滤波器111所提供的经解块滤波处理的解码图像来计算滤波系数。例如，滤波系数计算部13l决定滤波系数的值以使输入图像与解码图像的残差变成最小。
当计算出滤波系数时，则边界控制标志生成部132在步骤S132中，生成用于控制针对边界附近的像素的自适应滤波处理方法的边界控制标志。详细情况将后述。
当生成边界控制标志时，则块信息生成部133在步骤S133中，生成包括ALF块大小和滤波器块标志的块信息。ALF块大小可预先规定，也可根据图像内容而适当没定。在此情况下，块信息生成部133例如使用成本函数计算出评价滤波处理结果的成本值，并决定ALF块大小以使该成本值变成最小。
另外，块信息生成部133根据对要处理的ALF块实施滤波处理的情况下画质是否得到改善而决定滤波器块标志的值。例如，块信息生成部133在判断为通过实施滤波处理而使画质得到改善的情况下，将滤波器块标志的值设定为表示进行滤波处理的值“1”，在判断为因实施滤波处理而导致画质恶化的情况下，将滤波器块标志的值设定为表示不进行滤波处理的值“0”。
当生成块信息时，则返回至图9的步骤S110，执行步骤S111以后的处理。
注意步骤S131中所进行的滤波系数的计算也可以帧单位进行。在此情况下，步骤S131的处理也可仅在帧内的特定的片层(例如，帧内识别编号为特定的值(例如，“0”)的片层，或者帧内首先被处理的片层等)进行，而在其他片层中使用该值。另外，在滤波系数的计算中可利用任意的图像。例如，也可以根据过去的帧图像进行计算。
接下来，参考图11的流程图，说明图10的步骤S132中所执行的边界控制标志设定处理的流程的例子。
当边界控制标志设定处理开始时，则边界控制标志生成部132 的系统规格管理部141在步骤S151中获取系统规格信息。
该系统规格信息包括例如包括图像编码装置100的系统的硬件资源及使用目的等的信息。硬件资源是指构成系统的各装置(包括图像编码装置100)的硬件资源，例如包括处理能力、可使用的存储器容量、总线传送速度等。另外，使用目的是指系统整体或各装置的工作模式，例如包括是以重视画质的方式工作、或者是以重视速度的方式工作等。当然，系统规格信息也可以包括这些以外的信息。
该系统规格信息也可以预先存储在内置在系统规格管理部14中的存储器等中。在此情况下，系统规格管理部141通过步骤S151的处理，从存储器读出该系统规格信息。另外，在步骤S151的处理时，系统规格管理部141也可从图像编码装置100的各部以及其他装置等收集如上所述的规格信息。
当系统规格管理部141获取系统规格信息时，将其提供至判断部142。
判断部142在步骤S152中，根据所提供的系统规格信息(硬件资源或使用目的等)，判断是否对边界附近的滤波处理使用下一片层。即，在将周边像素中包括相邻片层的边界附近的像素作为要处理的像素的情况下，判断部142判断是要进行跨越片层的滤波处理，还是进行在当前片层关闭的滤波处理。
例如，在允许延迟时间的增大、且在图像编码装置100或图像解码装置等中的可用存储器容量充分的情况下，判断部142选择跨越片层的滤波处理。另外，例如，在不允许延迟时间的增大、或者系统的各装置的硬件资源不充分的情况下，判断部142选择在当前片层关闭的滤波处理。
在判断为要使用下一片层，即进行跨越片层的滤波处理的情况下，进入至步骤S153。在步骤S153中，生成部143生成值为“1”的边界控制标志。
另外，在判断为不使用下一片层，即进行在当前片层关闭的滤波处理的情况下，进入至步骤S154。于步骤S154中，生成部143生 成值为“0”的边界控制标志。
当生成部143生成边界控制标志时，则将其提供至自适应滤波处理部113或无损编码部106。无损编码部106将从生成部143提供的边界控制标志作为控制信息进行编码，并将其嵌入至当前片层的片层首部等中。自适应滤波处理部113使用从生成部143提供的边界控制标志来控制自适应滤波处理。
当步骤S153或步骤S154的处理结束时，则边界控制标志设定处理结束，返回至图10的步骤S132，进行步骤S133以后的处理。
接下来，参考图12的流程图，说明图9的步骤S111中所执行的自适应滤波处理的流程的例子。
当自适应滤波处理开始时，则缓冲器181在步骤S171中，从解块滤波器111获取要处理的片层的解码图像。当获取要处理的片层时，则在步骤S172中，控制部171确定该要处理的片层的区域。
为了获知作为要处理的的当前片层的区域，可通过获知当前片层中所包括的宏块，并自该宏块获知包括在该宏块中的像素而得出。控制部171从片层首部获得当前片层的起始宏块地址。
此处，起始宏块地址是指从屏幕的左上方起以光栅扫描顺序对宏块所标注的编号。如图5所示，图像(帧151)的左上方的宏块地址为0。由于片层0从帧151的左上方开始，因此片层0的起始宏块156-1的宏块地址为0。根据该顺序，将片层0的最终宏块156-2的宏块地址设定为E0。另外，与当前片层0同样地，将片层1的起始宏块157-l的宏块地址设定为S1，将最终宏块157-2的宏块地址设定为E1。进而，将片层2的起始宏块158-1的宏块地址设定为S2，将最终宏块158-2的宏块地址设定为E2。
当对当前片层进行解码时，则每当完成1个宏块的解码处理，就追加1个宏块地址，最终到达当前片层的最终宏块。在最终宏块中设置有表示片层的最终宏块的标志。通过这些，可知当前片层所保有的所有宏块地址。即，从起始宏块地址到最终宏块地址为止。
此处，在AVC流(图像压缩信息)的序列参数集(SPS(Sequence Parameter Set))中，1个帧的图像大小通过宏块的数量表示。pic_height_in_map_units_minusl表示图像的纵向的宏块数。pic_width_in_mbs_minusl表示图像的横向的宏块数。
因此，根据宏块地址，由以下的表达式(2)和表达式(3)表示该宏块的位置。
mbx＝macro block address％pic_width_in_mbs_minusl…(2)
mby＝floor[macro block address/pic_width_in_mbs_minusl]…(3)
在表达式(2)和表达式(3)中，mbx表示宏块为从左侧起第几个，mby表示宏块为从上方起第几个。另外，floor[z]表示将z的小数点以下舍去而变成整数，A％B表示A除以B所得的余数。
如果将宏块的大小决定为16×16像素，则宏块的左上方的像素的纵向和横向的位置为(16×mbx、16×mby)，该宏块中所包括的像素为包括于如下范围中的像素，即自该左上方的像素位置起朝下方16个像素、及朝右方16像素的范围。至此，可知当前片层的所有像素。即，要处理的片层的区域得到确定。
在步骤S173中，控制部171获取控制信息生成部112中所生成的1个滤波器块标志。
在步骤S174中，控制部171将未处理的ALF块中的1个块决定为要处理的ALF块。该ALF块的选择顺序是预先决定的，且与控制信息生成部112中的选择顺序相同。进而，控制部171确定所决定的要处理的ALF块的区域。
由于预先规定了帧的图像大小，因此当决定ALF块大小时，则也能够以帧的左上方为原点而计算出为铺满ALF块所需要的ALF块的数量(帧内的ALF块数)。由于预先准备了ALF块的纵向的大小(像素数)与横向的大小(像素数)的设定值，因此控制部171根据该设定值而决定各ALF块的大小与ALF块数，并对解码图像配置ALF块。
注意，ALF块的数量通过以下的表达式(4)及表达式(5)而 计算出。
num_aif_block_x＝floor[(16×(pic_width_in_mbs_minusl+1)+(aif_block_size-1))/alf_block_size]…(4)
num_alf_block_y＝floor[(16×(pic_height_in_map_units_minusl+1)+(aif_block_size-1))/aif_block_size]…(5)
在表达式(4)及表达式(5)中，num_alf_block_x以及num_alf_block_y分别为图像中所包括的ALF块的横向与纵向的数量。另外，alf_block_size表示ALF块的一边的大小。此处，为使说明简单化，将ALF块设定为正方形。当然，也能够使ALF块的纵向的大小he横向的大小彼此不同。
第i个ALF块的位置由以下的表达式(6)及表达式(7)表示。
aif_block_x＝i％(num_aif_block_x-1)…(6)
aIf_biock_y＝floor[i/(num_alf_block_x-1)]…(7)
在表达式(6)及表达式(7)中，alf_block_x与alf_block_y分别表示第i个ALF块在横向与纵向上为第几个。第i个ALF块的左上方的像素的位置为alf_block_x与alf_block_y的各个乘以alf_block_x与alf_block_size所得的位置。即，横向变成16×alf_block_x，纵向变成16×alf_block_y。因此，第i个ALF块的区域从其左上方的像素起为alf_block_size×alf_block_size的范围。
在步骤S175中，控制部171判断在以上述方式确定的要处理的ALF块的区域内，是否包括要处理的片层的区域。在判断为包括要处理的片层的区域的情况下，流程进入至步骤S176。
步骤S176中，控制部171判断滤波器块标志的值是否为l。在滤波器块标志的值为l，且给出对要处理的ALF块的区域进行滤波处理的指示的情况下，进行控制以使选择部173选择从适应滤波器172的输出，然后流程进入至步骤S177。在步骤S177中，控制部171以例如光栅扫描顺序等特定顺序从未处理的像素中选择要处理的像素。
在步骤S178中，控制部171判断在所选择的要处理的像素的滤波处理中是否需要相邻片层的像素。在要处理的像素的周边像素中包括相邻片层的像素，且判断为要处理的像素为片层边界附近的像素的情况下，流程进入至步骤S179。
在步骤S179中，控制部17l判断从控制信息生成部112所获取的控制信息中所包括的边界控制标志的值是否为“1”。在判断为边界控制标志的值为“1”的情况下，流程进入至步骤S180。
在步骤S180中，控制部171选择边界用第1自适应滤波器183作为自适应滤波器，且使该边界用第1自适应滤波器183如图7的A所示执行跨越片层的滤波处理。当步骤S180的处理结束时，则流程进入至步骤S183。
另外，当在步骤S179中判断为边界控制标志的值为“0”时，流程进入至步骤S181。
在步骤S181中，控制部171选择边界用第2自适应滤波器184作为自适应滤波器，且使该边界用第2自适应滤波器184如图7的B所示执行在当前片层关闭的滤波处理。当步骤S18l的处理结束时，则流程进入至步骤S183。
另外，当在步骤S178中判断为要处理的像素并非片层边界附近的像素时，流程进入至步骤S182。
在步骤S182中，控制部171选择片层内自适应滤波器182作为自适应滤波器，且使当前片层内自适应滤波器182执行通常的仅使用当前片层的像素的滤波处理。当步骤S182的处理结束时，则流程进入至步骤S183。
另外，当在步骤S176中判断为滤波器块标志的值为“0”时，流程进入至步骤S183。进而，当在步骤S175中判断为要处理的ALF块不包括要处理的片层的区域时，流程进入至步骤S183。
在步骤S183中，控制部171判断是否已对要处理的ALF块内的所有像素进行了处理。在判断为存在未处理的像素的情况下，流程返回至步骤S177，并重复后继的处理。
另外，当在步骤S183中判断为已对要处理的ALF块内的所有像素进行了处理时，流程进入至步骤S184。
在步骤S184中，控制部171判断是否已对帧内的所有ALF块进行了处理。在判断为存在未处理的ALF块的情况下，流程返回至步骤S173，并重复后继的处理。另外，当在步骤S184中判断为已对所有ALF块进行了处理时，自适应滤波控制处理结束，流程返回至图9的步骤S111，进行步骤S112及以后的处理。
注意，步骤S180至步骤S182中所进行的针对各要处理的像素的滤波处理各自作为与自适应滤波控制处理不同的任务而独立地执行。即，在步骤S180至步骤S182中，当指定执行自适应滤波处理时，则适当执行该自适应滤波处理。即，这些自适应滤波处理可与自适应滤波控制处理和针对其他像素的自适应滤波处理并行执行。
参考图13及图14的流程图，对这些滤波处理进行说明。首先，参考图13的流程图，说明由边界用第1自适应滤波器183所执行的滤波处理的流程的例子。
当在图12的步骤S180中指示执行被指示执行的跨越片层的滤波处理时，则边界用第1自适应滤波器183在步骤S201中，监视缓冲器181，判断要处理的像素的周边区域的像素是否已全部备齐，并待机至备齐为止。该周边区域的像素(即，周边像素)也包括相邻片层的像素。在判断为缓冲器18l中已备齐全部周边像素的情况下，流程进入至步骤S202。
在步骤S202中，边界用第1自适应滤波器183从缓冲器181获取周边区域的像素(周边像素)，在步骤S203中，使用该周边像素与由控制部171所设定的滤波系数，进行要处理的像素的滤波处理。当滤波处理结束时，则边界用第1自适应滤波器183将滤波处理结果提供至选择部173，并结束滤波处理。
选择部173在滤波器块标志的值为“1”的情况下，选择该滤波处理结果，并将其作为经滤波处理的解码图像提供至帧存储器114中加以存储。
接下来，参考图14的流程图，说明由边界用第2自适应滤波器184所执行的滤波处理的流程的例子。
当在图12的步骤S180中指示执行被指示执行的在当前片层关闭的滤波处理时，则边界用第2自适应滤波器184在步骤S221中，复制已保持于缓冲器181中的位于当前片层中的周边像素，生成位于相邻片层中的周边像素的虚拟数据。
当生成虚拟数据时，则边界用第2自适应滤波器184在步骤S212中，使用包括虚拟数据的周边像素与由控制部171所设定的滤波系数，进行要处理的像素的滤波处理。当滤波处理结束时，则边界用第2自适应滤波器184将滤波处理结果提供至选择部173，并结束滤波处理。
选择部173在滤波器块标志的值为“1”的情况下，选择该滤波处理结果，并将其作为经滤波处理的解码图像提供至帧存储器114中加以存储。
如上所述根据边界控制标志的值，从多种方法的中适当选择针对边界附近的像素的滤波处理的方法，从而自适应滤波处理部113可抑制由编码时的滤波处理的局部控制所引起的滤波处理的效果的降低。例如，通过以跨越片层的格式进行滤波处理，自适应滤波处理部113可提升滤波处理结果的画质。另外，例如，通过进行在当前片层关闭的滤波处理，自适应滤波处理部113可低延迟地进行滤波处理。
此时，自适应滤波处理部113根据基于系统规格信息所决定的边界控制标志来选择滤波处理方法，因此可不使处理失败而进行滤波处理。
另外，边界控制标志生成部132根据系统规格信息设定边界控制标志，从而可使自适应滤波处理部113以抑制效果的降低的格式执行滤波处理。
即，图像编码装置100可抑制由编码时的滤波处理的局部控制所引起的滤波处理的效果的降低。
注意，无损编码部106对边界控制标志进行编码，并将其附加至图像压缩信息中(例如嵌入至片层首部中)。因此，图像编码装置100可使对图像编码装置100所输出的图像压缩信息进行解码的图像解码装置抑制由解码时所进行的滤波处理的局部控制所引起的滤波处理的效果的降低。
注意，“附加”表示以任意的形态使边界控制标志与图像压缩信息产生关联。例如，这可作为图像压缩信息的语法而记述，也可作为用户数据而记述。另外，也可将边界控制标志作为元数据而成为与图像压缩信息链接的状态。即，“附加”包括“嵌入”、“记述”、“复用”和“链接”等。
另外，以上，对针对片层边界附近的像素进行跨越片层的滤波处理、或者进行在当前片层关闭的滤波处理的情形进行了说明，但也可以利用除此以外的方法进行滤波处理。另外，例如，也可以省略滤波处理来代替在当前片层关闭的滤波处理。
进而，针对片层边界附近的像素的滤波处理方法只要准备多种即可，也可以准备3种以上的方法作为选项。在此情况下，边界控制标志需要2比特以上。注意，边界控制标志的比特数是任意的。但是，该比特数越少，越抑制图像压缩信息的编码效率的降低，因此不希望无谓地增大比特数。
<2.第2实施例>
[设备的构成]
接下来，对与第1实施例中所说明的图像编码装置100相对应的图像解码装置进行说明。图15表示作为应用本发明的图像处理装置的图像解码装置的一个实施例的构成例的框图。
图像解码装置200对从图像编码装置100所输出的图像压缩信息进行解码，生成解码图像。
图像解码装置200包括：存储缓冲器201、无损解码器202、反量化部203、逆正交变换部204、运算部205和解块滤波器206。另外，图像解码装置200包括自适应滤波处理部207。图像解码装置200 还具有：画面重排缓冲器208和D/A(数字/模拟)变换部209。图像解码装置200还具有：帧存储器210、帧内预测部211、运动补偿部212和选择部213。
存储缓冲器201存储传输而来的图像压缩信息。无损解码部202对从存储缓冲器201提供的通过图1的无损编码部106而编码的信息，以与无损编码部106的编码格式相对应的格式进行解码。
在当前宏块经帧内编码的情况下，无损解码部202对图像压缩信息的首部部分中所存储的帧内预测模式信息进行解码，并将该信息传输至帧内预测部211。另外，在当前宏块经帧间编码的情况下，无损解码部202对图像压缩信息的首部部分中所存储的运动向量信息进行解码，并将该信息传送至运动补偿部212。
另外，无损解码部202从图像压缩信息的片层首部中提取自适应滤波器用的控制信息(由控制信息生成部112所生成的控制信息)并进行解码，并且将该信息提供至自适应滤波处理部207。
反量化部203以与图1的量化部105的量化格式相对应的格式，将通过无损解码部202而解码的图像反量化。逆正交变换部204以与图1的正交变换合104的正交变换格式相对应的格式，对反量化部203的输出进行逆正交变换。
运算部205使经逆正交变换的差分信息和从选择部213提供的预测图像相加，而生成解码图像。解块滤波器206去除通过该相加处理所生成的解码图像的块噪声。
自适应滤波处理部207根据从无损解码部202提供的控制信息中所包括的滤波系数、ALF块大小、滤波器块标志和边界控制标志等信息，对从解块滤波器206提供的图像进行滤波处理。自适应滤波处理部207进行与图1的自适应滤波处理部113相同的自适应滤波处理。从而，自适应滤波处理部207可减少未被解块滤波器206完全去除的块噪声和由量化所引起的噪声。
自适应滤波处理部207将滤波处理后的图像提供至帧存储器210，使其作为参考图像信息加以存储，并且将其输出至画面重排缓 冲器208。
画面重排缓冲器208进行图像的重排。即，将为了编码而通过图1的画面重排缓冲器102重排的帧的顺序重排成原来的显示的顺序。D/A变换部209对从画面重排缓冲器208提供的图像进行D/A变换，并将其输出。例如，D/A变换部209将通过进行D/A变换所获得的输出信号输出至未图示的显示器，而显示图像。
帧内预测部211在当前帧经帧内编码的情况下，根据从无损解码部202提供的信息，生成预测图像，并将所生成的预测图像输出至选择部213。
运动补偿部212在当前帧经帧间编码的情况下，根据从无损解码部202提供的运动向量信息，对帧存储器210中所存储的参考图像信息进行运动补偿处理。
在当前宏块经帧内编码的情况下，选择部213与帧内预测部211连接，将从帧内预测部211提供的图像作为预测图像提供至运算部205。另外，在当前宏块经帧间编码的情况下，选择部213与运动补偿部212连接，将从运动补偿部212提供的图像作为预测图像提供至运算部205。
[处理的流程]
参考图16的流程图，说明该图像解码装置200所执行的解码处理的流程的例子。
在步骤S301中，存储缓冲器201存储传输而来的图像。无损解码部202在步骤S302中，从图像压缩信息的片层首部中提取自适应滤波处理用的控制信息，并在步骤S303中进行解码。经解码的控制信息被提供至自适应滤波处理部207。
另外，在步骤S303中，无损解码部202对从存储缓冲器201提供的压缩图像进行解码。具体而言，对通过图1的无损编码部106而编码的I画面、P画面以及B画面进行解码。
此时，也对运动向量信息、参考帧信息、预测模式信息(表示帧内预测模式或帧间预测模式的信息)等进行解码。
具体而言，在预测模式信息为帧内预测模式信息的情况下，预测模式信息被提供至帧内预测部211。在预测模式信息为帧间预测模式信息的情况下，与预测模式信息相对应的运动向量信息及参考帧信息被提供至运动补偿部212。
在步骤S304中，反量化部203以与图1的量化部105的特性相对应的特性，将在步骤S302中经解码的变换系数反量化。在步骤S305中，逆正交变换部204以与图1的正交变换部104的特性相对应的特性，对通过步骤S204的处理而反量化的变换系数进行逆正交变换。这意味着，与图1的正交变换部104的输入(运算部103的输出)相对应的差分信息得到解码。
在步骤S306中，运算部205使在后述的步骤S212的处理中所选择的预测图像与差分信息相加。从而对原始图像进行解码。在步骤S307中，解块滤波器206对从运算部205输出的图像进行滤波。从而去除块噪声。
在步骤S308中，自适应滤波处理部207对经解块滤波处理的图像进一步进行用以实施自适应滤波处理的自适应滤波控制处理。该自适应滤波控制处理与图1的自适应滤波处理部113所进行的处理相同。即，该自适应滤波控制处理除使用从无损解码部202提供的控制信息以外，以与参考图12的流程图所说明的情形相同的方式进行。注意，然而从该无损解码部202提供的控制信息被图1的控制信息生成部112生成，实际上与图1的自适应滤波处理部113所利用的从控制信息生成部112提供的控制信息相同。
通过该自适应滤波控制处理，能够减少解块滤波处理中未完全去除的块噪声和由量化所引起的噪声。
在步骤S309中，帧存储器210存储经滤波的图像。
在提供了帧内预测模式信息的情况下，帧内预测部211在步骤S310中进行帧内预测模式的帧内预测处理。另外，在提供了帧间预测模式信息的情况下，运动补偿部212在步骤S311中进行帧间预测模式的运动补偿处理。
在步骤S312中，选择部213选择预测图像。即，选择由帧内预测部211所生成的预测图像、或者由运动补偿部212所生成的预测图像中的其中之一，并将所选择的预测图像提供至运算部205。
例如，在图像经帧内编码的情况下，选择部213选择由帧内预测部211所生成的预测图像，并将其提供至运算部205。另外，在图像经帧间编码的情况下，选择部213选择由运动补偿部212所生成的预测图像，并将其提供至运算部205。
在步骤S313中，画面重排缓冲器208进行重排。具体而言，将为编码而通过图1的图像编码装置100的画面重排缓冲器102重排的帧的顺序重排成原来的显示的顺序。
在步骤S314中，D/A变换部209对来自画面重排缓冲器208的图像进行D/A变换。将该图像输出至未图示的显示器而显示图像。
如此，图像解码装置200的无损解码部202提取从图像编码装置100提供的控制信息并进行解码，自适应滤波处理部207使用该控制信息，与图像编码装置100的自适应滤波处理部113同样地进行自适应滤波控制处理(以及滤波处理)。
通过进行这样的自适应滤波控制处理，自适应滤波处理部207能够抑制由解码时的滤波处理的局部控制所引起的滤波处理的效果的降低。
因此，图像解码装置200能够抑制由解码时所进行的滤波处理的局部控制所引起的滤波处理的效果的降低。
<3.第3实施例>
[图像处理系统]
注意，以上对控制信息生成部112的系统规格管理部141保持或收集系统规格信息的情形进行了说明，该系统规格信息也可包括图像解码装置的规格信息。
在此情况下，当未预先掌握图像解码装置的规格信息时，例如在诸如将图像编码装置与图像解码装置连接成可进行通信时等的特 定的时间点，图像编码装置需要收集图像解码装置的规格信息。此时，图像编码装置可与图像解码装置进行通信，从图像解码装置获取规格信息，例如可获取由用户所输入的规格信息。
此处，未图示的图像处理系统是经由网络等通信媒体而将图17所示的图像编码装置300与图18所示的图像解码装置400连接成可进行通信的系统。以下，对装置的构造进行说明。
图17表示作为应用本发明的图像处理装置的图像编码装置的其他的例子的框图。
图17所示的图像编码装置300为基本上与图1的图像编码装置100相同的装置，其具有图像编码部301。
图像编码部301的构成与图像编码装置100的构成相同，包括A/D变换部101至码率控制部119，且与第1实施例中所说明的情形同样地工作。
图像编码装置300除该图像编码部301以外，还具有：输入部302、通信部303和信息收集部304。
输入部302接受用户等的操作。通信部303经由网络等与图像解码装置400进行通信。信息收集部304收集经由输入部302而输入的图像解码装置400的规格信息、或者经由通信部303从图像解码装置400提供的规格信息。信息收集部304将所收集的规格信息提供至控制信息生成部112的系统规格管理部141。
图18表示作为应用本发明的图像处理装置的图像解码装置的其他的例子的框图。
图像解码装置400是基本上与图15的图像解码装置200相同的装置，其具有图像解码部401。
图像解码部401的构成与图像解码装置200的构成相同，具有存缓冲器20l至选择部213，且与第2实施例中所说明的情形同样地工作。
图像解码装置400除该图像解码部401以外，还包括信息提供部402和通信部403。
信息提供部402具有图像解码装置400的规格信息，并根据来自图像编码装置300的请求提供该规格信息。通信部403经由网络等与图像编码装置300进行通信。通信部403接收来自图像编码装置300的请求，并将其提供至信息提供部402。另外，通信部403根据该请求而将从信息提供部402提供的图像解码装置400的规格信息提供至图像编码装置300。
[处理的流程]
参考图19的流程图说明这样的图像处理系统中的规格信息的交换的流程的例子。
在步骤S401中，图像编码装置300的信息收集部304经由通信部303，对图像解码装置400请求图像解码装置400的规格信息。在步骤S421中，图像解码装置400的通信部403当获取该请求时，则将该请求提供至信息提供部402。
在步骤S422中，信息提供部402将作为针对该请求的应答的图像解码装置400的规格信息经由通信部403提供至发出请求的图像编码装置300。
在步骤S402中，图像编码装置300的信息收集部304当经由通信部303而获取该规格信息时，则将其提供至控制信息生成部112的系统规格管理部141。
在步骤S403中，图像编码部301根据该规格信息进行编码处理，生成码流。在步骤S404中，图像编码部301将所生成的码流提供至图像解码装置400。
在步骤S423中，图像解码装置400的图像解码部401获取从图像编码装置300提供的码流。在步骤S424中，图像解码部401对该码流进行解码处理。
如此，在图像编码处理和图像解码处理之前交换图像解码装置400的规格信息，从而图像编码装置300能够根据包括该图像解码装置400的规格信息的系统规格信息创建边界控制标志。
从而，图像编码装置300和图像解码装置400如第1实施例与 第2实施例中所说明的那样，能够抑制由编码时或解码时的滤波处理的局部控制所引起的滤波处理的效果的降低。
<4.第4实施例>
[QALF的说明]
如非专利文献3所示，可以将ALF块设定为四叉树(quad tree)构造。该技术称为QALF(Quad tree-based Adaptive Loop Filter，基于四叉树的自适应环路滤波器)。四叉树构造是指在下位阶层(hierarchical level)中将上一位阶层的1个ALF块的区域一分为四的阶层构造。
图20表示通过最大层数为3的四叉树构造来表现ALF块分割，并对各ALF块指定滤波器块标志的例子。
图20的A表示成为四叉树构造的基本的ALF块即层0。在四叉树构造中，各ALF块具有表示是否在下位的阶层中被一分为四的块分割标志。图20的A所示的ALF块的块分割标志的值为“1”。即，该ALF块在下位的阶层(层1)中被一分为四。图20的B表示该层1。即，在层1中形成4个ALF块。
在块分割标志为“0”的情况下，在更下位的阶层中不被一分为四。即，不再进行分割，而针对该ALF块生成滤波器块标志。即，块分割标志为“0”的ALF块也具有滤波器块标志。图20的B所示的，“0-1”的左边的“0”表示该ALF块的块分割标志，右边的“1”表示该ALF块的滤波器块标志。
层1的块分割标志为“1”的两个ALF块在更下位的阶层(层2)中被一分为四。图20的C表示该层2。即，在层2中形成10个ALF块。同样地，在层2中，也将滤波器块标志分配至块分割标志为“0”的ALF块中。在图20的C中，1个ALF块的块分割标志为“1”。即，该ALF块在更下位的阶层(层3)中被一分为四。图20的D表示该层3。即，在层3中形成13个ALF块。
如图20所示地形成四叉树，ALF块的构成最终变成如图21所示。这样，在四叉树构造中，ALF块的大小在每个阶层中不同。即， 通过采用四叉树构造，ALF块可在帧内中使其大小彼此不同。
各ALF块中的滤波器块标志的控制与上述其他实施例的情形相同。即，在滤波器块标志的值为“0”的ALF块的区域(图21的阴影部分)不进行滤波处理。
图22表示使用QALF技术对图5的片层1的区域进行编码的例子。此处，粗线521的区域表示片层1的区域。不论ALF的构成如何，在对片层边界附近的像素进行滤波处理时，有时周边像素跨越多个片层。因此，在该QALF的情况下，也能够与上述其他实施例的情形同样地进行针对片层边界附近的像素的滤波处理的控制方法。
即，即使在四叉树构造的ALF块的情况下，图像编码装置和图像解码装置也能够抑制由编码时或解码时的滤波处理的局部控制所引起的滤波处理的效果的降低。
<5.第5实施例>
[个人计算机]
上述一系列处理可通过硬件执行，也能够通过软件执行。在此情况下，例如也能够构成为如图23所示的个人计算机。
图23中，个人计算机600的CPU(Central Processing Unit，中央处理单元)601根据ROM(Read Only Memory，只读存储器)602中所存储的程序、或者从存储部613载入至RAM(Random Access Memory，随机存取存储器)603中的程序执行各种处理。RAM603中还适当地存储CPU601执行各种处理时所需的数据等。
CPU601、ROM602和RAM603经由总线604而相互连接。该总线604上也连接有输入/输出接口610。
输入/输出接口610上连接有包括键盘、鼠标等的输入部611，包括由CRT(CathodeRay Tube，阴极射线管)或LCD(Liquid Crystal Display，液晶显示器)等所构成的显示器及扬声器等的输出部612，由硬盘等所构成的存储部613，由调制解调器等所构成的通信部614。通信部614经由包括因特网的网络而进行通信处理。
另外，根据需要在输入/输出接口610上还连接驱动器615，适 当地将磁盘、光盘、磁光盘、或者半导体存储器等可移动介质621安装至驱动器615，并根据需要将从它们所读出的计算机程序安装在存储部613中。
在通过软件执行上述一系列处理的情况下，从网络或记录介质安装构成该软件的程序。
该记录介质不仅由为了独立于装置本体而对用户发送程序而配置的包括记录有程序的磁盘(包括软盘)、光盘(包括CD-ROM(Compact Disc-Read Only Memory，紧密光盘-只读存储器)、DVD(Digital Versatile Disc，数字多功能光盘))、磁光盘(包括MD(MiniDisc，迷你盘))或半导体存储器等的可移动介质621构成，而且由以预先组装入装置本体的状态对用户进行发送的记录有程序的ROM602、存储部613中所包括的硬盘等构成。
注意，计算机所执行的程序可为按本说明书中所说明的顺序以时间序列进行处理的程序，也可以为并行地、或以当进行调用时等的必要时序进行处理的程序。
另外，在本说明书中，记述记录介质中所记录的程序的步骤当然包括按所记载的顺序以时间序列所进行的处理，也包括未必以时间序列进行处理，也并行地或个别地执行的处理。
另外，在本说明书中，术语“系统”是指由多个设备(装置)所构成的整个装置。
另外，也能够将以上作为1个装置(或处理部)所说明的构成加以分割而构成为多个装置(或处理部)。相反地，也能够将以上作为多个装置(或处理部)所说明的构成加以组合而构成为1个装置(或处理部)。另外，当然也能够对各装置(或各处理部)的构成附加除上述以外的构成。进而，若系统整体的构成或操作实质上相同，则可在其他装置(或其他处理部)的构成中包括某装置(或处理部)的构成的一部分，即，本发明的实施例并不限定在上述实施例，在不脱离本发明的主旨的范围内可进行各种变更。
例如，上述图像编码装置100、图像解码装置200、图像编码装 置300和图像解码装置400可应用于各种电子设备。以下，对其例子进行说明。
<6.第6实施例>
[电视接收机]
图24是表示使用应用了本发明的图像解码装置200或图像解码装置400的电视接收机的主要构成例的框图。
图24所示的电视接收机1000包括：地面波调谐器1013、视频解码器1015、视频信号处理电路1018、图形生成电路1019、面板驱动电路1020和显示面板1021。
地面波调谐器1013经由天线接收地面模拟广播的广播波信号，进行解调后获取视频信号，并将其提供至视频解码器1015。视频解码器1015对从地面波调谐器1013提供的视频信号实施解码处理，并将所获得的数字分量信号提供至视频信号处理电路1018。
视频信号处理电路1018对从视频解码器1015提供的视频数据实施噪声去除等特定处理，并将所获得的视频数据提供至图形生成电路1019。
图形生成电路1019生成显示在显示面板1021的节目的视频数据、或由基于经由网络所提供的应用程序的处理所产生的图像数据等，并将所生成的视频数据或图像数据提供至面板驱动电路1020。另外，图形生成电路1019也适当地进行如下处理，即生成用于显示由用户在选择项目等时所利用的画面的视频数据(图形)，并将其与节目的视频数据重叠，将所获得的视频数据提供至面板驱动电路1020。
面板驱动电路1020根据从图形生成电路1019提供的数据而驱动显示面板1021，并使节目的视频或上述各种画面显示在显示面板1021。
显示面板1021包括LCD(Liquid Crystal Display，液晶显示器)等，其根据面板驱动电路1020的控制而显示节目的视频等。
另外，电视接收机1000还包括：音频A/D(模拟/数字，Analog /Digital)变换电路1014、音频信号处理电路1022、回音消除/音频合成电路1023、音频放大电路1024和扬声器1025。
地面波调谐器1013对所接收的广播波信号进行解调，从而不仅获取视频信号，也获取声音信号。地面波调谐器1013将所获取的音频信号提供至音频A/D变换电路1014。
音频A/D变换电路1014对从地面波调谐器1013提供的音频信号实施A/D变换处理，并将所获得的数字的音频信号提供至音频信号处理电路1022。
音频信号处理电路1022对从音频A/D变换电路1014提供的音频数据实施噪声去除等特定的处理，并将所获得的音频数据提供至回音消除/音频合成电路1023。
回音消除/音频合成电路1023将从音频信号处理电路1022所提供的音频数据提供至音频放大电路1024。
音频放大电路1024对从回音消除/音频合成电路1023提供的音频数据实施D/A变换处理、放大处理，并在调整为特定的音量之后，使音频从扬声器1025输出。
进而，电视接收机1000还包括数字调谐器1016和MPEG解码器1017。
数字调谐器1016经由天线接收数字广播(地面数字广播、BS(BroadcastingSatellite，广播卫星)/CS(Communications Satellite，通信卫星)数值广播)的广播波信号，进行解调后获取MPEG-TS(Moving Picture Experts Group-Transport Stream，运动图像专家群-传输流)，并将其提供至MPEG解码器1017。
MPEG解码器1017解除对从数字调谐器1016提供的MPEG-TS所实施的加扰(scrambling)，并提取包括成为回放对象(视听对象)的节目的数据的串流(stream)。MPEG解码器1017对构成所提取的串流的音频包进行解码，将所获得的音频数据提供至音频信号处理电路1022，并且对构成串流的视频包进行解码，将所获得的视频数据提供至视频信号处理电路1018。另外，MPEG解码器1017将从 MPEG-TS提取的EPG(Electronic ProgramGuide，电子节目表)数据经由未图示的路径提供至CPU1032。
电视接收机1000以这样的方式使用上述图像解码装置200或图像解码装置400作为对视频包进行解码的MPEG解码器1017。注意，从广播电视局等所发送的MPEG-TS通过图像编码装置100或图像编码装置300而编码。
MPEG解码器1017以与图像解码装置200或图像解码装置400同样的方式，提取从图像编码装置100或图像编码装置300提供的控制信息并进行解码，然后使用该控制信息进行自适应滤波控制处理(以及滤波处理)。从而，MPEG解码器1017能够抑制由滤波处理的局部控制所引起的效果的降低。
从MPEG解码器1017提供的视频数据与从视频解码器1015提供的视频数据的情形同样地，在视频信号处理电路1018中被实施特定的处理，然后在图形生成电路1019中，适当地与所生成的视频数据等重叠，并经由面板驱动电路1020而被提供至显示面板1021后显示其图像。
从MPEG解码器1017提供的音频数据与从音频A/D变换电路1014所提供的音频数据的情形同样地，在音频信号处理电路1022中被实施特定的处理，然后经由回音消除/音频合成电路1023而被提供至音频放大电路1024，并被实施D/A变换处理或放大处理。其结果，调整为特定的音量的音频从扬声器1025输出。
另外，电视接收机1000还包括麦克风1026和A/D变换电路1027。
A/D变换电路1027接收由设置在电视接收机1000的作为用于音频会话的麦克风1026所收集的用户的音频信号，对所接收的音频信号实施A/D变换处理，并将所获得的数字音频数据提供至回音消除/音频合成电路1023。
在从A/D变换电路1027提供了电视接收机1000的用户(用户A)的音频数据的情况下，回音消除/音频合成电路1023将用户 A的音频数据作为对象而进行回音消除，然后将与其它音频数据进行合成等而获得的音频数据经由音频放大电路1024从扬声器1025输出。
进而，电视接收机1000还包括：音频编解码器1028、内部总线1029、SDRAM(Synchronous Dynamic Random Access Memory，同步动态随机存取存储器)1030、快闪存储器1031、CPU1032、USB(Universal Serial Bus，通用串行总线)I/F1033、和网络I/F1034。
A/D变换电路1027接收设置在电视接收机1000的作为用于音频会话的麦克风1026所收集的用户的音频信号，然后对所接收的音频信号实施A/D变换处理，并将所获得的数字音频数据提供至音频编解码器1028。
音频编解码器1028将从A/D变换电路1027提供的音频数据变换为用以经由网络发送的特定格式的数据，并经由内部总线1029提供至网络I/F1034。
网络I/F1034经由安装在网络端子1035的电缆而与网络连接。网络I/F1034例如对连接到该网络的其他装置发送从音频编解码器1028提供的音频数据。另外，网络I/F1034例如经由网络端子1035接收从经由网络而连接的其他装置所发送的音频数据，并将其经由内部总线1029而提供至音频编解码器1028。
音频编解码器1028将从网络I/F1034所提供的音频数据变换为特定格式的数据，并将其提供至回音消除/音频合成电路1023。
回音消除/音频合成电路1023将从音频编解码器1028提供的音频数据作为对象而进行回音消除，然后将该音频数据与其他音频数据等进行合成而获得的音频的数据经由音频放大电路1024从扬声器1025输出。
SDRAM1030存储CPU1032进行处理时所需的各种数据。
快闪存储器1031存储由CPU1032所执行的程序。在电视接收机1000的启动时等特定的时间点，通过CPU1032读出快闪存储器1031中所存储的程序。在快闪存储器1031中还存储经由数字广播所 获取的EPG数据，经由网络而从特定的服务器所获取的数据等。
例如，在快闪存储器103l中存储MPEG-TS，该MPEG-TS包括通过CPU1032的控制而经由网络从特定的服务器所获取的内容数据。快闪存储器1031例如通过CPU1032的控制，将该MPEG-TS经由内部总线1029而提供至MPEG解码器1017。
MPEG解码器1017与从数字调谐器1016所提供的MPEG-TS的情形同样地对该MPEG-TS进行处理。如此，电视接收机1000可经由网络接收包括视频或音频等的内容数据，并使用MPEG解码器1017进行解码，从而显示该视频并输出音频。
另外，电视接收机1000还包括接收从遥控器1051所发送的红外线信号的光接收部1037。
光接收部1037接收来自遥控器105l的红外线，将进行解调而获得的表示用户操作的内容的控制码输出至CPU1032。
CPU1032执行快闪存储器103l中所存储的程序，并根据从光接收部1037所提供的控制码等而控制电视接收机1000整体的操作。CPU1032与电视接收机1000的各部分经由未图示的路径连接。
USB I/F1033与经由安装在USB端子1036的USB电缆而连接的电视接收机1000的外部机器行数据的发送/接收。网络I/F1034还经由安装在网络端子1035的电缆而连接到网络，且与连接到网络的各种装置进行音频数据以外的数据的发送/接收。
电视接收机1000使用图像解码装置200或图像解码装置400作为MPEG解码器1017，从而能够抑制由针对经由天线所接收的广播波信号、或经由网络而获得的内容数据的滤波处理的局部控制所引起的效果的降低。
<7.第7实施例>
[移动电话]
图25是表示使用应用了本发明的图像编码装置和图像解码装置的移动电话的主要构成例的框图。
图25所示的移动电话1100包括：配置为统一控制各部分的主 控制部1150、电源电路部1151、操作输入控制部1152、图像编码器1153、相机I/F部1154、LCD控制部1155，图像解码器1156、复用/分离部1157、记录/回放部1162、调制/解调电路部1158和音频编解码器1159。它们经由总线1160而相互连接。
另外，移动电话1100包括：操作键1119、CCD(Charge Coupled Devices，电荷耦合元件)相机1116、液晶显示器1118、存储部1123、发送/接收电路部1163、天线1114、麦克风(话筒)1121和扬声器1117。
在由用户的操作而结束通话及使电源键成为接通状态时，电源电路部1151从电池组对各部分提供电力，从而使移动电话1100启动为可操作的状态。
移动电话1100基于包括CPU、ROM和RAM等的主控制部1150的控制，以音频通话模式或数据通信模式等各种模式进行音频信号的发送/接收、电子邮件或图像数据的发送/接收、图像拍摄、数据记录等各种操作。
例如在音频通话模式中，移动电话1100通过音频编解码器1159将由麦克风(话筒)1121所收集的音频信号变换为数字音频数据，并在调制/解调电路部1158对该数字音频数据进行扩频处理，并且在发送/接收电路部1163进行数字/模拟变换处理和频率变换处理。移动电话1100经由天线1114将通过上述变换处理而获得的发送用信号发送至未图示的基站。向基站传输的发送用信号(音频信号)经由公众电话网络而提供至另一方的移动电话。
另外，例如在音频通话模式中，移动电话1100在发送/接收电路部1163将在天线1114所接收的接收信号放大，进而进行频率变换处理和模拟数字变换处理，并在调制/解调电路部1158进行解扩频处理，并通过音频编解码器1159将其变换为模拟音频信号。移动电话1100将经该变换而获得的模拟音频信号从扬声器1117输出。
进而，例如当在数据通信模式中发送电子邮件时，移动电话1100在操作输入控制部1152接收由操作键1119的操作而输入的电子邮件 的文本数据。移动电话1100在主控制部1150中对该文本数据进行处理，并经由LCD控制部1155将其在液晶显示器1118上显示为图像。
另外，移动电话1100在主控制部1150中，根据操作输入控制部1152所接收的文本数据或用户指示等而生成电子邮件数据。移动电话1100利用调制/解调电路部1158对该电子邮件数据进行扩频处理，并在发送/接收电路部1163进行数字/模拟变换处理和频率变换处理。移动电话1100将经该变换处理而获得的发送用信号经由天线1114而发送至未图示的基站。向基站传输的发送用信号(电子邮件)经由网络和邮件服务器等而提供至特定的目的地。
另外，例如当在数据通信模式中接收电子邮件时，移动电话1100经由天线1114以发送/接收电路部1163接收从基站所发送的信号，将该信号放大后，进而进行频率变换处理和模拟/数字变换处理。移动电话1100在调制/解调电路部1158对该接收信号进行解扩频处理而复原原来的电子邮件数据。移动电话1100将经复原的电子邮件数据经由LCD控制部1155而显示在液晶显示器1118上。
注意，移动电话1100也能够经由记录/回放部1162而将所接收的电子邮件数据记录(存储)在存储部1123。
该存储部1123为可覆写的任意的存储介质。存储部1123例如可为RAM或内置型快闪存储器等半导体存储器，也可为硬盘，或者也可为磁盘、磁光盘、光盘、USB存储器或存储卡等可移动介质。当然，也可以是这些以外的存储器。
进而，例如当在数据通信模式中发送图像数据时，移动电话1100通过拍摄而在CCD相机1116生成图像数据。CCD相机1116包括透镜、光圈等光学设备和作为光电变换元件的CCD，其对被摄体进行成像，并将所接收的光的强度变换为电信号，生成被摄体的图像的图像数据。CCD相机1116在图像编码器1153，并经由相机I/F部1154对该图像数据进行编码，而将其变换为编码图像数据。
移动电话1100使用上述图像编码装置100或图像编码装置300作为进行这样的处理的图像编码器1153。因此，图像编码器1053与 图像编码装置100或图像编码装置300的方式同样地，能够抑制由滤波处理的局部控制所引起的效果的降低。
注意，与此同时，移动电话1100将通过CCD相机1116进行摄像的过程中由麦克风(话筒)1121所收集的音频在音频编解码器1159中进行模拟/数字变换，进而进行编码。
移动电话1100在复用/分离部1157中，以特定的方式将从图像编码器1153所提供的编码图像数据和从音频编解码器1159所提供的数字音频数据复用。移动电话1100利用调制/解调电路部1158对上述所获得的复用数据进行扩频处理，并利用发送/接收电路部1163进行数字/模拟变换处理和频率变换处理。移动电话1100将通过该变换处理而获得的发送用信号经由天线1114发送至未图示的基站。向基站传输的发送用信号(图像数据)经由网络等而提供至另一方。
注意，在不发送图像数据的情况下，移动电话1100也能够不经由图像编码器1153，而经由LCD控制部1155将由CCD相机1116所生成的图像数据显示在液晶显示器1118。
另外，例如当在数据通信模式中接收与简单网页等链接的运动图像文件的数据等情况下，移动电话1100经由天线1114在发送/接收电路部1163接收从基站所发送的信号，将该信号放大后，进而进行频率变换处理和模拟/数字变换处理，移动电话1100在调制/解调电路部1158对该接收信号进行解扩频处理而复原原来的复用数据。移动电话1100在复用/分离部1157中将该复用数据分离为编码图像数据和音频数据。
移动电话1100在图像解码器1156中对编码图像数据进行解码，从而生成回放运动图像数据，并经由LCD控制部1155使其显示在液晶显示器1118。从而，使例如与简单网页链接的运动图像文件中所包括的运动图像数据显示在液晶显示器1118。
移动电话1100使用上述图像解码装置200或图像解码装置400作为进行这样的处理的图像解码器1156。因此，图像解码器1156与图像解码装置200或图像解码装置400的情形同样地，提取从图像编 码装置100或图像编码装置300提供的控制信息并进行解码，然后使用该控制信息进行自适应滤波控制处理(以及滤波处理)。这样，图像解码器1156可抑制由滤波处理的局部控制所引起的效果的降低。
此时，移动电话1100同时在音频编解码器1159中，将数字音频数据变换为模拟音频信号，并使其自扬声器1117输出。从而，使例如与简单网页链接的运动图像文件中所包括的音频数据被播放。
注意，与电子邮件的情形同样地，移动电话1100可以将所接收的与简单网页等链接的数据经由记录/回放部1162而记录(存储)在存储部1123。
另外，移动电话1100在主控制部1150中，对由CCD相机1116进行摄像而获得的二维码进行解析，从而能够获取记录为二维码的信息。
进而，移动电话1100可在红外线通信部1181以红外线与外部的设备进行通信。
移动电话1100使用图像编码装置100或图像编码装置300作为图像编码器1153，从而可抑制由针对如下的编码数据的滤波处理的局部控制所引起的效果的降低，该编码数据例如是对在CCD相机1116中所生成的图像数据进行编码而生成的。
例如，移动电话1100通过进行跨越片层的滤波处理，从而能够提升滤波处理结果的画质，并且能够将画质更高的编码数据提供至其它移动电话。另外，例如，通过进行在当前片层关闭的滤波处理，移动电话1100能够低延迟地进行滤波处理，并且能够以更低的延迟将编码数据提供至其它移动电话。
另外，移动电话1100使用图像解码装置200或图像解码装置400作为图像解码器1156，从而能够抑制由例如针对与简单网页等链接的运动图像文件的数据的滤波处理的局部控制所引起的效果的降低。
例如，移动电话1100通过进行跨越片层的滤波处理，从而能够提升滤波处理结果的画质，并且能够实现解码图像的高画质。另外， 例如，通过进行在当前片层关闭的滤波处理，从而移动电话1100能够以低延迟进行滤波处理，并且能够以低延迟对编码数据进行解码，
注意，以上对移动电话1100使用CCD相机1116的情形进行了说明，但移动电话1100可应用使用CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)的图像传感器(CMOS图像传感器)来代替该CCD相机1116。在此情况下，移动电话1100也能够与使用CCD相机1116的情形同样地对被摄体进行拍摄，并生成被摄体的图像的图像数据。
另外，以上对移动电话1100进行了说明，但只要是具有与该移动电话1100相同的摄像功能和通信功能的装置，例如PDA(Personal Digita1Assistants，个人数字助理)、智能手机、UMPC(Ultra Mobile Personal Computer，超移动个人计算机)、迷你笔记本、笔记型个人电脑等，则无论为何种装置，都可与移动电话1100的情形同样地应用图像编码装置100和图像解码装置200。
<8.第8实施例>
[硬盘记录器]
图26是表示使用应用了本发明的图像编码装置和图像解码装置的硬盘记录器的主要构成例的框图。
图26所示的硬盘记录器(HDD记录器)1200为如下的装置，即，将由调谐器所接收的从卫星或地面的天线等发送的广播波信号(电视信号)中所包括的广播节目的音频数据和视频数据保存在内置的硬盘中，并将所保存的数据在按照用户指示的时间点提供给用户。
硬盘记录器1200例如可从广播波信号中提取音频数据和视频数据，并适当地对这些数据进行解码，然后将这其存储在内置的硬盘中。另外，硬盘记录器1200例如也能够经由网络而从其它装置获取音频数据和视频数据，并适当地对这些数据进行解码，然后将其存储在内置的硬盘中。
进而，硬盘记录器1200例如可对记录在内置的硬盘中的音频数据和视频数据进行解码并提供至监视器1260，将该图像显示在监视 器1260的画面上，并将该音频从监视器1260的扬声器输出。另外，硬盘记录器1200例如也能够对从经由调谐器而获取的广播波信号所提取的音频数据和视频数据、或者经由网络而从其它装置所获取的音频数据和视频数据进行解码并提供至监视器1260，使该图像显示在监视器1260的画面上，并将该音频从监视器1260的扬声器输出。
当然，也可以进行其它操作。
如图26所示，硬盘记录器1200包括：接收部1221、解调部1222、解复用器1223、音频解码器1224、视频解码器1225和记录器控制部1226。硬盘记录器1200还包括：EPG数据存储器1227、程序存储器1228、工作存储器1229、显示变换器1230、OSD(On Screen Display，屏幕显示)控制部1231、显示控制部1232、记录/回放部1233、D/A变换器1234和通信部1235。
另外，显示变换器1230具有视频编码器1241。记录/回放部1233具有编码器1251和解码器1252。
接收部1221接收来自遥控器(未图示)的红外线信号，将该红外线信号变换为电信号并输出至记录器控制部1226。记录器控制部1226例如由微处理器等构成，并且根据存储在程序存储器1228的程序而执行各种处理。此时，记录器控制都1226根据需要而使用工作存储器1229。
通信部1235连接到网络，经由网络而与其它装置进行通信处理。例如，通信部1235由记录器控制部1226控制，与调谐器(未图示)进行通信，并主要向调谐器输出频道选择控制信号。
解调部1222对从调谐器提供的信号进行解调，并将其输出至解复用器1223。解复用器1223将从解调部1222提供的数据分离为音频数据、视频数据和EPG数据，并分别输出至音频解码器1224、视频解码器1225和记录器控制部1226。
音频解码器1224对所输入的音频数据进行解码，并将其输出至记录/回放部1233。视频解码器1225对所输入的视频数据进行解码，并将其输出至显示变换器1230。记录器控制部1226将所输入的EPG 数据提供至EPG数据存储器1227中加以存储。
显示变换器1230将从视频解码器1225或记录器控制部1226所提供的视频数据，使用视频编码器1241而编码为例如符合NTSC(National Television Standards committee，国家电视标准委员会)格式的视频数据，并输出至记录/回放部1233。另外，显示变换器1230将从视频解码器1225或记录器控制部1226提供的视频数据的画面的大小变换为与监视器1260的大小相对应的大小，并使用视频编码器1241而变换为符合NTSC格式的视频数据，变换为模拟信号并输出至显示控制部1232。
显示控制部1232在记录器控制部1226的控制下，将OSD(On Screen Display)控制部1231所输出的OSD信号和从显示变换器1230所输入的视频信号重叠，并输出至监视器1260的显示器而加以显示。
另外，通过D/A变换器1234而将音频解码器1224所输出的音频数据变换为模拟信号，并提供至监视器1260。监视器1260将该音频信号从内置的扬声器输出。
记录/回放部1233具有硬盘作为记录视频数据或音频数据等的存储介质。
记录/回放部1233例如通过编码器1251对从音频解码器1224提供的音频数据进行编码。另外，记录/回放部1233通过编码器1251对从显示变换器1230的视频编码器1241提供的视频数据进行编码。记录/回放部1233使用复用器对该音频数据的编码数据和视频数据的编码数据进行合成。记录/回放部1233对该合成数据进行信道编码并将其放大，然后经由记录头而将该数据写入至硬盘。
记录/回放部1233经由回放头对记录在硬盘的数据进行回放、放大，并使用解复用器而将该数据分离为音频数据和视频数据。记录/回放部1233通过解码器1252使用MPEG格式对音频数据和视频数据进行解码。记录/回放部1233将经解码的音频数据从数字变换至模拟，并将其输出至监视器1260的扬声器。另外，记录/回放部1233将经解码的视频数据从数字变换至模拟，并将其输出至监视器1260 的显示器。
记录器控制部1226根据经由接收部1221而接收的由来自遥控器的红外线信号所表示的用户指示，从EPG数据存储器1227读出最新的EPG数据，并将其提供至OSD控制部1231。OSD控制部123l生成与所输入的EPG数据相对应的图像数据，并将其输出至显示控制部1232。显示控制部1232将从OSD控制部1231所输入的视频数据输出至监视器1260的显示器而加以显示。从而，在监视器1260的显示器中显示EPG(电子节目表)。
另外，硬盘记录器1200可经由因特网等网络而获取从其它装置所提供的视频数据、音频数据和EPG数据等各种数据。
通信部1235由记录器控制部1226控制，经由网络而获取从其它装置所发送的视频数据、音频数据和EPG数据等的编码数据，并将其提供至记录器控制部1226。记录器控制部1226例如将所获取的视频数据和音频数据的编码数据提供至记录/回放部1233，并存储在硬盘。此时，记录器控制部1226和记录/回放部1233可以根据需要而进行再编码等处理。
另外，记录器控制部1226对所获取的视频数据和音频数据的编码数据进行解码，将所获得的视频数据提供至显示变换器1230。与从视频解码器1225提供的视频数据同样地，显示变换器1230对从记录器控制部1226提供的视频数据进行处理，经由显示控制部1232而将其提供至监视器1260以显示该图像。
另外，也能够根据该图像显示进行配置，由记录器控制部1226将经解码的音频数据经由D/A变换器1234提供至监视器1260，并将该音频从扬声器输出。
进而，记录器控制部1226对所获取的EPG数据的编码数据进行解码，将经解码的EPG数据提供至EPG数据存储器1227。
这样配置的硬盘记录器1200使用图像解码装置200或图像解码装置400作为视频解码器1225、解码器1252和内置在记录器控制部1226的解码器。因此，视频解码器1225、解码器1252和内置在记录 器控制部1226的解码器与图像解码装置200或图像解码装置400的情形同样地，提取从图像编码装置100或图像编码装置300所提供的控制信息并进行解码，然后使用该控制信息进行自适应滤波控制处理(以及滤波处理)。从而，视频解码器1225、解码器1252和内置在记录器控制部1226的解码器可抑制由滤波处理的局部控制所引起的效果的降低。
因此，硬盘记录器1200能够抑制由例如针对经由调谐器或通信部1235而接收的视频数据、和记录/回放部1233的硬盘中所记录的视频数据的滤波处理的局部控制所引起的效果降低。
例如，硬盘记录器1200通过进行跨越片层的滤波处理，从而能够提升滤波处理结果的画质，并且能够实现解码图像的高画质。另外，例如，通过进行在当前片层关闭的滤波处理，从而硬盘记录器1200能够以低延迟进行滤波处理，并且能够以低延迟对编码数据进行解码。
另外，硬盘记录器1200使用图像编码装置100或图像编码装置300作为编码器1251。因此，编码器1251与图像编码装置100或图像编码装置300的情形同样地，能够抑制由滤波处理的局部控制所引起的效果的降低。
因此，硬盘记录器1200能够抑制由例如针对硬盘中所记录的编码数据的滤波处理的局部控制所引起的效果的降低。
例如，硬盘记录器1200通过进行跨越片层的滤波处理，从而能够提升滤波处理结果的画质，并且能够将画质更高的编码数据记录在硬盘中。另外，例如，通过进行在当前片层关闭的滤波处理，从而硬盘记录器1200能够以低延迟进行滤波处理，并且能够以更低的延迟生成编码数据，并将其记录在硬盘中。
注意，以上对将视频数据和音频数据记录在硬盘的硬盘记录器1200进行了说明，当然，也能够采用任意的记录介质。例如即便为应用快闪存储器、光盘、或录影带等硬盘以外的记录介质的记录器，也能够与上述硬盘记录器1200的情形同样地应用图像编码装置100 和图像解码装置200。
<9.第9实施例>
[相机]
图27是表示使用应用了本发明的图像编码装置和图像解码装置机的相机的主要构成例的框图。
图27所示的相机1300对被摄体进行摄像，并使被摄体的图像显示在LCD1316，并将其作为图像数据而记录在记录介质1333。
透镜块1311将光(即被摄体的画面)输入至CCD/CMOS1312。CCD/CMOS1312是使用有CCD或CMOS的图像传感器，其将所接收的光的强度变换为电信号，并提供至相机信号处理部1313。
相机信号处理部1313将从CCD/CMOS1312提供的电信号变换为Y、Cr、Cb的色差信号，并提供至图像信号处理部1314。图像信号处理部1314在控制器1321的控制下，对从相机信号处理部1313提供的图像信号实施特定的图像处理，或由编码器1341使用例如MPEG格式对该图像信号进行编码。图像信号处理部1314将对图像信号进行编码所生成的编码数据提供至解码器1315。进而，图像信号处理部1314获取在屏幕显示器(OSD)1320中所生成的显示用数据，并将其提供至解码器1315。
在以上的处理中，相机信号处理部1313适当地使用经由总线1317而连接的DRAM(Dynamic Rands Access Memory，动态随机存取存储器)1318，并根据需要而将图像数据、对该图像数据进行编码所得的编码数据等保持在该DRAM1318。
解码器1315对从图像信号处理部1314所提供的编码数据进行解码，将所获得的图像数据(解码图像数据)提供至LCD1316。另外，解码器1315将从图像信号处理部1314所提供的显示用数据提供至LCD1316。LCD1316适当地将从解码器1315所提供的解码图像数据的图像与显示用数据的图像加以合成，并显示该合成图像。
屏幕显示器1320在控制器1321的控制下，将包括符号、字符、或图形的菜单画面或图标等显示用数据经由总线1317输出至图像信 号处理部1314。
根据表示由用户使用操作部1322而指示的内容的信号，控制器1321执行各种处理，并且经由总线1317而控制图像信号处理部1314、DRAM1318、外部接口1319、屏幕显示器1320和介质驱动器1323等。在FLASH ROM1324中存储控制器1321执行各种处理所需的程序或数据等。
例如，控制器1321可代替图像信号处理部1314和解码器1315而对存储在DRAM1318的图像数据进行编码、或对存储在DRAM1318的编码数据进行解码。此时，控制器1321可使用与图像信号处理部1314或解码器1315的编码和解码格式相同的格式进行编码和解码处理，也可以使用与图像信号处理部1314或解码器1315不对应的格式进行编码和解码处理。
另外，例如，在从操作部1322指示开始打印图像的情况下，控制器1321从DRAM1318读出图像数据，将其经由总线1317而提供至连接到外部接口1319的打印机1334并进行打印。
进而，例如，在从操作部1322指示记录图像的情况下，控制器1321从DRAM1318读出编码数据，将其经由总线1317而提供至安装在介质驱动器1323的记录介质1333并加以存储。
记录介质1333例如为磁盘、磁光盘、光盘、或半导体存储器等可读写的任意的可移动介质。当然记录介质1333作为可移动介质的种类也是任意的，相应地也可为磁带设备，或者可以是盘片，或者可以是存储卡。当然，记录介质1333也可以是非接触IC卡等。
另外，介质驱动器1323和记录介质1333也可被配置为集成为一个非移动性记录介质，例如，如内置型硬盘驱动器或SSD(Solid State Drive，固态驱动器)等。
外部接口1319例如由USB输入/输出端子等构成，在进行图像打印的情况下，其连接到打印机1334。另外，根据需要，驱动器1331连接至外部接口1319，且适当地安装磁盘、光盘，或磁光盘等可移动介质1332到驱动器1331，并且从它们所读出的计算机程序根据需 要而被安装在FIASH ROM1324。
进而，外部接口1319具有连接到如LAN(local area network，局域网络)或因特网等特定的网络的网络接口。例如根据来自操作部1322的指示，控制器1321能够从DRAM1318读出编码数据，并将其从外部接口1319提供至经由网络而连接的其它装置。另外，控制器1321可经由外部接口1319而获取经由网络从其它装置所提供的编码数据或图像数据，并将其保持在DRAM1318或提供至图像信号处理部1314。
如上配置的相机1300使用图像解码装置200或图像解码装置400作为解码器1315。因此，与图像解码装置200或图像解码装置400的情形同样地，解码器1315提取从图像编码装置100或图像编码装置300所提供的控制信息并进行解码，然后使用该控制信息进行自适应滤波控制处理(以及滤波处理)。从而，解码器1315能够抑制滤波处理的由局部控制所引起的效果的降低。
因此，相机1300能够抑制例如针对CCD/CMOS1312中所生成的图像数据、或者从DRAM1318或记录介质1333所读出的视频数据的编码数据、或者经由网络而获取的视频数据的编码数据的滤波处理的由局部控制所引起的效果的降低。
例如，相机1300通过进行跨越片层的滤波处理，能够提升滤波处理结果的画质，并且能够实现解码图像的高画质。另外，例如，通过进行在当前片层关闭的滤波处理，从而相机1300能够以低延迟进行滤波处理，并且能够以低延迟对编码数据进行解码。
另外，相机1300使用图像编码装置100或图像编码装置300作为编码器1341。因此，与图像编码装置100或图像编码装置300的情形同样地，编码器1341能够抑制滤波处理的由局部控制所引起的效果的降低。
因此，相机1300能够抑制例如针对DRAM1318或记录介质1333中所记录的编码数据、或者提供至其它装置的编码数据的滤波处理的由局部控制所引起的效果的降低。
例如，相机1300通过进行跨越片层的滤波处理，能够提升滤波处理结果的画质，并且能够将画质更高的编码数据记录在DRAM1318或记录介质1333中、或者提供至其它装置。另外，例如，通过进行在当前片层关闭的滤波处理，相机1300能够以低延迟进行滤波处理，并且能够以更低的延迟将编码数据记录在DRAM1318或记录介质1333中、或者提供至其它装置。
注意，也可以在控制器1321所进行的解码处理中应用图像解码装置200或图像解码装置400的解码方法。同样地，也可以在控制器1321所进行的编码处理中应用图像编码装置100或图像编码装置300的编码方法。
另外，相机1300所拍摄的图像数据可以是运动图像，也可以是静态图像。
当然，图像编码装置100、图像解码装置200、图像编码装置300以及图像解码装置400也可以应用于上述装置以外的装置或系统。
另外，宏块的大小也不限定于16×16像素。可应用于例如图28所示的32×32像素等的任何大小的宏块。
以上，对将标志信息等复用(记述)成比特流的情形进行了说明，但也可以除进行复用以外，传输(记录)标志和图像数据(或比特流)。也可以是将标志与图像数据(或比特流)加以链接(附加)的形态。
链接(附加)是指图像数据(或比特流)与标志相互链接的状态(相关的状态)，而物理性的位置关系是任意的。例如，可以通过分立的传输路径传输图像数据(或比特流)和标志。另外，可以将图像数据(或比特流)与标志记录在分立的记录介质(或同一个记录介质内的不同的记录区域)。注意，图像数据(或比特流)与标志链接的单位是任意的，例如可设定为编码处理单位(1帧、多个帧等)。
附图标记：
100 图像编码装置
112 控制信息生成部
113 自适应滤波控制部
132 边界控制标志生成部
141 系统规格管理部
142 判断部
161 要处理的像素
162 周边像素
163 片层边界
171 控制部
172 自适应滤波器
173 选择部
181 缓冲器
182 片层内自适应滤波器
183 边界用第1自适应滤波器
184 边界用第2自适应滤波器
200 图像解码装置
201 存储缓冲器
202 无损解码部
207 自适应滤波处理部
300 图像编码装置
301 图像编码部
302 输入部
303 通信部
304 信息收集部
400 图像解码装置
401 图像解码部
402 信息提供部
403 通信部

Claims (23)

1.一种图像解码装置，具备：
接受单元，接受编码的图像块、滤波块数据、边界控制数据和块大小信息，其中所述编码的图像块是待解码的编码的图像块，所述滤波块数据控制是否对图像块进行滤波处理，所述边界控制数据控制所述滤波处理是否使用包括所述编码的图像块的片层之后的下一片层中的像素，所述块大小信息是所述编码的图像块的块大小信息；
获取单元，根据所述块大小信息来获取所述编码的图像块的位置；
解码单元，对所述编码的图像块进行解码；以及
滤波单元，根据所述滤波块数据、所述边界控制数据和所述编码的图像块的位置，对解码的图像块进行所述滤波处理。
2.根据权利要求1所述的图像解码装置，其中，
所述编码的图像块为四叉树构造。
3.根据权利要求2所述的图像解码装置，其中，
所述四叉树构造由表示像素块是否在下位的阶层中被一分为四的信息所定义。
4.根据权利要求3所述的图像解码装置，其中，
所述四叉树构造在各阶层中使用所述信息被递归地定义直到所述像素块不再被一分为四为止。
5.根据权利要求4所述的图像解码装置，其中，
所述四叉树构造具有三个阶层以上的阶层构造。
6.根据权利要求1所述的图像解码装置，其中，
所述滤波处理为自适应滤波处理。
7.根据权利要求1所述的图像解码装置，还具备：
电源单元，在由用户的操作而结束通话及使电源键成为接通状态时，从电池组对各处理单元提供电力，从而启动为可操作的状态。
8.根据权利要求1所述的图像解码装置，还具备：
显示控制单元，将由所述滤波单元进行了滤波处理的图像在显示器上显示。
9.根据权利要求1所述的图像解码装置，还具备：
接收单元，接收图像数据，
所述滤波单元对由所述接收单元所接收的所述图像数据的像素块进行所述滤波处理。
10.根据权利要求9所述的图像解码装置，其中
所述接收单元接收通过扩频处理而被调制了的图像数据，
还具备解调单元，通过逆扩频处理，对由所述接收单元所接收的、通过所述扩频处理而被调制了的所述图像数据进行解调，
所述滤波单元对由所述解调单元所解调的所述图像数据的像素块进行所述滤波处理。
11.根据权利要求10所述的图像解码装置，其中
所述接收单元接收复用数据，所述复用数据是将通过扩频处理而被调制了的图像数据和其它数据复用而得的数据，
所述解调单元，通过逆扩频处理，对由所述接收单元所接收的、通过所述扩频处理而被调制了的所述复用数据进行解调，
还具备分离单元，将由所述解调单元解调了的所述复用数据分离为所述图像数据和所述其它数据，
所述滤波单元对由所述分离单元分离而得到的所述图像数据的像素块进行所述滤波处理。
12.一种图像解码方法，具备：
接受编码的图像块、滤波块数据、边界控制数据和块大小信息，其中所述编码的图像块是包括待解码的编码的图像块，所述滤波块数据控制是否对图像块进行滤波处理，所述边界控制数据控制所述滤波处理是否使用包括所述编码的图像块的片层之后的下一片层中的像素，所述块大小信息是所述编码的图像块的块大小信息；
根据所述块大小信息来获取所述编码的图像块的位置；
对所述编码的图像块进行解码；以及
根据所述滤波块数据、和所述边界控制数据和所述编码的图像块的位置，对解码的图像块进行所述滤波处理。
13.根据权利要求12所述的图像解码方法，其中，
所述编码的图像块为四叉树构造。
14.根据权利要求13所述的图像解码方法，其中，
所述四叉树构造由表示像素块是否在下位的阶层中被一分为四的信息所定义。
15.根据权利要求14所述的图像解码方法，其中，
所述四叉树构造在各阶层中使用所述信息被递归地定义直到所述像素块不再被一分为四为止。
16.根据权利要求15所述的图像解码方法，其中，
所述四叉树构造具有三个阶层以上的阶层构造。
17.根据权利要求12所述的图像解码方法，其中，
所述滤波处理为自适应滤波处理。
18.根据权利要求12所述的图像解码方法，其中，
在由用户的操作而结束通话及使电源键成为接通状态时，从电池组对各处理单元提供电力，从而启动为可操作的状态。
19.根据权利要求12所述的图像解码方法，其中，
将进行了滤波处理的图像在显示器上显示。
20.根据权利要求12所述的图像解码方法，其中，
接收图像数据，
对所接收的所述图像数据的像素块进行所述滤波处理。
21.根据权利要求20所述的图像解码方法，其中
接收通过扩频处理而被调制了的图像数据，
通过逆扩频处理，对所接收的、通过所述扩频处理而被调制了的所述图像数据进行解调，
对所解调的所述图像数据的像素块进行所述滤波处理。
22.根据权利要求21所述的图像解码方法，其中
接收复用数据，所述复用数据是将通过扩频处理而被调制了的图像数据和其它数据复用而得的数据，
通过逆扩频处理，对接收的、通过所述扩频处理而被调制了的所述复用数据进行解调，
将解调了的所述复用数据分离为所述图像数据和所述其它数据，
对分离而得到的所述图像数据的像素块进行所述滤波处理。
23.一种计算机可读介质，记录有使得计算机作为如下单元发挥功能的程序：
接受单元，接受编码的图像块、滤波块数据、边界控制数据和块大小信息，其中所述编码的图像块是待解码的编码的图像块，所述滤波块数据控制是否对图像块进行滤波处理，所述边界控制数据控制所述滤波处理是否使用包括所述编码的图像块的片层之后的下一片层中的像素，所述块大小信息是所述编码的图像块的块大小信息；
获取单元，根据所述块大小信息来获取所述编码的图像块的位置；
解码单元，对所述编码的图像块进行解码；以及
滤波器单元，根据所述滤波块数据、所述边界控制数据和所述编码的图像块的位置，对解码的图像块进行所述滤波处理。
CN201410206559.XA 2009-07-31 2010-07-23 图像处理装置及方法 Active CN103957407B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009179395A JP5344238B2 (ja) 2009-07-31 2009-07-31 画像符号化装置および方法、記録媒体、並びにプログラム
JP2009-179395 2009-07-31
CN201080042415.5A CN102511165B (zh) 2009-07-31 2010-07-23 图像处理装置及方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201080042415.5A Division CN102511165B (zh) 2009-07-31 2010-07-23 图像处理装置及方法

Publications (2)

Publication Number Publication Date
CN103957407A CN103957407A (zh) 2014-07-30
CN103957407B true CN103957407B (zh) 2017-08-15

Family

ID=43529237

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201410206896.9A Active CN103957408B (zh) 2009-07-31 2010-07-23 图像处理装置及方法
CN201510237331.1A Active CN104935937B (zh) 2009-07-31 2010-07-23 图像处理装置及方法
CN201410206559.XA Active CN103957407B (zh) 2009-07-31 2010-07-23 图像处理装置及方法
CN201080042415.5A Active CN102511165B (zh) 2009-07-31 2010-07-23 图像处理装置及方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201410206896.9A Active CN103957408B (zh) 2009-07-31 2010-07-23 图像处理装置及方法
CN201510237331.1A Active CN104935937B (zh) 2009-07-31 2010-07-23 图像处理装置及方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201080042415.5A Active CN102511165B (zh) 2009-07-31 2010-07-23 图像处理装置及方法

Country Status (12)

Country Link
US (6) US8805085B2 (zh)
EP (5) EP3496402B1 (zh)
JP (1) JP5344238B2 (zh)
KR (7) KR102030954B1 (zh)
CN (4) CN103957408B (zh)
BR (1) BR112012001639B1 (zh)
ES (2) ES2733072T3 (zh)
HU (2) HUE044436T2 (zh)
PL (2) PL2790409T3 (zh)
RU (4) RU2543306C2 (zh)
TW (5) TWI472230B (zh)
WO (1) WO2011013580A1 (zh)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7295609B2 (en) 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
JP5344238B2 (ja) 2009-07-31 2013-11-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5359657B2 (ja) 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5604825B2 (ja) * 2009-08-19 2014-10-15 ソニー株式会社 画像処理装置および方法
JP5914962B2 (ja) 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
TWI600318B (zh) * 2010-05-18 2017-09-21 Sony Corp Image processing apparatus and image processing method
EP3185559B1 (en) 2010-06-04 2020-02-19 Sony Corporation Coding of a qp and a delta qp for image blocks larger than a minimum size
CN106454358B (zh) 2010-12-07 2020-03-17 索尼公司 图像处理设备和图像处理方法
CN106658026B (zh) 2010-12-07 2019-06-18 索尼公司 图像处理设备和图像处理方法
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
WO2012081609A1 (ja) * 2010-12-14 2012-06-21 シャープ株式会社 画像フィルタ装置、復号装置、符号化装置、および、データ構造
US9060174B2 (en) * 2010-12-28 2015-06-16 Fish Dive, Inc. Method and system for selectively breaking prediction in video coding
KR101438471B1 (ko) * 2011-01-03 2014-09-16 미디어텍 인크. 필터 유닛 기반 인-루프 필터링 방법
EP2675161B1 (en) 2011-02-10 2018-11-14 Velos Media International Limited Image processing device and image processing method
JPWO2012120840A1 (ja) * 2011-03-07 2014-07-17 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置および画像符号化装置
CN106412610B (zh) 2011-03-11 2019-06-18 索尼公司 图像处理装置和方法
JP2012213128A (ja) 2011-03-24 2012-11-01 Sony Corp 画像処理装置および方法
TWI530161B (zh) 2011-06-07 2016-04-11 Sony Corp Image processing apparatus and method
CN110611812B (zh) 2011-06-28 2021-07-06 索尼公司 图像处理装置和图像处理方法
JP5907367B2 (ja) 2011-06-28 2016-04-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
JP2013074491A (ja) * 2011-09-28 2013-04-22 Sony Corp 画像処理装置および方法
US9462298B2 (en) * 2011-10-21 2016-10-04 Qualcomm Incorporated Loop filtering around slice boundaries or tile boundaries in video coding
US9247258B2 (en) 2011-10-26 2016-01-26 Qualcomm Incorporated Unified design for picture partitioning schemes
US20130107973A1 (en) * 2011-10-28 2013-05-02 Qualcomm Incorporated Loop filtering control over tile boundaries
KR102272561B1 (ko) 2011-10-31 2021-07-02 미쓰비시덴키 가부시키가이샤 동화상 복호 장치
US9635359B2 (en) * 2011-11-28 2017-04-25 Canon Kabushiki Kaisha Method and apparatus for determining deblocking filter intensity
CN103200400B (zh) * 2012-01-09 2018-03-16 中兴通讯股份有限公司 一种图像层和分片层的编解码方法、编解码器和电子设备
US9930379B2 (en) 2012-01-31 2018-03-27 Comcast Cable Communications, Llc System and method for data stream fragmentation
CN107197259B (zh) * 2012-02-03 2019-11-19 寰发股份有限公司 贯穿图块或条带边界的环路滤波方法及其装置
US20130279882A1 (en) * 2012-04-23 2013-10-24 Apple Inc. Coding of Video and Audio with Initialization Fragments
CN104429070B (zh) * 2012-07-02 2018-08-21 太阳专利托管公司 图像解码方法、图像编码方法、图像解码装置、图像编码装置及图像编解码装置
JP5885604B2 (ja) * 2012-07-06 2016-03-15 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
WO2014097596A1 (ja) * 2012-12-19 2014-06-26 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
US20170295369A1 (en) * 2014-10-06 2017-10-12 Sony Corporation Image processing device and method
CN104683819A (zh) * 2015-01-31 2015-06-03 北京大学 一种自适应环路滤波方法及装置
TWI575937B (zh) * 2015-07-24 2017-03-21 矽創電子股份有限公司 Image prediction and decoding method and encoding / decoder
US10839598B2 (en) * 2016-07-26 2020-11-17 Hewlett-Packard Development Company, L.P. Indexing voxels for 3D printing
CN116405670A (zh) * 2016-10-14 2023-07-07 世宗大学校产学协力团 影像解码/编码方法、传送比特流的方法及记录介质
US11057624B2 (en) 2016-10-14 2021-07-06 Industry Academy Cooperation Foundation Of Sejong University Image encoding method/device, image decoding method/device, and recording medium in which bitstream is stored
US10469876B2 (en) * 2016-12-22 2019-11-05 Mediatek Inc. Non-local adaptive loop filter combining multiple denoising technologies and grouping image patches in parallel
WO2019225459A1 (ja) * 2018-05-23 2019-11-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
WO2020005031A1 (ko) * 2018-06-28 2020-01-02 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2020013498A1 (ko) * 2018-07-13 2020-01-16 엘지전자 주식회사 컨텐츠 서비스 시스템에서 영상 서비스 처리 방법 및 그 장치
US10735682B2 (en) * 2018-11-14 2020-08-04 Omnivision Technologies, Inc. Dram with staggered word line transitions for hybrid-bonded photosensor arrays
US20220417506A1 (en) * 2019-06-23 2022-12-29 Lg Electronics Inc. Deblocking filtering method and apparatus in video/image coding system
JP2021033334A (ja) * 2019-08-13 2021-03-01 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、および情報処理プログラム
KR20220003812A (ko) * 2020-07-02 2022-01-11 삼성전자주식회사 호 채널의 상태에 기반하여 필터를 사용하여 전처리된 컨텐츠를 전송하는 전자 장치 및 전자 장치의 동작 방법
KR20220021961A (ko) 2020-08-13 2022-02-23 삼성전자주식회사 전자 장치 및 전자 장치의 동작 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002150281A (ja) * 2000-11-16 2002-05-24 Sony Corp 画像縮小処理装置及び方法
JP2007235886A (ja) * 2006-03-03 2007-09-13 Nec Corp 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、フィルタ装置及びプログラム
CN101669360A (zh) * 2007-04-26 2010-03-10 宝利通公司 去块滤波器设备

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5344238B2 (zh) 1973-04-06 1978-11-27
JP3297293B2 (ja) 1996-03-07 2002-07-02 三菱電機株式会社 動画像復号方法および動画像復号装置
US6788880B1 (en) * 1998-04-16 2004-09-07 Victor Company Of Japan, Ltd Recording medium having a first area for storing an audio title set and a second area for storing a still picture set and apparatus for processing the recorded information
RU2154918C1 (ru) * 1998-08-01 2000-08-20 Самсунг Электроникс Ко., Лтд. Способ и устройство для цикл-фильтрации данных изображения
BRPI0216048B1 (pt) 2001-10-17 2018-09-25 Matsushita Electric Ind Co Ltd método e aparelho de codificação de figuras móveis
US7423691B2 (en) * 2001-11-19 2008-09-09 Matsushita Electric Industrial Co., Ltd. Method of low latency interlace to progressive video format conversion
US7330596B2 (en) * 2002-07-17 2008-02-12 Ricoh Company, Ltd. Image decoding technique for suppressing tile boundary distortion
US7995849B2 (en) * 2003-03-17 2011-08-09 Qualcomm, Incorporated Method and apparatus for improving video quality of low bit-rate video
JP2005033336A (ja) * 2003-07-08 2005-02-03 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
US7324596B2 (en) * 2003-07-15 2008-01-29 Lsi Logic Corporation Low complexity block size decision for variable block size motion estimation
JP4282399B2 (ja) 2003-07-16 2009-06-17 パナソニック株式会社 無線親機及び無線子機
EP1515561B1 (en) * 2003-09-09 2007-11-21 Mitsubishi Electric Information Technology Centre Europe B.V. Method and apparatus for 3-D sub-band video coding
WO2006013854A1 (ja) * 2004-08-05 2006-02-09 Matsushita Electric Industrial Co., Ltd. 画像復号化装置および画像符号化装置
KR100679035B1 (ko) * 2005-01-04 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
WO2006109141A1 (en) * 2005-04-12 2006-10-19 Nokia Corporation Method and system for motion compensated fine granularity scalable video coding with drift control
KR100716998B1 (ko) * 2005-05-24 2007-05-10 삼성전자주식회사 블록화 현상을 감소시키기 위한 부호화 및 복호화 장치 및그 방법과, 이를 구현하기 위한 프로그램이 기록된 기록매체
JP2007027956A (ja) 2005-07-13 2007-02-01 Matsushita Electric Ind Co Ltd デブロッキングフィルタ
US20080130989A1 (en) * 2005-07-22 2008-06-05 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
JP2007129369A (ja) 2005-11-01 2007-05-24 Matsushita Electric Ind Co Ltd 画像再生装置およびその方法
JP4987322B2 (ja) 2006-02-28 2012-07-25 株式会社東芝 動画像復号装置及び動画像復号方法
JP4646234B2 (ja) 2006-03-22 2011-03-09 パナソニック株式会社 薬液供給装置および半導体装置の製造方法
KR101349837B1 (ko) 2006-09-07 2014-01-10 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
CN101395922A (zh) * 2006-11-17 2009-03-25 Lg电子株式会社 用于解码/编码视频信号的方法及装置
EP1980107A4 (en) * 2006-11-17 2010-01-13 Lg Electronics Inc METHOD AND APPARATUS FOR DECODING / ENCODING A VIDEO SIGNAL
US9445128B2 (en) * 2006-12-08 2016-09-13 Freescale Semiconductor, Inc. System and method of determining deblocking control flag of scalable video system for indicating presentation of deblocking parameters for multiple layers
US20080170624A1 (en) * 2007-01-12 2008-07-17 Mitsubishi Electric Corporation Image encoding device and image encoding method
JP4847890B2 (ja) * 2007-02-16 2011-12-28 パナソニック株式会社 符号化方式変換装置
US8422803B2 (en) 2007-06-28 2013-04-16 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
JP4821723B2 (ja) 2007-07-13 2011-11-24 富士通株式会社 動画像符号化装置及びプログラム
US8437564B2 (en) * 2007-08-07 2013-05-07 Ntt Docomo, Inc. Image and video compression using sparse orthonormal transforms
WO2009044475A1 (ja) 2007-10-04 2009-04-09 Fujitsu Limited 符号化装置、符号化方法、符号化プログラムおよび符号化回路
US20090316793A1 (en) * 2008-06-20 2009-12-24 Yang Zhijie Michael Method and system for adaptive deblocking for avs1-p2
KR101538704B1 (ko) * 2009-01-28 2015-07-28 삼성전자주식회사 보간 필터를 적응적으로 사용하여 영상을 부호화 및 복호화하는 방법 및 장치
JP5233897B2 (ja) 2009-07-31 2013-07-10 ソニー株式会社 画像処理装置および方法
JP5359657B2 (ja) 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5344238B2 (ja) 2009-07-31 2013-11-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002150281A (ja) * 2000-11-16 2002-05-24 Sony Corp 画像縮小処理装置及び方法
JP2007235886A (ja) * 2006-03-03 2007-09-13 Nec Corp 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、フィルタ装置及びプログラム
CN101669360A (zh) * 2007-04-26 2010-03-10 宝利通公司 去块滤波器设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Takeshi Chujoh等.Quadtree-based adaptive loop filter.《ITU-T DRAFT》.2009,第6卷(第17期),第2-3节. *

Also Published As

Publication number Publication date
KR20190114025A (ko) 2019-10-08
EP3661207B1 (en) 2021-09-01
CN103957408B (zh) 2018-05-18
KR20160099727A (ko) 2016-08-22
TW201921930A (zh) 2019-06-01
KR20180137038A (ko) 2018-12-26
US20130301942A1 (en) 2013-11-14
KR101747063B1 (ko) 2017-06-14
RU2656712C2 (ru) 2018-06-06
PL2790409T3 (pl) 2019-10-31
EP3661207A1 (en) 2020-06-03
TWI723849B (zh) 2021-04-01
EP2802150A1 (en) 2014-11-12
CN103957407A (zh) 2014-07-30
CN104935937A (zh) 2015-09-23
US10721494B2 (en) 2020-07-21
KR20170049637A (ko) 2017-05-10
KR20140065021A (ko) 2014-05-28
EP2461588A4 (en) 2014-11-12
TWI647947B (zh) 2019-01-11
US20160309193A1 (en) 2016-10-20
JP5344238B2 (ja) 2013-11-20
KR20180070716A (ko) 2018-06-26
ES2733068T3 (es) 2019-11-27
RU2543306C2 (ru) 2015-02-27
JP2011035620A (ja) 2011-02-17
CN102511165B (zh) 2015-06-17
TWI694711B (zh) 2020-05-21
RU2014119668A (ru) 2015-11-20
EP2790409B1 (en) 2019-04-24
US9392269B2 (en) 2016-07-12
KR101649775B1 (ko) 2016-08-19
US8774537B2 (en) 2014-07-08
EP2790409A2 (en) 2014-10-15
US8805085B2 (en) 2014-08-12
HUE044436T2 (hu) 2019-10-28
RU2012102382A (ru) 2013-07-27
EP2461588A1 (en) 2012-06-06
CN102511165A (zh) 2012-06-20
TWI595775B (zh) 2017-08-11
KR101931730B1 (ko) 2018-12-24
KR20120039657A (ko) 2012-04-25
KR102030954B1 (ko) 2019-10-10
CN103957408A (zh) 2014-07-30
US11405652B2 (en) 2022-08-02
RU2014123684A (ru) 2015-12-20
EP3496402A1 (en) 2019-06-12
KR102126165B1 (ko) 2020-06-24
US20180146215A1 (en) 2018-05-24
BR112012001639B1 (pt) 2021-01-26
RU2660612C2 (ru) 2018-07-06
PL2802150T3 (pl) 2019-10-31
TW201728170A (zh) 2017-08-01
TWI472230B (zh) 2015-02-01
TW201448569A (zh) 2014-12-16
EP3496402B1 (en) 2020-04-01
RU2018117534A (ru) 2019-11-11
US20120121188A1 (en) 2012-05-17
US20140270559A1 (en) 2014-09-18
BR112012001639A2 (pt) 2016-04-12
KR101649805B1 (ko) 2016-08-19
RU2018117534A3 (zh) 2021-09-13
EP2790409A3 (en) 2014-11-19
KR101872657B1 (ko) 2018-06-28
RU2766441C2 (ru) 2022-03-15
WO2011013580A1 (ja) 2011-02-03
CN104935937B (zh) 2019-03-19
TW202029752A (zh) 2020-08-01
US20200314454A1 (en) 2020-10-01
US9918108B2 (en) 2018-03-13
EP2802150B1 (en) 2019-04-24
ES2733072T3 (es) 2019-11-27
HUE045448T2 (hu) 2019-12-30
TW201114265A (en) 2011-04-16

Similar Documents

Publication Publication Date Title
CN103957407B (zh) 图像处理装置及方法
CN103716626B (zh) 图像处理设备和方法
CN103546746B (zh) 图像解码装置、图像解码方法、电视接收机和便携式电话
CN104602002B (zh) 图像处理装置和方法
CN106254876B (zh) 图像处理装置和方法
CN103563374B (zh) 图像处理设备及方法
CN103299629B (zh) 图像处理设备和方法
CN107318018B (zh) 图像处理装置和图像处理方法
CN109951708A (zh) 图像处理设备和方法
CN106331710B (zh) 图像处理装置和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20170608

Address after: Dublin, Ireland

Applicant after: Velos Media, LLC

Address before: Tokyo, Japan

Applicant before: Sony Corp.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20221208

Address after: Tokyo

Patentee after: Sony Group

Address before: Irish Dublin

Patentee before: Velos Media, LLC

TR01 Transfer of patent right