CN102884790A - 图像处理装置和方法 - Google Patents

图像处理装置和方法 Download PDF

Info

Publication number
CN102884790A
CN102884790A CN2011800230690A CN201180023069A CN102884790A CN 102884790 A CN102884790 A CN 102884790A CN 2011800230690 A CN2011800230690 A CN 2011800230690A CN 201180023069 A CN201180023069 A CN 201180023069A CN 102884790 A CN102884790 A CN 102884790A
Authority
CN
China
Prior art keywords
image
unit
classification
processing apparatus
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800230690A
Other languages
English (en)
Inventor
佐藤数史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102884790A publication Critical patent/CN102884790A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Abstract

本发明涉及一种图像处理装置和方法，借此可改进编码效率，并且可改进译码图像的主观图像质量。自适应环路滤波器111按照来自边缘检测单元112的边缘检测结果，将来自分块滤波器21的译码图像分类成平滑区域类别和边缘/纹理区域类别。自适应环路滤波器111对于每个类别进行滤波系数计算，从而来自屏幕重排缓冲器12的原始图像与来自分块滤波器21的图像之间的残余差最小。自适应环路滤波器111使用为每个分类类别计算的滤波系数进行滤波处理，并且将在滤波处理之后的图像输出到帧存储器22。本发明可以应用于图像编码装置，用来以例如H.264/AVC作为基础进行编码。

Description

图像处理装置和方法
技术领域
本发明涉及一种图像处理装置和方法，更具体地，涉及一种改进编码效率并且改进译码图像的主观图像质量的图像处理装置和方法。
背景技术
最近几年，已经广泛使用如下装置，这些装置通过将编码格式处置图像信息用作数字而使图像经受压缩编码，并且同时，通过诸如离散余弦变换等之类的正交变换、和运动补偿而压缩图像，利用图像信息所特有的冗余度，以便这时进行高度有效的信息传输和存储。这种编码方法的例子包括MPEG(运动画面专家组)等等。
具体地说，MPEG2(ISO/IEC 13818-2)定义为通用图像编码格式，并且是包含隔行扫描图像与顺序扫描图像、以及标准分辨率图像与高清晰度图像的标准。例如，MPEG2现在已经被广泛采用，应用范围很宽，包括专业用途和消费者用途。通过采用MPEG2压缩格式，例如在具有720×480象素的标准分辨率的隔行扫描图像的情况下，分配4至8Mbps的代码量(比特率)。而且，通过采用MPEG2压缩格式，例如在具有1920×1088象素的高分辨率的隔行扫描图像的情况下，分配18至22Mbps的代码量(比特率)。因而，可实现高压缩率和优良的图像质量。
关于MPEG2，适于广播用途的高图像质量编码主要被看作目标，但不处置比MPEG1的代码量低的较低代码量(比特率)，即，具有更高压缩率的编码格式。随着个人数字助手的普及，已经期望从现在起将增加对于这样一种编码格式的需要，并且响应这种趋势，已经进行MPEG4编码格式的标准化。就图像编码格式而论，其技术规范在1998年12月确定为国际标准，作为ISO/IEC 14496-2。
进一步，最近几年，已经进行H.26L(ITU-T Q6/16VCEG)的标准化，原来打算供用于电视会议用途的图像编码使用。关于H.26L，已经知道，与诸如MPEG2或MPEG4之类的常规编码格式相比，尽管对于其编码和译码要求较大计算量，但实现更高编码效率。此后，作为MPEG4的活动的一部分，实施为Joint Model ofEnhanced-Compression Video Coding的标准化，也利用H.26L不支持的功能，使这个H.26L看作基础，以实现更高编码效率。作为标准化的计划，H.264和MPEG-4 Part10(Advanced Video Coding，下文称作H.264/AVC)在2003年3月成为国际标准。
图1是方块图，表明图像编码装置的配置例子，基于H.264/AVC的压缩图像作为输出。
关于图1的例子，图像编码装置1具有A/D变换单元11、屏幕重排缓冲器12、计算单元13、正交变换单元14、量化单元15、无损编码单元16、存储缓冲器17、逆量化单元18、逆正交变换单元19、计算单元20、分块滤波器21、帧存储器22、开关23、内预测单元24、运动预测/补偿单元25、预测图像选择单元26、以及速率控制单元27。
A/D变换单元11进行输入图像的A/D变换，并且输出到屏幕重排缓冲器12和存储器。屏幕重排缓冲器12根据GOP(Group ofPicture)，将用于显示的按存储顺序的帧的图像重排成用于编码的帧顺序。
计算单元13从自屏幕重排缓冲器12读出的图像，减去来自内预测单元24的预测图像或来自运动预测/补偿单元25的预测图像(该预测图像由预测图像选择单元26选择)，并且将其差值信息输出到正交变换单元14。正交变换单元14使来自计算单元13的差值信息经受正交变换，如离散余弦正交变换、Karhunen-Loéve变换等，并且输出其变换系数。量化单元15量化正交变换单元14输出的变换系数。
用作量化单元15的输出的量化变换系数被输入到无损编码单元16，并且经受无损编码，如可变长度编码、算术编码等，并因而被压缩。
无损编码单元16得到指示来自内预测单元24的内预测的信息，以及得到指示互预测模式的信息，并且对于运动预测/补偿单元25也如此。注意，指示内预测的信息和指示互预测模式的信息在下文也将分别称作内预测模式信息和互预测模式信息。
无损编码单元16编码所述量化变换系数，并且也编码指示内预测的信息、指示互预测模式的信息等等，并且将这些看作在压缩图像中的首部信息的一部分。无损编码单元16将编码数据供给到存储缓冲器17用于存储。
例如，用无损编码单元16，进行无损编码处理，如可变长度编码、算术编码等。可变长度编码的例子包括由H.264/AVC格式规定的CAVLC(Context-Adaptive Variable Length Coding)。算术编码的例子包括CABAC(Context-Adaptive Binary Arithmetic Coding)。
存储缓冲器17将从无损编码单元16供给的数据输出到例如译码侧，如在图中未示出的下游的记录装置或传输路径等，作为由H.264/AVC格式编码的压缩图像。
而且，从量化单元15输出的量化变换系数也输入到逆量化单元18，被逆量化，以及然后在逆正交变换单元19处经受逆正交变换。经受逆正交变换的输出由计算单元20添加到从预测图像选择单元26供给的预测图像，并且成为局部译码图像。分块滤波器21除去译码图像的块噪声，并且然后供给到用于存储的帧存储器22。通过分块滤波器21的分块滤波处理之前的图像也供给到用于存储的帧存储器22。
开关23将在帧存储器22存储的基准图像输出到运动预测/补偿单元25或内预测单元24。
例如，关于这个图像编码装置1，来自屏幕重排缓冲器12的I画面、B画面及P画面供给到内预测单元24，作为要经受内预测(也称作内处理)的图像。而且，从屏幕重排缓冲器12读出的B画面和P画面供给到运动预测/补偿单元25，作为经受互预测(也称作互处理)的图像。
内预测单元24基于从屏幕重排缓冲器12读出的待经受内预测的图像、和从帧存储器22供给的基准图像，进行所有候选内预测模式的内预测处理，以产生预测图像。
这时，内预测单元24计算关于所有候选内预测模式的成本函数值，并且将其中计算的成本函数值提供最小值的内预测模式选作最佳内预测模式。
内预测单元24将按最佳内预测模式产生的预测图像和其成本函数值，供给到预测图像选择单元26。在按最佳内预测模式产生的预测图像由预测图像选择单元26选中的情况下，内预测单元24将指示最佳内预测模式的信息供给到无损编码单元16。无损编码单元16编码这种信息，并且将这作为压缩图像中的首部信息的一部分。
从屏幕重排缓冲器12读出的经受互处理的图像和从帧存储器22的基准图像，经开关23供给到运动预测/补偿单元25。运动预测/补偿单元25进行在所有候选互预测模式的块的运动预测，以产生每个块的运动向量。
运动预测/补偿单元25使用每个块的预测运动向量，计算关于所有候选互预测模式的成本函数值。运动预测/补偿单元25将在计算的成本函数值中提供最小值的块的预测模式确定为最佳互预测模式。
运动预测/补偿单元25将所确定的最佳互预测模式的待处理块的预测图像、和其成本函数值，供给到预测图像选择单元26。在最佳互预测模式的待处理块的预测图像由预测图像选择单元26选中的情况下，运动预测/补偿单元25将指示最佳互预测模式的信息(互预测模式信息)输出到无损编码单元16。
这时，运动向量信息、基准帧信息等等也输出到无损编码单元16。无损编码单元16也使来自运动预测/补偿单元25的信息经受无损编码处理，如可变长度编码、算术编码等，并且插入到压缩图像的首部。
预测图像选择单元26基于从内预测单元24或运动预测/补偿单元25输出的每个成本函数值，从最佳内预测模式和最佳互预测模式中确定出最佳预测模式。预测图像选择单元26然后选择所确定的最佳预测模式的预测图像，并且供给到计算单元13和20。这时，预测图像选择单元26将预测图像的选择信息供给到内预测单元24或运动预测/补偿单元25。
速率控制单元27基于存储缓冲器17中存储的压缩图像，控制量化单元15的量化操作速率，从而既不引起上溢也不引起下溢。
图2是方块图，表明与图1的图像编码装置1相对应的图像译码装置的配置例子。
关于图2的例子，图像译码装置31配置有存储缓冲器41、无损译码单元42、逆量化单元43、逆正交变换单元44、计算单元45、分块滤波器46、屏幕重排缓冲器47、D/A变换单元48、帧存储器49、开关50、内预测单元51、运动补偿单元52、以及开关53。
存储缓冲器41存储传输的压缩图像。无损译码单元42用与无损编码单元16的编码格式相对应的格式，译码从存储缓冲器41供给的由图1的无损编码单元16编码的信息。逆量化单元43用与在图1中的量化单元15的量化格式相对应的格式，逆量化由无损译码单元42译码的图像。逆正交变换单元44使逆量化单元43的输出被使用与图1的正交变换单元14的正交变换格式相对应的格式，经受逆正交变换。
经受逆正交变换的输出由计算单元45添加到从开关53供给的预测图像，并被译码。分块滤波器46除去译码图像的块噪声，然后供给到用于存储的帧存储器49，也输出到屏幕重排缓冲器47。
屏幕重排缓冲器47进行图像的重排。具体地说，将由图1的屏幕重排缓冲器12对于编码顺序重排的帧顺序重排成原始显示顺序。D/A变换单元48使从屏幕重排缓冲器47供给的图像经受D/A变换，输出到用于显示的未示出的显示器。
开关50读出待经受互处理的图像、和来自帧存储器49的待参考的图像，输出到运动补偿单元52，也读出来自帧存储器49的待经受内预测的图像，并且供给到内预测单元51。
指示了通过译码所述首部信息得到的内预测模式的信息从无损译码单元42供给到内预测单元51。内预测单元51基于这种信息产生预测图像，并且将产生的预测图像输出到开关53。
在通过译码首部信息得到的信息中，互预测模式信息、运动向量信息、基准帧信息等等从无损译码单元42供给到运动补偿单元52。为每个宏块传输互预测模式信息。为待处理的每个块，传输运动向量信息和基准帧信息。
运动补偿单元52使用从无损译码单元42供给的运动向量信息、基准帧信息等，按为无损译码单元42供给的互预测模式信息指示的预测模式，产生与待处理的块相对应的预测图像的象素值。预测图像的产生象素值经开关53供给到计算单元45。
开关53选择由运动补偿单元52或内预测单元51产生的预测图像，并且供给到计算单元45。
而且，作为这种H.264/AVC的扩展，FRExt(Fidelity RangeExtension)的标准已经在2005年2月完成，包括：对于商务使用必要的编码工具，如RGB、4:2:2、或4:4:4；8x8DCT；及MPEG-2规定的量化矩阵。因而，H.264/AVC可用作能够适当表达甚至在电影中包括的影片噪声的编码格式，并且已经用于宽范围用途，如Blu-RayDisc(注册商标)等等。
然而，现今，对于进一步高压缩编码的需要已经增加，如打算压缩具有大约4000×2000象素的图像，是高清图像的四倍，或者可选择地，对于进一步高压缩编码的需要已经增加，如打算在像因特网之类的具有有限传输容量的环境内发布高清图像。因此，关于ITU-T控制下的上述VCEG(=Video Coding Expert Group)，已经持续进行与编码效率的改进相关的研究。
作为改进这样编码效率的技术，叫做自适应环路滤波器(ALF(Adaptive Loop Filter))的技术已经提出在NPL 1中。
图3是方块图，表明已经应用自适应环路滤波器的图像编码装置的配置例子。注意，关于图3的例子，为了描述方便，省去在图1的A/D变换单元11、屏幕重排缓冲器12、存储缓冲器17、开关23、内预测单元24、预测图像选择单元26、以及速率控制单元27。而且，也省去箭头等等。相应地，在图3的例子的情况下，来自帧存储器22的基准图像直接输入到运动预测/补偿单元25，并且来自运动预测/补偿单元25的预测图像直接输出到计算单元13和20。
具体地说，图3的图像编码装置61与图1的图像编码装置1的不同之处仅在于，自适应环路滤波器71被添加在分块滤波器21与帧存储器22之间。
自适应环路滤波器71进行自适应环路滤波系数的计算，从而使关于来自屏幕重排缓冲器12(图中省去)的原始图像的残余误差最小，并且使用这个自适应环路滤波系数，对来自分块滤波器21的译码图像进行滤波处理。关于这个滤波器，例如采用Wiener滤波器(WienerFilter)。
而且，自适应环路滤波器71将计算的自适应环路滤波系数传输到无损编码单元16。无损编码单元16对这个自适应环路滤波系数进行无损编码处理，如可变长度编码、算术编码等，并且插入到压缩图像的首部部分。
图4是方块图，表明与图3的图像编码装置相对应的图像译码装置的配置例子。注意，关于图4的例子，为了描述方便，省去图2的存储缓冲器41、屏幕重排缓冲器47、D/A变换单元48、开关50、内预测单元51、及开关53。而且，也省去箭头等等。相应地，在图4的例子的情况下，来自帧存储器49的基准图像直接输入到运动补偿单元52，并且来自运动补偿单元52的预测图像直接输出到计算单元45。
具体地说，图4的图像译码装置81与图2的图像译码装置31的不同之处仅在于，自适应环路滤波器91添加在分块滤波器46与帧存储器49之间。
在无损译码单元42被译码的、从首部抽取的自适应环路滤波系数被供给到自适应环路滤波器91。自适应环路滤波器91使用供给的滤波系数，对于来自分块滤波器46的译码图像进行滤波处理。关于这个滤波器，例如，采用wiener滤波器。
因而，可改进译码图像的图像质量，并且也可进一步改进基准图像的图像质量。
现在，关于以上H.264/AVC格式，宏块尺寸是16×16象素。然而，16×16象素的宏块尺寸对于巨大图像帧，如(Ultra High Definition：4000×2000象素)不是最佳的，这些巨大图像帧将由下一代编码格式处置。
因此，关于NPL 2等，例如已经提出有将宏块尺寸加大到诸如32×32象素之类的尺寸。
注意，尽管NPL 2是其中扩展宏块应用于片间(inter-slice)的提议，但在NPL 3中已经有其中扩展宏块应用于片内(intra-slice)的提议。
引用清单
专利文献
NPL 1:Takeshi.Chujoh,et al.,“Block-based Adaptive LoopFilter”ITU-T SG16 Q6 VCEG Contribution,AI18,Germany,July,2008
NPL 2:“Video Coding Using Extended Block Sizes”,VCEG-AD09,ITU-Telecommunication Standardization SectorSTUDY GROUP Question 16-Contribution 123,Jan 2009
NPL 3:“Intra Coding Using Extended Block Sizes”,VCEG-AL28,July 2009
发明内容
顺便说明，关于NPL 1提出的方法，进行滤波处理以优化整个屏幕的预测效率，所以块噪声的除去是困难的。
具体地说，关于H.264/AVC格式，分块滤波器保持在运动预测/补偿环路内，作为图像编码装置和图像译码装置的配置的一部分，但难以除去在包括边缘和纹理的区域处容易发生的蚊噪声。
在引入诸如NPL 2或3描述的扩展宏块并且正交变换尺寸增大的情况下，其困难变得甚至更明显。
鉴于这样一种情形而提出本发明，并且可改进编码效率，并改进译码图像的主观图像质量。
根据本发明的一个方面的图像处理装置包括：分类装置，配置成对于每个预定块，使用构成所述预定块的象素值的基带信息，进行把图像类别分类到平滑区域类别和边缘或纹理类别的类别分类；和滤波处理装置，配置成使用滤波系数，对于经受分类装置的类别分类的所述预定块进行滤波处理，这些滤波系数使用被分类到相同类别的预定块而计算。
分类装置可以对于每个预定块，使用所述预定块的边缘信息作为所述基带信息，进行把图像类别分类到平滑区域类别和边缘或纹理类别的类别分类。
预定块的所述边缘信息是指示边缘强度的信息。
预定块的所述边缘强度使用Sobel算子而计算。
在预定块的边缘强度超过预定阈值的情况下，分类装置可以把所述预定块类别分类到边缘或纹理类别的类别分类，并且在预定块的边缘强度不超过预定阈值的情况下，把图像类别分类到平滑区域类别。
预定块可以是一个块、或组成该块的块，图像处理装置还包括阈值决定装置，该阈值决定装置配置成根据所述块的量化参数决定所述预定阈值。
阈值决定装置可以决定所述预定阈值是低于一个更高量化参数的值。
预定块可以是一个块或组成该块的块，图像处理装置还包括阈值决定装置，该阈值决定装置配置成根据包括所述块的帧是否已经经受分块滤波而决定所述预定阈值。
在包括所述块的帧已经经受分块滤波的情况下，阈值决定装置可以将所述预定阈值决定为比其中这个帧未经受分块滤波的情况下更低的值。
分类装置可以对于每个预定块，使用所述预定块的象素分散值作为基带信息，把图像类别分类到平滑区域类别和边缘或纹理类别。
在预定块的象素分散值超过预定阈值的情况下，分类装置可以把所述预定块类别分类到边缘或纹理类别，并且在预定块的象素分散值不超过预定阈值的情况下，分类到平滑区域类别。
预定块可以是一个块或组成该块的块，图像处理装置还包括阈值决定装置，该阈值决定装置配置成根据所述块的量化参数而决定所述预定阈值。
阈值决定装置可以决定所述预定阈值决是低于更高量化参数的值。
预定块可以是一个块或组成该块的块，图像处理装置还包括阈值决定装置，该阈值决定装置配置成根据包括所述块的帧是否已经经受分块滤波而决定所述预定阈值。
在所述帧已经经受分块滤波的情况下，阈值决定装置可以将预定阈值决定为比其中这个帧未经受分块滤波的情况下更低的值。
图像处理装置还可以包括滤波系数计算装置，该滤波系数计算装置配置成使用被分类到相同类别的预定块，计算滤波系数。
图像处理装置还可以包括传输装置，该传输装置配置成传输图像的比特流、和滤波系数计算装置计算的滤波系数。
图像处理装置还可以包括接收装置，该接收装置配置成接收图像的比特流和所述滤波系数。
根据本发明的方面，包括分类装置和滤波处理装置的图像处理装置的一种图像处理方法，分类装置为每个预定块，使用构成所述预定块的象素值的基带信息，进行把图像类别分类到平滑区域类别和边缘或纹理类别的类别分类，并且滤波处理装置使用滤波系数，对于经受类别分类的预定块进行滤波处理，这些滤波系数使用被类别分类到相同类别的预定块而计算。
根据本发明的一个方面，为每个预定块，使用构成所述预定块的象素值的基带信息，进行把图像类别分类到平滑区域类别和边缘或纹理类别的类别分类。使用滤波系数，对于经受类别分类的所述预定块进行滤波处理，这些滤波系数使用被类别分类到相同类别的预定块而计算。
注意，以上图像处理装置可以是独立装置、或组成图像编码装置或图像译码装置的内部块。
根据本发明可改进编码效率，并且可改进译码图像的主观图像质量。
附图说明
图1是方块图，表明采用H.264/AVC格式的图像编码装置的配置例子。
图2是方块图，表明采用H.264/AVC格式的图像译码装置的配置例子。
图3是方块图，表明已经应用自适应环路滤波器的图像编码装置的配置例子。
图4是方块图，表明已经应用自适应环路滤波器的图像译码装置的配置例子。
图5是方块图，表明已经应用本发明的图像编码装置的配置例子。
图6用来描述分块滤波器的操作原理。
图7用来描述定义Bs的方法。
图8用来描述分块滤波器的操作原理。
图9表明在indexA和indexB与α和β值之间关系的例子。
图10表明在Bs、indexA、及tCO之间关系的例子。
图11表明宏块的例子。
图12是方块图，表明在图5的自适应环路滤波器的配置例子。
图13是流程图，描述在图5的图像编码装置的编码处理。
图14是流程图，描述在图13的步骤S13的内预测处理。
图15是流程图，描述在图13的步骤S14的运动预测/补偿处理。
图16是流程图，描述在图13的步骤S23的类别分类系数计算处理的例子。
图17是方块图，表明已经应用本发明的图像译码装置的实施例的配置。
图18是方块图，表明在图17的自适应环路滤波器的配置例子。
图19是流程图，描述在图17的图像译码装置的译码处理。
图20是流程图，描述在图19的步骤S133的预测图像产生处理。
图21是流程图，描述在图19的步骤S139的类别分类滤波处理的例子。
图22是方块图，表明计算机硬件的配置例子。
图23是方块图，表明已经应用本发明的电视接收机的主要配置例子。
图24是方块图，表明已经应用本发明的蜂窝电话的主要配置例子。
图25是方块图，表明已经应用本发明的硬盘记录器的主要配置例子。
图26是方块图，表明已经应用本发明的摄像机的主要配置例子。
具体实施方式
下文参照附图将描述本发明的实施例。
[图像编码装置的配置例子]
图5表示已经应用本发明的图像处理装置的图像编码装置的实施例的配置。
图5的图像编码装置101与图1的图像编码装置1的相同之处在于，提供有A/D变换单元11、屏幕重排缓冲器12、计算单元13、正交变换单元14、量化单元15、无损编码单元16、存储缓冲器17、逆量化单元18、逆正交变换单元19、计算单元20、分块滤波器21、帧存储器22、开关23、内预测单元24、运动预测/补偿单元25、预测图像选择单元26、及速率控制单元27。
而且，图5的图像编码装置101与图1的图像编码装置1的不同之处在于，添加自适应环路滤波器111和边缘检测单元112。
就是说，自适应环路滤波器111和边缘检测单元112提供在分块滤波器21之后和在帧存储器22之前。就是说，自适应环路滤波器111和边缘检测单元112提供在运动补偿环路内，该运动补偿环路由计算单元13、正交变换单元14、量化单元15、逆量化单元18、逆正交变换单元19、计算单元20、分块滤波器21、帧存储器22、开关23、内预测单元24或运动预测/补偿单元25、及预测图像选择单元26组成。就是说，使用在运动补偿环路内循环的图像。
自适应环路滤波器111将来自分块滤波器21的译码图像(本地译码之后的基带信息)根据其基带信息分类成各类别。具体地说，来自分块滤波器21的译码图像按照从基带信息得到的信息，即，边缘检测单元112检测的边缘信息，作为其基带信息，分类成诸个类别。
自适应环路滤波器111为每个分类类别进行滤波系数的计算，从而在来自屏幕重排缓冲器12的原始图像与来自分块滤波器21的图像之间的残余差最小。自适应环路滤波器111使用为每个分类类别计算滤波系数进行滤波处理，并且将在滤波处理之后的图像输出到帧存储器22。关于这个滤波器，例如采用Wiener滤波器(Wiener Filter)。
而且，自适应环路滤波器111将计算的滤波系数传输到无损编码单元16。注意，这时，无损编码单元16也编码由自适应环路滤波器111计算的滤波系数，从而插入到压缩图像片首部部分或画面参数集中，如图3的情况下表示的那样。
边缘检测单元112从来自分块滤波器21的译码图像检测边缘(即，本地译码之后的基带信息)，并且将边缘信息供给到自适应环路滤波器111，边缘信息是检测到边缘的结果。
注意，关于在图5的例子，例示了来自分块滤波器21的译码图像直接输入到边缘检测单元112的例子，但可以进行来自分块滤波器21的译码图像临时存储在帧存储器22、使这些译码图像输入到边缘检测单元112的配置。
[分块滤波器]
接下来将详细描述上述过程。首先，将描述分块滤波器。分块滤波器21被包括在运动补偿环路中，并且除去译码图像中的块噪声。相应地，抑制了块噪声传播到由运动补偿处理所参考的图像。
用于分块滤波处理的如下三种方法(a)至(c)由在PictureParameter Set RBSP(Raw Byte Sequence Payload)中包括的deblocking_filter_control_present_flag和在片首部(Slice Header)中包括的disable_deblocking_filter_idc的两个参数所选择，这两个参数被包括在编码数据中。
(a)应用于块边界和宏块边界
(b)仅应用于宏块边界
(c)不应用
关于量化参数QP，将如下处理应用于亮度信号的情况下使用QPY，并且在应用于色差信号的情况下使用QPC。而且，尽管属于不同片的象素值被处理成在运动向量编码、内预测、及熵编码(CAVLC/CABAC)中是“不可得到的”，但借助于分块滤波处理，即使属于不同片的象素值也被处理成是“可得到的”，只要它们属于同一画面。
在如下，我们将认为，在分块滤波处理之前的象素值是p0至p3和q0至q3，并且在处理之后的象素值是p0′至p3′和q0′至q3′，如图6所示。
首先，在分块滤波处理之前，对于在图6的p和q定义Bs(Boundary Strength)，如图7表示的表格所示。
在图6的(p2、p1、p0、q0、q1、q2)仅在如下表达式(1)和表达式(2)中表示的条件成立的情况下，才经受分块滤波处理。
Bs>0          …(1)
|p0-q0|<α；|p1-p0|<β；|q1-q1|<β…(2)
缺省状态下，在表达式(2)中的α和β具有其按照下面所表示的QP而确定的值，但用户通过叫做slice_alpha_c0_offset_div2和slice_beta_offset_div2的两个参数，可如图8的箭头所示调整其强度，这两个参数包括在编码数据的片首部中。
如在图9的表格中表示的那样，α从indexA得到。按相同方式，β从indexB得到。这些indexA和indexB用如下表达式(3)至表达式(5)定义。
qPav＝(qPp+qPq+1)＞>1…(3)
indexA=Clip3(0,51,qPav+FilterOffsetA)…(4)
indexB=Clip3(0,51,qPav+FilterOffsetB)…(5)
在表达式(4)和表达式(5)中，FilterOffsetA和FilterOffsetB与用户调整量相对应。
关于分块滤波处理，对于Bs<4的情况和Bs=4的情况定义相互不同的方法，如下面将描述的那样。在Bs<4的情况下，在分块滤波处理之后的象素值p′0和q′0用如下表达式(6)至表达式(8)得到。
Δ=Clip3(-tc,tc((((q0-p0)<<2)+(p1-q1)+4)>>3))…(6)
p′0=Clip1(p0+Δ)…(7)
q′0=Clip1(q0+Δ)…(8)
现在，tc用下面的表达式(9)或表达式(10)计算。就是说，在chromaEdgeFlag的值是“0”的情况下，tc用下面的表达式(9)计算。
tc=tc0+((ap<β)?1:0)+((aq<β)?1:0)…(9)
而且，在chromaEdgeFlag的值不是“0”的情况下，tc用下面的表达式(10)计算。
tc=tc0+1…(10)
tc0的值按照Bs和indexA的值，如图10的A和图10的B表示的表格而定义。
而且，在表达式(9)中的ap和aq的值用如下表达式(11)和(12)计算。
ap=|p2-p0|…(11)
aq=|q2-q0|…(12)
分块滤波处理后面的象素值p′1按如下得到。就是说，在chromaEdgeFlag的值是“0”并且ap的值也等于或小于β的情况下，p′1用如下表达式(13)得到。
p′1=p1+Clip3(-tc0,tc0,(p2+((p0+q0+1)>>1)-(p1<<1))>>1)…(13)
而且，在表达式(13)不成立的情况下，p′1用如下表达式(14)得到。
p′1=p1…(14)
分块滤波处理后面的象素值q′1按如下得到。具体地说，在chromaEdgeFlag的值是“0”并且aq的值也等于或小于β的情况下，q′1用如下表达式(15)得到。
q′1=q1+Clip3(-tc0,tc0,(q2+((p0+q0+1)＞>1)-(q1<<1))＞>1)…(15)
而且，在表达式(15)不成立的情况下，q′1用如下表达式(16)得到。
q′1=q1…(16)
p′2和q′2的值与在滤波之前的p2和q2的值相同。具体地说，p′2用如下表达式(17)得到，并且q′2用如下表达式(18)得到。
p′2=p2…(17)
q′2=q2…(18)
在Bs=4的情况下，分块滤波后面的象素值p′i(i=0…2)按如下得到。在chromaEdgeFlag的值是“0”并且在如下表达式(19)中表示的条件成立的情况下，p′0、p′1、及p′2用如下表达式(20)至表达式(22)得到。
ap<β&&|p0-q0|<((α>>2)+2)…(19)
p′0=(p2+2×p1+2×p0+2×q0+q1+4)＞>3…(20)
p′1=(p2+p1+p0+q0+2)＞>2…(21)
p′2=(2×p3+3×p2+p1+p0+q0+4)＞>3…(22)
而且，在表达式(19)中表示的条件不成立的情况下，p′0、p′1、及p′2用如下表达式(23)至表达式(25)得到。
p′0=(2×p1+p0+q1+2)>>2…(23)
p′1=p1…(24)
p′2=p2…(25)
分块滤波处理后面的象素值q′i(I=0…2)按如下得到。就是说，在chromaEdgeFlag的值是“0”并且在如下表达式(26)中表示的条件成立的情况下，q′0、q′1、及q′2用如下表达式(27)至表达式(29)得到。
aq<β&&|p0-q0|<((α>>2)+2)…(26)
q′0=(p1+2×p0+2×q0+2×q1+q2+4)＞>3…(27)
q′1=(p0+q0+q1+q2+2)＞>2…(28)
q′2=(2×q3+3×q2+q1+q0+p4+4)＞>3…(29)
而且，在表达式(26)中表示的条件不成立的情况下，q′0、q′1、及q′2用如下表达式(30)至(32)得到。
q′0=(2×q1+q0+p1+2)＞>2…(30)
q′1=q1…(31)
q′2=q2…(32)
[扩展宏块的例子]
而且，宏块尺寸是16象素×16象素对于巨大图像帧，如用于下一代编码格式的目标的UHD(超高清晰度：4000象素×2000象素)，不是最佳的。关于图像编码装置101，如在图11表明的那样，它可以用来使宏块尺寸是像如32象素×32象素、或64象素×64象素的尺寸。
图11表明在NPL2提出的块尺寸的例子。关于NPL2，宏块尺寸扩展到32×32象素。
关于在图11的上层，由32×32象素组成的宏块从左按顺序指示，该宏块划分成32×32象素、32×16象素、16×32象素、及16×16象素的块(区)。关于在图11中的中层，由16×16象素组成的块从左按顺序指示，该块划分成16×16象素、16×8象素、8×16象素、及8×8象素的块。而且，关于在图11中的下层，由8×8象素组成的块从左按顺序指示，该块划分成8×8象素、8×4象素、4×8象素、及4×4象素的块。
就是说，关于32×32象素的宏块，可进行在图11的上层指示的用32×32象素、32×16象素、16×32象素、及16×16象素的块处理。
关于在上层在右侧指示的16×16象素的块，按与关于H.264/AVC格式相同的方式，可进行在中层指示的用16×16象素、16×8象素、8×16象素、及8×8象素的块处理。
关于在中层在右侧指示的8×8象素的块，按与关于H.264/AVC格式相同的方式，可进行在下层指示的用8×8象素、8×4象素、4×8象素、及4×4象素的块处理。
这些块可分类成如下三个层级。具体地说，在图11的上层指示的32×32象素、32×16象素、及16×32象素的块将称作第一层级。在上层在右侧指示的16×16象素的块、和在中层指示的16×16象素、16×8象素、8×16象素的块将称作第二层级。在中层在右侧上指示的8×8象素的块、和在下层指示的8×8象素、8×4象素、4×8象素、及4×4象素的块将称作第三层级。
采用诸如图11之类的层级结构，相应地，关于等于或小于16×16象素的块，在保持与当前AVC的宏块的兼容性的同时，将更大的块定义为其超集。
[预测模式的选择]
进一步，为了实现甚至更高的编码效率，选择适当预测模式是重要的。例如，关于图像编码装置101，可想到用来选择High ComplexityMode和Low Complexity Mode的两种模式确定方法的方法。这种方法的情况下，关于任一种，计算与每种预测模式Mode相关的成本函数值，并且把使这个值最小的预测模式选作当前块或宏块的挑选模式。
关于High Complexity Mode的成本函数值可用如下表达式(33)得到。
Cost(Mode∈Ω)=D+λ×R...(33)
在表达式(33)，Ω是用来编码当前块或宏块的候选模式的整个集。而且，D是用当前预测模式Mode编码的情况下在译码图像与输入图像之间的差值能量。进一步，λ是作为量化参数的函数给出的Lagrange乘数。而且，R是用当前模式Mode编码的情况下的总代码量，包括正交变换系数。
就是说，为了用High Complexity Mode进行编码，需要全部候选模式Mode进行试验性编码处理一次，以便计算以上参数D和R，要求较大量的计算。
另一方面，如在如下表达式(34)那样可得到在Low ComplexityMode中的成本函数值。
Cost(Mode∈Ω)=D+QP2Quant(QP)×HeaderBit...(34)
成立。在表达式(34)，D是在预测图像与输入图像之间的差值能量，不像High Complexity Mode的情况。而且，QP2Quant(QP)作为量化参数QP的函数而给出。进一步，HeaderBit是与属于Header的信息相关的代码量、但不包括正交变换系数，如运动向量和模式。
就是说，在Low Complexity Mode中，需要与每个候选模式Mode相关的预测处理，但不需要一直进行到译码图像，所以不需要一直进行到编码处理。相应地，实现与High Complexity Mode相比，以较小计算量实现。
关于High Profile，也基于上述High Complexity Mode和LowComplexity Mode之一，进行如图6所示在4×4正交变换和8×8正交变换之间的选择。
[详细配置例子]
关于以上图像编码装置101，自适应环路滤波处理应用于图像编码处理。图像编码装置101具有自适应环路滤波器111，并且按照图像的基带信息将本地译码图像分类成各类别，且对于被类别分类的每个类别进行自适应滤波系数计算和滤波处理。
例如，使用边缘信息，该边缘信息从边缘检测单元112本地译码的图像而得到，该边缘检测单元112与自适应环路滤波器111一起提供在运动预测/补偿环路内。
下面是自适应环路滤波器111和边缘检测单元112的配置的详细描述。在自适应环路滤波器111，按照在NPL 1提出的方法，进行运动补偿环路之内的自适应滤波处理。
然而要注意，关于NPL 1，进行Wiener滤波器使恶化最小的处理，使整个屏幕作为单个类别。
与此相反，用自适应环路滤波器111，进行类别分类，其中将整个屏幕分类成包括平滑部分的平滑区域、和包括边缘和纹理的边缘/纹理区域。然后对于每个类别，进行Wiener滤波器使恶化最小的处理。
就是说，进行译码处理(本地译码处理)，并且已经经受分块滤波处理的译码图像不仅输入到自适应环路滤波器111，也输入到边缘检测单元112。
在边缘检测单元112，将例如在如下表达式(35)表示的Sobel算子应用于译码图像的每个象素。
[Math.1]
Sobel x = - 1 0 1 - 2 0 2 - 1 0 1
Sobel y = - 1 - 2 - 1 0 0 0 1 2 1 . . . ( 35 )
关于分别作为gHS和gVS的表达式(35)的结果总和，对于每个象素用如下表达式(36)计算在每个象素的边缘强度。
[Math.2]
g = g HS 2 + g VS 2 . . . ( 36 )
将为当前块或当前宏块由表达式(36)计算的每个象素的边缘强度总和看作当前块或当前宏块的边缘强度edge_strength。
自适应环路滤波器111比较这个边缘强度edge_strength和预定阈值Θ，并且在如下表达式(37)成立的情况下，将当前块或当前宏块确定成是边缘/纹理区域。在如下表达式(37)不成立的情况下，将当前块或当前宏块确定成是平滑区域。
edge_strength>Θ…(37)
就是说，在边缘强度大于阈值Θ的情况下，将当前块或当前宏块确定成是边缘/纹理区域，并且在边缘强度等于或小于阈值Θ的情况下，将当前块或当前宏块确定成是平滑区域。
自适应环路滤波器111为平滑区域类别和边缘/纹理区域类别的每个类别进行自适应滤波系数计算和滤波处理。
注意，阈值Θ可以给定为量化参数QP的函数。就是说，当比特率很低时，即当量化参数很高时，由于量化失真，也由于更容易应用分块滤波器，输入图像的高频分量(边缘信息)容易损失。这种高频分量的损失可通过为更高QP设置更低的阈值Θ而避免和抑制。
而且，关于H.264/AVC格式，用户可通过操作未示出的操作输入单元，设置控制是应用还是不应用分块滤波器，但可以布置为按照分块滤波器的存在/缺少(应用/不应用)设置阈值Θ。就是说，其中应用分块滤波器的情况，与不应用分块滤波器的情况相比，增大为每个帧进行低通滤波处理的概率，所以边缘信息也损失的概率很高。相应地，有与前一种情况相比，需要将后者的阈值Θ设置到更小的值。
对于在屏幕内的平区域(平滑部分的区域)，容易发生块噪声，并且对于包括边缘和纹理的区域，容易发生蚊噪声。然而，关于NPL 1提出的方法，即使可使整个图像的恶化最小，对于平滑区域和边缘/纹理区域的各自独特的图像恶化的改进也是困难的。
相应地，关于自适应环路滤波器111，按照译码图像(基带信息)进行类别分类，并且对于每个类别进行滤波系数计算和自适应滤波处理。
就是说，在划分成平滑区域和边缘/纹理区域的图像之内，对每个进行自适应滤波处理。
相应地，可实现对于平滑区域和边缘/纹理区域的各自独特的图像质量恶化的改进。
注意，由于减小了在平滑区域中的块失真和在边缘/纹理区域中的蚊噪声，结果减小了整个图像的失真，并且可消除分块滤波器21的处理的必要性。
而且，在以后描述的图像译码装置201中也可进行与上述边缘检测相同的操作。就是说，不需要将用于类别分类的标志信息(即，用来识别哪个类别的信息)发送到译码侧。相应地，没有标志信息的总开销所造成的编码效率的恶化。
进一步，蚊噪声不简单产生于包括边缘或纹理的场合，还在量化误差已经发生在高频分量中（特别是包括边缘或纹理的部分中）的情况下。简单地检测在输入图像中的边缘、进行类别分类、及发送每个块或宏块的标志信息，仍然远不足以除去蚊噪声。
使用上述图像编码装置101的译码图像、进一步使用关于量化参数以及是否已经应用分块滤波器的编码信息，能实现蚊噪声的优良除去。
注意，在以上描述中，已经描述了使用边缘信息作为用于类别分类的基带信息的例子，但不限于边缘信息。例如，可以进行对组成译码图像的每个块或宏块计算象素值的分散值(活性)的布置，类别分类相应地进行。就是说，从基带信息得到的象素值的分散值可用作基带信息。
也在这种情况下，在象素值的分散值大于预定阈值的情况下，确定当前块或当前宏块是边缘/纹理区域，并且在象素值的分散值等于或小于预定阈值的情况下，确定当前块或当前宏块是平滑区域。也在分散值的情况下，根据量化参数和分块滤波器是通或断，以关于边缘信息的情况相同的方式，设置所述预定阈值。
而且，在以上描述中，已经描述了使用Sobel Operator的边缘检测方法是边缘检测方法的例子，但可以使用其它边缘检测方法，而不限于此。
[自适应环路滤波器的配置例子]
图12是方块图，表明自适应环路滤波器111的配置例子。
在图12的例子中，自适应环路滤波器111配置有类别分类单元131、滤波系数计算单元132-1和132-2、及滤波处理单元133-1和133-2。
来自分块滤波器21的分块滤波之后的象素值供给到类别分类单元131和边缘检测单元112。而且，是边缘检测的结果的、使用在分块滤波处理之后的象素值检测的边缘信息，从边缘检测单元112被供给到类别分类单元131。
类别分类单元131按照来自边缘检测单元112的边缘信息，将在分块滤波处理之后的每个宏块(或块)的象素值，分类成属于平滑区域类别的那些值、和属于边缘/纹理区域类别的那些值。类别分类单元131然后将分类类别的象素值分别供给到滤波系数计算单元132-1和132-2。
输入图像象素值从屏幕重排缓冲器12供给到滤波系数计算单元132-1和132-2。滤波系数计算单元132-1和132-2各自计算关于平滑区域类别和边缘/纹理区域类别的自适应滤波系数。
滤波系数计算单元132-1如此计算的用于平滑区域类别的滤波系数，与在分块滤波处理之后的平滑区域类别的象素值一起供给到滤波处理单元133-1。滤波系数计算单元132-2如此计算的用于边缘/纹理区域类别的滤波系数，与在分块滤波处理之后的边缘/纹理区域类别的象素值一起供给到滤波处理单元133-2。而且，每个类别所计算的自适应滤波系数也供给到无损编码单元16。
滤波处理单元133-1使用关于平滑区域类别的自适应滤波系数，在分块滤波处理之后对平滑区域类别的象素值进行滤波处理。滤波处理单元133-2使用关于边缘/纹理区域类别的自适应滤波系数，在分块滤波处理之后对边缘/纹理区域类别的象素值进行滤波处理。在自适应滤波处理之后的象素值各自输出到帧存储器22。
[图像编码装置的编码处理的描述]
接下来，参照在图13的流程图，将描述在图5的图像编码装置101的编码处理。
在步骤S11，A/D变换单元11将输入图像从模拟转换成数字。在步骤S12，屏幕重排缓冲器12存储从A/D变换单元11供给的图像，并且进行从显示画面的顺序到编码顺序的重排。
在从屏幕重排缓冲器12供给的、待处理的图像是待内处理的块图像的情况下，待参考的译码图像从帧存储器22读出，并且经开关23供给到内预测单元24。
基于这些图像，在步骤S13，内预测单元24使待处理块的象素，经受所有候选内预测模式中的内预测。注意，关于待参考的译码象素，采用不经受通过分块滤波器21和自适应环路滤波器111的滤波的象素。
尽管在步骤S13的内预测处理细节以后将参照图14描述，但根据这种处理，进行所有候选内预测模式中的内预测，并且关于所有候选内预测模式计算成本函数值。基于计算的成本函数值，然后选择最佳内预测模式，由最佳内预测模式的内预测产生的预测图像、和其成本函数值被供给到预测图像选择单元26。
在从屏幕重排缓冲器12供给的、待处理图像是经受互处理的图像的情况下，待参考的图像从帧存储器22读出，并且经开关23供给到运动预测/补偿单元25。基于这些图像，在步骤S14，运动预测/补偿单元25进行运动预测/补偿处理。
在步骤S14的运动预测/补偿处理细节以后将参照图15描述。根据这种处理，在所有候选互预测模式中进行运动预测处理，关于所有候选互预测模式计算成本函数值，以及基于计算的成本函数值，确定最佳互预测模式。由最佳互预测模式产生的预测图像、和其成本函数值然后被供给到预测图像选择单元26。
在步骤S15，预测图像选择单元26基于从内预测单元24和运动预测/补偿单元25输出的成本函数值，将最佳内预测模式和最佳互预测模式之一确定为最佳预测模式。预测图像选择单元26然后选择确定的最佳预测模式的预测图像，并且供给到计算单元13和20。这种预测图像用于在步骤S16和21的以上计算。
注意，这种预测图像的选择信息被供给到内预测单元24或运动预测/补偿单元25。在已经选择最佳内预测模式的预测图像的情况下，内预测单元24将指示最佳内预测模式的信息(即，内预测模式信息)供给到无损编码单元16。
在已经选择最佳互预测模式的预测图像的情况下，运动预测/补偿单元25输出指示最佳互预测模式的信息，并且进一步根据需要，将根据最佳互预测模式的信息输出到无损编码单元16。根据最佳互预测模式的信息的例子包括运动向量信息和基准帧信息。
在步骤S16，计算单元13计算在步骤S12中重排的图像与在步骤S15选中的预测图像之间的差值。预测图像分别在互预测的情况下从运动预测/补偿单元25、和在内预测的情况下从内预测单元24，经预测图像选择单元26供给到计算单元13。
与原始图像数据相比，差值数据的数据量较小。相应地，与没有改变地编码原始图像的情况相比，可压缩数据量。
在步骤S17，正交变换单元14使从计算单元13供给的差值信息经受正交变换。具体地说，进行诸如离散余弦变换、Karhunen-Loéve变换等之类的正交变换，并且输出变换系数。
在步骤S18，量化单元15量化变换系数。这种量化时，控制速率，如在以后描述的步骤S28的处理所描述的那样。
如此量化的差值信息按如下被本地译码。具体地说，在步骤S19，逆量化单元18使用与量化单元15的特性相对应的特性，使量化单元15量化的变换系数经受逆量化。在步骤S20，逆正交变换单元19使用与正交变换单元14的特性相对应的特性，使通过逆量化单元18经受逆量化的变换系数经受逆正交变换。
在步骤S21，计算单元20将经预测图像选择单元26输入的预测图像添加到本地译码(即，本地译码的)差值信息，并且产生本地译码图像(与到计算单元13的输入相对应的图像)。
在步骤S22，分块滤波器21使从计算单元20输出的图像经受分块滤波处理。因而，除去块噪声。来自分块滤波器21的译码图像被输出到自适应环路滤波器111和边缘检测单元112。
在步骤S23，自适应环路滤波器111进行类别分类系数计算处理。这种类别分类计算处理的细节将以后参照图16描述。注意，在这种情况下的自适应环路滤波器111具有图12表示的配置。
由于步骤S23的处理，按照译码图像的基带信息，即从基带信息得到的边缘信息，进行类别分类，并且对于各个类别计算自适应滤波系数。计算的自适应滤波系数与在分块滤波处理之后的、已经分类成各类别的象素值一起，被供给到滤波处理单元133-1和133-2。
注意，在步骤S23计算的自适应滤波系数信息供给到无损编码单元16，在无损编码单元16、在以后描述的步骤S26中被编码，以及被添加到压缩图像的画面参数集或片首部。
在步骤S24，自适应环路滤波器111使用计算的自适应滤波系数，使在分块滤波处理之后的象素值经受自适应滤波处理。在自适应滤波处理之后的象素值输出到帧存储器22。
就是说，滤波处理单元133-1使用关于平滑区域类别的自适应滤波系数，对于平滑区域类别的在分块滤波处理之后的象素值进行滤波处理。滤波处理单元133-2使用关于边缘/纹理区域类别的自适应滤波系数，对于边缘/纹理区域类别的在分块滤波处理之后的象素值进行滤波处理。
在步骤S25，帧存储器22存储经受滤波的图像。注意，未经受分块滤波器21的滤波处理的图像，也从分块滤波器21和自适应环路滤波器111供给到用于存储的帧存储器22。
另一方面，在以上所描述步骤S18量化的变换系数也供给到无损编码单元16。在步骤S26，无损编码单元16编码从量化单元15输出的量化变换系数。具体地说，差值图像经受无损编码，如可变长度编码、算术编码等，并被压缩。
而且，这时，在以上步骤S24输入到无损编码单元16的滤波系数、和在以上步骤S24从内预测单元24输入到无损编码单元16的内预测模式信息或根据最佳互预测模式来自运动预测/补偿单元25的信息等等，也被编码并且添加到首部信息。
例如，对于每个宏块，编码指示互预测模式的信息。对于待处理的每个块，编码运动向量信息和基准帧信息。对于每个片或画面参数集，编码滤波系数。
在步骤S27，存储缓冲器17存储差值图像作为压缩图像。在存储缓冲器17中存储的压缩图像在适当时读出，并且经传输路径传输到译码侧。
在步骤S28，速率控制单元27基于在存储缓冲器17中存储的压缩图像，控制量化单元15的量化操作速率，从而不引起上溢或下溢。
[内预测处理的描述]
接下来，参照在图14的流程图，将描述在图13的步骤S13中的内预测处理。注意，关于在图14的例子，将描述亮度信号作为例子的情况。
在步骤S41，内预测单元24对于4×4象素、8×8象素、及16×16象素的内预测模式进行内预测。
关于亮度信号的内预测模式，有九种4×4象素和8×8象素块增量、和四种16×16象素宏块增量的预测模式，关于色差信号的内预测模式，有四种8×8象素块增量的预测模式。色差信号的内预测模式可独立于亮度信号的内预测模式而设置。关于亮度信号的4×4象素和8×8象素的内预测模式，对于4×4象素和8×8象素亮度信号的每个块，定义一种内预测模式。关于亮度信号的16×16象素的内预测模式、和色差信号的内预测模式，对于一个宏块，定义一种内预测模式。
具体地说，内预测单元24参考从帧存储器22读出的和经开关23供给的译码图像，使待处理块的象素经受内预测。这种内预测处理在各自内预测模式中进行，并且相应地，产生在每个内预测模式中的预测图像。注意，关于待参考的译码象素，采用未经受分块滤波器21和自适应环路滤波器111的分块滤波的象素。
在步骤S42，内预测单元24对于4×4象素、8×8象素、及16×16象素的每种内预测模式，计算成本函数值。这里，关于得到成本函数值的成本函数，采用表达式(33)或表达式(34)的成本函数。
在步骤S43，内预测单元24对于4×4象素、8×8象素、及16×16象素的每种内预测模式，确定对应最佳模式。就是说，如以上描述的那样，在内4×4预测模式和内8×8预测模式的情况下，有九种预测模式，并且在内16×16预测模式的情况下，有四种预测模式。相应地，内预测单元24基于在步骤S42计算的成本函数值，确定在这些预测模式的最佳内4×4预测模式、最佳内8×8预测模式、及最佳内16×16预测模式。
在步骤S44，内预测单元24基于在步骤S42中计算的成本函数值，从对于4×4象素、8×8象素、及16×16象素的内预测模式确定的最佳模式中，选择最佳内预测模式，即在对于4×4象素、8×8象素、及16×16象素确定的最佳模式中，将成本函数值最小的模式选作最佳内预测模式。内预测单元24然后将在最佳内预测模式中产生的预测图像和其成本函数值，供给到预测图像选择单元26。
[运动预测/补偿处理的描述]
接下来，参照在图15的流程图，将描述在图13的步骤S14的运动预测/补偿处理。
在步骤S61，运动预测/补偿单元25对于由16×16象素至4×4象素组成的八种互预测模式，确定运动向量和基准图像。就是说，关于每种互预测模式的待处理块，各自确定运动向量和基准图像。
在步骤S62，运动预测/补偿单元25基于在步骤S61中确定的运动向量，对关于16×16象素至4×4象素组成的八种互预测模式的基准图像，进行运动预测和补偿处理。根据这种运动预测和补偿处理，产生在每种互预测模式的预测图像。
在步骤S63，运动预测/补偿单元25对于16×16象素至4×4象素组成的八种互预测模式，计算在以上表达式(33)或表达式(34)中指示的成本函数值。
在步骤S64，运动预测/补偿单元25比较在步骤S63计算的关于互预测模式的成本函数值，并且将提供最小值的预测模式确定为最佳互预测模式。运动预测/补偿单元25然后将在最佳互预测模式中产生的预测图像和其成本函数值，供给到预测图像选择单元26。
[类别分类系数计算处理的描述]
参照在图16的流程图，将描述在图13的步骤S23的类别分类系数计算处理。
来自分块滤波器21的在分块滤波处理之后的象素值被供给到类别分类单元131和边缘检测单元112。
在步骤S81，边缘检测单元112对于在分块滤波处理之后的象素值(即，基带信息)进行边缘检测。具体地说，边缘检测单元112计算组成译码图像的当前块或宏块的边缘强度，如以上参照例如表达式(36)或表达式(35)描述的那样。边缘检测单元112然后将计算的边缘强度信息供给到类别分类单元131，作为边缘检测的结果。
在步骤S82，类别分类单元131将来自边缘检测单元112的边缘检测结果与预定阈值Θ相比较，由此检测一个块(宏块)是否是包括边缘/纹理的块(宏块)。
在上述表达式(37)成立的情况下，在步骤S82做出这个块(宏块)是包括边缘/纹理的块(宏块)的确定，并且处理前进到步骤S83。在步骤S83，类别分类单元131将该块(宏块)分类成边缘/纹理区域类别。
在上述表达式(37)不成立的情况下，在步骤S82做出这个块(宏块)不是包括边缘/纹理的块(宏块)的确定，并且处理前进到步骤S84。在步骤S84，类别分类单元131将该块(宏块)分类成平滑区域类别。
在步骤S83或S84之后，处理前进到步骤S85。在步骤S85，类别分类单元131确定对于全部块(宏块)的处理是否已经结束。在步骤S85做出这还未结束的确定的情况下，流程返回到步骤S82，并且重复后续处理。
在步骤S85做出对于全部块(宏块)的处理已经结束的确定的情况下，类别分类单元131将块(宏块)的象素值供给到滤波系数计算单元132-1和132-2。
就是说，类别分类单元131将分类成平滑区域类别的块(宏块)的象素值供给到滤波系数计算单元132-1。类别分类单元131将分类成边缘/纹理区域类别的块(宏块)的象素值供给到滤波系数计算单元132-2。以后，处理前进到步骤S86。
在步骤S86，滤波系数计算单元132-1和132-2计算关于平滑区域类别和边缘/纹理区域类别的自适应滤波系数。
就是说，滤波系数计算单元132-1计算关于平滑区域类别的自适应滤波系数，从而在来自屏幕重排缓冲器12的输入图像象素值与在平滑区域类别中的在分块滤波处理之后的象素值之间的残余差值最小。对于平滑区域类别计算的自适应滤波系数，与平滑区域类别中的在分块滤波处理之后的象素值一起，供给到滤波处理单元133-1。
而且，滤波系数计算单元132-2计算关于边缘/纹理区域类别的自适应滤波系数，从而在来自屏幕重排缓冲器12的输入图像象素值与在边缘/纹理区域类别中的在分块滤波处理之后的象素值之间的残余差值最小。对于边缘/纹理区域类别计算的自适应滤波系数，与边缘/纹理区域类别中的在分块滤波处理之后的象素值一起，供给到滤波处理单元133-2。各个类别的自适应滤波系数进一步也供给到无损编码单元16。
如以上描述的那样，将本地译码象素分类成平滑区域的宏块类别、和包括边缘或纹理区域的宏块类别，并且对每个类别进行自适应环路滤波处理。
相应地，可减小屏幕内的本地失真。就是说，可实现对于平滑区域和边缘/纹理区域各自独特的图像质量恶化的改进。
而且，不需要将类别分类的标志信息(即，用来识别哪个类别的信息)发送到译码侧，所以没有由标志信息的总开销造成的编码效率恶化。
编码压缩图像在预定传输路径上传输，并且由图像译码装置译码。
[图像译码装置译码的配置例子]
图17表示用作图像处理装置的已经应用本发明的图像译码装置的实施例的配置。
在图17的图像译码装置201与在图2的图像译码装置31的共同点在于具有存储缓冲器41、无损译码单元42、逆量化单元43、逆正交变换单元44、计算单元45、分块滤波器46、屏幕重排缓冲器47、D/A变换单元48、帧存储器49、开关50、内预测单元51、运动补偿单元52、及开关53。
而且，在图17的图像译码装置201与在图2的图像译码装置31的不同点在于，已经添加自适应环路滤波器211和边缘检测单元212。
就是说，与图2的无损译码单元42相同的方式，无损译码单元42用与无损编码单元16的编码格式相对应的格式，译码由图5的无损编码单元16编码的、从存储缓冲器41供给的信息。这时，还译码运动向量信息、基准帧信息、预测模式信息(指示内预测模式或互预测模式的信息)、平滑区域和边缘/纹理区域类别的自适应滤波系数等等。
运动向量信息和基准帧信息逐块供给到运动补偿单元52。对于每块，预测模式信息供给到内预测单元51和运动补偿单元52的对应单元。各个类别的自适应滤波系数逐片或逐画面参数集被供给到自适应环路滤波器211。
自适应环路滤波器211和边缘检测单元212提供在分块滤波器46之后和帧存储器49之前。就是说，自适应环路滤波器211和边缘检测单元212提供在运动补偿环路之内，该运动补偿环路由计算单元45、分块滤波器46、帧存储器49、开关50、运动补偿单元52、及开关53组成。就是说，使用在运动补偿环路之内循环的图像。
自适应环路滤波器211使用从无损译码单元42供给的计算滤波系数对来自分块滤波器46的译码图像进行滤波处理。关于这个滤波器，例如采用Wiener滤波器(Wiener Filter)。
然而要注意，自适应环路滤波器211按与图5的自适应环路滤波器111相同的方式，将来自分块滤波器46的译码图像(在本地译码之后的基带信息)根据其基带信息分类成诸个类别。具体地说，来自分块滤波器46的译码图像根据从基带信息得到的信息，即边缘检测单元212检测的边缘信息作为其基带信息，分类成各个类别。
自适应环路滤波器211使用从无损译码单元42供给的自适应滤波系数，对每个分类类别进行帧处理，并且在滤波处理之后把图像输出到屏幕重排缓冲器47和帧存储器49。
边缘检测单元212按与图5的边缘检测单元112相同的方式，检测在来自分块滤波器46的译码图像(本地译码之后的基带信息)中的边缘，并且将边缘信息（已经检测到边缘的结果）供给到自适应环路滤波器211。
注意，图17的例子也例示来自分块滤波器46的译码图像直接输入到边缘检测单元212的例子，但可以形成来自分块滤波器46的译码图像临时存储在帧存储器49中、并且被输入到边缘检测单元212的配置。
注意，用图5的自适应环路滤波器111，以被使用类别的象素值来计算自适应滤波系数，并且对于每个类别的象素值进行滤波处理。与此相反，用图17的自适应环路滤波器211，使用从压缩图像的首部的逐片或逐个画面参数集得到的滤波系数，对于每个类别的象素值进行滤波处理。
[自适应环路滤波器的配置例子]
图18是方块图，表明自适应环路滤波器211的配置例子。
在图18的例子中，自适应环路滤波器211配置有滤波系数缓冲器231、类别分类单元232、及滤波处理单元233-1和233-2。
无损译码单元42将关于平滑区域类别和边缘/纹理区域类别的、从画面参数集或片首部得到的自适应滤波系数，供给到滤波系数缓冲器231。
滤波系数缓冲器231存储与平滑区域类别相对应的自适应滤波系数和与边缘/纹理区域类别相对应的自适应滤波系数。滤波系数缓冲器231然后将与平滑区域类别相对应的自适应滤波系数供给到滤波处理单元233-1，并且将与边缘/纹理区域类别相对应的自适应滤波系数供给到滤波处理单元233-2。
来自分块滤波器46的在分块滤波处理之后的象素值被供给到类别分类单元232和边缘检测单元212。而且，边缘信息从边缘检测单元212供给到类别分类单元232，该边缘信息是使用分块滤波处理之后的象素值检测的检测边缘结果。
类别分类单元232按照来自边缘检测单元212的边缘信息，将在分块滤波处理之后的每个宏块(或块)的象素值，分类成属于平滑区域类别的那些值、和属于边缘/纹理区域类别的那些值。类别分类单元232然后将分类类别的象素值分别供给到滤波处理单元233-1和233-2。
滤波处理单元233-1使用来自滤波系数缓冲器231的与平滑区域类别相对应的自适应滤波系数，对于被分类成平滑区域类别的象素值进行滤波处理。滤波处理单元233-2使用来自滤波系数缓冲器231的与边缘/纹理区域类别相对应的自适应滤波系数，对于被分类成边缘/纹理区域类别的象素值进行滤波处理。
自适应滤波处理之后的象素值输出到屏幕重排缓冲器47和帧存储器49。
[图像译码装置的译码处理描述]
接下来，参照在图19的流程图，将描述图像译码装置201执行的译码处理。
在步骤S131，存储缓冲器41存储传输到其的图像。在步骤S132，无损译码单元42译码从存储缓冲器41供给的压缩图像。就是说，译码由图5的无损编码单元16编码的I画面、P画面、及B画面。
这时，也译码运动向量信息、基准帧信息、预测模式信息(指示内预测模式或互预测模式的信息)、用于各个类别的自适应滤波系数等等。
具体地说，在预测模式信息是内预测模式信息的情况下，预测模式信息被供给到内预测单元51。在预测模式信息是互预测模式信息的情况下，与预测模式信息相对应的运动向量信息和基准帧信息被供给到运动补偿单元52。各个类别的自适应滤波系数逐片或逐画面参数集被译码，并且供给到自适应环路滤波器211。
在步骤S133，内预测单元51或运动补偿单元52响应从无损译码单元42供给的预测模式信息，进行预测图像产生处理。
具体地说，在内预测模式信息已经从无损译码单元42供给的情况下，内预测单元51进行内预测模式的内预测处理，以产生内预测图像。在互预测模式信息已经从无损译码单元42供给的情况下，运动补偿单元52进行互预测模式的运动预测/补偿处理，以产生互预测图像。
尽管以后参照图20将描述在步骤S133的预测处理细节，但根据这种处理，由内预测单元51产生的预测图像(内预测图像)或由运动补偿单元52产生的预测图像(互预测图像)被供给到开关53。
在步骤S134，开关53选择预测图像。就是说，供给由内预测单元51产生的预测图像、或由运动补偿单元52产生的预测图像。相应地，选择供给的预测图像，且供给到计算单元45，并且在以后描述的步骤S137添加到逆正交变换单元44的输出。
在以上描述的步骤S132，由无损译码单元42译码的变换系数也供给到逆量化单元43。在步骤S135，逆量化单元43借助于与图5的量化单元15的特性相对应的特性，使无损译码单元42译码的变换系数经受逆量化。
在步骤S136，逆正交变换单元44借助于与图5的正交变换单元14的特性相对应的特性，使经受逆量化单元43的逆量化的变换系数经受逆正交变换。因而，译码与图5的正交变换单元14的输入(计算单元13的输出)相对应的差值信息。
在步骤S137，计算单元45将在上述步骤134处理的、经开关53的输入的待选择的预测图像，添加到差值信息。因而，译码原始图像。在步骤S138，分块滤波器46使从计算单元45输出的图像经受分块滤波处理。因而，除去整个屏幕的块噪声。
在步骤S139，自适应环路滤波器211进行类别分类滤波处理。这种类别分类滤波处理的细节以后参照图21将描述。注意，在这种情况下的自适应环路滤波器211如在图18表明的那样配置。
由于步骤S139的处理，根据译码图像的基带信息，即从基带信息得到的边缘信息，进行类别分类，并且对每个类别进行自适应滤波处理。自适应滤波处理之后的象素值输出到屏幕重排缓冲器47和帧存储器49。
在步骤S140，帧存储器49存储经受滤波的图像。
在步骤S141，屏幕重排缓冲器47进行自适应环路滤波器211之后的图像重排。就是说，以原始显示顺序重排由图像编码装置101的屏幕重排缓冲器12为了编码而重排的帧顺序。
在步骤S142，D/A变换单元48进行来自屏幕重排缓冲器47的图像的D/A变换。这个图像输出到未示出的显示器，并且在其上显示图像。
[图像译码装置的预测图像产生处理描述]
接下来，参照在图20的流程图，将描述在图19的步骤S133的预测图像产生处理。
在步骤S171，内预测单元51确定当前块是否被内编码。在内预测模式信息开始从无损译码单元42供给到内预测单元51时，在步骤S171，内预测单元51确定当前块被内编码，并且处理前进到步骤S172。这时，内预测单元51将这种内预测模式信息供给到边缘检测单元212。
在步骤S172，内预测单元51得到内预测模式信息，并且在步骤S173，进行内预测和产生内预测图像。
就是说，在待处理的图像是要被内处理的图像的情况下，必需的图像从帧存储器49读出，并且经开关50供给到内预测单元51。在步骤S173，内预测单元51在步骤S172得到内预测模式信息以后进行内预测，并且产生预测图像。产生的预测图像输出到开关53。
另一方面，在步骤S171做出这不是被内编码的确定的情况下，处理前进到步骤S174。
在待处理的图像是要被互处理的图像的情况下，互预测模式信息、基准帧信息、及运动向量信息从无损译码单元42供给到运动补偿单元52。
在步骤S174，运动补偿单元52从无损译码单元42得到预测模式信息等。就是说，得到运动(互)预测模式信息、基准帧信息、及运动向量信息。
在步骤S175，运动补偿单元52使用运动向量信息，对来自帧存储器49的基准图像进行补偿，并且产生互预测图像。产生的预测图像经开关53供给到计算单元45，并且在图19的步骤S137添加到逆正交变换单元44的输出。
[图像译码装置的类别滤波处理的描述]
接下来，参照在图21的流程图，将描述在图19的步骤S139的类别分类滤波处理。
无损译码单元42将与平滑区域类别和边缘/纹理区域类别相对应的、从画面参数集或片首部得到的每个自适应滤波系数供给到滤波系数缓冲器231。
滤波系数缓冲器231存储与平滑区域类别和边缘/纹理区域类别相对应的自适应滤波系数，并且将与平滑区域类别相对应的自适应滤波系数供给到滤波处理单元233-1。而且，滤波系数缓冲器231将与边缘/纹理区域类别相对应的自适应滤波系数供给到滤波处理单元233-2。
在步骤S191，滤波处理单元233-1和233-2各自从滤波系数缓冲器231接收与相应类别相对应的自适应滤波系数。
分块滤波处理之后的象素值从分块滤波器46供给到类别分类单元232和边缘检测单元212。
在步骤S192，边缘检测单元212对于在分块滤波处理之后的象素值(即，基带信息)进行边缘检测。具体地说，边缘检测单元212计算在组成译码图像的当前块或宏块中的边缘强度，如以上参照例如表达式(36)和表达式(35)描述的那样。边缘检测单元212然后将计算的边缘强度供给到类别分类单元232，作为边缘检测结果。
在步骤S193，类别分类单元232将来自边缘检测单元212的边缘检测结果与预定阈值Θ相比较，由此确定待处理的块(宏块)是否是包括边缘/纹理的块(宏块)。
在上述表达式(37)成立的情况下，在步骤S193做出块(宏块)是包括边缘/纹理的块(宏块)的确定，并且处理前进到步骤S194。在步骤S194，类别分类单元232将这个块(宏块)分类成边缘/纹理区域类别。
类别分类单元232将分类成边缘/纹理区域类别的宏块的象素值供给到滤波处理单元233-2。
在步骤S195，滤波处理单元233-2进行关于边缘/纹理区域类别的自适应滤波处理。就是说，滤波处理单元233-2使用来自滤波系数缓冲器231的与边缘/纹理区域类别相对应的自适应滤波系数，对于由类别分类单元232分类成边缘/纹理区域类别的宏块的象素值进行滤波处理。自适应滤波处理之后的这些象素值供给到屏幕重排缓冲器47和帧存储器49。
另一方面，在上述表达式(37)不成立的情况下，在步骤S193中做出块(宏块)不是包括边缘/纹理的块(宏块)的确定，并且处理前进到步骤S196。在步骤S196，类别分类单元232将这个块(宏块)分类成平滑区域类别。
类别分类单元232将分类成平滑区域类别的宏块的象素值供给到滤波处理单元233-1。
在步骤S197，滤波处理单元233-1进行关于平滑区域类别的自适应滤波处理。就是说，滤波处理单元233-1使用来自滤波系数缓冲器231的与平滑区域类别相对应的自适应滤波系数，对于由类别分类单元232分类成平滑区域类别的宏块的象素值进行滤波处理。自适应滤波处理之后的这些象素值供给到屏幕重排缓冲器47和帧存储器49。
因而，用图像编码装置101和图像译码装置201，译码图像根据从其基带信息得到的边缘信息被分类成各个类别，并且对于每个类别进行自适应填充滤波处理。
相应地，使在整个屏幕的图像质量恶化最小，并且也可改进在屏幕的包括平滑部分和纹理等的每个区域发生的本地图像质量恶化。就是说，可实现对于平滑区域和边缘/纹理区域的各自独特的图像质量恶化的改进，作为结果，可改进编码效率，并且可改进译码图像的主观图像质量。
注意，在以上描述，在图像译码装置201，使图像编码装置101计算的滤波系数在自适应滤波处理之后的象素值不仅供给到帧存储器49，而且也供给到屏幕重排缓冲器47。也可以安排为，不限于此，关于到屏幕重排缓冲器47的自适应滤波输出，按照从译码图像的基带信息得到的边缘信息分类的每个类别计算滤波系数，并且使用计算的滤波系数。
相应地，可进一步改进译码图像的主观图像质量。
关于以上描述，尽管H.264/AVC用作作为编码格式的基础，但本发明不限于此，并且可以应用在运动预测/补偿环路内包括自适应滤波的其它编码格式/编码格式。
注意，本发明可以应用于图像编码装置和图像译码装置，当经网络介质如卫星广播、有线电视、因特网、蜂窝电话等，例如关于MPEG、H.26x等，接收由正交变换（如离散余弦变换等）和运动补偿压缩的图像信息(比特流)时，使用该图像编码装置和图像译码装置。而且，本发明可以应用于图像编码装置和图像译码装置，在处理在存储介质（如光盘、磁盘、及闪存）上的图像信息时使用该图像编码装置和图像译码装置。进一步，本发明可以应用于运动预测补偿装置，该运动预测补偿装置包括在这样的图像编码装置和图像译码装置等等中。
上述处理系列可以由硬件执行，或者由软件执行。在由软件执行处理系列的情况下，组成其软件的程序安装在计算机中。这里，计算机的例子包括建造成专用硬件的计算机，和通用个人计算机，借此各种功能可由安装到其上的各种类型程序执行。
[个人计算机的配置例子]
图22是方块图，表明计算机硬件的配置例子，该计算机使用程序执行上述处理系列。
关于计算机，CPU(中央处理单元)251、ROM(只读存储器)252、及RAM(随机存取存储器)253由总线254相互连接。
进一步，输入/输出接口255连接到总线254。输入单元256、输出单元257、存储单元258、通信单元259、及驱动器260连接到输入/输出接口255。
输入单元256由键盘、鼠标、麦克风等等组成。输出单元257由显示器、扬声器等等组成。存储单元258由硬盘、非易失存储器等等组成。通信单元259由网络接口等等组成。驱动器260驱动可移除介质261，如磁盘、光盘、磁-光盘、半导体存储器等。
关于如此配置的计算机，例如，CPU 251将在存储单元258中存储的程序，经输入/输出接口255和总线254加载到RAM 253，且执行程序，并且相应地完成上述处理系列。
计算机(CPU 251)执行的程序可以通过记录在可移除介质261中而提供，该可移除介质261例如用作封装介质等。而且，经有线或无线传输介质，如局域网、因特网、或数字广播，可以提供程序。
关于计算机，通过将可移除介质261安装在驱动器260，程序经输入/输出接口255可以安装在存储单元258中。而且，程序可以由通信单元259经有线或无线传输介质而接收，并且安装在存储单元258中。另外，程序可以事先安装在ROM 252或存储单元258。
注意，计算机执行的程序可以是按时间顺序沿在本说明书描述顺序进行处理的程序，或者可以是并行地或在必要时刻（如当进行呼叫时）进行处理的程序。
本发明的实施例不限于上述实施例，并且可以进行各种修改，而不脱离本发明的本质。
例如，以上图像编码装置101和图像译码装置201可以应用于可选的电器。下面将描述其例子。
[电视接收机的配置例子]
图23是方块图，表明使用已经应用本发明的图像译码装置的电视接收机的主要配置例子。
在图23表示的电视接收机300包括地面调谐器313、视频译码器315、视频信号处理电路318、图形产生电路319、面板驱动电路320、及显示面板321。
地面调谐器313经天线接收地面模拟广播的广播波信号，解调，获取视频信号，及将这些供给到视频译码器315。视频译码器315使从地面调谐器313供给的视频信号经受译码处理，并且将得到的数字分量信号供给到视频信号处理电路318。
视频信号处理电路318使从视频译码器315供给的视频数据经受预定处理，如噪声除去等，并且将得到的视频数据供给到图形产生电路319。
图形产生电路319产生待在显示面板321显示的节目的视频数据，或者由于基于经网络等供给的应用程序处理所产生图像数据，并且将产生的视频数据或图像数据供给到面板驱动电路320。而且，图形产生电路319也进行处理，如适当时将视频数据供给到面板驱动电路320，该视频数据通过产生为用户显示项目选择屏幕等的视频数据(图形)、并且将这叠加在节目视频数据上而得到。
面板驱动电路320基于从图形产生电路319供给的数据，驱动显示面板321，以在显示面板321显示节目视频、或上述各种屏幕。
显示面板321由LCD(液晶显示器)等组成，并且按照通过面板驱动电路320的控制而显示节目视频等。
而且，电视接收机300也包括声频A/D(模拟/数字)变换电路314、声频信号处理电路322、回波消除/声频合成电路323、声频放大电路324、及扬声器325。
地面调谐器313解调接收的广播波信号，由此不仅得到视频信号，而且也得到声频信号。地面调谐器313将得到的声频信号供给到声频A/D变换电路314。
声频A/D变换电路314使从地面调谐器313供给的声频信号经受A/D变换处理，并且将得到的数字声频信号供给到声频信号处理电路322。
声频信号处理电路322使从声频A/D变换电路314供给的声频数据经受预定处理，如噪声除去等，并且将得到的声频数据供给到回波消除/声频合成电路323。
回波消除/声频合成电路323将从声频信号处理电路322供给的声频数据供给到声频放大电路324。
声频放大电路324使从回波消除/声频合成电路323供给的声频数据经受D/A变换处理，经受放大处理以调整到预定音量，及然后将声频数据输出到扬声器325。
进一步，电视接收机300也包括数字调谐器316、和MPEG译码器317。
数字调谐器316经天线接收数字广播(地面数字广播)、BS(广播卫星)/CS(通信卫星)数字广播的广播波信号，解调以得到MPEG-TS(Moving Picture Experts Group-Transport Stream)，以及将这供给到MPEG译码器317。
MPEG译码器317解密从数字调谐器316供给的对MPEG-TS的加密，并且抽取包括节目数据的流，该节目被用作播放对象(观看对象)。MPEG译码器317译码组成所抽取流的声频包，将得到的声频数据供给到声频信号处理电路322，并且也译码组成所述流的视频包，且将得到的视频数据供给到视频信号处理电路318。而且，MPEG译码器317经未示出的路径将从MPEG-TS抽取的EPG(ElectronicProgram Guide)数据供给到CPU 332。
电视接收机300按这种方式将上述图像译码装置201用作MPEG译码器317，该MPEG译码器317用来译码视频包。相应地，按与图像译码装置201的情况相同的方式，MPEG译码器317可改进编码效率，并且可改进译码图像的主观图像质量。
从MPEG译码器317供给的视频数据，按与从视频译码器315供给的视频数据的情况相同的方式，在视频信号处理电路318处经受预定处理。经受预定处理的视频数据然后在适当时在图形产生电路319被叠加在产生的视频数据等上，经面板驱动电路320供给到显示面板321，在其上显示其图像。
从MPEG译码器317供给的声频数据，按与从声频A/D变换电路314供给的声频数据的情况相同的方式，在声频信号处理电路322处经受预定处理，经回波消除/声频合成电路323供给到声频放大电路324，及经受D/A变换处理和放大处理。作为结果，按预定音量调整的声频从扬声器325输出。
而且，电视接收机300也包括麦克风326、和A/D变换电路327。
A/D变换电路327接收由麦克风326收集的用户声频信号-该麦克风326被设置给电视接收机300用于声频变换，使接收的声频信号经受A/D变换处理，以及将得到的数字声频数据供给到回波消除/声频合成电路323。
在电视接收机300的用户(用户A)的声频数据已经从A/D变换电路327供给的情况下，回波消除/声频合成电路323进行被看作对象的用户(用户A)的声频数据的回波消除，并且经声频放大电路324，从扬声器325输出通过与其它声频数据等合成得到的声频数据。
进一步，电视接收机300也包括声频编码译码器328、内部总线329、SDRAM(Synchronous Dynamic Random Access Memory)330、闪存331、CPU 332、USB(Universal Serial Bus)I/F 333、及网络I/F 334。
A/D变换电路327接收麦克风326收集的用户声频信号-该麦克风326提供给电视接收机300用于声频变换，使接收的声频信号经受A/D变换处理，及将得到的数字声频数据供给到声频编码译码器328。
声频编码译码器328将从A/D变换电路327供给的声频数据转换成用于经网络传输的预定格式的数据，并且经内部总线329供给到网络I/F 334。
网络I/F 334经在网络终端335上安装的电缆连接到网络。网络I/F 334将从声频编码译码器328供给的声频数据，传输到例如连接到其网络的另一个装置。而且，网络I/F 334经网络终端335，接收从经网络连接到其上的另一个装置传输的声频数据，并且将这经例如内部总线329供给到声频编码译码器328。
声频编码译码器328将从网络I/F 334供给的声频数据转换成预定格式的数据，并且将这供给到回波消除/声频合成电路323。
回波消除/声频合成电路323进行关于从声频编码译码器328供给的、被看作对象的声频数据的回波消除，并且经声频放大电路324从扬声器325，输出通过合成声频数据和其它声频数据等得到的声频数据。
SDRAM 330存储对于CPU 332进行处理必需的各种类型数据。
闪存331存储由CPU 332执行的程序。在闪存331中存储的程序在预定时刻，如当激活电视接收机300等时，由CPU 332读出。经数字广播得到的EPG数据、经网络从预定服务器得到的数据等等也存储在闪存331中。
例如，将MPEG-TS存储在闪存331，MPEG-TS包括从预定服务器经网络通过CPU 332控制而得到的内容数据。通过例如CPU 332的控制，闪存331将其MPEG-TS经内部总线329供给到MPEG译码器317。
MPEG译码器317按与从数字调谐器316供给的MPEG-TS的情况相同的方式，处理其MPEG-TS。按这种方式，电视接收机300经网络接收由视频、声频等等组成的内容数据，使用MPEG译码器317译码，借此可显示其视频，并且输出其声频。
而且，电视接收机300也包括光接收单元337，光接收单元337用来接收从遥控器351发射的红外信号。
光接收单元337接收来自遥控器351的红外线，并且将控制代码输出到CPU 332，该控制代码代表通过解调得到的用户操作的内容。
CPU 332根据从光接收单元337供给的控制代码等，执行在闪存331中存储的程序，以控制电视接收机300的全部操作。CPU 332和电视接收机300的各个单元经未示出的路径连接。
USB I/F 333进行数据到电视接收机300的外部装置的传输/接收，该外部装置经在USB终端336上安装的USB电缆而连接。网络I/F 334经在网络终端335上安装的电缆连接到网络，也进行除声频数据之外的数据到连接到网络的各种装置的传输/接收。
电视接收机300通过将图像译码装置201用作MPEG译码器317，可改进编码效率。作为其结果，电视接收机300可得到并显示更高图像质量的译码图像，译码图像来自经天线接收的广播信号、或经网络得到的内容数据。
[蜂窝电话的配置例子]
图24是方块图，表明蜂窝电话的主要配置例子，该蜂窝电话使用已经应用本发明的图像编码装置和图像译码装置。
在图24表示的蜂窝电话400包括主控制单元450、电源电路单元451、操作输入控制单元452、图像编码器453、摄像机I/F单元454、LCD控制单元455、图像译码器456、多路复用/分离单元457、记录/播放单元462、调制/解调电路单元458、及声频编码译码器459，主控制单元450配置成一体地控制诸个单元。这些都经总线460相互连接。
而且，蜂窝电话400包括操作键419、CCD(电荷耦合装置)摄像机416、液晶显示器418、存储单元423、传输/接收电路单元463、天线414、麦克风(mike)421、及扬声器417。
在呼叫结束和用户操作接通电源键时，电源电路单元451通过将电力从电池组供给到单元，将蜂窝电话400激活在操作状态下。
蜂窝电话400基于CPU、ROM、RAM等等组成的主控制单元450的控制，按各种模式，如话音呼叫模式、数据通信模式等等，进行各种操作，如声频信号的传输/接收、电子邮件和图像数据的传输/接收、图像拍摄、数据记录等等。
例如，在话音呼叫模式，蜂窝电话400通过声频编码译码器459，将麦克风(mike)421收集的声频信号变换成数字声频数据，使这在调制/解调电路单元458处经受频谱扩展处理，及使这在传输/接收电路单元463处经受数/模变换处理和频率变换处理。蜂窝电话400经天线414，将通过变换处理得到的用于传输的信号，传输到未示出的基站。传输到基站的用于传输的信号(声频信号)经公共电话网，供给到其它方的蜂窝电话。
而且，例如，在话音呼叫模式，蜂窝电话400在传输/接收电路单元463放大在天线414接收的接受信号，进一步经受频率变换处理和模/数变换处理，在调制/解调电路单元458处经受频谱逆扩展处理，及被声频编码译码器459变换成模拟声频信号。蜂窝电话400将其变换和得到的模拟声频信号从扬声器417输出。
进一步，例如，在数据通信模式中传输电子邮件的情况下，蜂窝电话400在操作输入控制单元452接受通过操作键419的操作输入的电子邮件的文本数据。蜂窝电话400在主控制单元450处理其文本数据，并且经LCD控制单元455显示在液晶显示器418作为图像。
而且，蜂窝电话400基于操作输入控制单元452接受的文本数据、用户指令等等，在主控制单元450产生电子邮件数据。蜂窝电话400使其电子邮件数据在调制/解调电路单元458经受频谱扩展处理，并且在传输/接收电路单元463经受数/模变换处理和频率变换处理。蜂窝电话400将由变换处理得到的用于传输的信号，经天线414传输到未示出的基站。传输到基站的传输信号(电子邮件)经网络、邮件服务器等等供给到预定目的地。
而且，例如，在数据通信模式中接收电子邮件的情况下，蜂窝电话400用传输/接收电路单元463经天线414接收从基站传输的信号，放大，进一步经受频率变换处理和模/数变换处理。蜂窝电话400使其接收信号在调制/解调电路单元458经受频谱逆扩展处理，以恢复原始电子邮件数据。蜂窝电话400经LCD控制单元455将恢复的电子邮件数据显示在液晶显示器418。
注意，蜂窝电话400经记录/播放单元462可以将接收的电子邮件数据记录(存储)在存储单元423。
这个存储单元423是可选的可重写记录介质。存储单元423可以是半导体存储器，如RAM、内装闪存等，可以是硬盘，或者可以是可移除介质，如磁盘、磁-光盘、光盘、USB存储器、存储器卡等。不言而喻，存储单元423可以是除这些之外的装置。
进一步，例如，在数据通信模式中传输图像数据的情况下，蜂窝电话400通过在CCD摄像机416成像而产生图像数据。CCD摄像机416包括CCD，该CCD用作光学装置，如透镜、光阑等等，并且用作光电变换装置，为物体成像，将接收光的强度变换成电信号，及产生物体图像的图像数据。CCD摄像机416经摄像机I/F单元454在图像编码器453进行图像数据的压缩编码，并且例如通过预定编码格式，如MPEG2或MPEG4等，变换成编码图像数据。
蜂窝电话400将上述图像编码装置101用作进行这样处理的图像编码器453。相应地，按与关于图像编码装置101相同的方式，图像编码器453可改进编码效率，并且改进译码图像的主观图像质量。
注意，同时地，蜂窝电话400在CCD摄像机416拍摄的同时，在声频编码译码器459从模拟到数字变换在麦克风(mike)421收集的声频，并且将其进一步编码。
蜂窝电话400在多路复用/分离单元457使用预定方法，多路复用从图像编码器453供给的图像数据、和从声频编码译码器459供给的数字声频数据。蜂窝电话400使作为结果得到的多路复用数据，在调制/解调电路单元458处经受频谱扩展处理，并且在传输/接收电路单元463经受数/模变换处理和频率变换处理。蜂窝电话400将通过变换处理得到的传输信号，经天线414传输到未示出的基站。传输到基站的传输信号(图像数据)经网络等供给到其它方。
注意，在不传输图像数据的情况下，蜂窝电话400也可以经LCD控制单元455而不是图像编码器453，将在CCD摄像机416产生的图像数据显示在液晶显示器418。
而且，例如，在数据通信模式中，接收链接到简单网站等的运动图像文件的数据的情况下，蜂窝电话400经天线414在传输/接收电路单元463接收从基站传输的信号，放大，进一步经受频率变换处理和模/数变换处理。蜂窝电话400使接收信号在调制/解调电路单元458经受频谱逆扩展处理，以恢复原始的多路复用数据。蜂窝电话400将其多路复用数据在多路复用/分离单元457分离成编码图像数据和声频数据。
蜂窝电话400用与预定编码格式相对应的译码格式，如MPEG2或MPEG4等，在图像译码器456译码所述编码图像数据，由此产生播放运动图像数据，并且将这经LCD控制单元455显示在液晶显示器418。因而，链接到简单网站等的运动图像文件中包括的运动图像数据例如被显示在液晶显示器418。
蜂窝电话400将上述图像译码装置201用作进行这样处理的图像译码器456。相应地，按与关于图像译码装置201相同的方式，图像译码器456可改进编码效率，并且改进译码图像的主观图像质量。
这时，同时地，蜂窝电话400在声频编码译码器459将数字声频数据变换成模拟声频信号，并且将这从扬声器417输出。因而，例如播放在链接到简单网站的运动图像文件中包括的声频数据。
注意，按电子邮件的情况相同的方式，蜂窝电话400经记录/播放单元462可以将链接到简单网站等的接收数据记录(存储)在存储单元423。
而且，蜂窝电话400在主控制单元450分析由CCD摄像机416得到的成像两维代码，借此可得到以两维代码记录的信息。
进一步，蜂窝电话400可在红外通信单元481使用红外线与外部装置通信。
蜂窝电话400将图像编码装置101用作图像编码器453，借此可改进编码效率。结果，蜂窝电话400可将具有良好编码效率的编码数据(图像数据)提供给另一个装置。
而且，蜂窝电话400将图像译码装置201用作图像译码器456，借此可改进编码效率。结果，蜂窝电话400可例如得到和显示来自被链接到简单网站的运动图像文件的更高清晰度译码图像。
注意，至此已经进行蜂窝电话400采用CCD摄像机416的描述，但蜂窝电话400可以采用使用CMOS(互补金属氧化物半导体)的图像传感器(CMOS图像传感器)，而不是这种CCD摄像机416。也在这种情况下，蜂窝电话400可按关于采用CCD摄像机416相同的方式，成像物体，并且产生物体图像的图像数据。
而且，至此已经进行蜂窝电话400的描述，但图像编码装置101和图像译码装置201可以按关于蜂窝电话400相同的方式，应用于任何种类的装置，只要它是具有与例如蜂窝电话400的那些功能相同的成像功能和通信功能的装置，如PDA(个人数字助手)、智能电话、UMPC(Ultra Mobile Personal Computer)、net book(Netbook计算机)、笔记本大小的个人计算机等。
[硬盘记录器的配置例子]
图25是方块图，表明硬盘记录器的主要配置例子，该硬盘记录器采用已经应用本发明的图像编码装置和图像译码装置。
在图25表示的硬盘记录器(HDD记录器)500是这样一种装置，在内装硬盘中存储广播节目的声频数据和视频数据，并且根据用户指令的时刻将存储数据提供给用户，广播节目被包括在由调谐器接收的、并且从卫星或地面天线等传输的广播波信号(电视信号)中。
硬盘记录器500可从广播波信号中抽取声频数据和视频数据，在适当时译码这些数据，及存储在例如内装硬盘中。而且，硬盘记录器500也可经网络从另一个装置得到声频数据和视频数据，在适当时译码这些数据，及存储在例如内装硬盘中。
进一步，硬盘记录器500可译码在内装硬盘中记录的声频数据和视频数据，将这供给到显示器560，将其图像显示在显示器560的屏幕，以及例如将其声频从显示器560的扬声器输出。
硬盘记录器500可译码从经调谐器得到的广播波信号中抽取的声频数据和视频数据、或经网络从另一个装置得到的声频数据和视频数据，将这供给到显示器560，将其图像显示在显示器560的屏幕，以及例如将其声频从显示器560的扬声器输出。
当然，可以进行这些之外的其它操作。
如图25所示，硬盘记录器500包括接收单元521、解调单元522、分离器523、声频译码器524、视频译码器525、及记录器控制单元526。硬盘记录器500还包括EPG数据存储器527、程序存储器528、工作存储器529、显示变换器530、OSD(On Screen Display)控制单元531、显示控制单元532、记录/播放单元533、D/A变换器534、及通信单元535。
而且，显示变换器530包括视频编码器541。记录/播放单元533包括编码器551和译码器552。
接收单元521从遥控器(未示出)接收红外信号，转换成电信号，及输出到记录器控制单元526。记录器控制单元526配置有例如微处理器等，并且按照在程序存储器528中存储的程序执行各种类型处理。这时，记录器控制单元526根据需要使用工作存储器529。
连接到网络的通信单元535经网络与另一个装置进行通信。例如，通信单元535由记录器控制单元526控制，以与调谐器(未示出)通信，并且主要将频道选择控制信号输出到调谐器。
解调单元522解调从调谐器供给的信号，并且输出到分离器523。分离器523将从解调单元522供给的数据分离成声频数据、视频数据、及EPG数据，并且分别输出到声频译码器524、视频译码器525、及记录器控制单元526。
声频译码器524例如按MPEG格式译码输入声频数据，并且输出到记录/播放单元533。视频译码器525例如按MPEG格式译码输入视频数据，并且输出到显示变换器530。记录器控制单元526将输入的EPG数据供给到用于存储的EPG数据存储器527。
显示变换器530使用视频编码器541，将从视频译码器525或记录器控制单元526供给的视频数据，编码成例如与NTSC(NationalTelevision Standards Committee)格式相符的视频数据，并且输出到记录/播放单元533。而且，显示变换器530将从视频译码器525或记录器控制单元526供给的视频数据的屏幕尺寸，变换成与显示器560的尺寸相对应的尺寸，使用视频编码器541将已经变换屏幕尺寸的视频数据变换成与NTSC格式相符的视频数据，变换成模拟信号，及输出到显示控制单元532。
显示控制单元532在记录器控制单元526的控制下，将从OSD(On Screen Display)控制单元531输出的OSD信号叠加在从显示变换器530输入的视频信号上，并且输出到用于显示的显示器560的显示器。
而且，从声频译码器524输出的声频数据使用D/A变换器534已经变换成模拟信号，并且供给到显示器560。显示器560将这种声频信号从内装扬声器输出。
记录/播放单元533包括硬盘，作为记录视频数据、声频数据等等的记录介质。
记录/播放单元533由编码器551按MPEG格式，编码从声频译码器524供给的声频数据。而且，记录/播放单元533由编码器551按MPEG格式编码从显示变换器530的视频编码器541供给的视频数据。记录/播放单元533使用多路复用器，合成其声频数据的编码数据、和其视频数据的编码数据。记录/播放单元533通过频道编码放大其合成数据，并且经记录头将其数据写在硬盘。
记录/播放单元533经播放头播放在硬盘中记录的数据，放大，以及使用分离器分离成声频数据和视频数据。记录/播放单元533使用MPEG格式，由译码器552译码声频数据和视频数据。记录/播放单元533将译码的声频数据从数字的变换成模拟，并且输出到显示器560的扬声器。而且，记录/播放单元533将译码视频数据从数字的变换成模拟，并且输出到显示器560的显示器。
记录器控制单元526基于由遥控器的红外信号指示的用户指令（该红外信号经接收单元521接收）从EPG数据存储器527中读出最近的EPG数据，并且供给到OSD控制单元531。OSD控制单元531产生与输入EPG数据相对应的图像数据，并且输出到显示控制单元532。显示控制单元532将从OSD控制单元531输入的视频数据，输出到用于显示的显示器560的显示器。因而，EPG(Electronic ProgramGuide)显示在显示器560的显示器。
而且，硬盘记录器500可得到各种类型数据，如经网络（如因特网等）从另一个装置供给的视频数据、声频数据、EPG数据等等。
通信单元535由记录器控制单元526控制，以得到编码数据，如从另一个装置经网络传输的视频数据、声频数据、EPG数据等等，并且将这供给到记录器控制单元526。记录器控制单元526将得到的视频数据和声频数据的编码数据供给到记录/播放单元533，并且例如存储在硬盘中。这时，记录器控制单元526和记录/播放单元533可以根据需要进行处理，如重新编码等。
而且，记录器控制单元526译码所得到的视频数据和声频数据的编码数据，并且将得到的视频数据供给到显示变换器530。显示变换器530按与从视频译码器525供给的视频数据相同的方式，处理从记录器控制单元526供给的视频数据，经显示控制单元532供给到显示器560，以便显示其图像。
可选择地，可以进行这样一种布置，按照这种图像显示，记录器控制单元526将译码声频数据经D/A变换器534供给到显示器560，并且将其声频从扬声器输出。
进一步，记录器控制单元526译码所得到的EPG数据的编码数据，并且将译码EPG数据供给到EPG数据存储器527。
如此配置的硬盘记录器500将图像译码装置201用作视频译码器525、译码器552、及在记录器控制单元526中容纳的译码器。相应地，按与关于图像译码装置201相同的方式，视频译码器525、译码器552、及在记录器控制单元526中容纳的译码器可改进编码效率，并且改进译码图像的主观图像质量。
相应地，硬盘记录器500可实现处理速度增大，并且也产生更高清晰度预测图像。作为其结果，硬盘记录器500可从经调谐器接收的视频数据的编码数据、从记录/播放单元533的硬盘读出的视频数据的编码数据、和经网络得到的视频数据的编码数据，得到更高清晰度译码图像，并且可例如显示在显示器560。
而且，硬盘记录器500将图像编码装置101用作编码器551。相应地，按与关于图像编码装置101的情况相同的方式，编码器551可改进编码效率，并且改进译码图像的主观图像质量。
相应地，硬盘记录器500可实现处理速度增大，并且也例如改进待记录在硬盘中的编码数据的编码效率。作为其结果，硬盘记录器500可更有效地使用硬盘的存储区域。
注意，至此已经进行了关于在硬盘中记录视频数据和声频数据的硬盘记录器500的描述，但不言而喻，可以采用任何种类的记录介质。例如，即使应用除硬盘之外的记录介质（如闪存、光盘、录像带等）的记录器，图像编码装置101和图像译码装置201也可按关于以上硬盘记录器500的情况相同的方式应用于其。
[摄像机的配置例子]
图26是方块图，表明已经应用本发明的图像编码装置和图像译码装置的摄像机的主要配置例子。
图26表示的摄像机600成像物体，将物体的图像显示在LCD616，并且将这记录在记录介质633中作为图像数据。
透镜块611将光(即，物体的画面)输入到CCD/CMOS 612。CCD/CMOS 612是采用CCD或CMOS的图像传感器，该图像传感器将接收光的强度变换成电信号，并且供给到摄像机信号处理单元613。
摄像机信号处理单元613将从CCD/CMOS 612供给的电信号变换成Y、Cr、及Cb的色差信号，并且供给到图像信号处理单元614。图像信号处理单元614在控制器621的控制下，使从摄像机信号处理单元613供给的图像信号经受预定图像处理，或者使用例如MPEG格式由编码器641编码其图像信号。图像信号处理单元614将通过编码图像信号产生的编码数据，供给到译码器615。进一步，图像信号处理单元614得到在屏上显示(OSD)620产生的用于显示的数据，并且将这供给到译码器615。
关于上述处理，摄像机信号处理单元613适当地利用经总线617连接的DRAM(动态随机存取存储器)618，以根据需要将图像数据、从其图像数据编码的编码数据等保持在DRAM 618中。
译码器615译码从图像信号处理单元614供给的编码数据，并且将得到的图像数据(译码图像数据)供给到LCD 616。而且，译码器615将从图像信号处理单元614供给的用于显示的数据，供给到LCD 616。LCD 616在适当时，合成从译码器615供给的译码图像数据的图像、和用于显示的数据的图像，并且显示其合成图像。
屏上显示620在控制器621的控制下，经总线617将用于显示的数据，如由符号、字符、或图组成的菜单屏幕或图标等，输出到图像信号处理单元614。
基于指示了用户使用操作单元622命令的内容的信号，控制器621执行各种类型处理，并且也经总线617控制图像信号处理单元614、DRAM 618、外部接口619、屏上显示620、介质驱动器623等等。控制器621执行各种类型处理必要的程序、数据等等被存储在FLASHROM 624中。
例如，控制器621代替图像信号处理单元614和译码器615，可编码在DRAM 618中存储的图像数据，或译码在DRAM 618中存储的编码数据。这时，控制器621可以使用与图像信号处理单元614和译码器615的编码/译码格式相同的格式，进行编码/译码处理，或者可以使用图像信号处理单元614和译码器615都不能处置的格式，进行编码/译码处理。
而且，例如，在操作单元622已经指令图像打印开始的情况下，控制器621从DRAM 618中读出图像数据，并且将这经总线617供给到打印机634以便打印，打印机634连接到外部接口619。
进一步，例如，在操作单元622已经指令图像记录的情况下，控制器621从DRAM 618中读出编码数据，并且将这经总线617供给到记录介质633以便存储，记录介质633安装在介质驱动器623。
记录介质633是例如可选的读/写可移除介质，如磁盘、磁光盘、光盘、半导体存储器等。不言而喻，记录介质633关于可移除介质的类型也是可选的，并且相应地可以是带式装置、或者可以是盘，或者可以是存储器卡。不言而喻，记录介质633可以是非接触式IC卡等。
可选地，介质驱动器623和记录介质633可以配置集成为例如不可携带记录介质，如内装硬盘驱动器、SSD(固态驱动器)等。
外部接口619配置有例如USB输入/输出终端等等，并且在图像打印的情况下连接到打印机634。而且，驱动器631根据需要，连接到外部接口619，驱动器631在适当时安装可移除介质632，如磁盘、光盘、或磁光盘，并且从其读出的计算机程序根据需要被安装在FLASH ROM 624。
进一步，外部接口619包括网络接口以连接到预定网络，如连接到LAN、因特网等。例如，按照来自操作单元622的指令，控制器621可从DRAM 618中读出编码数据，并且将这从外部接口619供给到经网络连接的另一个装置。而且，控制器621经外部接口619，可得到经网络从另一个装置供给的编码数据或图像数据，并且将这保持在DRAM 618，或者将这供给到图像信号处理单元614。
如此配置的摄像机600将图像译码装置201用作译码器615。相应地，按与关于图像译码装置201相同的方式，译码器615可改进编码效率，并且可改进译码图像的主观图像质量。
相应地，摄像机600可产生具有高精度的预测图像。作为结果，摄像机600可以更高速度从例如在CCD/CMOS 612产生的图像数据、从DRAM 618或记录介质633中读出的视频数据的编码数据、及经网络得到的视频数据的编码数据，得到更高清晰度译码图像，并且显示在LCD 616。
而且，摄像机600将图像编码装置101用作编码器641。相应地，按与关于图像编码装置101的情况相同的方式，编码器641可改进编码效率，并且可改进译码图像的主观图像质量。
相应地，摄像机600可改进待记录在例如硬盘的编码数据的编码效率。作为结果，摄像机600可更有效地以更高速度使用DRAM 618或记录介质633的存储区域。
注意，图像译码装置201可以应用于控制器621的译码处理。按相同方式，图像编码装置101的编码方法可以应用于控制器621的编码处理。
而且，摄像机600取得的图像数据可以是运动图像或者可以是静止图像。
当然，图像编码装置101和图像译码装置201可以应用于除上述装置之外的装置或系统。
附图标记清单
16无损编码单元
21分块滤波器
24内预测单元
42无损译码单元
46分块滤波器
51内预测单元
101图像编码装置
111自适应环路滤波器
112边缘检测单元
131类别分类单元
132-1、132-2滤波系数计算单元
133-1、133-2滤波处理单元
201图像译码装置
211自适应环路滤波器
212边缘检测单元
231滤波系数缓冲器
232类别分类单元
233-1、233-2滤波处理单元
权利要求书(按照条约第19条的修改)
1.（修改）一种图像处理装置，包括：
分类装置，配置成对于每个预定块，使用所述预定块的边缘信息作为构成所述预定块的象素值的基带信息，把图像类别分类到平滑区域类别和边缘或纹理类别；和
滤波处理装置，配置成使用滤波系数，对于经受所述分类装置的类别分类的所述预定块进行滤波处理，所述滤波系数使用被类别分类到相同类别的所述预定块而计算。
2.（删除）
3.（修改）根据权利要求1所述的图像处理装置，其中所述预定块的所述边缘信息是指示边缘强度的信息。
4.根据权利要求3所述的图像处理装置，其中所述预定块的所述边缘强度使用Sobel算子而计算。
5.根据权利要求3所述的图像处理装置，其中在所述预定块的所述边缘强度超过预定阈值的情况下，所述分类装置把所述预定块类别分类到所述边缘或纹理类别，在所述预定块的所述边缘强度不超过预定阈值的情况下，把所述图像类别分类到所述平滑区域类别。
6.根据权利要求5所述的图像处理装置，其中所述预定块是块或组成所述块的块；
所述图像处理装置还包括：
阈值决定装置，配置成根据所述块的量化参数来决定所述预定阈值。
7.根据权利要求6所述的图像处理装置，其中所述阈值决定装置对于更高的量化参数的值，将所述预定阈值决定成较低的值。
8.根据权利要求5所述的图像处理装置，其中所述预定块是块或组成所述块的块；
所述图像处理装置还包括：
阈值决定装置，配置成根据包括所述块的帧是否已经经受分块滤波而决定所述预定阈值。
9.根据权利要求8所述的图像处理装置，其中在包括所述块的所述帧已经经受分块滤波的情况下，所述阈值决定装置将所述预定阈值决定成是比这个帧未经受分块滤波的情况下更低的值。
10.根据权利要求1所述的图像处理装置，其中所述分类装置对于所述每个预定块，使用所述预定块的象素分散值作为所述基带信息，把所述图像类别分类到所述平滑区域类别和所述边缘或纹理类别。
11.根据权利要求10所述的图像处理装置，其中在所述预定块的象素分散值超过预定阈值的情况下，所述分类装置把所述预定块类别分类到所述边缘或纹理类别，并且在所述预定块的象素分散值不超过预定阈值的情况下，分类到所述平滑区域类别。
12.根据权利要求11所述的图像处理装置，其中所述预定块是块或组成所述块的块；
所述图像处理装置还包括：
阈值决定装置，配置成根据所述块的量化参数决定所述预定阈值。
13.根据权利要求12所述的图像处理装置，其中所述阈值决定装置对于更高的量化参数的值，将所述预定阈值决定成较低的值。
14.根据权利要求11所述的图像处理装置，其中所述预定块是块或组成所述块的块；
所述图像处理装置还包括：
阈值决定装置，配置成根据包括所述块的帧是否已经经受分块滤波而决定所述预定阈值。
15.根据权利要求14所述的图像处理装置，其中在所述帧已经经受分块滤波的情况下，所述阈值决定装置将所述预定阈值决定成是比这个帧未经受分块滤波的情况下更低的值。
16.根据权利要求1所述的图像处理装置，还包括：
滤波系数计算装置，配置成使用被类别分类到所述相同类别的所述预定块，计算所述滤波系数。
17.根据权利要求16所述的图像处理装置，还包括：
传输装置，配置成传输所述图像的比特流和所述滤波系数计算装置计算的滤波系数。
18.根据权利要求1所述的图像处理装置，还包括：
接收装置，配置成接收所述图像的比特流和所述滤波系数。
19.（修改）包括分类装置和滤波处理装置的图像处理装置的图像处理方法，其中
所述分类装置对于每个预定块，使用所述预定块的边缘信息作为构成所述预定块的象素值的基带信息，把图像类别分类到平滑区域类别和边缘或纹理类别，以及
所述滤波处理装置使用滤波系数，对于经受所述分类装置的类别分类的预定块进行滤波处理，所述滤波系数使用被类别分类到相同类别的所述预定块而计算。

Claims (19)

1.一种图像处理装置，包括：
分类装置，配置成对于每个预定块，使用构成所述预定块的象素值的基带信息，把图像类别分类到平滑区域类别和边缘或纹理类别；和
滤波处理装置，配置成使用滤波系数，对于经受所述分类装置的类别分类的所述预定块进行滤波处理，所述滤波系数使用被类别分类到相同类别的所述预定块而计算。
2.根据权利要求1所述的图像处理装置，其中所述分类装置对于所述每个预定块，使用所述预定块的边缘信息作为所述基带信息，把所述图像类别分类到所述平滑区域类别和所述边缘或纹理类别。
3.根据权利要求2所述的图像处理装置，其中所述预定块的所述边缘信息是指示边缘强度的信息。
4.根据权利要求3所述的图像处理装置，其中所述预定块的所述边缘强度使用Sobel算子而计算。
5.根据权利要求3所述的图像处理装置，其中在所述预定块的所述边缘强度超过预定阈值的情况下，所述分类装置把所述预定块类别分类到所述边缘或纹理类别，在所述预定块的边缘强度不超过预定阈值的情况下，把所述图像类别分类到所述平滑区域类别。
6.根据权利要求5所述的图像处理装置，其中所述预定块是块或组成所述块的块；
所述图像处理装置还包括：
阈值决定装置，配置成根据所述块的量化参数来决定所述预定阈值。
7.根据权利要求6所述的图像处理装置，其中所述阈值决定装置对于更高的量化参数的值，将所述预定阈值决定成较低的值。
8.根据权利要求5所述的图像处理装置，其中所述预定块是块或组成所述块的块；
所述图像处理装置还包括：
阈值决定装置，配置成根据包括所述块的帧是否已经经受分块滤波而决定所述预定阈值。
9.根据权利要求8所述的图像处理装置，其中在包括所述块的所述帧已经经受分块滤波的情况下，所述阈值决定装置将所述预定阈值决定成是比这个帧未经受分块滤波的情况下更低的值。
10.根据权利要求1所述的图像处理装置，其中所述分类装置对于所述每个预定块，使用所述预定块的象素分散值作为所述基带信息，把所述图像类别分类到所述平滑区域类别和所述边缘或纹理类别。
11.根据权利要求10所述的图像处理装置，其中在所述预定块的象素分散值超过预定阈值的情况下，所述分类装置把所述预定块类别分类到所述边缘或纹理类别，并且在所述预定块的象素分散值不超过预定阈值的情况下，分类到所述平滑区域类别。
12.根据权利要求11所述的图像处理装置，其中所述预定块是块或组成所述块的块；
所述图像处理装置还包括：
阈值决定装置，配置成根据所述块的量化参数决定所述预定阈值。
13.根据权利要求12所述的图像处理装置，其中所述阈值决定装置对于更高的量化参数的值，将所述预定阈值决定成较低的值。
14.根据权利要求11所述的图像处理装置，其中所述预定块是块或组成所述块的块；
所述图像处理装置还包括：
阈值决定装置，配置成根据包括所述块的帧是否已经经受分块滤波而决定所述预定阈值。
15.根据权利要求14所述的图像处理装置，其中在所述帧已经经受分块滤波的情况下，所述阈值决定装置将所述预定阈值决定成是比这个帧未经受分块滤波的情况下更低的值。
16.根据权利要求1所述的图像处理装置，还包括：
滤波系数计算装置，配置成使用被类别分类到所述相同类别的所述预定块，计算所述滤波系数。
17.根据权利要求16所述的图像处理装置，还包括：
传输装置，配置成传输所述图像的比特流和所述滤波系数计算装置计算的滤波系数。
18.根据权利要求1所述的图像处理装置，还包括：
接收装置，配置成接收所述图像的比特流和所述滤波系数。
19.包括分类装置和滤波处理装置的图像处理装置的图像处理方法，其中
所述分类装置对于每个预定块，使用构成所述预定块的象素值的基带信息，把图像类别分类到平滑区域类别和边缘或纹理类别，以及
所述滤波处理装置使用滤波系数，对于经受所述分类装置的类别分类的所述预定块进行滤波处理，这些滤波系数使用被类别分类到相同类别的所述预定块而计算。
CN2011800230690A 2010-04-09 2011-03-31 图像处理装置和方法 Pending CN102884790A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010-090718 2010-04-09
JP2010090718A JP5464435B2 (ja) 2010-04-09 2010-04-09 画像復号装置および方法
PCT/JP2011/058276 WO2011125867A1 (ja) 2010-04-09 2011-03-31 画像処理装置および方法

Publications (1)

Publication Number Publication Date
CN102884790A true CN102884790A (zh) 2013-01-16

Family

ID=44762805

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800230690A Pending CN102884790A (zh) 2010-04-09 2011-03-31 图像处理装置和方法

Country Status (4)

Country Link
US (1) US8923642B2 (zh)
JP (1) JP5464435B2 (zh)
CN (1) CN102884790A (zh)
WO (1) WO2011125867A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103414900A (zh) * 2013-08-24 2013-11-27 渭南高新区金石为开咨询有限公司 配置视频编码质量和分级传输视频数据的方法
CN105453565A (zh) * 2013-06-07 2016-03-30 凯迪迪爱通信技术有限公司 视频编码装置、视频解码装置、视频系统、视频编码方法、视频解码方法以及程序
CN111292252A (zh) * 2018-12-06 2020-06-16 三星电子株式会社 图像信号处理器、其操作方法和电子设备

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8625914B2 (en) * 2013-02-04 2014-01-07 Sony Corporation Image processing system, image processing method and program
CN110430428B (zh) * 2010-06-17 2022-02-11 夏普株式会社 解码装置、编码装置、解码方法以及编码方法
US9451258B2 (en) 2012-04-03 2016-09-20 Qualcomm Incorporated Chroma slice-level QP offset and deblocking
JP6065613B2 (ja) * 2013-01-29 2017-01-25 富士通株式会社 動画像符号化装置
US10152820B2 (en) * 2013-03-15 2018-12-11 Intel Corporation Texture address mode discarding filter taps
CN104240228B (zh) 2013-06-24 2017-10-24 阿里巴巴集团控股有限公司 一种应用于网站的特定图片的检测方法及装置
US10057601B2 (en) * 2015-06-22 2018-08-21 Integrated Device Technology, Inc. Methods and apparatuses for filtering of ringing artifacts post decoding
US11064195B2 (en) 2016-02-15 2021-07-13 Qualcomm Incorporated Merging filters for multiple classes of blocks for video coding
CN106658004B (zh) * 2016-11-24 2019-05-17 浙江大学 一种基于图像平坦区域特征的压缩方法和装置
US10317256B2 (en) * 2017-04-14 2019-06-11 Palo Alto Research Center Incorporated Monitoring transportation systems
US10778974B2 (en) 2017-07-05 2020-09-15 Qualcomm Incorporated Adaptive loop filter with enhanced classification methods
GB2574423A (en) * 2018-06-05 2019-12-11 Canon Kk Video coding and decoding
CN110996127B (zh) * 2019-11-25 2022-12-09 西安万像电子科技有限公司 图像编解码方法、设备及系统
US20220182618A1 (en) * 2020-12-08 2022-06-09 Electronics And Telecommunications Research Institute Method, apparatus and storage medium for image encoding/decoding using filtering

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5550640A (en) * 1992-02-19 1996-08-27 Hitachi, Ltd. Digital video signal recording and reproducing apparatus and method for setting a number of compression blocks according to different operational modes
JP2006032999A (ja) * 2004-07-12 2006-02-02 Sharp Corp 画像復号装置及び画像復号方法
US20060268990A1 (en) * 2005-05-25 2006-11-30 Microsoft Corporation Adaptive video encoding using a perceptual model
CN101563926A (zh) * 2006-12-18 2009-10-21 皇家飞利浦电子股份有限公司 图像压缩与解压缩
US20090262800A1 (en) * 2008-04-18 2009-10-22 Sony Corporation, A Japanese Corporation Block based codec friendly edge detection and transform selection

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8681867B2 (en) * 2005-10-18 2014-03-25 Qualcomm Incorporated Selective deblock filtering techniques for video coding based on motion compensation resulting in a coded block pattern value
EP1944974A1 (en) * 2007-01-09 2008-07-16 Matsushita Electric Industrial Co., Ltd. Position dependent post-filter hints
US20080267297A1 (en) 2007-04-26 2008-10-30 Polycom, Inc. De-blocking filter arrangements
EP2252063A4 (en) * 2008-03-07 2012-09-12 Toshiba Kk DEVICE FOR DYNAMIC IMAGE CODING / DECODING
EP2161936A1 (en) * 2008-09-04 2010-03-10 Panasonic Corporation Locally adaptive filters for video coding controlled by local correlation data
JP2010081368A (ja) * 2008-09-26 2010-04-08 Toshiba Corp 画像処理装置、動画像復号装置、動画像符号化装置、画像処理方法、動画像復号方法、及び、動画像符号化方法
US20110081087A1 (en) * 2009-10-02 2011-04-07 Moore Darnell J Fast Hysteresis Thresholding in Canny Edge Detection
US20110200238A1 (en) * 2010-02-16 2011-08-18 Texas Instruments Incorporated Method and system for determining skinline in digital mammogram images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5550640A (en) * 1992-02-19 1996-08-27 Hitachi, Ltd. Digital video signal recording and reproducing apparatus and method for setting a number of compression blocks according to different operational modes
JP2006032999A (ja) * 2004-07-12 2006-02-02 Sharp Corp 画像復号装置及び画像復号方法
US20060268990A1 (en) * 2005-05-25 2006-11-30 Microsoft Corporation Adaptive video encoding using a perceptual model
CN101563926A (zh) * 2006-12-18 2009-10-21 皇家飞利浦电子股份有限公司 图像压缩与解压缩
US20090262800A1 (en) * 2008-04-18 2009-10-22 Sony Corporation, A Japanese Corporation Block based codec friendly edge detection and transform selection

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105453565A (zh) * 2013-06-07 2016-03-30 凯迪迪爱通信技术有限公司 视频编码装置、视频解码装置、视频系统、视频编码方法、视频解码方法以及程序
CN105453565B (zh) * 2013-06-07 2018-09-28 凯迪迪爱通信技术有限公司 视频编码装置、视频解码装置、视频系统、视频编码方法、视频解码方法
CN103414900A (zh) * 2013-08-24 2013-11-27 渭南高新区金石为开咨询有限公司 配置视频编码质量和分级传输视频数据的方法
CN103414900B (zh) * 2013-08-24 2016-06-29 倪效宽 配置视频编码质量和分级传输视频数据的方法
CN111292252A (zh) * 2018-12-06 2020-06-16 三星电子株式会社 图像信号处理器、其操作方法和电子设备

Also Published As

Publication number Publication date
US20130022281A1 (en) 2013-01-24
US8923642B2 (en) 2014-12-30
WO2011125867A1 (ja) 2011-10-13
JP2011223338A (ja) 2011-11-04
JP5464435B2 (ja) 2014-04-09

Similar Documents

Publication Publication Date Title
US11328452B2 (en) Image processing device and method
CN102884790A (zh) 图像处理装置和方法
CN103563374B (zh) 图像处理设备及方法
US11051016B2 (en) Image processing device and method
CN102934430A (zh) 图像处理装置和方法
CN101990099A (zh) 图像处理设备和方法
CN102484714A (zh) 图像处理装置和方法
JP5556996B2 (ja) 画像処理装置および方法
CN102714718A (zh) 图像处理装置、方法和程序
CN103503453A (zh) 编码装置和编码方法、以及解码装置和解码方法
CN102884791A (zh) 图像处理设备和方法
CN103891284A (zh) 图像处理装置和方法
CN102696227A (zh) 图像处理设备和方法
CN102342107A (zh) 图像处理设备和方法
CN102934439A (zh) 图像处理设备和方法
CN103891286A (zh) 图像处理装置和方法
CN102986226A (zh) 图像处理装置和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130116