CN104125468A - 图像处理装置和方法 - Google Patents

图像处理装置和方法 Download PDF

Info

Publication number
CN104125468A
CN104125468A CN201410254234.9A CN201410254234A CN104125468A CN 104125468 A CN104125468 A CN 104125468A CN 201410254234 A CN201410254234 A CN 201410254234A CN 104125468 A CN104125468 A CN 104125468A
Authority
CN
China
Prior art keywords
unit
prediction
filtering
neighborhood pixels
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410254234.9A
Other languages
English (en)
Other versions
CN104125468B (zh
Inventor
佐藤数史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=43410941&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN104125468(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN104125468A publication Critical patent/CN104125468A/zh
Application granted granted Critical
Publication of CN104125468B publication Critical patent/CN104125468B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/004—Predictors, e.g. intraframe, interframe coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Picture Signal Circuits (AREA)

Abstract

本发明涉及能够根据图像和比特率执行噪声去除的图像处理装置和方法。低通滤波设置单元93从存储于内置的滤波系数存储器94中的滤波系数设置对应于帧内预测模式信息和量化参数的滤波系数。邻近图像设置单元81使用由低通滤波设置单元93设置的滤波系数来对来自帧存储器72的当前块的邻近像素值进行滤波处理。预测图像产生单元82使用来自邻近图像设置单元81的经过滤波处理的邻近像素值执行帧内预测，并且产生预测图像。本发明可以适用于用例如H.264/AVC格式编码的图像编码装置。

Description

图像处理装置和方法
本申请是同一申请人的申请日为2010年6月23日的、申请号为201080028028.6(PCT/JP2010/060605)、发明名称为“图像处理装置和方法”的中国发明专利申请的分案申请。
技术领域
本发明涉及一种图像处理装置和方法，具体地涉及一种能够提高预测效率的图像处理装置和方法。
背景技术
近年来，广泛地使用通过下述方式对图像进行压缩编码的装置：利用用于将图像信息作为数字信号处理的编码格式，并且，利用图像信息特有的冗余性(redundancy)，其中，此时以发送和存储高效信息作为目标，通过诸如离散余弦变换等的正交变换和运动补偿来压缩图像。该编码方法的例子包括MPEG(运动图片专家组)等。
特别地，MPEG2(ISO/IEC13818-2)被定义为通用图像编码格式，并且，是包括隔行扫描图像和顺序扫描图像二者、以及标准分辨率图像和高清晰图像的标准。例如，MPEG2现在已经被用于专业用途和消费者用途的广范围的应用广泛地利用。例如，通过利用MPEG2压缩格式，在具有720×480个像素的标准分辨率的隔行扫描图像的情况中，分配4至8Mbps的代码量(比特率)。此外，例如，通过利用MPEG2压缩格式，在具有1920×1088个像素的高分辨率的隔行扫描图像的情况中，分配18至22Mbps的代码量(比特率)。因此，可以实现高压缩率和优异的图像质量。
对于MPEG2，主要以适合广播用途的高图像质量作为目标，但是，不处理比MPEG1的代码量低的代码量(比特率)，即，具有较高的压缩率的编码格式。随着个人数字助理的普及，已经期望从现在开始将要增加对这种编码格式的需求，并且，响应于此，已经执行了MPEG4编码格式的标准化。关于图像编码格式，其规范在1998年12月被确认为国际标准ISO/IEC14496-2。
此外，近年来，已经通过原本预计用于电视会议用途的图像编码进行了用作H.26L(ITU-T Q6/16VCEG)的标准的标准化。对于H.26L，已经知道，与诸如MPEG2或MPEG4的传统编码格式相比，尽管对于其编码和解码要求更大的计算量，但是实现了更高的编码效率。此外，当前，作为MPEG4的活动的一部分，为了实现更高的编码效率，已经执行了也利用不被H.26L支持但以该H.26L作为基础的功能的标准化，作为增强压缩视频编码的联合模型。作为标准化的时间表(schedule)，H.264和MPEG-4Part10(高级视频编码，下文中被称为H.264/AVC)在2003年3月成为了国际标准。
此外，作为其扩展，在2005年2月已经完成了包括诸如RGB、4:2:2或4:4:4的业务使用所需的编码工具、由MPEG-2规定的8x8DCT和量化矩阵的FRExt(保真度范围扩展，Fidelity Range Extension)的标准化。因此，H.264/AVC已经成为甚至能够合适地表达电影中包含的影片噪声的编码格式，并且，已经被用于诸如蓝光盘(Blu-RayDisc，注册商标)等的广泛的应用。
但是，现今，已经增加了对于进一步的高压缩编码的需求，例如，预计压缩具有约4000×2000个像素的图像，即，高视觉图像的四倍。或者，已经增加了对于进一步的高压缩编码的需求，例如，预计在如互联网一样的具有受限的传输容量的环境内发布高视觉图像。因此，对于在ITU-T的控制下的上述VCEG(＝视觉编码专家组)，已经连续地执行了与提高编码效率有关的研究。
现在，可以给出的为什么H.264/AVC格式与传统的MPEG2格式等相比实现了高的编码效率的一种因素是利用了帧内预测方法(intra prediction method)。
对于帧内预测方法，关于亮度信号，确定了四种16×16像素宏块单位以及九种4×4像素和8×8像素块单位的帧内预测模式。关于颜色差信号，确定了四种8×8像素块单位的帧内预测模式。用于颜色差信号的帧内预测模式可以与用于亮度信号的帧内预测模式独立地被设置。
关于如何表现在这种帧内预测之后的残差(residual)，针对每一种帧内预测模式存在特定的图案(pattern)。
作为消除这种冗余性并进一步提高编码效率的方法，非专利文献1提出了下面的方法。
也就是说，预先使用离线处理的训练信号通过正常的H.264/AVC格式来执行帧内图像编码处理(intra image encoding processing)，关于每一块，针对每一种帧内预测模式执行诸如Karhunen-Loéve变换等的正交变换，并且，计算最佳的变换系数。
然后，在实际的编码处理中，使用下述处理：使用通过前述的Karhunen-Loéve变换针对每一种模式优化的正交变换系数，而不是由H.264/AVC格式规定的正交变换。
此外，非专利文献2提出了将前述的帧内预测和帧间预测(interprediction)组合的方法。
也就是说，对于非专利文献2，关于在帧间预测中获得的运动向量信息，不仅对于当前块，而且对于当前块周围的邻近像素值，产生了差分信息。在以这样方式产生的关于当前块的差分信息和关于邻近像素的差分信息之间执行帧内预测，产生二次差分信息。然后，对产生的二次差分信息进行正交变换和量化，并且将其在下游与压缩图像一起输出。
因此，进一步提高了编码效率。
此外，如上所述，宏块尺寸为具有H.264/AVC格式的16×16个像素。但是，对于将通过下一代编码方法处理的诸如UHD(超高清晰度：4000×2000个像素)的大图像帧，16×16个像素的宏块尺寸不是最佳的。
因此，例如，非专利文献3等提出了将宏块尺寸放大为32×32个像素的尺寸。
引文列表
非专利文献
非专利文献1:"Improved Intra Coding",VCEG-AF15,ITU-Telecommunications Standardization Sector STUDY GROUPQuestion6Video coding Experts Group(VCEG),20-21April2007
非专利文献2:"Second Order Prediction(SOP)in P Slice",Sijia Chen,Jinpeng Wang,Shangwen Li and,Lu Yu,VCEG-AD09,ITU-Telecommunications Standardization Sector STUDY GROUPQuestion6Video coding Experts Group(VCEG),16-18July2008
非专利文献3:"Video Coding Using Extended Block Sizes",VCEG-AD09,ITU-Telecommunications Standardization SectorSTUDY GROUP Question16-Contribution123,Jan2009
发明内容
技术问题
现在，对于H.264/AVC格式，在以上述的8×8个像素的块为增量执行帧内预测之前，对邻近像素的像素值执行低通滤波处理。因此，去除了邻近像素中包含的噪声，并且，提高了相关性，从而可以实现更高的编码效率。
但是，不管所包含的噪声的程度随着输入图像、量化参数值、帧内预测模式等如何不同，都已经用H.264/AVC格式固定了用于去除噪声的低通滤波器。也就是说，根据输入图像、量化参数值、帧内预测模式等，该低通滤波器仍然不是最佳的。
此外，对于H.264/AVC格式，仅仅以8×8个像素的块为增量用帧内预测模式对上述的邻近像素的像素值执行了噪声去除，并且，对于其它模式，这仍然不适用。
鉴于该情形而作出了本发明，并且，本发明实现了与图像和比特率相应的噪声去除，从而提高了预测效率。
解决问题的方案
根据本发明的第一方面的图像处理装置包括：解码部件，被配置为对要作为解码处理的对象的当前块的图像进行解码；滤波设置部件，被配置为根据编码参数设置与所述当前块相应的、用于所述当前块的帧内预测的、且用于要使所述当前块的邻近像素经过的滤波处理的系数；以及帧内预测部件，被配置为：使用由所述滤波设置部件设置的所述系数，使所述邻近像素经过所述滤波处理，并且对所述当前块执行帧内预测。
编码参数可以包括当前块的帧内预测的模式或者当前块的量化参数；解码部件可以对所述当前块的帧内预测的模式或者所述当前块的量化参数进行解码；并且所述滤波设置部件可以根据由所述解码部件解码的帧内预测的模式或者由所述解码部件解码的量化参数设置所述系数。
图像处理装置还可以包括：滤波系数存储部件，被配置为存储所述系数；其中，所述系数被计算以用学习图像获得作为编码处理的对象的学习块与预测图像之间的最小残差，并且，所述系数被存储在所述滤波系数存储部件中，所述预测图像是通过对所述学习块执行与所述学习块的帧内预测的模式或者所述学习块的量化参数相对应的帧内预测而获得的；并且所述滤波设置部件将存储于所述滤波系数存储部件中的所述系数当中的、与所述当前块的帧内预测的模式或者所述当前块的量化参数相对应的系数设置作为所述系数。
所述滤波系数存储部件可以根据处理器的寄存器长度将所述系数保持为n(其中，n是整数)比特值。
所述解码部件可以对所述系数进行解码，在编码侧处使用在经过所述滤波处理之前的所述邻近像素计算了该系数，使得关于通过对于所述当前块执行的帧内预测而获得的预测图像的残差是最小的，并且，与所述当前块和所述当前块的帧内预测的模式或者所述当前块的量化参数相对应地设置了该系数；并且所述滤波设置部件可以将由所述解码部件解码的所述系数当中的、与所述当前块的帧内预测的模式或者所述当前块的量化参数相对应的系数设置作为所述系数。
所述系数可以由滤波系数和偏移值构成。
所述滤波系数可以由三个抽头构成。
所述滤波系数可以具有以对应于0相位的系数为中心的对称性。
所述解码部件可以对所述当前块的帧内预测的模式进行解码；并且
所述滤波设置部件可以将帧内预测的模式中的垂直模式或水平模式取为第一类别，并且可以将其它模式取为第二类别，在所述当前块的帧内预测的模式属于所述第一类别的情况中，所述滤波设置部件可以设置与所述第一类别相对应的所述系数，在已经被解码的所述当前块的帧内预测的模式属于所述第二类别的情况中，所述滤波设置部件可以设置与所述第二类别相对应的所述系数。
图像处理装置还可以包括：接收部件，被配置为接收指示对于所述邻近像素是否执行所述滤波处理的标志信息；其中，基于由所述接收部件接收到的标志信息，所述滤波设置部件设置对于所述邻近像素是否执行所述滤波处理。
所述接收部件可以以宏块为增量接收所述标志信息；并且基于由所述接收部件接收到的标志信息，所述滤波设置部件可以设置对于所述邻近像素是否执行所述滤波处理。
所述接收部件可以以块为增量接收所述标志信息；并且基于由所述接收部件接收到的标志信息，所述滤波设置部件可以设置是否以块为增量对所述邻近像素执行所述滤波处理。
根据本发明的第一方面的图像处理方法包括下述步骤：图像处理装置执行对要作为解码处理的对象的当前块的图像进行解码；根据编码参数设置与所述当前块相应的用于要对所述当前块的邻近像素进行的滤波处理的系数，所述邻近像素用于所述当前块的帧内预测；以及使用已经设置的所述系数，对所述邻近像素进行所述滤波处理，并且对所述当前块执行帧内预测。
根据本发明的第二方面的图像处理装置包括：滤波设置部件，被配置为根据编码参数设置用于要对要作为解码处理的对象的当前块的邻近像素进行的滤波处理的系数，所述邻近像素用于所述当前块的帧内预测；帧内预测部件，被配置为：使用由所述滤波设置部件设置的所述系数，使所述邻近像素经过所述滤波处理，并且对所述当前块执行帧内预测；以及编码部件，被配置为对所述当前块的图像进行编码。
编码参数可以包括当前块的帧内预测的模式或者当前块的量化参数；并且所述滤波设置部件可以根据所述当前块的帧内预测的模式或者所述当前块的量化参数设置所述系数；并且编码部件可以对所述当前块的帧内预测的相应模式或者所述当前块的量化参数进行编码。
图像处理装置还可以包括：滤波系数存储部件，被配置为存储所述系数；其中，所述系数被计算以用学习图像获得作为编码处理的对象的学习块与预测图像之间的最小残差，并且，所述系数被存储在所述滤波系数存储部件中，所述预测图像是通过对所述学习块执行与所述学习块的帧内预测的模式或者所述学习块的量化参数相对应的帧内预测而获得的；并且所述滤波设置部件将存储于所述滤波系数存储部件中的所述系数当中的、与所述当前块的帧内预测的模式或者所述当前块的量化参数相对应的系数设置作为所述系数。
图像处理装置还可以包括：滤波系数计算部件，被配置为计算所述系数，使得所述当前块和预测图像之间的残差最小，所述预测图像是通过根据所述当前块的帧内预测的模式或者所述当前块的量化参数，使用在进行所述滤波处理之前的所述邻近像素对所述学习块执行帧内预测而获得的；所述滤波设置部件将由所述滤波系数计算部件计算出的所述系数当中的、与所述当前块的帧内预测的模式或者所述当前块的量化参数相对应的系数设置作为所述系数。
所述系数可以由滤波系数和偏移值构成。
所述滤波设置部件可以设置是否对邻近像素执行所述滤波处理；并且所述编码部件可以对指示是否执行由所述滤波设置部件设置的所述滤波处理的标志信息进行编码。
根据本发明的第二方面的图像处理方法包括下述步骤：图像处理装置执行根据编码参数设置用于要对要作为解码处理的对象的当前块的邻近像素进行的滤波处理的系数，所述邻近像素用于所述当前块的帧内预测；使用已经设置的所述系数，对所述邻近像素进行所述滤波处理，并且对所述当前块执行帧内预测；以及对所述当前块的图像进行编码。
根据本发明的第一方面，对要作为解码处理的对象的当前块的图像进行解码，根据编码参数设置系数，该系数用于要对当前块的邻近像素进行的滤波处理，其中，所述邻近像素用于当前块的帧内预测。然后，使用已经设置的系数对邻近像素进行滤波处理，并且，对当前块执行帧内预测。
根据本发明的第二方面，根据编码参数设置用于要对要作为解码处理的对象的当前块的邻近像素进行的滤波处理的系数，所述邻近像素用于当前块的帧内预测，使用已经设置的系数对邻近像素进行滤波处理，对当前块执行帧内预测，并且，对当前块的图像进行编码。
请注意，上述的图像处理装置可以是独立的装置，或者，可以是构成一个图像编码装置或图像解码装置的内部块。
本发明的有益效果
根据第一发明，可以对图像进行解码。此外，根据第二发明，可以根据图像和比特率执行噪声去除。
根据第二发明，可以对图像进行编码。此外，根据第一发明，可以根据图像和比特率执行噪声去除。
附图说明
图1是图示应用了本发明的图像编码装置的实施例的配置的框图。
图2是用于描述在16×16像素帧内预测模式的情况中的处理序列的示图。
图3是图示亮度信号的4×4像素帧内预测模式的种类的示图。
图4是图示亮度信号的4×4像素帧内预测模式的种类的示图。
图5是用于描述4×4像素帧内预测的方向的示图。
图6是用于描述4×4像素帧内预测的示图。
图7是用于描述亮度信号的4×4像素帧内预测模式的编码的示图。
图8是图示亮度信号的8×8像素帧内预测模式的种类的示图。
图9是图示亮度信号的8×8像素帧内预测模式的种类的示图。
图10是图示亮度信号的16×16像素帧内预测模式的种类的示图。
图11是图示亮度信号的16×16像素帧内预测模式的种类的示图。
图12是用于描述16×16像素帧内预测的示图。
图13是图示颜色差信号的帧内预测模式的种类的示图。
图14是图示图1中的邻近像素内插滤波切换单元和帧内预测单元的配置例子的框图。
图15是用于描述滤波系数的计算的示图。
图16是用于描述图1中的图像编码装置的编码处理的流程图。
图17是用于描述图16中的步骤S21中的预测处理的流程图。
图18是用于描述图17中的步骤S31中的帧内预测处理的流程图。
图19是用于描述图17中的步骤S32中的帧内运动预测处理的流程图。
图20是图示图1中的邻近像素内插滤波切换单元和帧内预测单元的另一配置例子的框图。
图21是用于描述图17中的步骤S31中的帧内预测处理的另一例子的流程图。
图22是图示应用了本发明的图像解码装置的实施例的配置的框图。
图23是图示图22中的邻近像素内插滤波切换单元和帧内预测单元的配置例子的框图。
图24是用于描述图22中的图像解码装置的解码处理的流程图。
图25是用于描述图24中的步骤S138中的预测处理的流程图。
图26是图示图22中的邻近像素内插滤波切换单元和帧内预测单元的另一配置例子的框图。
图27是用于描述图24中的步骤S138中的预测处理的另一例子的流程图。
图28是图示应用了本发明的学习装置的实施例的配置的框图。
图29是图示图28中的邻近像素内插滤波计算单元和帧内预测单元的配置例子的框图。
图30是用于描述图28中的采用学习装置的帧内预测处理的流程图。
图31是图示应用了本发明的图像编码装置的另一实施例的配置的框图。
图32是用于描述二次预测处理的示图。
图33是图示应用了本发明的图像解码装置的另一实施例的配置的框图。
图34是图示应用了本发明的图像编码装置的又一实施例的配置的框图。
图35是图示图34中的帧内预测单元的配置例子的框图。
图36是用于描述图17中的步骤S31中的帧内预测处理的另一例子的流程图。
图37是用于描述图17中的步骤S31中的帧内预测处理的又一例子的流程图。
图38是用于描述图17中的步骤S31中的帧内预测处理的另一例子的流程图。
图39是图示应用了本发明的图像解码装置的又一实施例的配置的框图。
图40是图示图39中的邻近像素内插滤波控制单元和帧内预测单元的配置例子的框图。
图41是用于描述图24中的步骤S138中的预测处理的又一例子的流程图。
图42是图示应用了本发明的图像编码装置的另一实施例的配置的框图。
图43是图示应用了本发明的图像解码装置的另一实施例的配置的框图。
图44是图示扩展块尺寸的例子的示图。
图45是图示计算机的硬件的配置例子的框图。
图46是图示应用了本发明的电视接收器的主要配置例子的框图。
图47是图示应用了本发明的蜂窝电话的主要配置例子的框图。
图48是图示应用了本发明的硬盘记录器的主要配置例子的框图。
图49是图示应用了本发明的照相机的主要配置例子的框图。
具体实施方式
下文中将参照附图描述本发明的实施例。请注意，将按照以下顺序进行描述。
1.第一实施例(邻近像素内插滤波切换：帧内预测的例子)
2.第二实施例(邻近像素内插滤波切换：二次预测的例子)
3.第三实施例(邻近像素内插滤波on/off(开/关)控制：帧内预测的例子)
4.第四实施例(邻近像素内插滤波打开/关闭控制：二次预测的例子)
<1.第一实施例>
[图像编码装置的配置例子]
图1表示用作应用了本发明的图像处理装置的图像编码装置的实施例的配置。
该图像编码装置51使用例如H.264和MPEG-4Part10(高级视频编码)(下文中被描述为H.264/AVC)格式来对图像进行压缩编码。
对于图1中的例子，图像编码装置51由A/D转换单元61、画面重新排列缓冲器62、计算单元63、正交变换单元64、量化单元65、无损耗编码单元66、存储缓冲器67、逆量化单元68、逆正交变换单元69、计算单元70、去块滤波器71、帧存储器72、开关73、帧内预测单元74、邻近像素内插滤波切换单元75、运动预测/补偿单元76、预测图像选择单元77和速率控制单元78构成。
A/D转换单元61对输入图像进行模拟数字转换，并且将该输入图像输出到画面重新排列缓冲器62以便存储。画面重新排列缓冲器62根据GOP(图片组)将用于显示的按照存储的顺序的帧的图像重新排列为用于编码的帧的顺序。
计算单元63从由画面重新排列缓冲器62读出的图像当中减去由预测图像选择单元77选择的来自帧内预测单元74的预测图像或者来自运动预测/补偿单元76的预测图像，并且将其差分信息输出到正交变换单元64。正交变换单元64对来自计算单元63的差分信息进行诸如离散余弦变换、Karhunen-Loéve变换等之类的正交变换，并且输出其变换系数。量化单元65对正交变换单元64输出的变换系数进行量化。
作为量化单元65的输出的量化变换系数被输入到无损耗编码单元66，在无损耗编码单元66中对它进行诸如可变长度编码、算术编码等之类的无损耗编码和压缩。
无损耗编码单元66从帧内预测单元74获得指示帧内预测等的信息，并且从运动预测/补偿单元76获取指示帧间预测模式等的信息。请注意，在下文中，指示帧内预测的信息将被称为帧内预测模式信息。同样地，在下文中，指示帧间预测的信息将被称为帧间预测模式信息。
无损耗编码单元66对量化的变换系数进行编码，还对指示帧内预测的信息、指示帧间预测模式的信息、量化参数等进行编码，并且取这些信息作为压缩图像中的头信息的一部分。无损耗编码单元66将编码数据供应给存储缓冲器67以便存储。
例如，对于无损耗编码单元66，执行诸如可变长度编码、算术编码等之类的无损耗编码处理。可变长度编码的例子包括由H.264/AVC格式确定的CAVLC(上下文自适应可变长度编码)。算术编码的例子包括CABAC(上下文自适应二进制算术编码)。
存储缓冲器67将从无损耗编码单元66供应的数据作为由H.264/AVC格式编码的压缩图像输出到在该图中未示出的下游的存储装置或传送路径等。
此外，从量化单元65输出的量化变换系数还被输入到逆量化单元68，进行了逆量化，然后，在逆正交变换单元69处进一步进行了逆正交变换。由计算单元70将进行了逆正交变换的输出与从预测图像选择单元77供应的预测图像相加，并且将其改变为局部解码的图像。去块滤波器71从解码图像当中去除块失真(block distortion)，然后将其供应到帧存储器72，以便存储。在去块滤波器71执行去块滤波处理之前的图像也被供应给帧存储器72，以便存储。
开关73将存储于帧存储器72中的参考图像输出到运动预测/补偿单元76或帧内预测单元74。
例如，对于该图像编码装置51，来自画面重新排列缓冲器62的I图片、B图片和P图片作为要进行帧内预测(也被称为帧内处理)的图像被供应给帧内预测单元74。此外，从画面重新排列缓冲器62读出的B图片和P图片作为要进行帧间预测(也被称为帧间处理)的图像被供应给运动预测/补偿单元76。
帧内预测单元74基于从画面重新排列缓冲器62读出的要进行帧内预测的图像和从帧存储器72供应的参考图像执行所有的候选帧内预测模式的帧内预测处理，以产生预测图像。
在帧内预测处理之前，帧内预测单元74对邻近像素执行滤波处理，所述邻近像素是用于每一个当前块的帧内预测且以预定的位置关系与当前块邻近的像素。根据从帧内预测单元74供应的帧内预测模式等，该滤波处理使用由邻近像素内插滤波切换单元75设置的滤波系数。也就是说，对于所有的候选帧内预测模式的帧内预测处理，帧内预测单元74使用进行了采用由邻近像素内插滤波切换单元75设置的滤波系数的滤波处理的邻近像素。
帧内预测单元74计算关于产生了预测图像的帧内预测模式的成本函数值(cost function value)，并且，选择其中计算出的成本函数值给出了最小值的帧内预测模式作为最佳帧内预测模式。帧内预测单元74将在最佳帧内预测模式中产生的预测图像和针对相应的最佳帧内预测模式计算出的成本函数值供应给预测图像选择单元77。
在预测图像选择单元77选择了在最佳帧内预测模式中产生的预测图像的情况中，帧内预测单元74将指示最佳帧内预测模式的信息供应给无损耗编码单元66。在从帧内预测单元74传送了信息的情况中，无损耗编码单元66对该信息进行编码，并且取该信息作为压缩图像中的头信息的一部分。
邻近像素内插滤波切换单元75存储通过使用训练图像在稍后描述的图28中的学习装置251处执行学习而获得的、与量化参数和帧内预测模式相对应的滤波系数。
向邻近像素内插滤波切换单元75供应来自速率控制单元78的量化参数和来自帧内预测单元74的帧内预测模式信息。邻近像素内插滤波切换单元75设置与来自速率控制单元78的量化参数和来自帧内预测单元74的帧内预测模式相对应的滤波系数。邻近像素内插滤波切换单元75将设置的滤波系数供应给帧内预测单元74。
请注意，邻近像素内插滤波切换单元75可以执行与量化系数和帧内预测模式中的仅仅一个而不是两个相对应的滤波系数的学习和存储。
此外，虽然邻近像素内插滤波切换单元75存储预先离线学习的滤波系数，但是可以代替地在线计算滤波系数。在这种情况下，由邻近像素内插滤波切换单元75设置的滤波系数被输出到无损耗编码单元66以发送给解码侧，如点线箭头所示。
运动预测/补偿单元76针对所有的候选帧间预测模式执行运动预测和补偿处理。具体地，经由开关73向运动预测/补偿单元76供应从画面重新排列缓冲器62读出的要进行帧间处理的图像和来自帧存储器72的参考图像。运动预测/补偿单元76基于要进行帧间处理的图像和参考图像检测所有的候选帧间预测模式的运动向量，基于运动向量对参考图像进行补偿处理，并且产生预测图像。
此外，运动预测/补偿单元76针对所有的候选帧间预测模式计算成本函数值。运动预测/补偿单元76确定计算出的成本函数值当中的提供最小值的预测模式作为最佳帧间预测模式。
运动预测/补偿单元76将在最佳帧间预测模式中产生的预测图像及其成本函数值供应给预测图像选择单元77。在预测图像选择单元77选择了在最佳帧间预测模式中产生的预测图像的情况中，运动预测/补偿单元76将指示最佳帧间预测模式的信息(帧间预测模式信息)输出给无损耗编码单元66。
请注意，运动向量信息、标志信息、参考帧信息等根据需要被输出到无损耗编码单元66。无损耗编码单元66也对来自运动预测/补偿单元76的信息进行诸如可变长度编码、算术编码等的无损耗编码处理，并且将其插入压缩图像的头部中。
预测图像选择单元77基于从帧内预测单元74或运动预测/补偿单元76输出的成本函数值从最佳帧内预测模式和最佳帧间预测模式中确定最佳预测模式。预测图像选择单元77然后选择确定的最佳预测模式中的预测图像，并且将其供应给计算单元63和70。此时，预测图像选择单元77将预测图像的选择信息供应给帧内预测单元74或运动预测/补偿单元76。
速率控制单元78基于存储于存储缓冲器67中的压缩图像用量化参数控制量化单元65的量化操作的速率，以不会导致上溢或下溢。
将用于在量化单元65处的速率控制的量化参数供应给无损耗编码单元66，对该量化参数进行无损耗编码处理，并且将其插入到压缩图像的头部。该量化参数被供应给邻近像素内插滤波切换单元75，并且被用于设置用于要对邻近像素施加的滤波处理的滤波系数。
[根据H.264/AVC格式的帧内预测处理的描述]
首先，将描述由H.264/AVC格式确定的帧内预测模式。
首先，将描述亮度信号的帧内预测模式。对于亮度信号的帧内预测模式，确定帧内4×4预测模式、帧内8×8预测模式和帧内16×16预测模式的三个系统。存在用于确定块单位的模式，针对每一个宏块设置模式。此外，针对每一个宏块，可以与亮度信号独立地给颜色差信号设置帧内预测模式。
此外，在帧内4×4预测模式的情况中，对于每一个4×4像素当前块，可以设置九种预测模式当中的一种预测模式。此外，在帧内8×8预测模式的情况中，对于每一个8×8像素当前块，可以设置九种预测模式当中的一种预测模式。此外，在帧内16×16预测模式的情况中，可以给16×16像素当前宏块设置四种预测模式当中的一种预测模式。
请注意，在下文中，帧内4×4预测模式、帧内8×8预测模式和帧内16×16预测模式在适当的时候也将分别被称为4×4像素帧内预测模式、8×8像素帧内预测模式和16×16像素帧内预测模式。
对于图2中的例子，附于各块的数字1至25表示其块的比特流序列(解码侧的处理序列)。请注意，关于亮度信号，宏块被分割为4×4像素，并且，执行4×4像素的DCT。仅仅在帧内16×16预测模式的情况中，如在1的块中所示，聚集块的DC成分，产生4×4矩阵，并且，对该矩阵还进行正交变换。
另一方面，关于颜色差信号，在宏块被分割为4×4像素并且执行4×4像素的DCT之后，如块16和17中所示，聚集块的DC成分，产生2×2矩阵，并且对该矩阵还进行正交变换。
请注意，关于帧内8×8预测模式，这可以仅仅适用于下述情况：其中，以高画质或更高的画质(high profile or a profile beyond this)对当前宏块进行8×8正交变换。
图3和图4是示出亮度信号的九种4×4像素帧内预测模式(Intra_4×4_pred_mode)的示图。除了示出平均值(DC)预测的模式2以外的八种模式分别对应于图5中的用数字0、1、3至8指示的方向。
将参照图6描述九种intra_4×4_pred_mode。对于图6中的例子，像素a至p表示要进行帧内处理的当前块的像素，像素值A至M表示属于邻近块的像素的像素值。具体地说，像素a至p是从画面重新排列缓冲器62读出的要处理的图像，并且，像素值A至M是要从帧存储器72读出且被参考的解码图像的像素值。
在图3和图4中示出的帧内预测模式的情况中，使用属于邻近块的像素的像素值A至M，如下产生像素a至p的预测像素值。这里，像素值是“可用的”表示该像素值是可用的而没有这样的原因：该像素位于图像帧的边缘中或者尚未被编码。另一方面，像素值是“不可用的”表示由于这样的原因而导致该像素值是不可用的：该像素位于图像帧的边缘中或者尚未被编码。
模式0是垂直预测模式，并且仅仅适用于像素值A至D是“可用的”的情况。在这种情况下，如下述表达式(1)一样产生像素a至p的预测像素值：
像素a、e、i和m的预测像素值＝A
像素b、f、j和n的预测像素值＝B
像素c、g、k和o的预测像素值＝C
像素d、h、l和p的预测像素值＝D。..(1)
模式1是水平预测模式，并且仅仅适用于像素值I至L是“可用的”的情况。在这种情况下，如下述表达式(2)一样产生像素a至p的预测像素值：
像素a、b、c和d的预测像素值＝I
像素e、f、g和h的预测像素值＝J
像素i、j、k和l的预测像素值＝K
像素m、n、o和p的预测像素值＝L。..(2)
模式2是DC预测模式，并且，当像素值A、B、C、D、I、J、K和L全部是“可用的”时，如表达式(3)一样产生预测像素值。
(A+B+C+D+I+J+K+L+4)>>3...(3)
此外，当像素值A、B、C和D全部是“不可用的”时，如表达式(4)一样产生预测像素值。
(I+J+K+L+2)>>2...(4)
此外，当像素值I、J、K和L全部是“不可用的”时，如表达式(5)一样产生预测像素值。
(A+B+C+D+2)>>2...(5)
请注意，当像素值A、B、C、D、I、J、K和L全部是“不可用的”时，128用作预测像素值。
模式3是Diagonal_Down_Left(左下对角)预测模式，并且仅仅适用于像素值A、B、C、D、I、J、K、L和M是“可用的”的情况。在这种情况下，如下述表达式(6)一样产生像素a至p的预测像素值：
像素a的预测像素值＝(A+2B+C+2)>>2
像素b和e的预测像素值＝(B+2C+D+2)>>2
像素c、f和i的预测像素值＝(C+2D+E+2)>>2
像素d、g、j和m的预测像素值＝(D+2E+F+2)>>2
像素h、k和n的预测像素值＝(E+2F+G+2)>>2
像素l和o的预测像素值＝(F+2G+H+2)>>2
像素p的预测像素值＝(G+3H+2)>>2。..(6)
模式4是Diagonal_Down_Right(右下对角)预测模式，并且仅仅适用于像素值A、B、C、D、I、J、K、L和M是“可用的”的情况。在这种情况下，如下述表达式(7)一样产生像素a至p的预测像素值：
像素m的预测像素值＝(J+2K+L+2)>>2
像素i和n的预测像素值＝(I+2J+K+2)>>2
像素e、j和o的预测像素值＝(M+2I+J+2)>>2
像素a、f、k和p的预测像素值＝(A+2M+I+2)>>2
像素b、g和l的预测像素值＝(M+2A+B+2)>>2
像素c和h的预测像素值a＝(A+2B+C+2)>>2
像素d的预测像素值＝(B+2C+D+2)>>2。..(7)
模式5是Diagonal_Vertical_Right(右垂直对角)预测模式，并且仅仅适用于像素值A、B、C、D、I、J、K、L和M是“可用的”的情况。在这种情况下，如下述表达式(8)一样产生像素a至p的预测像素值：
像素a和j的预测像素值＝(M+A+1)>>1
像素b和k的预测像素值＝(A+B+1)>>1
像素c和l的预测像素值＝(B+C+1)>>1
像素d的预测像素值＝(C+D+1)>>1
像素e和n的预测像素值＝(I+2M+A+2)>>2
像素f和o的预测像素值＝(M+2A+B+2)>>2
像素g和p的预测像素值＝(A+2B+C+2)>>2
像素h的预测像素值＝(B+2C+D+2)>>2
像素i的预测像素值＝(M+2I+J+2)>>2
像素m的预测像素值＝(I+2J+K+2)>>2..(8)
模式6是Horizontal_Down(下水平)预测模式，并且仅仅适用于像素值A、B、C、D、I、J、K、L和M是“可用的”的情况。在这种情况下，如下述表达式(9)一样产生像素a至p的预测像素值：
像素a和g的预测像素值＝(M+I+1)>>1
像素b和h的预测像素值＝(I+2M+A+2)>>2
像素c的预测像素值＝(M+2A+B+2)>>2
像素d的预测像素值＝(A+2B+C+2)>>2
像素e和k的预测像素值＝(I+J+1)>>1
像素f和l的预测像素值＝(M+2I+J+2)>>2
像素i和o的预测像素值＝(J+K+1)>>1
像素j和p的预测像素值＝(I+2J+K+2)>>2
像素m的预测像素值＝(K+L+1)>>1
像素n的预测像素值＝(J+2K+L+2)>>2。..(9)
模式7是Vertical_Left(下垂直)预测模式，并且仅仅适用于像素值A、B、C、D、I、J、K、L和M是“可用的”的情况。在这种情况下，如下述表达式(10)一样产生像素a至p的预测像素值：
像素a的预测像素值＝(A+B+1)>>1
像素b和i的预测像素值＝(B+C+1)>>1
像素c和j的预测像素值＝(C+D+1)>>1
像素d和k的预测像素值＝(D+E+1)>>1
像素l的预测像素值＝(E+F+1)>>1
像素e的预测像素值＝(A+2B+C+2)>>2
像素f和m的预测像素值＝(B+2C+D+2)>>2
像素g和n的预测像素值＝(C+2D+E+2)>>2
像素h和o的预测像素值＝(D+2E+F+2)>>2
像素p的预测像素值＝(E+2F+G+2)>>2。..(10)
模式8是Horizontal_Up(上水平)预测模式，并且仅仅适用于像素值A、B、C、D、I、J、K、L和M是“可用的”的情况。在这种情况下，如下述表达式(11)一样产生像素a至p的预测像素值：
像素a的预测像素值＝(I+J+1)>>1
像素b的预测像素值＝(I+2J+K+2)>>2
像素c和e的预测像素值＝(J+K+1)>>1
像素d和f的预测像素值＝(J+2K+L+2)>>2
像素g和i的预测像素值＝(K+L+1)>>1
像素h和j的预测像素值＝(K+3L+2)>>2
像素k、l、m、n、o和p的预测像素值＝L。..(11)
接下来，将参照图7描述亮度信号的4×4像素帧内预测模式(Intra_4×4_pred_mode)的编码格式。对于图7的例子，示出构成4×4像素的用作编码目标的当前块C，并且，示出构成4×4像素的与当前块邻近的块A和块B。
在这种情况下，可以想到，当前块C中的Intra_4×4_pred_mode与块A和块B中的Intra_4×4_pred_mode具有高相关性。使用该相关性按照如下执行编码处理，从而可以实现更高的编码效率。
具体地说，对于图7中的例子，块A和块B中的Intra_4×4_pred_mode分别被取为Intra_4×4_pred_modeA和Intra_4×4_pred_modeB，并且，MostProbableMode被定义为以下表达式(12)：
MostProbableMode＝Min(Intra_4×4_pred_modeA,Intra_4×4_pred_modeB)...(12)。
也就是说，块A和块B中的被分配较小的mode_number的块被取为MostProbableMode。
被称为prev_intra4×4_pred_mode_flag[luma4×4Blkldx]和rem_intra4x4_pred_mode[luma4x4Blkldx]的两个值在比特流内被定义为关于当前块C的参数，并且，通过基于下述表达式(13)中示出的伪码的处理来执行解码处理，从而可以获得关于块C的Intra_4×4_pred_mode和Intra4×4PredMode[luma4×4Blkldx]的值。
接下来，将描述8×8像素帧内预测模式。图8和图9是示出亮度信号的九种8×8像素帧内预测模式(intra_8×8_pred_mode)的示图。
假设说，当前8×8块中的像素值被取为p[x,y](0≤x≤7；0≤y≤7)，并且，如p[-1,-1]、……、p[-1,15]、p[-1,0]、……、[p-1,7]一样表示邻近块的像素值。
关于8×8像素帧内预测模式，在产生预测值之前对邻近像素进行低通滤波。现在，假设说，在低通滤波处理之前的像素值用p[-1,-1]、……、p[-1,15]、p[-1,0]、……、p[-1,7]表示，并且，在该处理之后的像素值用p'[-1,-1]、……、p'[-1,15]、p'[-1,0]、……、p'[-1,7]表示。
首先，在p[-1,-1]是“可用的”的情况中，如下述表达式(14)一样计算p'[0,-1]，在“不可用的”的情况中，如下述表达式(15)一样计算p'[0,-1]。
p'[0,-1]＝(p[-1,-1]+2*p[0,-1]+p[1,-1]+2)>>2...(14)
p'[0,-1]＝(3*p[0,-1]+p[1,-1]+2)>>2...(15)
如下述表达式(16)一样计算p'[x,-1](x＝0、……、7)。
p'[x,-1]＝(p[x-1,-1]+2*p[x,-1]+p[x+1,-1]+2)>>2...(16)
在p[x,-1](x＝8、……、15)是“可用的”的情况中，如下述表达式(17)一样计算p'[x,-1](x＝8、……、15)。
p'[x,-1]＝(p[x-1,-1]+2*p[x,-1]+p[x+1,-1]+2)>>2
p'[15,-1]＝(p[14,-1]+3*p[15,-1]+2)>>2...(17)
在p[-1,-1]是“可用的”的情况中，按照如下计算p'[-1,-1]。具体地说，在p[0,-1]和p[-1,0]二者都是“可用的”的情况中，如表达式(18)一样计算p'[-1,-1]，并且，在p[-1,0]是“不可用的”的情况中，如表达式(19)一样计算p'[-1,-1]。此外，在p[0,-1]是“不可用的”的情况中，如表达式(20)一样计算p'[-1,-1]。
p'[-1,-1]＝(p[0,-1]+2*p[-1,-1]+p[-1,0]+2)>>2...(18)
p'[-1,-1]＝(3*p[-1,-1]+p[0,-1]+2)>>2...(19)
p'[-1,-1]＝(3*p[-1,-1]+p[-1,0]+2)>>2...(20)
当p[-1,y](y＝0、……、7)是“可用的”时，按照如下计算p'[-1,y](y＝0、……、7)。具体地说，首先，在p[-1,-1]是“可用的”的情况中，如表达式(21)一样计算p'[-1,0]，并且在p[-1,-1]是“不可用的”的情况中，如表达式(22)一样计算p'[-1,0]
p'[-1,0]＝(p[-1,-1]+2*p[-1,0]+p[-1,1]+2)>>2...(21)
p'[-1,0]＝(3*p[-1,0]+p[-1,1]+2)>>2...(22)
此外，如下述表达式(23)一样计算p'[-1,y](y＝1、……、6)，并且，如表达式(24)一样计算p'[-1,7]。
p[-1,y]＝(p[-1,y-1]+2*p[-1,y]+p[-1,y+1]+2)>>2...(23)
p'[-1,7]＝(p[-1,6]+3*p[-1,7]+2)>>2...(24)
使用这样计算出的p'，按照如下产生在图8和图9中示出的帧内预测模式中的预测值。
模式0是垂直预测模式，并且，仅仅在p[x,-1](x＝0、……、7)是“可用的”时适用。如下述表达式(25)一样产生预测值pred8×8L[x,y]。
pred8×8L[x,y]＝p'[x,-1]x,y＝0、……、7...(25)
模式1是水平预测模式，并且，仅仅在p[-1,y](y＝0、……、7)是“可用的”时适用。如下述表达式(26)一样产生预测值pred8×8L[x,y]。
pred8×8L[x,y]＝p'[-1,y]x,y＝0、……、7...(26)
模式2是DC预测模式，并且，按照如下产生预测值pred8×8L[x,y]。具体地说，在p[x,-1](x＝0、……、7)和p[-1,y](y＝0、……、7)二者都是“可用的”的情况中，如表达式(27)一样产生预测值pred8×8L[x,y]。
[数学式1]
Pred 8 x 8 L [ x , y ] = ( &Sigma; x &prime; = 0 7 P &prime; [ x &prime; , - 1 ] + &Sigma; y &prime; = 0 7 P &prime; [ - 1 , y ] + 8 ) > > 4 . . . ( 27 )
在p[x,-1](x＝0、……、7)是“可用的”而p[-1,y](y＝0、……、7)是“不可用的”的情况中，如表达式(28)一样产生预测值pred8×8L[x,y]。
[数学式2]
Pred 8 x 8 L [ x , y ] = ( &Sigma; x &prime; = 0 7 P &prime; [ x &prime; , - 1 ] + 4 ) > > 3 . . . ( 28 )
在p[x,-1](x＝0、……、7)是“不可用的”而p[-1,y](y＝0、……、7)是“可用的”的情况中，如表达式(29)一样产生预测值pred8×8L[x,y]。
[数学式3]
Pred 8 x 8 L [ x , y ] = ( &Sigma; y &prime; = 0 7 P &prime; [ - 1 , y ] + 4 ) > > 3 . . . ( 29 )
在p[x,-1](x＝0、……、7)和p[-1,y](y＝0、……、7)二者都是“不可用的”的情况中，如表达式(30)一样产生预测值pred8×8L[x,y]。
pred8×8L[x,y]＝128...(30)
这里，表达式(30)表示8比特输入的情况。
模式3是Diagonal_Down_Left_prediction模式(左下对角预测模式)，并且，按照如下产生预测值pred8×8L[x,y]。具体地说，Diagonal_Down_Left_prediction模式仅仅在p[x,-1],x＝0、……、15是“可用的”时适用，并且，如下述表达式(31)一样产生在x＝7且y＝7的情况中的预测像素值，并且，如下述表达式(32)一样产生其他预测像素值。
pred8×8L[x,y]＝(p'[14,-1]+3*p[15,-1]+2)>>2...(31)
pred8×8L[x,y]＝(p'[x+y,-1]+2*p'[x+y+1,-1]+p'[x+y+2,-1]+2)>>2...(32)
模式4是Diagnonal_Down_Right_prediction模式(右下对角预测模式)，并且，按照如下产生预测值pred8×8L[x,y]。具体地说，Diagonal_Down_Right_prediction模式仅仅在p[x,-1],x＝0、……、7和p[-1,y],y＝0、……、7是“可用的”时适用，并且，如下述表达式(33)一样产生在x>y的情况中的预测像素值，并且，如下述表达式(34)一样产生在x<y的情况中的预测像素值。此外，如下述表达式(35)一样产生在x＝y的情况中的预测像素值。
pred8×8L[x,y]＝(p'[x-y-2,-1]+2*p'[x-y-1,-1]+p'[x-y,-1]+2)>>2...(33)
pred8×8L[x,y]＝(p'[-1,y-x-2]+2*p'[-1,y-x-1]+p'[-1,y-x]+2)>>2...(34)
pred8×8L[x,y]＝(p'[0,-1]+2*p'[-1,-1]+p'[-1,0]+2)>>2...(35)
模式5是Vertical_Right_prediction模式(右垂直预测模式)，并且，按照如下产生预测值pred8×8L[x,y]。具体地说，Vertical_Right_prediction模式仅仅在p[x,-1],x＝0、……、7和p[-1,y],y＝-1、……、7是“可用的”时适用。现在，如下述表达式(36)一样定义zVR。
zVR＝2*x-y...(36)
此时，在zVR是0、2、4、6、8、10、12或14的情况中，如下述表达式(37)一样产生预测像素值，并且，在zVR是1、3、5、7、9、11或13的情况中，如下述表达式(38)一样产生预测像素值。
pred8×8L[x,y]＝(p'[x-(y>>1)-1,-1]+p'[x-(y>>1),-1]+1)>>1...(37)
pred8×8L[x,y]＝(p'[x-(y>>1)-2,-1]+2*p'[x-(y>>1)-1,-1]+p'[x-(y>>1),-1]+2)>>2...(38)
此外，在zVR是-1的情况中，如下述表达式(39)一样产生预测像素值，并且，在除此之外的情况中，具体地说，在zVR是-2、-3、-4、-5、-6或-7的情况中，如下述表达式(40)一样产生预测像素值。
pred8×8L[x,y]＝(p'[-1,0]+2*p'[-1,-1]+p'[0,-1]+2)>>2...(39)
pred8×8L[x,y]＝(p'[-1,y-2*x-1]+2*p'[-1,y-2*x-2]+p'[-1,y-2*x-3]+2)>>2...(40)
模式6是Horizontal_Down_prediction模式(下水平预测模式)，并且，按照如下产生预测值pred8×8L[x,y]。具体地说，Horizontal_Down_prediction模式仅仅在p[x,-1],x＝0、……、7和p[-1,y],y＝-1、……、7是“可用的”时适用。现在，如下述表达式(41)一样定义zHD。
zHD＝2*y-x...(41)
此时，在zHD是0、2、4、6、8、10、12或14的情况中，如下述表达式(42)一样产生预测像素值，并且，在zHD是1、3、5、7、9、11或13的情况中，如下述表达式(43)一样产生预测像素值。
pred8×8L[x,y]＝(p'[-1,y-(x>>1)-1]+p'[-1,y-(x>>1)+1]>>1...(42)
pred8×8L[x,y]＝(p'[-1,y-(x>>1)-2]+2*p'[-1,y-(x>>1)-1]+p'[-1,y-(x>>1)]+2)>>2...(43)
此外，在zHD是-1的情况中，如下述表达式(44)一样产生预测像素值，并且，在除此之外的情况中，具体地说，在zHD是-2、-3、-4、-5、-6或-7的情况中，如下述表达式(45)一样产生预测像素值。
pred8×8L[x,y]＝(p'[-1,0]+2*p'[-1,-1]+p'[0,-1]+2)>>2...(44)
pred8×8L[x,y]＝(p'[x-2*Y-1,-1]+2*p'[x-2*y-2,-1]+p'[x-2*y-3,-1]+2)>>2...(45)
模式7是Vertical_Left_prediction模式(左垂直预测模式)，并且，按照如下产生预测值pred8×8L[x,y]。具体地说，Vertical_Left_prediction模式仅仅在p[x,-1],x＝0、……、15是“可用的”时适用，在y＝0、2、4或6的情况中，如下述表达式(46)一样产生预测像素值，并且，在除此之外的情况中，即，在y＝1、3、5或7的情况中，如下述表达式(47)一样产生预测像素值。
pred8×8L[x,y]＝(p'[x+(y>>1),-1]+p'[x+(y>>1)+1,-1]+1)>>1...(46)
pred8×8L[x,y]＝(p'[x+(y>>1),-1]+2*p'[x+(y>>1)+1,-1]+p'[x+(y>>1)+2,-1]+2)>>2...(47)
模式8是Horizontal_Up_prediction模式(上水平预测模式)，并且，按照如下产生预测值pred8×8L[x,y]。具体地说，Horizontal_Up_prediction模式仅仅在p[-1,y],y＝0、……、7是“可用的”时适用。现在，如下述表达式(48)一样定义zHU。
zHU＝x+2*y...(48)
此时，在zHU的值是0、2、4、6、8、10或12的情况中，如下述表达式(49)一样产生预测像素值，并且，在zHU的值是1、3、5、7、9或11的情况中，如下述表达式(50)一样产生预测像素值。
pred8×8L[x,y]＝(p'[-1,y+(x>>1)]+p'[-1,y+(x>>1)+1]+1)>>1...(49)
pred8×8L[x,y]＝(p'[-1,y+(x>>1)]...(50)
此外，在zHU的值是13的情况中，如下述表达式(51)一样产生预测像素值，并且，在除此之外的情况中，即，在zHU的值大于13的情况中，如下述表达式(52)一样产生预测像素值。
pred8×8L[x,y]＝(p'[-1,6]+3*p'[-1,7]+2)>>2...(51)
pred8×8L[x,y]＝p'[-1,7]...(52)
接下来，将描述16×16像素帧内预测模式。图10和图11是示出亮度信号的四种16×16像素帧内预测模式(Intra_16×16_pred_mode)的示图。
将参照图12描述四种帧内预测模式。对于图12中的例子，示出要进行帧内处理的当前宏块A，并且，P(x,y)；x,y＝-1,0、……、15表示与当前宏块A邻近的像素的像素值。
模式0是垂直预测模式，并且仅仅在P(x,-1)；x,y＝-1,0、……、15是“可用的”时适用。在这种情况下，如下述表达式(53)一样产生当前宏块A的每一个像素的预测像素值Pred(x,y)。
Pred(x,y)＝P(x,-1)；x,y＝0、……、15...(53)
模式1是水平预测模式，并且仅仅在P(-1,y)；x,y＝-1,0、……、15是“可用的”时适用。在这种情况下，如下述表达式(54)一样产生当前宏块A的每一个像素的预测像素值Pred(x,y)。
Pred(x,y)＝P(-1,y)；x,y＝0、……、15...(54)
模式2是DC预测模式，并且，在P(x,-1)和P(-1,y)；x,y＝-1,0、……、15全部是“可用的”的情况中，如下述表达式(55)一样产生当前宏块A的每一个像素的预测像素值Pred(x,y)。
[数学式4]
Pred ( x , y ) = [ &Sigma; x &prime; = 0 15 P &prime; ( x &prime; , - 1 ) + &Sigma; y &prime; = 0 15 P ( - 1 , y &prime; ) + 16 ] > > 5
其中x，y＝0，…，15…(55)
此外，在P(x,-1)；x,y＝-1,0、……、15是“不可用的”的情况中，如下述表达式(56)一样产生当前宏块A的每一个像素的预测像素值Pred(x,y)。
[数学式5]
Pred ( x , y ) = [ &Sigma; y &prime; = 0 15 P ( - 1 , y &prime; ) + 8 ] > > 4 其中x，y＝0，…，15…(56)
此外，在P(-1,y)；x,y＝-1,0、……、15是“不可用的”的情况中，如下述表达式(57)一样产生当前宏块A的每一个像素的预测像素值Pred(x,y)。
[数学式6]
Pred ( x , y ) = [ &Sigma; y &prime; = 0 15 P ( x &prime; , - 1 ) + 8 ] > > 4 其中x，y＝0，…，15"(57)
在P(x,-1)和P(-1,y)；x,y＝-1,0、……、15全部是“不可用的”的情况中，128用作预测像素值。
模式3是平面预测模式，并且仅仅在P(x,-1)和P(-1,y)；x,y＝-1,0、……、15全部是“可用的”时适用。在这种情况下，如下述表达式(58)一样产生当前宏块A的每一个像素的预测像素值Pred(x,y)。
[数学式7]
Pred ( x , y ) = Clip 1 ( ( a + b &CenterDot; ( x - 7 ) + c &CenterDot; ( y - 7 ) + 16 ) > > 5 ) a = 16 &CenterDot; ( P ( - 1,15 ) + P ( 15 , - 1 ) ) b = ( 5 &CenterDot; H + 32 ) > > 6 c = ( 5 &CenterDot; V + 32 ) > > 6 H = &Sigma; x = 1 8 x &CenterDot; ( P ( 7 + x , - 1 ) - P ( 7 - x , - 1 ) ) V = &Sigma; y = 1 8 y &CenterDot; ( P ( - 1,7 + y ) - P ( - 1,7 - y ) ) . . . ( 58 )
首先，将描述关于颜色差信号的帧内预测模式。图13是示出颜色差信号的四种帧内预测模式(Intra_chroma_pred_mode)的示图。可以与亮度信号的帧内预测模式独立地设置颜色差信号的帧内预测模式。关于颜色差信号的帧内预测模式与上述的亮度信号的16×16像素帧内预测模式一致。
然而，亮度信号的16×16像素帧内预测模式取16×16像素块作为目标，但是，另一方面，关于颜色差信号的帧内预测模式取8×8像素块作为目标。此外，如上述的图10和图13所示，二者之间的模式编号不对应。
现在，假设我们遵照上文中参照图12描述的亮度信号的16×16像素帧内预测模式中的当前块A的像素值和邻近像素值的定义。例如，假设说，与要进行帧内处理的当前宏块A(在颜色差信号的情况中，8×8像素)邻近的像素的像素值被取为P(x,y)；x,y＝-1,0、……、7。
模式0是DC预测模式，并且，在P(x,-1)和P(-1,y)；x,y＝-1,0、……、7全部是“可用的”的情况中，如下述表达式(59)一样产生当前宏块A的每一个像素的预测像素值Pred(x,y)。
[数学式8]
Pred ( x , y ) = ( ( &Sigma; n = 0 7 ( P ( - 1 , n ) + P ( n , - 1 ) ) ) + 8 ) > > 4
其中x，y＝0，…，7…(59)
此外，在P(-1,y)；x,y＝-1,0、……、7是“不可用的”的情况中，如下述表达式(60)一样产生当前宏块A的每一个像素的预测像素值Pred(x,y)。
[数学式9]
Pred ( x , y ) = [ ( &Sigma; n = 0 7 P ( n , - 1 ) ) + 4 ] > > 3 其中x，y＝0，…，7…(60)
此外，在P(x,-1)；x,y＝-1,0、……、7是“不可用的”的情况中，如下述表达式(61)一样产生当前宏块A的每一个像素的预测像素值Pred(x,y)。
[数学式10]
Pred ( x , y ) = [ ( &Sigma; n = 0 7 P ( - 1 , n ) ) + 4 ] > > 3 其中x，y＝0，…，7…(61)
模式1是水平预测模式，并且仅仅在P(-1,y)；x,y＝-1,0、……、7是“可用的”时适用。在这种情况下，如下述表达式(62)一样产生当前宏块A的每一个像素的预测像素值Pred(x,y)。
Pred(x,y)＝P(-1,y)；x,y＝0、……、7...(62)
模式2是垂直预测模式，并且仅仅在P(x,-1)；x,y＝-1,0、……、7是“可用的”时适用。在这种情况下，如下述表达式(63)一样产生当前宏块A的每一个像素的预测像素值Pred(x,y)。
Pred(x,y)＝P(x,-1)；x,y＝0、……、7...(63)
模式3是平面预测模式，并且仅仅在P(x,-1)和P(-1,y)；x,y＝-1,0、……、7是“可用的”时适用。在这种情况下，如下述表达式(64)一样产生当前宏块A的每一个像素的预测像素值Pred(x,y)。
[数学式11]
Pred ( x , y ) = Clip 1 ( a + b &CenterDot; ( x - 3 ) + c &CenterDot; ( y - 3 ) + 16 ) > > 5 ; x , y = 0 , . . . , 7 a = 16 &CenterDot; ( P ( - 1 , 7 ) + P ( 7 , - 1 ) ) b = ( 17 &CenterDot; H + 16 ) > > 5 c = ( 17 &CenterDot; V + 16 ) > > 5 H = &Sigma; x = 1 4 x &CenterDot; [ P ( 3 + x , - 1 ) - P ( 3 - x , - 1 ) ] V = &Sigma; y = 1 4 y &CenterDot; [ P ( - 1 , 3 + y ) - P ( - 1 , 3 - y ) ] . . . ( 64 )
如上所述，亮度信号的帧内预测模式包括4×4像素和8×8像素块单位的九种预测模式以及16×16像素宏块单位的四种预测模式。针对每一个宏块单位，设置这些块单位的模式。颜色差信号的帧内预测模式包括8×8像素宏块单位的四种预测模式。可以与亮度信号的帧内预测模式独立地设置颜色差信号的帧内预测模式。
此外，关于亮度信号的4×4像素帧内预测模式(帧内4×4预测模式)和8×8像素帧内预测模式(帧内8×8预测模式)，针对4×4像素和8×8像素亮度信号块，设置一种帧内预测模式。关于亮度信号的16×16像素帧内预测模式(帧内16×16预测模式)和颜色差信号的帧内预测模式，针对一个宏块设置一种预测模式。
请注意，这些种类的预测模式对应于图5中的用上述的编号0、1、3至8指示的方向。预测模式2是平均值预测。
如上所述，对于根据H.264/AVC格式的帧内预测，仅仅在用表达式(14)至表达式(24)以上述的8×8像素的块增量执行帧内预测之前，用确定的滤波系数对邻近像素的像素值执行滤波处理。相反，采用图像编码装置51，在执行所有的帧内预测模式的帧内预测之前，用根据要预测的块设置的滤波系数对邻近像素的像素值执行滤波处理。
[帧内预测单元和邻近像素内插滤波切换单元的配置例子]
图14是图示图1中示出的邻近像素内插滤波切换单元75和帧内预测单元74的详细配置例子的框图。
在图14中的例子的情况中，帧内预测单元74由邻近图像设置单元81、预测图像产生单元82和最佳预测模式确定单元83构成。
邻近像素内插滤波切换单元75由预测模式缓冲器91、量化参数缓冲器92和低通滤波设置单元93构成。请注意，低通滤波设置单元93具有内置的滤波系数存储器94。
从帧存储器72向邻近图像设置单元81供应用于帧内预测的当前块的邻近像素值。虽然在图14中省略了开关73的图示，但是，实际上，经由开关73从帧存储器72向邻近图像设置单元81执行供应。请注意，在帧内预测的情况中，未经过去块滤波器71的去块滤波的像素值用作邻近像素值。
邻近图像设置单元81使用由低通滤波设置单元93设置的滤波系数来对来自帧存储器72的当前块的邻近像素值执行滤波处理，并且将经过滤波处理的邻近像素值供应给预测图像产生单元82。
预测图像产生单元82将其模式是当前正在处理的帧内预测模式的信息供应给预测模式缓冲器91。预测图像产生单元82使用来自邻近图像设置单元81的经过滤波处理的邻近像素值以供应给预测模式缓冲器91的帧内预测模式对当前块执行帧内预测，并且产生预测图像。将产生的预测图像与帧内预测模式信息一起供应给最佳预测模式确定单元83。
向最佳预测模式确定单元83供应从画面重新排列缓冲器62读出的要进行帧内预测的图像、由预测图像产生单元82产生的预测图像及其帧内预测模式信息。
最佳预测模式确定单元83使用供应的信息来计算关于已经产生预测图像的帧内预测模式的成本函数值，并且将产生计算出的成本函数值中的最小值的帧内预测模式决定为最佳帧内预测模式。最佳预测模式确定单元83将最佳帧内预测模式的预测图像和相应的成本函数值输出到预测图像选择单元77。
此外，在预测图像选择单元77选择了在最佳帧内预测模式中产生的预测图像的情况中，最佳预测模式确定单元83将指示最佳帧内预测模式的信息供应给无损耗编码单元66。
预测模式缓冲器91存储来自预测图像产生单元82的帧内预测模式信息。量化参数缓冲器92存储来自速率控制单元78的量化参数。
低通滤波设置单元93从预测模式缓冲器91读出当前块的帧内预测模式信息，并且，从量化参数缓冲器92读出与当前块对应的量化参数。低通滤波设置单元93从存储于内置滤波系数存储器94中的滤波系数设置与该信息对应的滤波系数，并且，将设置的滤波系数供应给邻近图像设置单元81。
滤波系数存储器94存储与量化参数对应的滤波系数和通过在稍后描述的图28中的学习装置251处使用训练图像进行学习而获得的帧内预测模式。例如，针对每一片(slice)，计算和存储滤波系数，如下所述。
[最佳滤波系数的计算的描述]
接下来，将参照图15描述用于对邻近像素的该滤波处理的最佳滤波系数的计算方法。请注意，在图15的例子中，示出对4×4像素的当前块执行垂直预测(垂直预测)的例子，但是，以下描述是可适用于任何帧内预测模式的情况。
对于上文中用表达式(14)至表达式(24)描述的8×8像素的块增量的帧内预测，{1,2,1}的3-抽头滤波系数被定义为用于邻近像素的低通滤波器，但是我们将{c0,c1,c2}视为3-抽头的一般形式。此外，对于本发明，还引入第四参数c3作为偏移值。
请注意，虽然在下面的描述中该3-抽头滤波器被描述为可针对每一个片段设置，但是，该3-抽头滤波器不限于此，并且，例如，可以针对整个序列或针对每一个GOP设置。
在图15中的例子中，akm(0≤k,m≤3)是在当前块中包含的像素的像素值，并且，bm(-1≤m≤4)是用于垂直预测的邻近像素的像素值。
首先，通过对邻近像素值bm执行的3-抽头滤波处理来产生在下述表达式(65)中示出的b'm(0≤m≤3)。
[数学式12]
b′m＝c0*bm-1+c1*bm+c2*bm+1+c3(0≤m≤3)…(65)
也就是说，在执行滤波处理并且使用滤波系数的情况中，我们将说，也使用相应的偏移值，如表达式(65)所示，甚至以下无需特别地提及。换句话说，滤波系数和偏移值是用于滤波处理的系数。以相同的方式，在滤波系数以编码的方式被发送到解码侧的情况中，我们将说，相应的偏移值也以编码的方式被发送。
现在，如果我们说在帧内预测模式是n时的预测像素值是pij(b'm,n)；0≤i,j≤3，则关于帧内预测像素值，下述表达式(66)成立，因为通过上文中参照图2至14描述的线性表达式来产生预测像素。
[数学式13]
p ij ( b &prime; m , n ) = p ij ( c 0 * b m - 1 + c 1 * b m + c 2 * b m + 1 + c 3 , n ) = c 0 * p ij ( b m - 1 , n ) + c 1 * p ij ( b m , n ) + c 2 * p ij ( b m + 1 , n ) + c 3 . . . ( 66 )
此时，关于以aij作为原始图像像素值的当前块Ω的预测平方误差如下述表达式(67)所示。
[数学式14]
Err ( &Omega; ) = &Sigma; i = 0 3 &Sigma; j = 0 3 ( a ij - p ij ( b &prime; m , n ) ) 2 = &Sigma; i = 0 3 &Sigma; j = 0 3 ( a km - { c 0 &CenterDot; p ij ( b m - 1 , n ) + c 1 &CenterDot; p ij ( b m , n ) + c 2 &CenterDot; p ij ( b m + 1 , n ) + c 3 } ) 2 . . . ( 67 )
现在，如果我们用Φ表示当前片段中的用帧内预测模式n编码的帧内块的集合，则关于属于Φ的块的预测平方误差的和用下述表达式(68)表示。
[数学式15]
Err ( &Omega; &Element; &Phi; ) &Sigma; &Omega; &Element; &Phi; &Sigma; i = 0 3 &Sigma; j = 0 3 ( a km - { c 0 &CenterDot; p ij ( b m - 1 , n ) + c 1 &CenterDot; p ij ( b m , n ) + c 2 &CenterDot; p ij ( b m + 1 , n ) + c 3 } ) 2 . . . ( 68 )
在上述表达式(68)中，我们将Err(Ω∈Φ)视为c0、c1、c2、c3的函数，即，Err(Ω∈Φ；c0,c1,c2,c3)，所以使Err(Ω∈Φ；c0,c1,c2,c3)最小化的c0、c1、c2、c3将是当前片段中的最佳滤波系数值。也就是说，在下述表达式(69)成立的情况中足以获得c0、c1、c2、c3。
[数学式16]
也就是说，从表达式(69)获得下述表达式(70)中所示的联立方程。
[数学式17]
使用矩阵对该表达式(70)进行公式变形，得到表达式(71)。
[数学式18]
&Sigma;&Sigma;&Sigma; p ij ( b k - 1 ) p ij ( b k - 1 ) &Sigma;&Sigma;&Sigma; p ij ( b k - 1 ) p ij ( b k ) &Sigma;&Sigma;&Sigma; p ij ( b k + 1 ) p ij ( b k - 1 ) &Sigma;&Sigma;&Sigma; p ij ( b k - 1 ) &Sigma;&Sigma;&Sigma; p ij ( b k ) p ij ( b k - 1 ) &Sigma;&Sigma;&Sigma; p ij ( b k ) p ij ( b k ) &Sigma;&Sigma;&Sigma; p ij ( b k + 1 ) p ij ( b k ) &Sigma;&Sigma;&Sigma; p ij ( b k ) &Sigma;&Sigma;&Sigma; p ij ( b k + 1 ) p ij ( b k - 1 ) &Sigma;&Sigma;&Sigma; p ij ( b k + 1 ) p ij ( b k ) &Sigma;&Sigma;&Sigma; p ij ( b k + 1 ) p ij ( b k + 1 ) &Sigma;&Sigma;&Sigma; p ij ( b k + 1 ) &Sigma;&Sigma;&Sigma; p ij ( b k - 1 ) &Sigma;&Sigma;&Sigma; p ij ( b k ) &Sigma;&Sigma;&Sigma; p ij ( b k + 1 ) &Sigma;&Sigma;&Sigma; 1 c 0 c 1 c 2 c 3 = &Sigma;&Sigma;&Sigma; a ij p ij ( b k - 1 ) &Sigma;&Sigma;&Sigma; a ij p ij ( b k ) &Sigma;&Sigma;&Sigma; a ij p ij ( b k + 1 ) &Sigma;&Sigma;&Sigma; a ij . . . ( 71 )
求解该表达式(71)，能够针对当前片段获得最佳滤波系数和偏移值{c0,c1,c2,c3}。
请注意，通过求解表达式(70)中的联立方程，获得最佳滤波系数和偏移值{c0,c1,c2,c3}作为浮点值，但是，例如，在图1中的图像编码装置51和图22中的相应的图像解码装置151的情况中，这些被舍入为8比特系数。
也就是说，即使滤波系数是浮点，滤波系数存储器94也根据例如处理器的寄存器长度保持这些作为n比特(其中，n是整数)值。
通过对其它帧内预测方法也应用与上述方法相同的方法，也可以针对其它帧内预测方法获得最佳滤波系数。此外，通过相同的方法，不仅对于帧内4×4预测模式，而且对于帧内8×8预测模式、帧内16×16预测模式和颜色差信号的帧内预测模式，都可以获得最佳滤波系数。
虽然在以上描述中针对每一个帧内预测模式获得了一个滤波系数，但是，该滤波系数不限于此，并且，可以进行这样的安排：其中，对于所有的帧内预测模式，仅仅获得一个滤波系数。特别地，对于上文中参照图2至图14描述的帧内预测模式，针对垂直(垂直，vertical)和水平(水平，horizontal)模式原样地使用预测像素值，但是，针对其它模式执行某种平均处理或加权平均处理以产生预测像素，所以其特性不同。因此，执行垂直水平模式和其它模式的两种类别分类，并且，计算每一种类别的滤波系数，可以实现编码效率的进一步提高。此外，例如，对于亮度信号，可以存在用于帧内4×4预测模式的一个滤波系数、用于帧内8×8预测模式的一个滤波系数、以及用于帧内16×16预测模式的一个滤波系数。例如，对于颜色差信号，可以针对Cb/Cr分别获得滤波系数。
此外，在以上描述中，对于用于低通滤波处理的滤波系数，使用了{c0,c1,c2}的三抽头，但是，这不限于3抽头，也可以使用任何数目的抽头的滤波器。也就是说，获得了抽头数目的滤波系数+偏移值。然而，随着抽头数目增加，要求解的联立方程的次数也增加。
此外，可以进行这样的排列：其中，准备和应用根据图像帧不同的滤波系数，例如CIF(通用中间格式，Common Intermediate Format)/QCIF(四分之一CIF，Quarter CIF),SD(标准清晰度),HD(高清晰度)等。
此外，对于上述方法，通过使帧内预测残差(预测平方误差)最小化来计算滤波系数。但是，滤波系数计算方法不限于此，并且，在需要将滤波系数发送到解码侧的情况中，也可以执行包含用于发送滤波系数的比特的优化。
此外，对于上述的滤波系数，我们假设系数的对称性，如下述表达式(72)所示。
C0＝C2...(72)
也就是说，计算滤波系数，以关于对应于0相位的中心系数具有对称性，如{c0,c1,c0}一样。因此，如上述表达式(70)所示的三个联立方程可以被简化为2个。结果，可以减少计算量。
通过设置适合于输入图像的滤波系数并以自适应的方式对邻近像素执行低通滤波处理，使用上述方法，能够使用适合于该图像的预测图像、量化参数和预测模式来执行编码，从而可以提高编码效率。
关于上述的最佳滤波系数计算，可以想到两种方法。一种方法是离线处理，即，其中，在执行编码处理之前，预先使用用于训练的图像信号来计算滤波系数，从而使所有的图像信号优化。稍后将参照图28描述作为该离线处理的学习处理，并且，通过该学习处理计算出的滤波系数和偏移值被存储于图14中的滤波系数存储器94中。
第二种方法是在线处理，即，针对每一个片段连续地计算最佳滤波系数。在这种情况下，将计算出的滤波系数和偏移值发送到解码侧。稍后将参照图20描述执行作为第二种方法的离线处理的情况的例子。
[图像编码装置的编码处理的描述]
接下来，将参照图16的流程图描述图1中的图像编码装置51的编码处理。
在步骤S11中，A/D转换单元61对输入图像执行模拟数字转换。在步骤S12中，画面重新排列缓冲器62存储从A/D转换单元61供应的图像，并且执行从用于显示图片的序列到用于编码的序列的重新排列。
在步骤S13中，计算单元63计算在步骤S12中重新排列的图像和预测图像之间的差。在执行帧间预测的情况中，经由预测图像选择单元77将预测图像从运动预测/补偿单元76供应到计算单元63，并且，在执行帧内预测的情况中，经由预测图像选择单元77将预测图像从帧内预测单元74供应到计算单元63。
与原始图像数据相比，差分数据的数据量较小。因此，与在没有变化的情况下对原始图像进行编码的情况相比，可以压缩数据量。
在步骤S14中，正交变换单元64对从计算单元63供应的差分信息进行正交变换。具体地说，执行诸如离散余弦变换、Karhunen-Loéve变换等的正交变换，并且，输出变换系数。在步骤S15中，量化单元65对变换系数进行量化。在该量化时，控制速率，从而将描述稍后描述的步骤S25中的处理。
对这样量化的差分信息进行如下的局部解码。具体地说，在步骤S16中，逆量化单元68使用与量化单元65的特性对应的特性来对由量化单元65量化的变换系数进行逆量化。在步骤S17中，逆正交变换单元69使用与正交变换单元64的特性对应的特性来对经过逆量化单元68的逆量化的变换系数进行逆正交变换。
在步骤S18中，计算单元70将经由预测图像选择单元77输入的预测图像与局部解码的差分信息相加，并且产生局部解码的图像(该图像对应于到计算单元63的输入)。在步骤S19中，去块滤波器71对从计算单元70输出的图像进行滤波。因此，去除了块失真。在步骤S20中，帧存储器72存储经过滤波的图像。请注意，未经过去块滤波器71的滤波处理的图像也从计算单元70被供应到帧存储器72，以便存储。
在步骤S21中，帧内预测单元74和运动预测/补偿单元76均执行图像预测处理。具体地说，在步骤S21中，帧内预测单元74以帧内预测模式执行帧内预测处理。运动预测/补偿单元76以帧间预测模式执行运动预测和补偿处理。
稍后将参照图17描述步骤S21中的预测处理的细节，但是，根据本处理，执行所有的候选预测模式中的预测处理，并且，计算所有的候选预测模式中的成本函数值。然后，基于计算出的成本函数值来选择最佳帧内预测模式，并且，将通过最佳帧内预测模式中的帧内预测产生的预测图像及其成本函数值供应给预测图像选择单元77。
请注意，此时，在帧内预测处理之前，帧内预测单元74使用由邻近像素内插滤波切换单元75设置的滤波系数来对用于当前块的帧内预测的邻近像素执行滤波处理。然后，在帧内预测单元74处使用经过滤波处理的邻近像素来执行帧内预测，并且，产生预测图像。
在步骤S22中，预测图像选择单元77基于从帧内预测单元74和运动预测/补偿单元76输出的成本函数值将最佳帧内预测模式和最佳帧间预测模式之一确定为最佳预测模式。预测图像选择单元77然后选择确定的最佳预测模式中的预测图像，并且将其供应给计算单元63和70。如上所述，该预测图像用于步骤S13和S18中的计算。
请注意，该预测图像的选择信息被供应给帧内预测单元74或运动预测/补偿单元76。在选择了最佳帧内预测模式中的预测图像的情况中，帧内预测单元74将指示最佳帧内预测模式的信息(即，帧内预测模式信息)供应给无损耗编码单元66。
在选择了最佳帧间预测模式中的预测图像的情况中，运动预测/补偿单元76将指示最佳帧间预测模式的信息输出给无损耗编码单元66，并且，根据需要，将与最佳帧间预测模式对应的信息输出给无损耗编码单元66。与最佳帧间预测模式对应的信息的例子包括运动向量信息、标志信息和参考帧信息。也就是说，当选择了与作为最佳帧间预测模式的帧间预测模式对应的预测图像时，运动预测/补偿单元76将帧间预测模式信息、运动向量信息和参考帧信息输出到无损耗编码单元66。
在步骤S23中，无损耗编码单元66对从量化单元65输出的量化变换系数进行编码。具体地说，对差分图像进行诸如可变长度编码、算术编码等的无损耗编码和压缩。此时，在步骤S22中输入到无损耗编码单元66的来自帧内预测单元74的最佳帧内预测模式信息或者与来自运动预测/补偿单元76的最佳帧间预测模式对应的信息、以及来自速率控制单元78的量化参数等也被编码，并且与头信息相加。
在步骤S24中，存储缓冲器67存储差分图像作为压缩图像。存储于存储缓冲器67中的压缩图像在适当的时候被读出，并且经由传送路径被传送到解码侧。
在步骤S25中，速率控制单元78基于存储于存储缓冲器67中的压缩图像通过量化参数控制量化单元65的量化操作的速率，以不会导致上溢或下溢。
将用于在量化单元65处的速率控制的量化参数供应给无损耗编码单元66，在上述的步骤S23中对该量化参数进行无损耗编码处理，并且将其插入到压缩图像的头部。此外，该量化参数被供应给邻近像素内插滤波切换单元75，并且用于设置用于要对邻近像素执行的滤波处理的滤波系数，在帧内预测之前执行该滤波处理。
[预测处理的描述]
接下来，将参照图17中的流程图描述图16中的步骤S21中的预测处理。
在从画面重新排列缓冲器62供应的要处理的图像是要进行帧内处理的块中的图像的情况中，要参考的解码图像从帧存储器72被读出，并且，经由开关73被供应给帧内预测单元74。
在步骤S31中，帧内预测单元74使用供应的图像以所有的候选帧内预测模式对要处理的块的像素执行帧内预测。请注意，未经过去块滤波器71的去块滤波的像素用作要参考的解码像素。
将参照图18描述步骤S31中的帧内预测处理的细节，但是，根据该处理，设置最佳滤波系数，并且，使用设置的滤波系数对邻近像素执行滤波处理。然后，使用已经执行了滤波处理的邻近像素来执行帧内预测，从而产生预测图像。
在所有的候选帧内预测模式上执行上述的处理，针对所有的候选帧内预测模式计算成本函数值，并且，基于计算出的成本函数值来决定最佳帧内预测模式。由此产生的预测图像和最佳帧内预测模式的成本函数值被供应给预测图像选择单元77。
在从画面重新排列缓冲器62供应的要处理的图像是要进行帧间处理的图像的情况中，要参考的图像从帧存储器72被读出，并且，经由开关73被供应给运动预测/补偿单元76。在步骤S32中，基于这些图像，运动预测/补偿单元76执行帧间运动预测处理。也就是说，运动预测/补偿单元76参考从帧存储器72供应的图像来执行所有的候选帧间预测模式中的运动预测处理。
稍后将参照图19描述步骤S32中的帧间运动预测处理的细节，并且，根据本处理，执行所有的候选帧间预测模式中的运动预测处理，但是，针对所有的候选帧间预测模式计算成本函数值。
在步骤S33中，运动预测/补偿单元76比较在步骤S32中计算出的关于帧间预测模式的成本函数值，并且将提供最小值的预测模式确定为最佳帧间预测模式。运动预测/补偿单元76然后将在最佳帧间预测模式中产生的预测图像及其成本函数值供应给预测图像选择单元77。
[帧内预测处理的描述]
接下来，将参照图17中的流程图描述图17中的步骤S31中的帧内预测处理。请注意，对于图18中的例子，将描述关于亮度信号的情况，作为一个例子。
在上述的图16中的步骤S25中，速率控制单元78供应用于当前块的量化参数。在步骤S41中，量化参数缓冲器92从速率控制单元78获得用于当前块的量化参数并存储该量化参数。
在步骤S42中，预测图像产生单元82从4×4像素、8×8像素和16×16像素的帧内预测模式当中选择一种帧内预测模式。将选择的帧内预测模式信息存储在预测模式缓冲器91中。
低通滤波设置单元93从预测模式缓冲器91读出帧内预测模式信息，并且，从量化参数缓冲器92读出量化参数值。在步骤S43中，低通滤波设置单元93然后从存储于滤波系数存储器94中的针对每一个片段计算出的滤波系数当中设置对应于该帧内预测模式和量化参数的滤波系数。将设置的滤波系数供应给邻近图像设置单元81。
在步骤S44中，邻近图像设置单元81使用设置的滤波系数来对当前块的邻近像素值执行滤波处理，并且，将经过滤波处理的邻近像素值供应给预测图像产生单元82。
在步骤S43中，预测图像产生单元82使用经过滤波处理的邻近像素值以在步骤S42中选择的帧内预测模式对当前块执行帧内预测，并且产生预测图像。
向最佳预测模式确定单元83供应已经从画面重新排列缓冲器62读出的要进行帧内预测的图像、由预测图像产生单元82产生的预测图像及其帧内预测模式信息。
在步骤S46中，最佳预测模式确定单元83使用供应的信息来计算已经产生了预测图像的帧内预测模式的成本函数值。这里，基于高复杂度模式或低复杂度模式的技术之一来执行成本函数值的计算。用作为H.264/AVC格式的参考软件的JM(联合模型)来确定这些模式。
具体地说，在高复杂度模式中，暂时地，对所有的候选预测模式执行到编码处理，作为步骤S45中的处理。针对各预测模式计算用下述表达式(73)表示的成本函数值，并且，选择提供其最小值的预测模式作为最佳预测模式。
Cost(Mode)＝D+λ·R...(73)
D表示原始图像和解码图像之间的差(失真)，R表示包含正交变换系数的产生的代码量，并且，λ表示要被提供作为量化参数QP的函数的拉格朗日乘子。
另一方面，在低复杂度模式中，产生预测图像，并且，针对所有的候选预测模式至多计算运动向量信息、预测模式信息、标志信息等的头比特，作为步骤S45中的处理。针对各预测模式计算用下述表达式(74)表示的成本函数值，并且，选择提供其最小值的预测模式作为最佳预测模式。
Cost(Mode)＝D+QPtoQuant(QP)+Header_Bit...(74)
D表示原始图像和解码图像之间的差(失真)，Header_Bit表示关于预测模式的头比特，并且，QptoQuant是被提供作为量化参数QP的函数的函数。
在低复杂度模式中，仅仅针对所有的预测模式产生预测图像，并且，无需执行编码处理和解码处理，从而可以减少计算量。
在步骤S47中，最佳预测模式确定单元83确定针对所有的帧内预测模式是否结束了处理。也就是说，在步骤S47中，确定是否针对4×4像素、8×8像素和16×16像素的所有的帧内预测模式执行了步骤S42至S46的处理。
当在步骤S47中确定尚未针对所有的帧内预测模式结束处理的情况中，处理返回到步骤S42，并且，重复后续处理。
当在步骤S47中确定针对所有的帧内预测模式结束了处理的情况中，处理前进到步骤S48。在步骤S48中，最佳预测模式确定单元83将其计算出的成本函数值是最小值的帧内预测模式确定为最佳帧内预测模式。
最佳帧内预测模式的预测图像及其对应成本函数值被供应给预测图像选择单元77。
在预测图像选择单元77选择了在最佳帧内预测模式中产生的预测图像的情况中，最佳预测模式确定单元83将指示最佳帧内预测模式的信息供应给无损耗编码单元66。然后在无损耗编码单元66处对此信息进行编码，并且，将该信息与压缩图像的头信息相加(在上述的图16中的步骤S23)。
请注意，存储在滤波系数存储器94中的通过学习处理计算出的滤波系数也类似地被存储在稍后描述的图22中的图像解码装置151中，从而不必将设置的滤波系数与压缩图像的头信息相加并发送。
因此，在H.264/AVC的情况中，存在51个量化参数，存在4×4像素和8×8像素的九种帧内预测模式，并且，当考虑这些组合时，需要51×9＝459个庞大的滤波系数。不必将关于这样的庞大的滤波系数的信息发送到解码侧，从而可以在不增加系数信息的开销的情况下实现处理。
[帧间运动预测处理的描述]
接下来，将参照图19中的流程图描述图17中的步骤S32中的帧间运动预测处理。
在步骤S61中，运动预测/补偿单元76针对由16×16像素至4×4像素构成的八种帧间预测模式中的每一种确定运动向量和参考图像。也就是说，针对要以每一种帧间预测模式处理的块均确定运动向量和参考图像。
在步骤S62中，基于在步骤S61中针对由16×16像素至4×4像素构成的八种帧间预测模式中的每一种确定的运动向量，运动预测/补偿单元76对参考图像进行运动预测和补偿处理。根据该运动预测和补偿处理，产生每一种帧间预测模式中的预测图像。
在步骤S63中，运动预测/补偿单元76产生关于针对由16×16像素至4×4像素构成的八种帧间预测模式中的每一种确定的运动向量的运动向量信息，以与压缩图像相加。
在接下来的步骤S64中计算成本函数值时也使用产生的运动向量信息，并且，在预测图像选择单元77最终选择了相应的预测图像的情况中，将产生的运动向量信息与预测模式信息和参考帧信息一起输出给无损耗编码单元66。
在步骤S64中，运动预测/补偿单元76针对由16×16像素至4×4像素构成的八种帧间预测模式中的每一种计算上述的表达式(73)或表达式(74)中示出的成本函数值。当在上述的图17中的步骤S34中确定最佳帧间预测模式时，使用这里计算出的成本函数值。
接下来，作为用于计算最佳滤波系数的第二种方法，将参照图20描述下述情况的例子：其中，执行在线处理，即，针对每一个片段连续地计算最佳滤波系数。
现在，在这种情况下，需要将在编码侧针对每一个片段计算出的滤波系数发送到解码侧，并且，发送已经被分解为多种情形的滤波系数导致编码效率的劣化。因此，针对片段只发送一个滤波系数，或者，针对每一块尺寸的每一种预测模式只发送一个滤波系数，或者，针对诸如水平预测、垂直预测等的预测模式类型只发送一个滤波系数。
此外，在上述的离线处理的情况中，对使用帧内预测模式和量化参数作为用于计算滤波系数的参数的例子进行描述。另一方面，在在线处理的情况中，用于计算滤波系数的大量的参数增加了处理量，从而，将用图20描述关于对于参数只使用帧内预测模式的例子的例子。虽然将省略描述，但是，当然，可以只使用量化参数，或者，可以使用两种参数。
[帧内预测单元和邻近像素内插滤波切换单元的其它配置例子]
图20是图示在下述情况中的帧内预测单元74和邻近像素内插滤波切换单元75的另一配置例子的框图：针对每一个片段执行在线处理，以连续地计算最佳滤波系数。
在图20中的例子的情况中，在帧内预测单元74和邻近像素内插滤波切换单元75之间引入开关101，并且，与图14所示的情况不同，通过接通和断开开关101，帧内预测单元74执行帧内预测两次。也就是说，对于帧内预测单元74，在开关101断开的状态中执行在H.264/AVC中定义的帧内预测，并且，计算适合于帧内预测的滤波系数。在开关101接通的状态中，用计算出的滤波系数当中的由邻近像素内插滤波切换单元75设置的滤波系数执行帧内预测。
图20中的帧内预测单元74由邻近图像设置单元111、预测图像产生单元112和最佳预测模式确定单元113构成。
邻近像素内插滤波切换单元75由预测模式缓冲器121、最佳滤波计算单元122和低通滤波设置单元123构成。
从帧存储器72向邻近像素设置单元111供应用于帧内预测的当前片段的所有当前块的邻近像素值。在图20的情况中，也省略了开关73的图示。请注意，在帧内预测的情况中，未经过去块滤波器71的去块滤波的像素值用作邻近像素值。
在开关101处于断开状态的情况中，邻近像素设置单元111使用仅仅用于在H.264/AVC中定义的帧内预测模式的滤波系数来对来自帧存储器72的当前块的邻近像素值进行滤波处理，并且将其供应给预测图像产生单元112。也就是说，仅仅在上文的用表达式(14)至表达式(24)描述的8×8预测模式的情况中，经过滤波处理的邻近像素值被供应给预测图像产生单元112。在所有的其它情况中，来自帧存储器72的当前块的邻近像素值原样地被供应给预测图像产生单元112。
在开关101处于接通(on)状态的情况中，从低通滤波设置单元123向邻近像素设置单元111供应滤波系数。因此，邻近像素设置单元111使用由低通滤波设置单元123设置的滤波系数来对来自帧存储器72的当前块的邻近像素值进行滤波处理，并且将经过滤波处理的邻近像素值供应给预测图像产生单元112。
预测图像产生单元112使用来自邻近像素设置单元111的邻近像素值来以所有的帧内预测模式对当前块执行帧内预测，并且产生预测图像。将产生的预测图像与帧内预测模式信息一起供应给最佳预测模式确定单元113。
向最佳预测模式确定单元113供应已经从画面重新排列缓冲器62读出的用于帧内预测的图像、由预测图像产生单元112产生的预测图像及其帧内预测模式信息。
最佳预测模式确定单元113使用供应的信息来计算已经产生预测图像的帧内预测模式的成本函数值，并且将产生计算出的成本函数值中的最小值的帧内预测模式决定为最佳帧内预测模式。
在开关101处于断开(off)状态的情况中，最佳预测模式确定单元113将最佳帧内预测模式的信息供应给预测模式缓冲器121。在开关101处于接通状态的情况中，最佳预测模式确定单元113将最佳帧内预测模式的预测图像和相应的成本函数值供应给预测图像选择单元77。
此外，在预测图像选择单元77选择了在最佳帧内预测模式中产生的预测图像的情况中，最佳预测模式确定单元113将指示最佳帧内预测模式的信息供应给无损耗编码单元66。
预测模式缓冲器121存储来自最佳预测模式确定单元113的帧内预测模式信息。
向最佳滤波计算单元122供应已经从画面重新排列缓冲器62读出的帧内预测的图像和来自帧存储器72的当前块的邻近像素值。最佳滤波计算单元122从预测模式缓冲器121读出当前片段中包含的每一块的帧内预测模式。最佳滤波计算单元122然后使用该信息来计算当前片段的帧内预测模式的最佳滤波系数，如上文中参照图15所述，并且，最佳滤波计算单元122将计算出的滤波系数供应给低通滤波设置单元123。
低通滤波设置单元123从已经计算出的当前片段的滤波系数当中设置用于当前块的滤波系数，接通开关101的端子，并且将设置的滤波系数供应给邻近像素设置单元111。此外，低通滤波设置单元123将用于当前片段的滤波系数供应给无损耗编码单元66。
[帧内预测处理的其它描述]
接下来，将参照图21中的流程图描述图20中的邻近像素内插滤波切换单元75和帧内预测单元74执行的帧内预测处理。请注意，该帧内预测处理是图17中的步骤S31的帧内预测处理的另一例子。
首先，开关101处于断开状态。从帧存储器72向邻近像素设置单元111供应要进行帧内预测的当前片段的所有当前块的邻近像素值。邻近像素设置单元111使用仅仅用于在H.264/AVC中定义的8×8像素帧内预测模式的滤波系数来对来自帧存储器72的当前块的邻近像素值执行滤波处理，并且将其供应给预测图像产生单元112。也就是说，在其它的帧内预测模式的情况中，来自帧存储器72的当前块的邻近像素值原样地被供应给预测图像产生单元112。
在步骤S101中，预测图像产生单元112对当前片段中包含的所有块执行帧内预测处理。也就是说，预测图像产生单元112使用来自邻近像素设置单元111的当前块的邻近像素值来以每一种帧内预测模式执行帧内预测，并且产生预测图像。
向最佳预测模式确定单元113供应已经从画面重新排列缓冲器62读出的要进行帧内预测的图像、由预测图像产生单元112产生的预测图像及其帧内预测模式信息。
在步骤S102中，最佳预测模式确定单元113使用供应的信息来计算关于产生了预测图像的所有的帧内预测模式的上述的表达式(73)或表达式(74)中的成本函数值。
在步骤S103中，最佳预测模式确定单元113将表达式(73)或表达式(74)中的成本函数为最小的帧内预测模式确定为最佳帧内预测模式，并且将确定的帧内预测模式的信息供应给预测模式缓冲器121。
向最佳滤波计算单元122供应已经从画面重新排列缓冲器62读出的要进行帧内预测的图像和来自帧存储器72的当前块的邻近像素值。最佳滤波计算单元122从预测模式缓冲器121读出当前片段中包含的每一块的帧内预测模式。
在步骤S104中，最佳滤波计算单元122使用该信息来计算使整个当前片段的残差最小的滤波系数，作为当前片段的每一种帧内预测模式的最佳滤波系数。将上文中参照图15描述的滤波系数供应给低通滤波设置单元123。
低通滤波设置单元123从计算出的当前片段的滤波系数当中设置对应于当前块的滤波系数，接通开关101的端子，并且将设置的滤波系数供应给邻近像素设置单元111。
在步骤S105中，邻近像素设置单元111使用由低通滤波设置单元123设置的滤波系数来对来自帧存储器72的当前块的邻近像素值执行滤波处理。
将经过滤波处理的邻近像素值供应给预测图像产生单元112。在步骤S106中，预测图像产生单元112再次使用经过滤波处理的邻近像素值来对当前片段中包含的所有块执行帧内预测，从而产生预测图像。将产生的预测图像与帧内预测模式信息一起供应给最佳预测模式确定单元113。
在开关101处于接通状态的情况中，最佳预测模式确定单元113将最佳帧内预测模式的预测图像和相应的成本函数值供应给预测图像选择单元77。
在上述的图16的步骤S22中，预测图像选择单元77将最佳帧内预测模式和最佳帧间预测模式之一确定为最佳预测模式，并且供应预测图像的选择信息。
在步骤S107中，最佳预测模式确定单元113根据预测图像的选择信息确定是否选择了最佳帧内预测模式的预测图像。当在步骤S107中确定选择了最佳帧内预测模式的预测图像的情况中，处理前进到步骤S108。
在步骤S108中，最佳预测模式确定单元113将帧内预测模式信息供应给无损耗编码单元66。请注意，在针对当前片段尚未供应滤波系数的情况中，来自最佳滤波计算单元122的滤波系数也被供应给无损耗编码单元66。
当在步骤S107中确定尚未选择最佳帧内预测模式的预测图像的情况中，帧内预测处理结束。
请注意，可以通过重复上述的步骤S104至S106的处理来获得进一步优化的滤波系数。
编码的压缩图像经由预定的传送路径来传送，并且由图像解码装置解码。
[图像解码装置的配置例子]
图22表示用作应用了本发明的图像处理装置的图像解码装置的实施例的配置。
图像解码装置151由存储缓冲器161、无损耗解码单元162、逆量化单元163、逆正交变换单元164、计算单元165、去块滤波器166、画面重新排列缓冲器167、D/A转换单元168、帧存储器169、开关170、帧内预测单元171、邻近像素内插滤波切换单元172、运动预测/补偿单元173和开关174构成。
存储缓冲器161存储传送的压缩图像。无损耗解码单元162使用与图1中的无损耗编码单元66的编码格式对应的格式来对从存储缓冲器161供应且由该无损耗编码单元66编码的信息进行解码。逆量化单元163使用与图1中的量化单元65的量化格式对应的格式对由无损耗解码单元162解码的图像进行逆量化。逆正交变换单元164使用与图1中的正交变换单元64的正交变换格式对应的格式来对逆量化单元163的输出进行逆正交变换。
通过计算单元165将经过逆正交变换的输出与从开关174供应的预测图像相加来对该输出进行解码。去块滤波器166去除解码图像的块失真，然后，将其供应给帧存储器169以便存储，并且还将其输出给画面重新排列缓冲器167。
画面重新排列缓冲器167对图像执行重新排列。具体地说，将由图1中的画面重新排列缓冲器62对编码序列重新排列的帧的序列重新排列为原始的显示序列。D/A转换单元168对从画面重新排列缓冲器167供应的图像进行数值模拟转换，并且将其输出给未示出的显示器以便显示。
开关170从帧存储器169读出要进行帧间处理的图像和要参考的图像，将其输出给运动预测/补偿单元173，还从帧存储器169读出要用于帧内预测的图像并将其供应给帧内预测单元171。
将通过对头信息进行解码而获得的指示帧内预测模式的信息从无损耗解码单元162供应给帧内预测单元171。帧内预测单元171基于该信息通过使用由邻近像素内插滤波切换单元172设置的滤波系数对邻近像素值执行滤波处理和帧内预测来产生预测图像，并且将产生的预测图像输出到开关174。
从无损耗解码单元162向邻近像素内插滤波切换单元172供应通过根据在图像编码装置51处的编码对头信息进行解码而获得的指示帧内预测模式的信息和量化参数的信息中的至少一个。以与图1中的邻近像素内插滤波切换单元75相同的方式，邻近像素内插滤波切换单元172存储通过在稍后描述的图28中的学习装置251处学习而获得的与量化参数和帧内预测模式中的至少一个对应的滤波系数。
邻近像素内插滤波切换单元172设置与来自无损耗解码单元162的量化参数和帧内预测模式中的至少一个对应的滤波系数。每一个片段邻近像素内插滤波切换单元172将设置的滤波系数供应给帧内预测单元74。
请注意，对于邻近像素内插滤波切换单元172，存储预先离线学习的滤波系数。但是，请注意，在用图1中的邻近像素内插滤波切换单元75在线计算滤波系数的情况中，例如，针对每一个片段向其传送这些滤波系数。在这种情况下，邻近像素内插滤波切换单元172使用由无损耗解码单元162解码的滤波系数。
将通过对头信息进行解码而获得的信息(预测模式信息、运动向量信息和参考帧信息)从无损耗解码单元162供应给运动预测/补偿单元173。在供应了指示帧间预测模式的信息的情况中，运动预测/补偿单元173基于运动向量信息和参考帧信息对图像进行运动预测和补偿处理，以产生预测图像。运动预测/补偿单元173将在帧间预测模式中产生的预测图像输出到开关174。
开关174选择由运动预测/补偿单元173或帧内预测单元171产生的预测图像并将其供应给计算单元165。
请注意，采用图1中的图像编码装置51，为了基于成本函数的预测模式确定，针对所有的帧内预测模式执行帧内预测处理。另一方面，采用图像解码装置151，仅仅基于编码的向其发送的帧内预测模式的信息，执行帧内预测处理。
[帧内预测单元和邻近像素内插滤波切换单元的配置例子]
图23是图示邻近像素内插滤波切换单元和帧内预测单元的详细配置例子的框图。请注意，图23中的功能块对应于在采用图14中所示的图像编码装置51的离线处理的情况中的功能块。
在图23的例子的情况中，帧内预测单元71由预测图像产生单元181和邻近像素设置单元182构成。邻近像素内插滤波切换单元172由预测模式缓冲器191、量化参数缓冲器192和低通滤波设置单元193构成。低通滤波设置单元193具有内置的滤波系数存储器194。
向预测图像产生单元181供应来自无损耗解码单元162的帧内预测模式信息和来自邻近像素设置单元182的经过滤波处理的邻近像素值。预测图像产生单元181使用向其供应的邻近像素值来以来自无损耗解码单元162的帧内预测模式执行帧内预测，产生预测图像，并且将产生的预测图像供应给开关174。
从帧存储器169向邻近像素设置单元182供应要进行帧内预测的当前块的邻近像素值。在图23的情况中，省略了开关170的图示，但是，实际上，将邻近像素值经由开关170从帧存储器169供应给邻近像素设置单元182。
邻近像素设置单元182使用由低通滤波设置单元193设置的滤波系数来对来自帧存储器169的当前块的邻近像素值执行滤波处理，并且将经过了滤波处理的邻近像素值供应给预测图像产生单元181。
预测模式缓冲器191存储来自无损耗解码单元162的帧内预测模式信息。量化参数缓冲器192存储来自无损耗解码单元162的量化参数。
低通滤波设置单元193从预测模式缓冲器191读出当前块的帧内预测模式信息，并且，从量化参数缓冲器192读出与当前块对应的量化参数。低通滤波设置单元193从存储于内置滤波系数存储器194中的滤波系数设置与该信息对应的滤波系数，并且，将设置的滤波系数供应给邻近像素设置单元182。
以与图14中的滤波系数存储器94相同的方式，滤波系数存储器194存储与通过在稍后描述的图28中的学习装置处学习而获得的帧内预测模式和量化参数对应的滤波系数。
例如，针对每一个片段，计算和存储滤波系数，如上文中参照图15所述。请注意，对于滤波系数存储器194，也根据处理器的寄存器长度将滤波系数保持为n比特值(其中，n是整数)。
[图像解码装置的解码处理的描述]
接下来，将参照图24的流程图描述图像解码装置151执行的解码处理。
在步骤S131中，存储缓冲器161存储传送的图像。在步骤S132中，无损耗解码单元162对从存储缓冲器161供应的压缩图像进行解码。具体地说，对由图1中的无损耗编码单元66编码的I图片、P图片和B图片进行解码。
此时，也对运动向量信息、参考帧信息、预测模式信息(指示帧内预测模式或帧间预测模式的信息)、量化参数信息、标志信息等进行解码。
具体地说，在预测模式信息是帧内预测模式信息的情况中，将预测模式信息供应给帧内预测单元171和邻近像素内插滤波切换单元172。此外，在已经对量化参数信息进行解码的情况中，也将其供应给邻近像素内插滤波切换单元172。在预测模式信息是帧间预测模式信息的情况中，将对应于预测模式信息的参考帧信息和运动向量信息供应给运动预测/补偿单元173。
在步骤S133中，逆量化单元163使用与图1中的量化单元65的特性对应的特性来对由无损耗解码单元162解码的变换系数进行逆量化。在步骤S134中，逆正交变换单元164使用与图1中的正交变换单元64的特性对应的特性来对由逆量化单元163逆量化的变换系数进行逆正交变换。这意味着，已经对与图1中的正交变换单元64的输入(计算单元63的输出)对应的差分信息进行解码。
在步骤S135中，计算单元165将经由开关174输入且在稍后描述的步骤S141中的处理中选择的预测图像与该差分信息相加。因此，对原始图像进行解码。在步骤S136中，去块滤波器166对从计算单元165输出的图像进行滤波。因此，去除了块失真。在步骤S137中，帧存储器169存储经过滤波的图像。
在步骤S138中，帧内预测单元171和运动预测/补偿单元173响应于从无损耗解码单元162供应的预测模式信息来执行相应的图像预测处理。
具体地说，在已经从无损耗解码单元162供应帧内预测模式信息的情况中，帧内预测单元171以帧内预测模式执行帧内预测处理。此时，帧内预测单元171使用由邻近像素内插滤波切换单元172设置的滤波系数来对邻近像素执行滤波处理和帧内预测处理。
稍后将参照图25描述步骤S138中的预测处理的细节，但是，根据该处理，将由帧内预测单元171产生的预测图像或者由运动预测/补偿单元173产生的预测图像供应给开关174。
在步骤S139中，开关174选择预测图像。具体地说，供应由帧内预测单元171产生的预测图像或者由运动预测/补偿单元173产生的预测图像。因此，供应的预测图像被选择，被供应给计算单元165，并且，在步骤S134中，如上所述，将该预测图像与逆正交变换单元164的输出相加。
在步骤S140中，画面重新排列缓冲器167执行重新排列。具体地说，将由图像编码装置51的画面重新排列缓冲器62为编码而重新排列的帧的序列重新排列为原始的显示序列。
在步骤S141中，D/A转换单元168对来自画面重新排列缓冲器167的图像进行数字模拟转换。将该图像输出给未示出的显示器，并且，显示该图像。
[预测处理的描述]
接下来，将参照图25中的流程图描述图24中的步骤S138中的预测处理。
在步骤S171中，预测图像产生单元181确定是否对当前块进行了帧内编码。在将帧内预测模式信息从无损耗解码单元162供应给预测图像产生单元181时，在步骤S171中，预测图像产生单元181确定对当前块进行了帧内编码，并且，本处理前进到步骤S172。
在步骤S172中，预测图像产生单元181从无损耗解码单元162接收和获得帧内预测模式信息。此时，帧内预测模式信息也被供应给预测模式缓冲器191并被存储。
此外，在将来自无损耗解码单元162的量化参数信息供应给量化参数缓冲器192时，在步骤S173中，量化参数缓冲器192获得并存储量化参数。
低通滤波设置单元193从预测模式缓冲器191读出当前块的帧内预测模式信息，并且，从量化参数缓冲器192读出关于当前块的量化参数。在步骤S174中，低通滤波设置单元193从存储于内置的滤波系数存储器194中的每一个片段的滤波系数当中设置对应于该信息的邻近像素的滤波系数。将设置的滤波系数供应给邻近像素设置单元182。
在步骤S175中，邻近像素设置单元182使用由低通滤波设置单元193设置的滤波系数来对来自帧存储器169的当前块的邻近像素值执行滤波处理，并且将经过了滤波处理的邻近像素值供应给预测图像产生单元181。
预测图像产生单元181使用从邻近像素设置单元182供应的邻近像素值来以在步骤S172中获得的帧内预测模式执行帧内预测，并且产生预测图像。将产生的预测图像供应给开关174。
另一方面，当在步骤S171中确定尚未执行帧内编码的情况中，本处理前进到步骤S177。
当要处理的图像是要进行帧内处理的图像的情况中，将帧间预测模式信息、参考帧信息和运动向量信息从无损耗解码单元162供应给运动预测/补偿单元173。在步骤S177中，运动预测/补偿单元173从无损耗解码单元162获得帧间预测模式信息、参考帧信息、运动向量信息等。
在步骤S178中，运动预测/补偿单元173然后执行帧间运动预测。具体地说，在要处理的图像是要进行帧间预测处理的图像的情况中，从帧存储器169读出必要的图像，并且，将必要的图像经由开关170供应给运动预测/补偿单元173。在步骤S177中，运动预测/补偿单元173基于在步骤S176中获得的运动向量以帧间预测模式执行运动预测，以产生预测图像。将产生的预测图像输出给开关174。
[帧内预测单元和邻近像素内插滤波切换单元的其它配置例子]
图26是图示邻近像素内插滤波切换单元和帧内预测单元的详细配置例子的框图。请注意，图26中的功能块对应于在采用图20中所示的图像编码装置51的在线处理的情况中的功能块。
在图26的例子的情况中，帧内预测单元71由图23中的邻近像素设置单元182和预测图像产生单元181构成。邻近像素内插滤波切换单元172由图23中的预测模式缓冲器191、内插滤波缓冲器201和低通滤波设置单元202构成。请注意，在图26中的例子中，对应于图23中的情况的部分用相应的附图标记表示，并且，基本上执行相同的处理，从而将省略其描述。
在图26的情况中，针对当前片段计算的滤波系数被编码并从图像编码装置51发送。因此，无损耗解码单元162将其与其它信息一同解码，并供应给邻近像素内插滤波切换单元172的内插滤波缓冲器201。
内插滤波缓冲器201从无损耗解码单元162获得用于当前片段的滤波系数并存储它。
低通滤波设置单元202从预测模式缓冲器191读出当前块的帧内预测模式信息。低通滤波设置单元202从存储在内插滤波缓冲器201中的当前片段的滤波系数读出对应于已经被读出的帧内预测模式的滤波系数，并将其设置为用于当前块的滤波系数。将设置的滤波系数供应给邻近像素设置单元182。
[预测处理的其它描述]
接下来，将参照图27中的流程图描述帧内预测单元171和邻近像素内插滤波切换单元172的情况中的预测处理。请注意，该帧内预测处理是图24中的步骤S138中的预测处理的另一例子。此外，在图27中步骤S181、S182和S185到S188的处理基本上执行与图25中步骤S171、S172和S175到S178相同的处理，因此省略对其的详细描述。
在步骤S181中，预测图像产生单元181确定是否对当前块进行了帧内编码。在将帧内预测模式信息从无损耗解码单元162供应给预测图像产生单元181时，在步骤S181中，预测图像产生单元181确定对当前块进行了帧内编码，并且，本处理前进到步骤S182。
在步骤S182中，预测图像产生单元181从无损耗解码单元162接收和获得帧内预测模式信息。此时，该帧内预测模式信息也被供应给预测模式缓冲器191并被存储。
此外，在用于当前片段的滤波系数的信息被从无损耗解码单元162供应给内插滤波缓冲器201时，内插滤波缓冲器201在步骤S183获得用于当前片段的滤波系数，并存储。请注意，为每个片段供应滤波系数。
低通滤波设置单元202从预测模式缓冲器191读出用于当前块的帧内预测模式信息。在步骤S184中，除了存储在内插滤波缓冲器201中的当前片段的滤波系数，低通滤波设置单元202还对应于当前块的帧内预测模式设置用于邻近像素的滤波系数。将设置的滤波系数供应给邻近像素设置单元182。
在步骤S185中，邻近像素设置单元182使用由低通滤波设置单元202设置的滤波系数来对来自帧存储器169的当前块的邻近像素值执行滤波处理，并且将经过了滤波处理的邻近像素值供应给预测图像产生单元181。
在步骤S186中，预测图像产生单元181使用从邻近像素设置单元182供应的邻近像素值来使用在步骤S172中获得的帧内预测模式执行帧内预测，并且产生预测图像。将产生的预测图像供应给开关174。
另一方面，当在步骤S181中确定其不是帧内编码的情况中，本处理前进到步骤S187。
在步骤S187中，运动预测/补偿单元173从无损耗解码单元162获得帧间预测模式信息、参考帧信息、运动向量信息等。
在步骤S188中，运动预测/补偿单元173执行帧间运动预测。由于这一处理，产生的预测图像被输出到开关174。
因此，先于帧内处理，通过图1中的图像编码装置51和图22中的图像解码装置151，使用为图像自适应地设置的滤波系数对用于帧内预测的邻近像素执行滤波处理。例如，滤波系数根据帧内预测模式或量化参数设置。
因此，可以执行对应于图像和比特率的噪声去除。结果，可以提高预测效率。
图28表示应用了本发明的学习装置的一个实施例的配置。在图28中的例子中，学习装置251使用训练图像信号执行滤波系数的学习处理。
请注意，训练图像信号是用于获得滤波系数的测试图像，并且可以使用，例如，可以在www.vqeg.org获得的用于图像压缩编码的标准化的标准序列。或者，还可以使用对应于每一个应用的输入图像。例如，在输入是照相机信号的情况中，可以使用使用CCD或CMOS传感器成像的基带信号执行学习。
图28中的学习装置251与图1中的图像编码装置51的共同之处在于具有A/D转换单元61、画面重新排列缓冲器62、计算单元63、正交变换单元64、量化单元65、无损耗编码单元66、存储缓冲器67、逆量化单元68、逆正交变换单元69、计算单元70、去块滤波器71、帧存储器72、开关73、帧内预测单元74、运动预测/补偿单元76、预测图像选择单元77和速率控制单元78。
此外，学习装置251与图1中的图像编码装置51的不同之处在于：对于使用的信号，使用训练图像信号，并且，包括邻近像素内插滤波计算单元261，而不是邻近像素内插滤波切换单元75。
具体地说，对于学习装置251，仅仅使用包含在I图片中的块来执行学习。或者，对于学习装置251，仅仅使用包含在B图片和P图片中的帧内宏块内的块来执行学习。前者比后者需要更少的用于学习的计算量。此外，在前者的情况中，对于包含在I图片中的块获得的系数可以仅仅适用于在I图片中包含的块，或者可以适用于在B图片和P图片中包含的帧内宏块。
即，对于学习装置251，执行仅仅通过采用帧内预测单元74的帧内预测的学习。因此，我们将说，运动预测/补偿单元76实际上不起作用。
此外，图29中的邻近像素内插滤波计算单元261与图20中的邻近像素内插滤波切换单元75的共同之处在于，具有预测模式缓冲器121、最佳滤波计算单元122和低通滤波设置单元123。
另一方面，图29中的邻近像素内插滤波计算单元261与图20中的邻近像素内插滤波切换单元75的不同之处在于，添加了滤波系数存储单元271，并且，将来自速率控制单元78的量化参数供应给最佳滤波计算单元122。
具体地说，在图29中的例子中，以与图20中的例子的情况相同的方式，在帧内预测单元74和邻近像素内插滤波切换单元75之间设置开关101，并且，帧内预测单元74根据开关101的打开/关闭执行帧内预测两次。
也就是说，对于帧内预测单元74，在开关101的关闭状态中，执行在H.264/AVC中定义的帧内预测，并且，针对每一个片段计算对于帧内预测模式最佳的滤波系数和量化参数。将针对每一个片段计算出的滤波系数存储在滤波系数存储单元271中。然后，在开关101的打开状态中，用已经计算出的每一个片段的滤波系数中的由邻近像素内插滤波切换单元75设置的滤波条件执行帧内预测。
经由存储介质或网络等，将在该滤波系数存储单元271中存储的滤波系数存储在图1中的图像编码装置51的滤波系数存储器94(图14)和图22中的图像解码装置151的滤波系数存储器194(图23)。
[学习处理中的帧内预测处理的描述]
接下来，将参照图30中的流程图描述作为学习处理的一个过程的图28中的学习装置251执行的帧内预测处理。请注意，对于学习处理，除了步骤S21中的预测处理被步骤S30中的帧内预测处理替代以外，学习装置251基本上执行与图17中的编码处理相同的处理。
此外，图30中的步骤S201至S203和S206至S209基本上执行与步骤S101至S103和S105至S108相同的处理，从而，将省略其赘述。也就是说，在图30中的步骤S204中，最佳滤波计算单元122计算使整个片段的残差最小的当前片段的每一种帧内预测模式的滤波系数和对应的量化参数，作为最佳滤波系数。将计算出的滤波系数供应给滤波系数存储单元271。
在步骤S205中，滤波系数存储单元271存储从最佳滤波计算单元122供应的滤波系数。
低通滤波设置单元123从存储在滤波系数存储单元271中的当前片段的滤波系数中设置对应于当前块的滤波系数，接通开关101的端子，并且将设置的滤波系数供应给邻近像素设置单元111。
因此，在步骤S206中，使用设置的滤波系数来对来自帧存储器72的当前块的邻近像素值执行滤波处理。
当然，以与图21中的例子相同的方式，重复上述的步骤S204至S207的处理能够获得进一步优化的滤波系数。
如上所述，对于学习装置251，使用训练图像信号执行与实际上使用的编码处理相同的处理，并且，将由此计算出的滤波系数存储到滤波系数存储单元271中。因此，可以获得最佳滤波系数。
经由存储介质或网络等，将在该滤波系数存储单元271中存储的滤波系数存储在图1中的图像编码装置51的滤波系数存储器94(图14)和图22中的图像解码装置151的滤波系数存储器194(图23)。
此外，采用图像编码装置251，如上所述，对于在I图片中包含的块(或在B图片和P图片中包含的帧内宏块)获得的系数可以仅仅适用于I图片中包含的块。或者，该系数不仅可以适用于I图片中包含的块，还可以适用于B图片和P图片中包含的帧内宏块。
或者，可以用图1中的图像编码装置51和图22中的图像解码装置151实现高编码效率。
请注意，采用图1中的图像编码装置51的上述的正交变换单元64和逆正交变换单元69、以及图22中的图像解码装置151的逆正交变换单元164，执行在H.264/AVC中定义的正交变换/逆正交变换。或者，可以进行这样的布置：其中，图1中的图像编码装置51的正交变换单元64和逆正交变换单元69、以及图22中的图像解码装置151的逆正交变换单元164，执行在非专利文献1中提出的正交变换/逆正交变换。
因此，可以进一步提高在非专利文献1中提出的格式的编码效率。
请注意，虽然在以上的描述中已经描述了执行帧内预测的例子，但是，本发明也可以适用于非专利文献2中提出的二次预测中的帧内预测。
<2.第二实施例>
[图像编码装置的其它配置例子]
图31示出用作应用了本发明的图像处理装置的图像编码装置的另一实施例的配置。
图像编码装置351与图1中的图像编码装置51的共同之处在于具有A/D转换单元61、画面重新排列缓冲器62、计算单元63、正交变换单元64、量化单元65、无损耗编码单元66、存储缓冲器67、逆量化单元68、逆正交变换单元69、计算单元70、去块滤波器71、帧存储器72、开关73、帧内预测单元74、运动预测/补偿单元76、预测图像选择单元77和速率控制单元78。
此外，图像编码装置351与图1中的图像编码装置51的不同之处在于，省略了邻近像素内插滤波切换单元75，并且，添加了二次预测单元361和邻近像素内插滤波切换单元362。
也就是说，对于图31中的例子，帧内预测单元74执行H.264/AVC帧内预测。
另一方面，运动预测/补偿单元76基于用于帧间处理的图像和参考图像检测所有的候选帧间预测模式的运动向量，基于运动向量对参考图像进行补偿处理，并且产生预测图像。
运动预测/补偿单元76向二次预测单元361供应检测到的运动向量信息、用于帧间处理的图像的信息(地址等)和一次残差，该一次残差是用于帧间预测的图像和产生的预测图像之间的差。
运动预测/补偿单元76通过比较来自二次预测单元361的二次残差来确定二次预测中的最佳帧内预测模式。此外，运动预测/补偿单元76通过比较二次残差和一次残差来确定对二次残差进行编码还是对一次残差进行编码。请注意，对所有的候选帧间预测模式执行该处理。
运动预测/补偿单元76针对所有的候选帧间预测模式计算成本函数值。此外，使用一次残差和二次残差中的针对每一种帧间预测模式确定的残差来计算成本函数值。运动预测/补偿单元76将产生计算出的成本函数值中的最小值的预测模式确定为最佳帧间预测模式。
运动预测/补偿单元76将在最佳帧间预测模式中产生的预测图像(或者用于帧间预测的图像和二次残差之间的差)及其成本函数值供应给预测图像选择单元77。在预测图像选择单元77选择了在最佳帧间预测模式中产生的预测图像的情况中，运动预测/补偿单元76将指示最佳帧间预测模式的信息输出给无损耗编码单元66。此时，运动向量信息、参考帧信息、指示要执行二次预测的二次预测标志、二次预测中的帧内预测模式的信息等也被输出到无损耗编码单元66。
无损耗编码单元66也对来自运动预测/补偿单元76的信息进行诸如可变长度编码、算术编码等的无损耗编码处理，并且将其插入压缩图像的头部中。
基于来自运动预测/补偿单元76的运动向量信息和要进行帧间处理的图像的信息，二次预测单元361从帧存储器72读出与要进行帧间处理的当前块邻近的当前邻近像素。此外，二次预测单元361从帧存储器72读出与通过运动向量信息同当前块相关联的与参考块邻近的参考邻近像素。
二次预测单元361执行二次预测处理。二次预测处理是这样的处理：其中，在一次残差和当前邻近像素与参考邻近像素间的差之间执行帧内预测，从而产生二次差(二次残差)的信息。
现在，将参照图32描述二次预测处理。
对于图32中的例子，示出了当前帧和参考帧，其中，在当前帧中示出了当前块A。
在针对当前块A的参考帧和当前帧中获得运动向量mv(mv_x,mv_y)的情况中，计算当前块A和通过运动向量mv与当前块A相关联的块之间的差分信息(残差)。
对于二次预测系统，不仅计算与当前块A有关的差分信息，而且还计算邻近当前块A的邻近像素组R和通过运动向量mv与邻近像素组R相关联的邻近像素组R1之间的差分信息。
也就是说，从当前块A的左上坐标(x,y)获得邻近像素组R的坐标。此外，从通过运动向量mv与当前块A相关联的块的左上坐标(x+mv_x,y+mv_y)获得邻近像素组R1的坐标。从这些坐标值计算邻近像素组的差分信息。
对于二次预测系统，在这样计算出的关于当前块的差分信息和关于参考像素的差分信息之间执行根据H.264/AVC格式的帧内预测，从而产生二次差分信息。对产生的二次差分信息进行正交变换和量化，与压缩图像一起被编码，并且被发送到解码侧。
在该二次预测之前，二次预测单元361使用由邻近像素内插滤波切换单元362设置的滤波系数来对用于帧内预测的当前邻近像素和参考邻近像素之间的差执行滤波处理。二次预测单元361然后使用经过滤波处理的当前邻近像素和参考邻近像素之间的滤波的差来执行二次预测处理，并且将二次差分信息(二次残差)输出到运动预测/补偿单元76。
也就是说，二次预测单元361被配置为包括图14中所示的帧内预测单元74等。
邻近像素内插滤波切换单元362基本上以与图1中的邻近像素内插滤波切换单元75相同的方式配置，并且执行相同的处理。也就是说，邻近像素内插滤波切换单元362根据来自二次预测单元361的帧内预测模式信息和来自速率控制单元78的量化参数来设置滤波系数，并且将设置的滤波系数供应给二次预测单元361。
请注意，图31中的图像编码装置351的编码处理与由图1中的图像编码装置51执行的图16中的编码处理的不同之处仅仅在于下述的帧内处理和运动预测处理，并且，其它的处理基本上相同，因此，将省略其描述。
也就是说，采用图31中的图像编码装置351，作为帧内处理，执行根据H.264/AVC格式的帧内预测。此外，作为运动预测处理，在运动预测处理时使用由邻近像素内插滤波切换单元362设置的滤波系数，从而产生二次差分信息。从一次差分信息和二次差分信息中选择更好的二次差分信息，并且，通过比较成本函数值来确定最佳帧内预测模式。
将参照图33描述图像解码装置，该图像解码装置接收由该图像编码装置351编码的压缩图像并解码它。
[图像解码装置的其它例子]
图33表示用作应用了本发明的图像处理装置的图像解码装置的另一实施例的配置。
图像解码装置401与图22中的图像解码装置151的共同之处在于包含存储缓冲器161、无损耗解码单元162、逆量化单元163、逆正交变换单元164、计算单元165、去块滤波器166、画面重新排列缓冲器167、D/A转换单元168、帧存储器169、开关170、帧内预测单元171、运动预测/补偿单元173和开关174。
此外，图像解码装置401与图22中的图像解码装置151的不同之处在于，省略了邻近像素内插滤波切换单元172，并且，添加了二次预测单元411和邻近像素内插滤波切换单元412。
也就是说，将通过对头信息进行解码而获得的指示帧内预测模式的信息从无损耗解码单元162供应给帧内预测单元171。基于该信息，帧内预测单元171产生预测图像并将产生的预测图像输出到开关174。
将通过对头信息进行解码而获得的信息中的预测模式信息、运动向量信息和参考帧信息等从无损耗解码单元162供应给运动预测/补偿单元173。此外，在对当前块应用了二次预测处理的情况中，将指示要执行该二次预测的二次预测标志和二次预测的帧内模式信息也从无损耗解码单元162供应给运动预测/补偿单元173。
在确定应用二次预测处理的情况中，运动预测/补偿单元173控制二次预测单元411，使得以二次预测的帧内预测模式信息指示的帧内预测模式执行二次预测。
运动预测/补偿单元173基于运动向量信息和参考帧信息对该图像进行运动预测和补偿处理，并且产生预测图像。也就是说，在参考块内，使用与当前块相关联的参考块的像素值，产生当前块的预测图像。运动预测/补偿单元173然后将来自二次预测单元411的预测差分值和产生的预测图像相加，并将这些输出到开关174。
二次预测单元411使用从帧存储器169读出的当前邻近像素和参考邻近像素之间的差来执行二次预测。在该二次预测之前，二次预测单元411使用由邻近像素内插滤波切换单元412设置的滤波系数来对当前邻近像素和参考邻近像素之间的差执行滤波处理。二次预测单元411然后使用经过滤波处理的当前邻近像素和参考邻近像素之间的差来执行二次预测处理，并且将获得的二次差分信息(二次残差)输出到运动预测/补偿单元173。
也就是说，二次预测单元411被配置为包括图26中所示的帧内预测单元171等。
邻近像素内插滤波切换单元412基本上以与邻近像素内插滤波切换单元172相同的方式配置。也就是说，邻近像素内插滤波切换单元412设置与来自无损耗解码单元162的量化参数和帧内预测模式中的至少一个对应的滤波系数。邻近像素内插滤波切换单元412将设置的滤波系数供应给二次预测单元411。
请注意，图33中的图像解码装置401的解码处理与由图22中的图像解码装置151执行的图24中的解码处理的不同之处仅仅在于下述的帧内处理和运动预测处理，并且，其它的处理是基本上相同的处理，因此，将省略其描述。
也就是说，采用图33中的图像解码装置401，作为帧内处理，执行根据H.264/AVC格式的帧内预测。此外，作为运动预测处理，使用由邻近像素内插滤波切换单元412设置的滤波系数在运动预测处理时执行二次预测(帧内预测)，并且产生二次差分信息。
本发明还可以适用于如上所述的二次预测处理中的帧内预测。
请注意，在以上的描述中，描述了这样的例子：在帧内预测之前，使用对图像适应地设置的滤波系数，对用于帧内预测的邻近像素执行滤波处理。
现在，用于帧内预测系统的邻近像素中包含的噪声根据诸如图像的内容、量化参数等的编码条件不同。因此，存在通过执行例如在H.264/AVC格式中执行的滤波处理来提高编码效率的块和不是这样的块。
不管怎样，在用H.264/AVC格式对宏块执行基于8×8块的帧内处理时，对所有的块执行了空白滤波处理(blanket filteringprocessing)，从而会出现编码效率因而降低的块。
因此，接下来将描述对用于帧内预测的邻近像素执行滤波处理的打开/关闭的情况的例子。
<3.第三实施例>
[图像编码装置的其它配置例子]
图34示出用作应用了本发明的图像处理装置的图像编码装置的另一实施例的配置。
图像编码装置451与图1中的图像编码装置51的共同之处在于具有A/D转换单元61、画面重新排列缓冲器62、计算单元63、正交变换单元64、量化单元65、无损耗编码单元66、存储缓冲器67、逆量化单元68、逆正交变换单元69、计算单元70、去块滤波器71、帧存储器72、开关73、帧内预测单元74、运动预测/补偿单元76、预测图像选择单元77和速率控制单元78。
此外，图像编码装置451与图1中的图像编码装置51的不同之处在于，用邻近像素内插滤波控制单元461替代了邻近像素内插滤波切换单元75。
也就是说，邻近像素内插滤波控制单元461执行对空白滤波处理的打开或关闭的控制，在用H.264/AVC格式对宏块执行基于8×8块的帧内处理时，对所有块的邻近像素执行了该空白滤波处理。请注意，虽然仅仅用以H.264/AVC格式的基于8×8块的帧内处理执行了滤波处理，但是，也用邻近像素内插滤波控制单元461对帧内4×4和帧内16×16执行该滤波处理。
将来自邻近像素内插滤波控制单元461的打开/关闭控制信号供应给帧内预测单元74。
帧内预测单元74基于已经从画面重新排列缓冲器62读出的要进行帧内预测的图像和从帧存储器72供应的参考图像执行所有的候选帧内预测模式的帧内预测处理。此时，在帧内预测单元74处，在帧内预测之前，根据来自邻近像素内插滤波控制单元461的控制信号接通或断开滤波处理来执行帧内预测，并且，利用作为结果的具有较小的计算出的成本函数值的帧内预测模式。
此外，帧内预测单元74产生指示滤波处理的打开或关闭的标志。在预测图像选择单元77选择以最佳帧内预测模式产生的预测图像的情况中，将该标志信息与指示最佳帧内预测模式的信息一起供应给无损耗编码单元66。
[帧内预测单元的配置例子]
图35是图示图34中的帧内预测单元74的详细的配置例子的框图。在图35中的例子的情况中，帧内预测单元74由预测图像产生单元471、成本函数值产生单元472和模式和打开/关闭标志产生单元473构成。
从帧存储器72向预测图像产生单元471供应帧内预测的当前块的邻近像素值。在图35中的情况中，从图中省略了开关73，但是，实际上，将邻近像素值经由开关73从帧存储器72供应给预测图像产生单元471。请注意，在帧内预测的情况中，未经过去块滤波器71的去块滤波的像素值用作邻近像素值。
基于来自邻近像素内插滤波控制单元461的控制信号，预测图像产生单元471以所有的候选帧内预测模式执行帧内预测，对邻近像素值执行滤波处理，或者不执行滤波处理，从而产生预测图像。如稍后参照图36至图38所述，以块为增量或以宏块为增量执行由控制信号指示的邻近像素内插滤波控制单元461的打开/关闭控制。
预测图像产生单元471将产生的预测图像像素值及其帧内预测模式信息供应给成本函数值产生单元472。
从画面重新排列缓冲器62向成本函数值产生单元472供应原始图像像素值。对于滤波处理是打开和关闭的情况，成本函数值产生单元472使用原始图像像素值和预测图像像素值来计算每一种帧内预测模式的成本函数值。成本函数值产生单元472将计算出的成本函数值、预测图像像素值和帧内预测模式信息供应给模式和打开/关闭标志产生单元473。
模式和打开/关闭标志产生单元473使用来自成本函数值产生单元472的成本函数值来确定最佳帧内预测模式及其设置滤波处理的打开和关闭，并且产生指示滤波处理是打开或关闭的打开/关闭标志信息。
模式和打开/关闭标志产生单元473将最佳帧内预测模式的预测图像像素值供应给预测图像选择单元77。在预测图像选择单元77选择最佳帧内预测模式的预测图像的情况中，模式和打开/关闭标志产生单元473将指示最佳帧内预测模式的信息和相应的打开/关闭标志信息供应给无损耗编码单元66。
请注意，除了接下来描述的帧内预测以外，由图像编码装置451执行的处理基本上与图1中的图像编码装置51的处理相同，从而，将省略其赘述。
接下来，将参照图36的流程图描述在以块为增量执行打开或关闭控制的情况中的由图34中的帧内预测单元74执行的帧内预测处理。请注意，该处理是图17中的步骤S31中的帧内预测处理的另一例子，并且，在图36的例子中，将描述帧内4×4的例子。此外，在下文中，滤波处理打开/关闭也可以被简称为滤波器打开/关闭。
在步骤S401中，针对图3或图4中示出的九种帧内预测模式中的每一种，成本函数值产生单元472产生当前块的成本函数值。
也就是说，从帧存储器72向预测图像产生单元471供应帧内预测的当前块的邻近像素值。预测图像产生单元471对图3或图4中示出的九种帧内预测模式中的每一种执行帧内预测，并且，产生当前块的预测图像。
此时，从邻近像素内插滤波控制单元461供应用于对邻近像素不执行滤波处理的控制信号，并且，预测图像产生单元471对邻近像素执行没有执行滤波处理的帧内预测。请注意，这里，可以进行这样的布置：其中，供应实现要对邻近像素执行滤波处理的控制信号。然而，请注意，针对九种模式不进行不同的控制，例如，对垂直执行而对水平不执行；确切地说，对于九种模式，进行关于执行或不执行的相同控制。此外，请注意，这里，不对所有的模式执行滤波处理允许更少的计算量。
预测图像产生单元471将产生的预测图像像素值及帧内预测模式信息供应给成本函数值产生单元472。在滤波是关闭的情况中，针对每一种帧内预测模式，成本函数值产生单元471使用来自画面重新排列缓冲器62的原始图像像素值和预测图像像素值来计算上述的表达式(73)或表达式(74)中示出的成本函数值。成本函数值产生单元472将计算出的成本函数值、预测图像像素值和帧内预测模式信息供应给模式和打开/关闭标志产生单元473。
在步骤S402中，模式和打开/关闭标志产生单元473使用来自成本函数值产生单元472的成本函数值来选择用于当前块的最佳帧内预测模式。将选择的帧内预测模式信息供应给邻近像素内插滤波控制单元461。
在步骤S403中，邻近像素内插滤波控制单元461使得成本函数值产生单元472在滤波打开和关闭的情况中产生选择的帧内预测模式的成本函数值。请注意，在步骤S401中，产生滤波是关闭的成本函数值，因此，实际上，在步骤S403中，产生滤波打开的成本函数值。
也就是说，邻近像素内插滤波控制单元461将滤波打开控制信号和选择的帧内预测模式信息供应给预测图像产生单元471。预测图像产生单元471对用于选择的帧内预测模式的邻近像素执行滤波处理，以选择的帧内预测模式执行帧内预测，并且产生当前块的预测图像。
预测图像产生单元471将产生的预测图像像素值和选择的帧内预测模式信息供应给成本函数值产生单元472。在滤波是打开的情况中，针对选择的帧内预测模式，成本函数值产生单元471使用来自画面重新排列缓冲器62的原始图像像素值和预测图像像素值来计算上述的表达式(73)或表达式(74)中示出的成本函数值。成本函数值产生单元472将计算出的成本函数值、预测图像像素值供应给模式和打开/关闭标志产生单元473。
在步骤S404中，模式和打开/关闭标志产生单元473通过比较选择的帧内预测模式的滤波是打开和关闭的成本函数值来确定当前块的滤波打开/关闭。也就是说，在滤波是打开的成本函数值较小的情况中，针对当前块确定滤波打开，并且，在滤波是关闭的成本函数值较小的情况中，针对当前块确定滤波关闭。模式和打开/关闭标志产生单元473然后将确定的预测图像值供应给预测图像选择单元77。
在步骤S405中，模式和打开/关闭标志产生单元473产生指示当前块的在步骤S404中决定的打开或关闭的打开/关闭标志。例如，在滤波打开的情况中，打开/关闭滤波值是1。在滤波关闭的情况中，打开/关闭滤波值是0。
当在上述的图16中的步骤S22中选择了帧内预测模式中的预测图像的情况中，将产生的打开/关闭标志信息与指示最佳帧内预测模式的信息一起供应给无损耗编码单元66。供应的信息在图16中的步骤S23中被编码，与压缩图像的头相加，被发送到解码侧。
接下来，将参照图37的流程图描述在以块为增量执行打开或关闭控制的情况中的由图34中的帧内预测单元74执行的帧内预测处理的另一例子。在图37的例子的情况中，也将描述帧内4×4的例子。
在步骤S421中，针对每一种帧内预测模式，成本函数值产生单元472根据滤波是打开和关闭来产生当前块的成本函数值。
也就是说，从帧存储器72向预测图像产生单元471供应帧内预测的当前块的邻近像素值。预测图像产生单元471对图3或图4中示出的九种帧内预测模式中的每一种执行帧内预测，并且，产生当前块的预测图像。
此时，首先，从邻近像素内插滤波控制单元461供应用于对邻近像素不执行滤波处理的控制信号，并且，预测图像产生单元471对邻近像素以没有执行滤波处理的每一种帧内预测模式执行帧内预测，并产生预测图像。此外，从邻近像素内插滤波控制单元461供应实现对邻近像素执行滤波处理的控制信号，并且，预测图像产生单元471对邻近像素以执行了滤波处理的每一种帧内预测模式执行帧内预测，并产生预测图像。
预测图像产生单元471将在滤波是打开和关闭的情况中的每一种帧内预测模式的信息和相应的预测图像像素值供应给成本函数值产生单元472。在滤波是关闭和打开的每一种情况中，针对每一种帧内预测模式，成本函数值产生单元471使用来自画面重新排列缓冲器62的原始图像像素值和预测图像像素值来计算上述的表达式(73)或表达式(74)中示出的成本函数值。在滤波是关闭和打开的每一种情况中，成本函数值产生单元472将计算出的成本函数值、预测图像像素值和帧内预测模式信息供应给模式和打开/关闭标志产生单元473。
在步骤S422中，模式和打开/关闭标志产生单元473使用来自成本函数值产生单元472的成本函数值来确定在每一种帧内预测模式的情况中对于当前块而言滤波应该是打开还是关闭。
在步骤S423中，模式和打开/关闭标志产生单元473从关于确定滤波是打开或关闭的帧内预测模式中选择当前块的最佳帧内预测模式。
在步骤S424中，模式和打开/关闭标志产生单元473产生指示针对选择的帧内预测模式的滤波器的状态(打开或关闭)的打开/关闭标志信息。当在上述的图16中的步骤S22中选择了帧内预测模式中的预测图像的情况中，将产生的打开/关闭标志信息与指示最佳帧内预测模式的信息一起供应给无损耗编码单元66。供应的信息在图16中的步骤S23中被编码，与压缩图像的头相加，被发送到解码侧。
接下来，将参照图38的流程图描述在以宏块为增量执行打开或关闭控制的情况中的由图34中的帧内预测单元74执行的帧内预测处理。
请注意，该处理是图17中的步骤S31中的帧内预测处理的另一例子，并且，在图38的例子中，也将描述帧内4×4的例子。
在步骤S451中，邻近像素内插滤波控制单元461将关于整个宏块的滤波固定为关闭或打开。在这种情况下，邻近像素内插滤波控制单元461将滤波固定为关闭，并且，将滤波关闭的控制信号供应给预测图像产生单元471。滤波的固定可以是打开或关闭，但是，可以用较少的计算量来实现到关闭的固定。
在步骤S452中，帧内预测单元74确定每一块的帧内预测模式。也就是说，从帧存储器72向预测图像产生单元471供应帧内预测的当前块的邻近像素值。预测图像产生单元471对图3或图4中示出的九种帧内预测模式中的每一种执行帧内预测，并且，产生当前块的预测图像。
此时，首先，从邻近像素内插滤波控制单元461供应实现对邻近像素不执行滤波处理的控制信号，并且，预测图像产生单元471对邻近像素执行每一种帧内预测模式上的帧内预测而没有执行滤波处理，并产生预测图像。预测图像产生单元471将产生的预测图像像素值及其帧内预测模式信息供应给成本函数值产生单元472。
在滤波是关闭的每一种情况中，针对每一种帧内预测模式，成本函数值产生单元471使用来自画面重新排列缓冲器62的原始图像像素值和预测图像像素值来计算上述的表达式(73)或表达式(74)中示出的成本函数值。在滤波是关闭的每一种情况中，成本函数值产生单元472将计算出的成本函数值、预测图像像素值和帧内预测模式信息供应给模式和打开/关闭标志产生单元473。
模式和打开/关闭标志产生单元473使用来自成本函数值产生单元472的成本函数值来确定每一块的最佳帧内预测模式。将解码的帧内预测模式信息供应给邻近像素内插滤波控制单元461。
在步骤S453中，邻近像素内插滤波控制单元461使得成本函数值产生单元472针对整个宏块产生滤波打开和关闭的成本函数值。请注意，在步骤S452中产生了在滤波是关闭的情况中针对宏块内的每一块(即，整个宏块)的最佳帧内预测模式的成本函数值。因此，实际上，在步骤S453中，产生在滤波是打开的情况中的整个宏块的成本函数值。
也就是说，邻近像素内插滤波控制单元461将滤波打开控制信号和针对每一块确定的帧内预测模式的信息供应给预测图像产生单元471。预测图像产生单元471对用于确定的帧内预测模式的邻近像素值执行滤波处理，以确定的帧内预测模式执行帧内预测，并且产生当前块的预测图像。
预测图像产生单元471将产生的预测图像像素值及确定的帧内预测模式信息供应给成本函数值产生单元472。在滤波是打开的每一种情况中，针对确定的帧内预测模式，成本函数值产生单元471使用来自画面重新排列缓冲器62的原始图像像素值和预测图像像素值来计算上述的表达式(73)或表达式(74)中示出的成本函数值。在滤波是关闭和打开的每一种情况中，成本函数值产生单元472将计算出的成本函数值、预测图像像素值和帧内预测模式信息供应给模式和打开/关闭标志产生单元473。
在步骤S454中，模式和打开/关闭标志产生单元473比较来自成本函数值产生单元472的在滤波是打开和关闭的情况中的宏块内的所有块的成本函数值，并且确定对整个宏块应用滤波打开/关闭中的哪一个。
在步骤S455中，对于整个宏块，模式和打开/关闭标志产生单元473产生指示在步骤S454中决定的打开或关闭的打开/关闭标志。对于每一个宏块，将产生的打开/关闭标志信息供应给无损耗编码单元66。供应的信息在图16中的步骤S23中被编码，与压缩图像的头相加，被发送到解码侧。
如上所述，滤波打开/关闭(打开或者关闭)的控制可以以块为增量执行，或者，可以以宏块为增量执行。请注意，虽然可以通过以块为增量控制打开/关闭来提高帧内预测处理的预测精度，但是用于传送每一块的标志信息所需的信息量增加。相反，在以宏块为增量进行控制的情况中，预测精度的提高低于以块为增量执行的预测精度的提高，但是，针对每一个宏块的一个标志信息是足够的，从而，可以减少标志信息量的增加。
虽然在以上描述中描述了亮度信号的例子，但是这也可以用于关于颜色差信号的帧内预测。此外，要控制的滤波处理的滤波系数不限于H.264/AVC格式中的三抽头{1,2,1}//4，并且，这可以适用于用图1中的图像编码装置51设置的任何抽头长度的任何系数。
也就是说，在滤波打开的情况中，还可以执行用由图1中的图像编码装置51设置的滤波系数的滤波处理。
将参照图39描述图像解码装置，该图像解码装置接收由该图像编码装置451编码的压缩图像并解码它。
[图像解码装置的其它例子]
图39图示用作应用了本发明的图像处理装置的图像解码装置的另一实施例的配置。
图像解码装置501与图22中的图像解码装置151的共同之处在于包含存储缓冲器161、无损耗解码单元162、逆量化单元163、逆正交变换单元164、计算单元165、去块滤波器166、画面重新排列缓冲器167、D/A转换单元168、帧存储器169、开关170、帧内预测单元171、运动预测/补偿单元173和开关174。
此外，图像解码装置501与图22中的图像解码装置151的不同之处在于，用邻近像素内插滤波控制单元511替代了邻近像素内插滤波切换单元172。
也就是说，将通过对头信息进行解码而获得的指示帧内预测模式的信息从无损耗解码单元162供应给帧内预测单元171。基于该信息，帧内预测单元171产生预测图像并将产生的预测图像输出到开关174。此时。在帧内预测之前，帧内预测单元171根据来自邻近像素内插滤波控制单元511的控制信号对邻近像素值执行(或者不执行)滤波处理。
根据图像编码装置451的编码，从无损耗解码单元162向邻近像素内插滤波控制单元511供应每一个宏块或每一块的打开/关闭标志信息。
邻近像素内插滤波控制单元511根据供应的打开/关闭标志信息向帧内预测单元171供应实现执行或不执行滤波处理的控制信号。
请注意，采用图34中的图像编码装置451，对滤波是打开和关闭的两种情况进行测试，并且，在通过成本函数值选择了产生更高的编码效率的一种情况之后，执行帧内预测处理。另一方面，采用图像解码装置501，基于编码的发送的打开/关闭标志信息控制滤波打开或关闭，并且，执行帧内预测处理。
[帧内预测单元和邻近像素内插滤波控制单元的配置例子]
图40是图示邻近像素内插滤波控制单元和帧内预测单元的详细配置例子的框图。
在图40的例子的情况中，帧内预测单元171由预测模式缓冲器521和预测图像产生单元522构成。邻近像素内插滤波控制单元511由标志缓冲器531和控制信号产生单元532构成。
向预测模式缓冲器521供应来自无损耗解码单元162的帧内预测模式信息。从帧存储器169向预测图像产生单元522供应帧内预测的当前块的邻近像素值。在图40中的情况中，也从图中省略了开关170，但是，实际上，将邻近像素值经由开关170从帧存储器169供应给预测图像产生单元522。
预测图像产生单元522从预测模式缓冲器521读出当前块的帧内预测模式信息，以读出的帧内预测模式对当前块执行帧内预测，并且产生预测图像。在该帧内预测之前，预测图像产生单元522根据来自控制信号产生单元532的控制信号对来自帧存储器169的预测图像像素值执行滤波处理。
针对每一个宏块或每一块，从无损耗解码单元162向标志缓冲器531供应打开/关闭标志信息。控制信号产生单元532从标志缓冲器531读出相应的打开/关闭标志，产生指示对于每一块执行滤波处理还是不执行滤波处理的控制信号，并且将产生的控制信号供应给预测图像产生单元522。
请注意，除了接下来描述的预测处理以外，由图像解码装置501执行的处理基本上与图22中的图像解码装置151的处理相同，从而，将省略其赘述。
[预测处理的描述]
接下来，将参照图41的流程图描述图39中的图像解码装置501的预测处理。请注意，该帧内预测处理是图24中的步骤S138中的预测处理的另一例子。
在步骤S501中，预测图像产生单元522确定是否对当前块进行了帧内编码。将帧内预测模式信息从无损耗解码单元162供应给预测模式缓冲器521，从而由预测图像产生单元522读取。因此，在步骤S501中，预测图像产生单元522确定对当前块进行帧内编码，并且，本处理前进到步骤S502。
在步骤S502中，预测图像产生单元522获得预测模式缓冲器521的帧内预测模式信息。
此外，在将来自无损耗解码单元162的打开/关闭标志信息供应给标志缓冲器531时，标志缓冲器531在步骤S503中获得预测图像像素值标志并存储它。
控制信号产生单元532从标志缓冲器531读出对应于当前标志的打开/关闭标志，并且，在步骤S504中确定打开/关闭标志是否为1。当在步骤S504中确定打开/关闭标志是1，即，滤波处理是打开的情况中，控制信号产生单元532将控制信号供应给预测图像产生单元522，以使得执行滤波处理。
根据控制信号，在步骤S505中，预测图像产生单元522使用滤波系数对邻近像素进行滤波处理。在步骤S506中，预测图像产生单元522使用经过了滤波处理的邻近像素值来执行帧内预测，并且产生预测图像。
另一方面，当在步骤S504中确定打开/关闭标志不是1，即，滤波处理是关闭的情况中，跳过步骤S505的滤波处理，并且，本处理前进到步骤S506。
在步骤S506中，预测图像产生单元522使用来自帧存储器169的预测图像像素值来执行帧内预测，并且产生预测图像。
将在步骤S506中产生的预测图像供应给开关174。
另一方面，当在步骤S501中确定不执行帧内编码的情况中，本处理前进到步骤S507。
在步骤S507中，运动预测/补偿单元173执行帧间运动预测。也就是说，在要处理的图像是用于帧间预测处理的图像的情况中，从帧存储器169读出必要的图像，并且，将必要的图像经由开关170供应给运动预测/补偿单元173。在步骤S508中，运动预测/补偿单元173基于在步骤S507中获得的运动向量以帧间预测模式执行运动预测，并且产生预测图像。将产生的预测图像输出给开关174。
如上所述，采用图像编码装置451和图像解码装置501，控制对于用于帧内预测的邻近像素的滤波处理的打开和关闭，并且，针对编码效率劣化的块不执行滤波处理。因此，可以提高编码效率。
请注意，虽然在以上的描述中描述了执行帧内预测的例子，但是对滤波处理打开和关闭的控制可以适用于上文中参照图32描述的二次预测中的帧内预测。
<4.第四实施例>
[图像编码装置的其它配置例子]
图42示出用作应用了本发明的图像处理装置的图像编码装置的另一实施例的配置。
图像编码装置551与图34中的图像编码装置451的共同之处在于具有A/D转换单元61、画面重新排列缓冲器62、计算单元63、正交变换单元64、量化单元65、无损耗编码单元66、存储缓冲器67、逆量化单元68、逆正交变换单元69、计算单元70、去块滤波器71、帧存储器72、开关73、帧内预测单元74、运动预测/补偿单元76、预测图像选择单元77和速率控制单元78。
此外，图像编码装置551与图34中的图像编码装置451的不同之处在于，省略了邻近像素内插滤波控制单元461，并且，添加了图31中的二次预测单元361和邻近像素内插滤波控制单元561。
也就是说，对于图42中的例子，帧内预测单元74根据H.264/AVC执行帧内预测。
另一方面，运动预测/补偿单元76基于用于帧间处理的图像和参考图像检测所有的候选帧间预测模式的运动向量，基于运动向量对参考图像进行补偿处理，并且产生预测图像。
运动预测/补偿单元76向二次预测单元361供应检测到的运动向量信息、用于帧间处理的图像的信息(地址等)和一次残差，该一次残差是用于帧间预测的图像和产生的预测图像之间的差。
运动预测/补偿单元76通过比较来自二次预测单元361的二次残差来确定二次预测中的最佳帧内预测模式。此外，运动预测/补偿单元76通过比较二次残差和一次残差来确定对二次残差进行编码还是对一次残差进行编码。请注意，对所有的候选帧间预测模式执行该处理。
运动预测/补偿单元76针对所有的候选帧间预测模式计算成本函数值。此时，使用一次残差和二次残差中的针对每一种帧间预测模式确定的残差来计算成本函数值。运动预测/补偿单元76将产生计算出的成本函数值中的最小值的预测模式确定为最佳帧间预测模式。
运动预测/补偿单元76将在最佳帧间预测模式中产生的预测图像(或者用于帧间预测的图像和二次残差之间的差)及其成本函数值供应给预测图像选择单元77。在预测图像选择单元77选择了在最佳帧间预测模式中产生的预测图像的情况中，运动预测/补偿单元76将指示最佳帧间预测模式的信息输出给无损耗编码单元66。
此时，运动向量信息、参考帧信息、指示要执行二次预测的二次预测标志、二次预测中的帧内预测模式的信息等也被输出到无损耗编码单元66。无损耗编码单元66也对来自运动预测/补偿单元76的信息进行诸如可变长度编码、算术编码等的无损耗编码处理，并且将其插入压缩图像的头部中。
基于来自运动预测/补偿单元76的运动向量信息和要进行帧间处理的图像的信息，二次预测单元361从帧存储器72读出与要进行帧间处理的当前块邻近的当前邻近像素。此外，二次预测单元361从帧存储器72读出与通过运动向量信息同当前块相关联的参考块邻近的参考邻近像素。
二次预测单元361执行上文参照图32描述的二次预测处理。二次预测处理是这样的处理：其中，在一次残差和当前邻近像素与参考邻近像素间的差之间执行帧内预测，从而产生二次差(二次残差)的信息。
然而，请注意，在该二次预测之前，图42中的二次预测单元361根据来自邻近像素内插滤波控制单元561的控制信号对用于帧间预测的参考邻近像素和当前邻近像素之间的差执行(或者不执行)滤波处理。二次预测单元361然后使用当前邻近像素和参考邻近像素之间的滤波的(或未滤波的)差来执行二次预测处理，并且将获得的二次差分信息(二次残差)输出到运动预测/补偿单元76。此时，二次预测单元361也将指示是否执行滤波处理的打开/关闭标志信息输出到运动预测/补偿单元76。
也就是说，二次预测单元361包括图35中所示的帧内预测单元74。
邻近像素内插滤波控制单元561基本上以与邻近像素内插滤波控制单元461相同的方式配置，并且执行相同的处理。也就是说，邻近像素内插滤波控制单元561将实现是否以块为增量或以宏块为增量执行滤波处理的控制的控制信号供应给二次预测单元361。
请注意，除了下述的帧内处理和运动预测处理以外，由图42中的图像编码装置551执行的处理基本上与图34中的图像编码装置451的处理(即，图16中的编码处理)相同，从而，将省略其描述。
也就是说，采用图42中的图像编码装置551，作为帧内处理，执行根据H.264/AVC格式的帧内预测。此外，作为运动预测处理，在运动预测处理时，根据来自邻近像素内插滤波控制单元561的控制信号，控制滤波处理，从而产生滤波的(或未滤波的)二次差分信息。选择一次差分信息和二次差分信息中的具有较好的编码效率的差分信息，并且比较成本函数值，从而确定最佳帧间预测模式。
将参照图43描述图像解码装置，该图像解码装置接收由该图像编码装置551编码的压缩图像并解码它。
[图像解码装置的其它配置例子]
图43图示用作应用了本发明的图像处理装置的图像解码装置的另一实施例的配置。
图像解码装置601与图39中的图像解码装置501的共同之处在于包含存储缓冲器161、无损耗解码单元162、逆量化单元163、逆正交变换单元164、计算单元165、去块滤波器166、画面重新排列缓冲器167、D/A转换单元168、帧存储器169、开关170、帧内预测单元171、运动预测/补偿单元173和开关174
此外，图像解码装置601与图39中的图像解码装置501的不同之处在于，省略了邻近像素内插滤波控制单元511，并且，添加了图33中的二次预测单元411和邻近像素内插滤波控制单元611。
也就是说，将通过对头信息进行解码而获得的指示帧内预测模式的信息从无损耗解码单元162供应给帧内预测单元171。基于该信息，帧内预测单元171产生预测图像并将产生的预测图像输出到开关174。
将通过对头信息进行解码而获得的信息中的预测模式信息、运动向量信息和参考帧信息等从无损耗解码单元162供应给运动预测/补偿单元173。此外，在对当前块应用了二次预测处理的情况中，将二次预测标志和二次预测的帧内模式信息从无损耗解码单元162供应给运动预测/补偿单元173。
在确定应用二次预测处理的情况中，运动预测/补偿单元173控制二次预测单元411，从而以二次预测的帧内预测模式信息指示的帧内预测模式执行二次预测。
运动预测/补偿单元173基于运动向量信息和参考帧信息对该图像执行运动预测和补偿处理，并且产生预测图像。也就是说，在参考块内，使用与当前块相关联的参考块的像素值，产生当前块的预测图像。运动预测/补偿单元173然后将来自二次预测单元411的预测差分值和产生的预测图像相加，并将这些输出到开关174。
二次预测单元411使用从帧存储器169读出的当前邻近像素和参考邻近像素之间的差来执行二次预测。然而，请注意，在从邻近像素内插滤波控制单元611接收了实现执行滤波处理的控制的控制信号的情况中，二次预测单元411在该二次预测之前对当前邻近像素和参考邻近像素的差执行滤波处理。二次预测单元411然后使用经过滤波处理的当前邻近像素和参考邻近像素之间的差来执行二次预测处理，并且将获得的二次差分信息(二次残差)输出到运动预测/补偿单元173。
请注意，在从邻近像素内插滤波控制单元611接收了实现不执行滤波处理的控制的控制信号的情况中，二次预测单元411不执行滤波处理，并且使用当前邻近像素和参考邻近像素的差执行二次处理。
也就是说，二次预测单元411被配置为包括图40中所示的帧内预测单元171。
邻近像素内插滤波控制单元611基本上以与图39中的邻近像素内插滤波控制单元511相同的方式配置，并且基本上执行相同的处理。也就是说，从无损耗解码单元162向邻近像素内插滤波控制单元611供应通过对头信息解码而获得的信息中的打开/关闭标志信息。邻近像素内插滤波控制单元611根据打开/关闭标志信息供应控制信号，以使得二次预测单元411对邻近像素执行或不执行滤波处理。
请注意，除了下述的帧内处理和运动预测处理以外，由图43中的图像解码装置601执行的处理基本上与图39中的图像解码装置501的处理(即，图24中的解码处理)相同，从而，将省略其描述。
也就是说，采用图43中的图像解码装置601，作为帧内处理，执行根据H.264/AVC格式的帧内预测。此外，作为运动预测处理，在运动预测处理时，根据来自邻近像素内插滤波控制单元611的控制信号控制滤波处理，执行二次预测(帧内预测)，并且产生二次差分信息。
滤波处理的打开和关闭控制也可以适用于如上所述的具有二次预测处理的帧内预测。
请注意，虽然在以上描述中描述了宏块的尺寸是16×16像素的情况，但是，本发明也可以适用于非专利文献3中描述的扩展的宏块尺寸。
图44是图示扩展宏块尺寸的例子的示图。对于非专利文献3，宏块尺寸被扩展直到32×32像素。
在图44中的上层从左侧起依次地示出由被分割为32×32像素、32×16像素、16×32像素和16×16像素的块(分区)的32×32像素构成的宏块。在图44中的中层从左侧起依次地示出由被分割为16×16像素、16×8像素、8×16像素和8×8像素的块(分区)的16×16像素构成的块。在图44中的下层从左侧起依次地示出由被分割为8×8像素、8×4像素、4×8像素和4×4像素的块(分区)的8×8像素构成的块。
换句话说，可以用在图44中的上层示出的32×32像素、32×16像素、16×32像素和16×16像素的块来处理32×32像素的宏块。
此外，以与H.264/AVC格式相同的方式，可以用在中层示出的16×16像素、16×8像素、8×16像素和8×8像素的块来处理在上层的右边示出的16×16像素的块。
此外，以与H.264/AVC格式相同的方式，可以用在下层示出的8×8像素、8×4像素、4×8像素和4×4像素的块来处理在中层的右边示出的8×8像素的块。
采用扩展的宏块尺寸，通过利用这样的层状结构，关于16×16像素块或更小，在保持与H.264/AVC格式兼容的同时，将较大的块定义为其超集。
根据本发明的滤波系数设置、计算和滤波处理打开/关闭控制也可以适用于如上所述地扩展的提出的宏块尺寸。
迄今为止在H.264/AVC格式用作编码格式的情况下进行了描述，但是本发明并不限于此，并且，可以利用用于使用邻近像素执行预测(例如，帧内预测或二次预测)的另一种编码格式/解码格式。
请注意，例如，与MPEG、H.26X等一样，本发明可以适用于在经由诸如卫星广播、有线电视、互联网、蜂窝电话等的网络媒体接收通过诸如离散余弦变换等的正交变换和运动补偿压缩的图像信息(比特流)时使用的图像编码装置和图像解码装置。此外，本发明可以适用于在处理诸如光盘、磁盘和闪速存储器的存储介质上的图像信息时使用的图像编码装置和图像解码装置。此外，本发明可以适用于在这样的图像编码装置和图像解码装置中包含的运动预测补偿装置。
上述的一系列处理可以通过硬件来执行，或者可以通过软件来执行。在通过软件执行该一系列处理的情况中，构成该软件的程序被安装在计算机中。这里，计算机的例子包括置于专用硬件中的计算机和通用个人计算机，由此，可以通过在其中安装各种程序来执行各种功能。
图45是图示使用程序执行上述的一系列处理的计算机的硬件的配置例子的框图。
对于计算机，CPU(中央处理单元)801、ROM(只读存储器)802和RAM(随机存取存储器)803通过总线804相互连接。
此外，输入/输出接口805连接到总线804。输入单元86、输出单元807、存储单元808、通信单元809和驱动器810与输入/输出接口805连接。
输入单元806由键盘、鼠标、麦克风等构成。输出单元807由显示器、扬声器等构成。存储单元807由硬盘、非易失性存储器等构成。通信单元809由网络接口等构成。驱动器810驱动诸如磁盘、光盘、磁光盘、半导体存储器等的可移动介质811。
对于这样配置的计算机，例如，CPU801将存储于存储单元808中的程序经由输入/输出接口805和总线804加载到RAM803，执行该程序，从而执行上述的一系列处理。
计算机(CPU801)执行的程序可以通过被记录在用作封装介质等的可移动介质811中来被提供。此外，程序可以经由诸如局域网、互联网或数字卫星广播的有线或无线传输媒体来被提供。
对于计算机，通过将可移动介质808安装到驱动器810上，可以将程序经由输入/输出接口805安装到存储单元808中。此外，该程序可以经由有线或无线传输媒体在通信单元809处被接收，并且被安装在存储单元808中。
另外，可以将程序预先安装在ROM802或存储单元808中。
请注意，计算机执行的程序可以是其中沿着本说明书中描述的顺序按照时间序列执行处理的程序，或者可以是其中其中并行地或在诸如执行呼叫的必要定时处执行处理的程序。
本发明的实施例并不限于上述的实施例，并且，在不脱离本发明的实质的情况中可以进行各种修改。
例如，上述的图像编码装置51、351、451和551以及图像解码装置151、401、501和601可以适用于可任选的电子装置。在下文中，将描述其例子。
图46是图示使用应用了本发明的图像解码装置的电视接收器的主要配置例子的框图。
图46中所示的电视接收器1300包括地面调谐器1313、视频解码器1315、视频信号处理电路1318、图形产生电路1319、面板驱动电路1320和显示面板1321。
地面调谐器1313经由天线接收地面模拟广播的广播波信号，对该广播波信号进行解调，获得视频信号，并且将这些视频信号供应给视频解码器1315。
视频解码器1315对从地面调谐器1313供应的视频信号进行解码处理，并且将获得的数字成分信号供应给视频信号处理电路1318。
视频信号处理电路1318对从视频解码器1315供应的视频数据进行诸如噪声去除等的预定处理，并且，将获得的视频数据供应给图形产生电路1319。
图形产生电路1319产生要显示在显示面板1321上的节目的视频数据，或者由于基于要经由网络供应的应用的处理而导致的图像数据，并且，将产生的视频数据或图像数据供应给面板驱动电路1320。此外，图形产生电路1319也执行诸如将通过为用户产生视频数据(图形)而获得的视频数据在适当的时候供应给面板驱动电路1320的处理，所述视频数据显示用于项目等的选择的画面，并将其重叠在节目的视频数据上。
面板驱动电路1320基于从图形产生电路1319供应的数据来驱动显示面板1321，以在显示面板1321上显示节目的视频或者上述的各种画面。
显示面板1321由LCD(液晶显示器)等构成，并且根据面板驱动电路1320的控制显示节目的视频等。
此外，电视接收器1300还包括音频A/D(模拟/数字)转换单元1314、音频信号处理电路1322、回声消除/音频合成电路1323和音频放大器电路1324和扬声器1325。
地面调谐器1313对接收到的广播波信号进行解调，从而不仅获得视频信号还获得音频信号。地面调谐器1313将获得的音频信号供应给音频A/D转换电路1314。
该音频A/D转换电路1314对从地面调谐器1313供应的音频信号进行A/D转换处理，并且，将获得的数字音频信号供应给音频信号处理电路1322。
音频信号处理电路1322对从音频A/D转换电路1314供应的音频数据进行诸如噪声去除等的预定处理，并且，将获得的音频数据供应给回声消除/音频合成电路1323。
回声消除/音频合成电路1323将从音频信号处理电路1322供应的音频数据供应给音频放大器电路1324。
音频放大器电路1324对从回声消除/音频合成电路1323供应的音频数据进行D/A转换处理，进行放大器处理以调节到预定的音量，然后，将从扬声器1325输出音频。
此外，电视接收器1300还包括数字调谐器1316和MPEG解码器1317。
数字调谐器1316经由天线接收数字广播(地面数字广播、BS(广播卫星)/CS(通信卫星)数字广播)的广播波信号，对其进行解调以获得MPEG-TS(运动图片专家组-传输流)，并且将其供应给MPEG解码器1317。
MPEG解码器1317对给予从数字调谐器1316供应的MPEG-TS的加扰进行解扰，并且提取包含用作重放目标(观看目标)的节目的数据的流。MPEG解码器1317对构成提取的流的音频分组进行解码，将获得的音频数据供应给视频信号处理电路1322，并且，还对构成流的视频分组进行解码，并将获得的视频数据供应给视频信号处理电路1318。此外，MPEG解码器1317将从MPEG-TS提取的EPG(电子节目指南)数据经由未示出的路径供应给CPU1332。
电视接收器1300使用上述的图像解码装置151、401、501或601，作为用于以这样的方式对视频分组进行解码的MPEG解码器1317。因此，以与图像编码装置151和401相同的方式，MPEG解码器1317根据量化参数和预测模式切换滤波系数，并且，在帧内预测之前，对邻近像素执行滤波处理。或者，以与图像编码装置501和601相同的方式，MPEG解码器1317基于打开/关闭标志控制在帧内预测之前是否对邻近像素执行滤波处理。因此，可以提高编码效率。
以与从视频解码器1315供应的视频数据的情况相同的方式，在视频信号处理电路1318处对从MPEG解码器1317供应的视频数据进行预定的处理。然后，在适当的时候，在图形产生电路1319处，将经过预定处理的视频数据重叠在产生的视频数据等上，经由面板驱动电路1320将该视频数据供应给显示面板1321，并且，在显示面板1321上显示其图像。
以与从音频A/D转换电路1314供应的音频数据的情况相同的方式，在音频信号处理电路1322处对从MPEG解码器1317供应的音频数据进行预定的处理。经过预定处理的音频数据然后经由回声消除/音频合成电路1323被供应给音频放大器电路1324，并且经过D/A转换处理和放大器处理。作为其结果，将以预定音量调节的音频从扬声器1325输出。
此外，电视接收器1300还包含麦克风1326和A/D转换电路1327。
A/D转换电路1327接收由设置给电视接收器1300的麦克风1326收集的用户的音频信号，用于音频转换。A/D转换电路1327对接收到的音频信号进行A/D转换处理，并且，将获得的数字音频数据供应给回声消除/音频合成电路1323。
在从A/D转换电路1327供应了电视接收器1300的用户(用户A)的音频数据的情况中，回声消除/音频合成电路1323在以用户A的音频数据作为目标的情况下执行回声消除。在回声消除之后，回声消除/音频合成电路1323将通过合成用户A的音频数据和其它音频数据等而获得的音频数据经由音频放大器电路1324从扬声器1325输出。
此外，电视接收器1300还包括音频编解码器1328、内部总线1329、SDRAM(同步动态随机存取存储器)1330、闪速存储器1331、CPU1332、USB(通用串行总线)I/F1333和网络I/F1334。
A/D转换电路1327接收由设置给电视接收器1300的麦克风1326收集的用户的音频信号，用于音频转换。A/D转换电路1327对接收到的音频信号进行A/D转换处理，并且，将获得的数字音频数据供应给音频编解码器1328。
音频编解码器1328将从A/D转换电路1327供应的音频数据转换为预定格式的数据以便经由网络传送，并且，将其经由内部总线1329供应给网络I/F1334。
网络I/F1334经由安装在网络端子1335上的线缆与网络连接。例如，网络I/F1334将从音频编解码器1328供应的音频数据传送到与其网络连接的另一装置。此外，例如，网络I/F1334经由网络端子1335接收从经由网络与其连接的另一装置传送的音频数据，并且将其经由内部总线1329供应给音频编解码器1328。
音频编解码器1328将从网络I/F1334供应的音频数据转换为预定格式的数据，并且将其供应给回声消除/音频合成电路1323。
回声消除/音频合成电路1323在以从音频编解码器1328供应的音频数据取为目标的情况中执行回声消除，并且，经由音频放大器电路1324从扬声器1325输出通过合成该音频数据和其它音频数据等获得的音频的数据。
SDRAM1330存储CPU1332执行处理所需的各种数据。
闪速存储器1331存储要由CPU1332执行的程序。通过在诸如激活电视接收器1300等的预定定时处由CPU1332读出在闪速存储器1331中存储的程序。经由数字广播获得的EPG数据、经由网络从预定服务器获得的数据等也被存储在闪速存储器1331中。
例如，包含通过CPU1331的控制经由网络从预定服务器获得的内容数据的MPEG-TS被存储在闪速存储器1331中。例如，通过CPU1332的控制，经由内部总线1329，闪速存储器1331将其MPEG-TS供应给MPEG解码器1317。
MPEG解码器1317以与从数字调谐器1316供应的MPEG-TS的情况相同的方式来处理其MPEG-TS。以这样的方式，电视接收器1300经由网络接收由视频、音频等构成的内容数据，使用MPEG解码器1317进行解码，从而可以显示其视频，并且，可以输出其音频。
此外，电视接收器1300还包含用于接收从遥控器1351发射的红外信号的光接收单元1337。
光接收单元1337从遥控器1351接收红外线，并且，将通过解调获得的表示用户的操作的内容的控制代码输出给CPU1332。
CPU1332根据从光接收单元1337供应的控制代码等执行在闪速存储器1331中存储的程序，以控制电视接收器1300的整个操作。CPU1332和电视接收器1300的各个单元经由未示出的路径连接。
USB I/F1333对经由安装在USB端子1336上的USB线缆连接的电视接收器1300的外部装置执行数据的发送/接收。网络I/F1334经由安装在网络端子1335上的线缆与网络连接，还对与网络连接的各种装置执行除音频数据以外的数据的发送/接收。
电视接收器1300使用图像解码装置151、401、501或601作为MPEG解码器1317，从而可以提高编码效率。作为其结果，电视接收器1300可以以更高的速度从经由天线接收到的广播波信号或者经由网络获得的内容数据中获得具有更高精度的解码图像并显示它。
图47是图示使用应用了本发明的图像编码装置和图像解码装置的蜂窝电话的主要配置例子的框图。
图47中所示的蜂窝电话1400包括被配置为整体地控制各个单元的主控制单元1450、电源电路单元1451、操作输入控制单元1452、图像编码器1453、照相机I/F单元1454、LCD控制单元1455、图像解码器1456、多路复用/分离单元1457、记录/重放单元1462、调制/解调电路单元1458和音频编解码器1459。这些单元经由总线1460相互连接。
此外，蜂窝电话1400包括操作键1419、CCD(电荷耦合器件)照相机1416、液晶显示器1418、存储单元1423、发送/接收电路单元1463、天线1414、麦克风(MIC)1421和扬声器1417。
在呼叫结束并通过用户的操作接通电源键时，电源电路单元1451通过从电池组向各个单元供电来在操作状态中激活蜂窝电话1400。
基于由CPU、ROM、RAM等构成的主控制单元1450的控制，在诸如语音呼叫模式、数据通信模式等的各种模式中，蜂窝电话1400执行各种操作，例如，音频信号的发送/接收、电子邮件和图像数据的发送/接收、图像拍摄、数据记录等。
例如，在语音呼叫模式中，蜂窝电话1400通过音频编解码器1459将由麦克风(话筒)1421收集的音频信号转换为数字音频数据，在调制/解调电路单元1458处对其进行光谱扩展处理，并且，在发送/接收电路单元1463处对其进行数字/模拟转换处理和频率转换处理。蜂窝电话1400将通过其转换处理获得的用于发送的信号经由天线1414发送到未示出的基站。将发送到基站的用于发送的信号(音频信号)经由公用电话网络供应给通信伙伴的蜂窝电话。
此外，例如，在语音呼叫模式中，蜂窝电话1400在发送/接收电路单元1463处对在天线1414处接收的接收信号进行放大，进一步对其进行频率转换处理和模拟/数字转换处理，在调制/解调电路单元1458处对其进行光谱逆扩展处理，并且通过音频编解码器将其转换为模拟音频信号。蜂窝电话1400从扬声器1417输出其转换的和获得的模拟音频信号。
此外，例如，当在数据通信模式中发送电子邮件的情况中，蜂窝电话1400在操作输入控制单元1452处接受通过操作键1419的操作而输入的电子邮件的文本数据。蜂窝电话1400在主控制单元1450处处理其文本数据，并且经由LCD控制单元1455将其作为图像显示在液晶显示器1418上。
此外，蜂窝电话1400基于由操作输入控制单元1452接受的文本数据、用户的指示等在主控制单元1450处产生电子邮件数据。蜂窝电话1400在调制/解调电路单元1458处对其电子邮件数据进行光谱扩展处理，并且在发送/接收电路单元1463处对其进行数字/模拟转换处理和频率转换处理。蜂窝电话1400将通过其转换处理获得的用于发送的信号经由天线1414发送到未示出的基站。将发送到基站的用于发送的信号(电子邮件)经由网络、邮件服务器等供应给预定的目的地。
此外，例如，当在数据通信模式中接收电子邮件的情况中，蜂窝电话1400用发送/接收电路单元1463接收经由天线1414从基站发送的信号，对该信号进行放大，并且，对其进一步进行频率转换处理和模拟/数字转换处理。蜂窝电话1400在调制/解调电路单元1458处对其接收信号进行光谱逆扩展处理，以恢复原始电子邮件数据。蜂窝电话1400经由LCD控制单元1455在液晶显示器1418上显示恢复的电子邮件数据。
请注意，蜂窝电话1400可以经由记录/重放单元1462在存储单元1423中记录(存储)接收到的电子邮件数据。
该存储单元1423是可任选的可重写的记录介质。存储单元1423可以是诸如RAM、内置闪速存储器等的半导体存储器，可以是硬盘，或者可以是诸如磁盘、磁光盘、光盘、USB存储器、存储器卡等的可移动介质。不用说，存储单元1423可以是除了这些以外的存储单元。
此外，例如，当在数据通信模式中发送图像数据的情况中，蜂窝电话1400通过在CCD照相机1416处成像来产生图像数据。CCD照相机1416包括用作诸如透镜、光圈等的光学装置且用作光电转换装置的对被摄体进行成像的CCD，将接收到的光的强度转换为电信号，并且产生被摄体的图像的图像数据。经由照相机I/F单元1451，使用诸如MPEG2、MPEG4等的预定的编码格式，在图像编码器1453处对其图像数据进行压缩编码，因此，将其图像数据转换为编码的图像数据。
蜂窝电话1400利用上述的图像编码装置61、351、451和551作为用于执行这种处理的图像编码器1453。因此，以与图像编码装置51和351相同的方式，图像编码器1453根据量化参数和预测模式设置滤波系数，并且，在帧内预测之前，对邻近像素执行滤波处理。或者，以与图像编码装置451和551相同的方式，图像编码器1453控制在帧内预测之前是否对邻近像素执行滤波处理。因此，可以提高编码效率。
请注意，此时，同时，在用CCD照相机1416拍摄的同时，蜂窝电话1400在音频编解码器1459处对在麦克风(话筒)1421处收集的音频进行模拟数字转换，并且进一步对其进行编码。
蜂窝电话1400使用预定的方法在多路复用/分离单元1457处对从图像编码器1453供应的编码图像数据和从音频编解码器1459供应的数字音频数据进行多路复用。蜂窝电话1400在调制/解调电路单元1458处对作为其结果获得的多路复用数据进行光谱扩展处理，并且在发送/接收电路单元1463处对其进行数字/模拟转换处理和频率转换处理。蜂窝电话1400将通过其转换处理获得的用于发送的信号经由天线1414发送到未示出的基站。将发送到基站的用于发送的信号(图像信号)经由网络等供应给通信伙伴。
请注意，在不发送图像数据的情况中，蜂窝电话1400也可以经由LCD控制单元1455而不是图像编码器1453在液晶显示器1418上显示在CCD照相机1416处产生的图像数据。
此外，例如，当在数据通信模式中接收与简单网站等链接的运动图像文件的数据的情况中，蜂窝电话1400经由天线1414在发送/接收电路单元1463处接收从基站发送的信号，对该信号进行放大，并且，对其进一步进行频率转换处理和模拟/数字转换处理。
蜂窝电话1400在调制/解调电路单元1458处对接收到的信号进行光谱逆扩展处理，以恢复原始的多路复用数据。蜂窝电话1400在多路复用/分离单元1457处将其多路复用数据分离为编码的图像数据和音频数据。
蜂窝电话1400使用与诸如MPEG2、MPEG4等的预定的编码格式对应的解码格式在图像解码器1456处对编码的图像数据进行解码，从而产生重放的运动图像数据，并且，蜂窝电话1400经由LCD控制单元1455在液晶显示器1418上显示该运动图像数据。因此，例如，在液晶显示器1418上显示与简单网站链接的运动图像文件中包含的运动图像数据。
蜂窝电话1400利用上述的图像解码装置151、401、501或601作为用于执行这种处理的图像解码器1456。因此，以与图像解码装置151和401相同的方式，图像解码器1456根据量化参数和预测模式切换滤波系数，并且，在帧内预测之前，对邻近像素执行滤波处理。或者，以与图像解码装置501和601相同的方式，图像解码器1456基于打开/关闭标志控制在帧内预测之前是否对邻近像素执行滤波处理。因此，可以提高编码效率。
此时，同时，蜂窝电话1400在音频编解码器1459处将数字音频数据转换为模拟音频信号，并且从扬声器1417处输出它。因此，例如，播放与简单网站链接的运动图像文件中包含的音频数据。
请注意，以与电子邮件的情况相同的方式，蜂窝电话1400可以经由记录/重放单元1462将与简单网站等链接的接收到的数据记录(存储)在存储单元1423中。
此外，蜂窝电话1400在主控制单元1450处对由CCD照相机1416获得的成像的二维代码进行分析，从而可以获得在二维代码中记录的信息。
此外，蜂窝电话1400可以使用红外线在红外通信单元1481处与外部装置通信。
例如，蜂窝电话1400利用图像编码装置51、351、451或551作为图像编码器1453，从而，可以提高通过对在CCD照相机1416处产生的图像数据进行编码而产生的编码数据的编码效率。结果，蜂窝电话1400可以向另一个装置提供具有优异的编码效率的编码数据(图像数据)。
此外，蜂窝电话1400利用图像解码装置151、401、501或601作为图像解码器1456，从而可以产生具有高精度的预测图像。例如，作为其结果，蜂窝电话1400可以从与简单网站链接的运动图像文件获得具有更高精度的解码图像，并且显示它。
请注意，迄今为止已经进行了这样的描述：其中，蜂窝电话1400利用CCD照相机1416，但是，蜂窝电话1400可以利用使用CMOS(互补金属氧化物半导体)的图像传感器(CMOS图像传感器)代替该CCD照相机1416。在这种情况下，以与利用CCD照相机1416的情况相同的方式，蜂窝电话1400也可以对被摄体进行成像并产生被摄体的图像的图像数据。
此外，迄今为止已经针对蜂窝电话1400进行了描述，但是，以与蜂窝电话1400的情况相同的方式，图像编码装置51、351、451和55，以及图像解码装置151、401、501和601可以适用于任何类型的装置，只要它是具有与蜂窝电话1400的成像功能和图像功能相同的成像功能和图像功能的装置，例如，PDA(个人数字助理)、智能电话、UMPC(超移动个人计算机)、网络书(net book)、笔记本型个人计算机等。
图48是图示使用应用了本发明的图像编码装置和图像解码装置的硬盘记录器的主要配置例子的框图。
图48中所示的硬盘记录器(HDD记录器)1500是这样的装置，该装置在内置的硬盘中存储由调谐器接收且从卫星或地面天线等发送的广播波信号(电视信号)中包含的广播节目的音频数据和视频数据，并且，根据用户的指示在某一定时处向用户提供存储的数据。
例如，硬盘记录器1500可以从广播波信号提取音频数据和视频数据，在适当的时候对这些音频数据和视频数据进行解码，并且将其存储在内置的硬盘中。此外，例如，硬盘记录器1500也可以经由网络从另一装置获得音频数据和视频数据，在适当的时候对这些音频数据和视频数据进行解码，并且将其存储在内置的硬盘中。
此外，例如，硬盘记录器1500对在内置的硬盘中记录的音频数据和视频数据进行解码，将其供应给监视器1460，并且，在监视器1560的屏幕上显示其图像。此外，硬盘记录器1500可以从监视器1560的扬声器输出其音频。
例如，硬盘记录器1500对从经由调谐器获得的广播波信号提取的音频数据和视频数据或者经由网络从另一装置获得的音频数据和视频数据进行解码，将其供应给监视器1560，并且，在监视器1560的屏幕上显示其图像。此外，硬盘记录器1500可以从监视器1560的扬声器输出其音频。
不用说，可以执行除这些操作以外的操作。
如图48所示，硬盘记录器1500包括接收单元1521、解调单元1522、分用器1523、音频解码器1524、视频解码器1525和记录器控制单元1526。硬盘记录器1500还包括EPG数据存储器1527、程序存储器1528、工作存储器1529、显示转换器1530、OSD(屏幕上显示)控制单元1531、显示控制单元1523、记录/重放单元1533、D/A转换器1534和通信单元1535。
此外，显示转换器1530包括视频编码器1541。记录/重放单元1533包括编码器1551和解码器1552。
接收单元1521从遥控器(未示出)接收红外信号，将其转换为电信号，并且输出给记录器控制单元1526。记录器控制单元1526由例如微处理器等构成，并且，根据存储在程序存储器1528中的程序执行各种处理。此时，记录器控制单元1526根据需要使用各种存储器1529。
与网络连接的通信单元1535经由网络与另一装置执行图像处理。例如，通信单元1535由记录器控制单元1526控制，以与调谐器(未示出)通信并且，主要向调谐器输出信道选择控制信号。
解调单元1522对从调谐器供应的信号进行解调，并且输出给分用器1523。分用器1523将从解调单元1522供应的数据分离为音频数据、视频数据和EPG数据，并且分别输出给音频解码器1524、视频解码器1525和记录器控制单元1526。
音频解码器1524例如使用MPEG格式对输入的音频数据进行解码，并且输出给记录/重放单元1533。视频解码器1525例如使用MPEG格式对输入的视频数据进行解码，并且输出给显示转换器1530。记录器控制单元1526将输入的EPG数据供应给EPG数据存储器1527以便存储。
显示转换器1530使用视频编码器1541将从视频解码器1525或记录器控制单元1526供应的视频数据编码为例如符合NTSC(国家电视标准委员会)格式的视频数据，并且输出给记录/重放单元1533。此外，显示转换器1530将从视频解码器1525或记录器控制单元1526供应的视频数据的画面的尺寸转换为对应于监视器1560的尺寸的尺寸。显示转换器1530使用视频编码器1541将转换了画面尺寸的视频数据进一步转换为符合NTSC格式的视频数据，并且转换为模拟信号，并且输出给显示控制单元1532。
在记录器控制单元1526的控制下，显示控制单元1523将从OSD(屏幕上显示)控制单元1531输出的OSD信号重叠在从显示转换器1530输入的视频信号上，并且输出给监视器1560的显示器以便显示。
此外，使用D/A转换器1534将从音频解码器1524输出的音频数据转换为模拟信号，并且将其供应给监视器1560。监视器1560从内置的扬声器输出该音频信号。
记录/重放单元1533包括硬盘，作为记录有视频数据、视频数据等的记录介质。
例如，记录/重放单元1533使用MPEG格式通过编码器1551对从音频解码器1524供应的音频数据进行编码。此外，记录/重放单元1533使用MPEG格式通过编码器1551对从显示转换器1530的视频编码器1541供应的视频数据进行编码。记录/重放单元1533使用多路复用器合成其音频数据的编码数据和其视频数据的编码数据。记录/重放单元1533通过信道编码放大合成的数据，并且经由记录头将其数据写入在硬盘中。
记录/重放单元1533经由重放头播放在硬盘中记录的数据，放大该数据，并且，使用分用器将其分离为音频数据和视频数据。记录/重放单元1533使用MPEG格式通过解码器1552对音频数据和视频数据进行解码。记录/重放单元1533对解码的音频数据进行数字模拟转换，并且输出给监视器1560的扬声器。
此外，记录/重放单元1533对解码的视频数据进行数字模拟转换，并且输出给监视器1560的显示器。
记录器控制单元1526基于由经由接收单元1521接收的来自遥控器的红外信号指示的用户的指示从EPG数据存储器1527读出最新的EPG数据，并且供应给OSD控制单元1531。OSD控制单元1531产生对应于输入的EPG数据的图像数据，并且输出给显示控制单元1532。显示控制单元1532将从OSD控制单元1531输入的视频数据输出给监视器1560的显示器以便显示。因此，在监视器1560的显示器上显示EPG(电子节目指南)。
此外，硬盘记录器1500可以经由诸如互联网等的网络获得从另一装置供应的各种数据，例如，视频数据、音频数据、EPG数据等。
通信单元1535由记录器控制单元1526控制，以获得经由网络从另一装置发送的诸如视频数据、音频数据、EPG数据等的编码数据，并且将其供应给记录器控制单元1526。例如，记录器控制单元1526将获得的视频数据和音频数据的编码数据供应给记录/重放单元1533，并且将其存储在硬盘中。此时，记录器控制单元1526和记录/重放单元153可以根据需要执行诸如重新编码等的处理。
此外，记录器控制单元1526对获得的视频数据和音频数据的编码数据进行解码，并且将获得的视频数据供应给显示转换器1530。以与从视频解码器1525供应的视频数据相同的方式，显示转换器1530对从记录器控制单元1526供应的视频数据进行处理，经由显示控制单元1532供应给监视器1560，以便显示其图像。
或者，可以进行这样的布置：其中，根据该图像显示，记录器控制单元1526将解码的音频数据经由D/A转换器1534供应给监视器1560，并且从扬声器输出其音频。
此外，记录器控制单元1526对获得的EPG数据的编码数据进行解码，并且，将解码的EPG数据供应给EPG数据存储器1527。
这样配置的硬盘记录器1500利用图像解码装置151、401、501或601作为视频解码器1525、解码器1552和容纳在记录器控制单元1526中的解码器。因此，以与图像解码装置151和401相同的方式，视频解码器1525、解码器1552和容纳在记录器控制单元1526中的解码器根据量化参数和预测模式切换滤波系数，并且，在帧内预测之前，对邻近像素执行滤波处理。或者，以与图像解码装置501和601相同的方式，视频解码器1525、解码器1552和容纳在记录器控制单元1526中的解码器基于打开/关闭标志控制在帧内预测之前是否对邻近像素执行滤波处理。因此，可以提高编码效率。
因此，硬盘记录器1500可以产生具有高精度的预测图像。作为其结果，硬盘记录器1500可以例如从经由调谐器接收的视频数据的编码数据、从记录/重放单元1533的硬盘读出的视频数据的编码数据或者经由网络获得的视频数据的编码数据获得具有更高精度的解码图像，并且在监视器1560上显示。
此外，硬盘记录器1500利用图像编码装置51、351、451或551作为编码器1551。因此，以与图像编码装置51和351相同的方式，编码器1551根据量化参数和预测模式设置滤波系数，并且，在帧内预测之前，对邻近像素执行滤波处理。或者，以与图像编码装置451和551相同的方式，编码器1551控制在帧内预测之前是否对邻近像素执行滤波处理。因此，可以提高编码效率。
因此，例如，硬盘记录器1500可以提高要记录在硬盘中的编码数据的编码效率。作为其结果，硬盘记录器1500可以以更有效的方式使用硬盘的存储区域。
请注意，迄今为止已经对用于在硬盘中记录视频数据和音频数据的硬盘记录器1500进行了描述，但是，不用说，可以利用任何类型的记录介质。例如，甚至采用应用了诸如闪速存储器、光盘、视频带等的除硬盘以外的记录介质的记录器，以与上述的硬盘记录器1500的情况相同的方式，图像编码装置51、351、451和551以及图像解码装置151、401、501和601也可以适用于此。
图49是图示使用应用了本发明的图像编码装置和图像解码装置的照相机的主要配置例子的框图。
图49中所示的照相机1600对被摄体进行成像，在LCD1616上显示被摄体的图像，并且将其作为图像数据记录在记录介质1633中。
透镜块1611将光(即，被摄体的视频)输入到CCD/CMOS1612。CCD/CMOS1612是利用CCD或CMOS的图像传感器，将接收到的光的强度转换为电信号，并且供应给照相机信号处理单元1613。
照相机信号处理单元1613将从CCD/CMOS1612供应的电信号转换为Y、Cr和Cb的颜色差信号，并且供应给图像信号处理单元1614。在控制器1621的控制下，图像信号处理单元1614对从照相机信号处理单元1613供应的图像信号进行预定的图像处理，或者，使用例如MPEG格式通过编码器1641对其图像信号进行编码。图像信号处理单元1614将通过对图像信号进行编码而产生的编码数据供应给解码器1615。此外，图像信号处理单元1614获得在屏幕上显示器(OSD)1620处产生的用于显示的数据，并且将其供应给解码器1615。
对于上述的处理，照相机信号处理单元1613根据需要适当地利用经由总线1617连接的DRAM(动态随机存取存储器)1617来将图像数据、从其图像数据编码的编码数据等保持在其DRAM1618中。
解码器1615对从图像信号处理单元1614供应的编码数据进行解码，并且，将获得的图像数据(解码图像数据)供应给LCD1616。此外，解码器1615将从图像信号处理单元1614供应的用于显示的数据供应给LCD1616。LCD1616在适当的时候合成从解码器1615供应的用于显示的数据的图像和解码图像数据的图像，并且显示其合成图像。
在控制器1621的控制下，屏幕上显示器1620将由符号、字符或图形构成的诸如菜单画面或图标等的用于显示的数据经由总线1617输出到图像信号处理单元1614。
基于指示由用户使用操作单元1622命令的内容的信号，控制单元1621执行各种处理，并且，经由总线1617还控制图像信号处理单元1614、DRAM1618、外部接口1619、屏幕上显示器1620、介质驱动器1623等。用于控制器1621执行各种处理所需的程序、数据等存储在闪速ROM1624中。
例如，控制器1621可以代替图像信号处理单元1614和解码器1615对存储于DRAM1618中的图像数据进行编码，或者对存储于DRAM1618中的编码数据进行解码。此时，控制器1621可以使用与图像信号处理单元1614和解码器1615的编码和解码格式相同的格式执行编码和解码处理，或者，可以使用图像信号处理单元1614和解码器1615都不能处理的格式来执行编码和解码处理。
此外，例如，在从操作单元1622指示了开始图像打印的情况中，控制器1621从DRAM1618读出图像数据，并且经由总线1617将其供应给与外部接口1619连接的打印机1634以便打印。
此外，例如，在从操作单元1622指示了图像记录的情况中，控制器1621从DRAM1618读出编码数据，并且经由总线1617将其供应给安装在介质驱动器1623上的记录介质1633以便存储。
记录介质1633是可任选的可读写可移动介质，例如，磁盘、磁光盘、光盘、半导体存储器等。不用说，关于可移动介质的类型，记录介质1633也是可任选的，因此，可以是带装置，或者可以是盘，或者可以是存储器卡。不用说，记录介质1633可以是非接触式IC卡等。
或者，介质驱动器1623和记录介质1633可以被配置为集成在非可搬性记录介质中，所述非可搬性记录介质例如是内置的硬盘驱动器、SSD(固态驱动器)等。
外部接口1619由例如USB输入/输出端子等构成，并且在执行图像打印的情况中与打印机1634连接。此外，驱动器1631根据需要与外部接口1619连接，诸如磁盘、光盘或磁光盘的可移动介质1632在适当的时候被安装在其上，并且，从其读出的计算机程序根据需要被安装在闪速ROM1624中。
此外，外部接口1619包括要与诸如LAN、互联网等的预定网络连接的网络接口。例如，根据来自操作单元122的指示，控制器1621可以从DRAM1618读出编码数据，并且将其从外部接口1619供应给经由网络连接的另一装置。此外，控制器1621可以经由外部接口1619获得经由网络从另一装置供应的编码数据或图像数据，并且将其保持在DRAM1618中，或者，将其供应给图像信号处理单元1614。
这样配置的照相机1600利用图像解码装置151、401、501或601作为解码器1615。
因此，以与图像解码装置151和401相同的方式，解码器1615根据量化参数和预测模式切换滤波系数，并且，在帧内预测之前，对邻近像素执行滤波处理。或者，以与图像解码装置501和601相同的方式，解码器1615基于打开/关闭标志控制在帧内预测之前是否对邻近像素执行滤波处理。因此，可以提高编码效率。
因此，照相机1600可以产生具有高精度的预测图像。作为其结果，例如，照相机1600可以从在CCD/CMOS1612处产生的图像数据、从DRAM1618或记录介质1633读出的视频数据的编码数据、或者经由网络获得的视频数据的编码数据获得具有更高精度的解码图像，并且在LCD1616上显示。
此外，照相机1600利用图像编码装置51、351、451或551作为编码器1641。
因此，以与图像编码装置51和351相同的方式，编码器1641根据量化参数和预测模式设置滤波系数，并且，在帧内预测之前，对邻近像素执行滤波处理。或者，以与图像编码装置451和551相同的方式，编码器1641控制在帧内预测之前是否对邻近像素执行滤波处理。因此，可以提高编码效率。
因此，例如，照相机1600可以提高要记录在硬盘中的编码数据的编码效率。作为其结果，照相机1600可以以更有效的方式使用DRAM1618或记录介质1633的存储区域。
请注意，图像解码装置151、401、501和601的解码方法可以适用于控制器1621执行的解码处理。类似地，图像编码装置51、351、451和551的编码方法可以适用于控制器1621执行的编码处理。
此外，照相机1600成像的图像数据可以是运动图像，或者可以是静止图像。
不用说，图像编码装置51、351、451和551以及图像解码装置151、401、501和601可以适用于除上述装置以外的装置或系统。
附图标记列表
51   图像编码装置
66   无损耗编码单元
74   帧内预测单元
75   邻近像素内插滤波切换单元
81   邻近像素设置单元
82   预测图像产生单元
83   最佳预测模式确定单元
91   预测模式缓冲器
92   量化参数缓冲器
93   低通滤波设置单元
94   帧系数存储器
111  邻近像素设置单元
112  预测图像产生单元
113  最佳预测模式确定单元
121  预测模式缓冲器
122  最佳滤波计算单元
151  图像解码装置
162  无损耗解码单元
171  帧内预测单元
172  邻近像素内插滤波切换单元
181  预测图像产生单元
182  邻近像素设置单元
191  预测模式缓冲器
192  量化参数缓冲器
193  低通滤波设置单元
194  滤波系数存储器
202  低通滤波设置单元
251  学习装置
261  邻近内插滤波计算单元
271  滤波系数存储单元
351  图像编码装置
361  二次预测单元
362  邻近像素内插滤波切换单元
401  图像解码装置
411  二次预测单元
412  邻近像素内插滤波切换单元
451  图像编码装置
461  邻近像素内插滤波控制单元
501  图像解码装置
511  邻近像素内插滤波控制单元
551  图像编码装置
561  邻近像素内插滤波控制单元
601  图像解码装置
611  邻近像素内插滤波控制单元

Claims (16)

1.一种图像处理装置，包括：
滤波部件，以要进行编码处理的图像为对象，针对对于成为编码处理的对象的对象块的像素执行帧内预测时的预测模式，使用控制信息，选择是对针对所述对象块的像素执行帧内预测时参考的邻近像素执行滤波处理，还是不对所述邻近像素执行滤波处理，所述控制信息控制是对所述邻近像素执行滤波处理还是不对所述邻近像素执行滤波处理；以及
帧内预测部件，使用所述邻近像素，对所述对象块的像素执行帧内预测。
2.根据权利要求1所述的图像处理装置，还包括：
确定部件，使用执行帧内预测时的成本函数，确定所述预测模式。
3.根据权利要求2所述的图像处理装置，其中，
所述滤波部件对于由所述确定部件所确定的预测模式，使用所述成本函数，选择是对所述邻近像素执行滤波处理还是不对所述邻近像素执行滤波处理。
4.根据权利要求3所述的图像处理装置，其中，
所述滤波部件在选择了对所述邻近像素执行滤波处理的情况下，使用利用三个抽头的滤波系数的滤波运算，来对所述邻近像素执行滤波处理。
5.根据权利要求1所述的图像处理装置，还包括：
编码部件，使用由所述帧内预测部件所生成的预测图像，来对所述图像进行编码处理。
6.根据权利要求5所述的图像处理装置，其中
所述编码部件以具有层级结构的单位对所述图像进行编码处理。
7.根据权利要求6所述的图像处理装置，其中
所述帧内预测部件将块大小设为4×4像素、8×8像素、16×16像素、32×32像素，来进行帧内预测。
8.一种图像处理方法，由图像处理装置进行如下步骤：
以要进行编码处理的图像为对象，针对对于成为编码处理的对象的对象块的像素执行帧内预测时的预测模式，使用控制信息，选择是对针对所述对象块的像素执行帧内预测时参考的邻近像素执行滤波处理，还是不对所述邻近像素执行滤波处理，所述控制信息控制是对所述邻近像素执行滤波处理还是不对所述邻近像素执行滤波处理；以及
使用所述邻近像素，对所述对象块的像素执行帧内预测。
9.根据权利要求8所述的图像处理方法，其中，
使用执行帧内预测时的成本函数，确定所述预测模式。
10.根据权利要求9所述的图像处理方法，其中，
对于所确定的预测模式，使用所述成本函数，选择是对所述邻近像素执行滤波处理还是不对所述邻近像素执行滤波处理。
11.根据权利要求10所述的图像处理方法，其中，
在选择了对所述邻近像素执行滤波处理的情况下，使用利用三个抽头的滤波系数的滤波运算，来对所述邻近像素执行滤波处理。
12.根据权利要求8所述的图像处理方法，还包括：
使用通过所述帧内预测所生成的预测图像，来对所述图像进行编码处理。
13.根据权利要求12所述的图像处理方法，其中
以具有层级结构的单位对所述图像进行编码处理。
14.根据权利要求13所述的图像处理方法，其中
将块大小设为4×4像素、8×8像素、16×16像素、32×32像素，来进行帧内预测。
15.一种程序，使得计算机作为如下部件发挥功能：
滤波部件，以要进行编码处理的图像为对象，针对对于成为编码处理的对象的对象块的像素执行帧内预测时的预测模式，使用控制信息，选择是对针对所述对象块的像素执行帧内预测时参考的邻近像素执行滤波处理，还是不对所述邻近像素执行滤波处理，所述控制信息控制是对所述邻近像素执行滤波处理还是不对所述邻近像素执行滤波处理；以及
帧内预测部件，使用所述邻近像素，对所述对象块的像素执行帧内预测。
16.一种记录介质，记录有权利要求15所述的程序。
CN201410254234.9A 2009-07-01 2010-06-23 图像处理装置和方法 Active CN104125468B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2009156563 2009-07-01
JP2009-156563 2009-07-01
JP2009-244753 2009-10-23
JP2009244753A JP5597968B2 (ja) 2009-07-01 2009-10-23 画像処理装置および方法、プログラム、並びに記録媒体
CN201080028028.6A CN102474617B (zh) 2009-07-01 2010-06-23 图像处理装置和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201080028028.6A Division CN102474617B (zh) 2009-07-01 2010-06-23 图像处理装置和方法

Publications (2)

Publication Number Publication Date
CN104125468A true CN104125468A (zh) 2014-10-29
CN104125468B CN104125468B (zh) 2018-07-03

Family

ID=43410941

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201610811821.2A Active CN106385583B (zh) 2009-07-01 2010-06-23 图像处理装置和方法
CN201610811112.4A Active CN106254876B (zh) 2009-07-01 2010-06-23 图像处理装置和方法
CN201410254234.9A Active CN104125468B (zh) 2009-07-01 2010-06-23 图像处理装置和方法
CN201080028028.6A Active CN102474617B (zh) 2009-07-01 2010-06-23 图像处理装置和方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201610811821.2A Active CN106385583B (zh) 2009-07-01 2010-06-23 图像处理装置和方法
CN201610811112.4A Active CN106254876B (zh) 2009-07-01 2010-06-23 图像处理装置和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201080028028.6A Active CN102474617B (zh) 2009-07-01 2010-06-23 图像处理装置和方法

Country Status (14)

Country Link
US (7) US8885956B2 (zh)
EP (1) EP2451162A4 (zh)
JP (1) JP5597968B2 (zh)
KR (7) KR101938316B1 (zh)
CN (4) CN106385583B (zh)
BR (2) BR122013014095B1 (zh)
CA (1) CA2763887C (zh)
MX (3) MX349900B (zh)
MY (2) MY156869A (zh)
RU (4) RU2542945C2 (zh)
TR (1) TR201112794T1 (zh)
TW (6) TWI699996B (zh)
WO (1) WO2011001865A1 (zh)
ZA (1) ZA201106207B (zh)

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1995967A4 (en) * 2006-03-16 2009-11-11 Huawei Tech Co Ltd METHOD AND APPARATUS FOR ADAPTIVE QUANTIFICATION IN AN ENCODING PROCEDURE
JP5597968B2 (ja) * 2009-07-01 2014-10-01 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
KR101510108B1 (ko) * 2009-08-17 2015-04-10 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
WO2011121938A1 (ja) * 2010-03-31 2011-10-06 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、ならびに画像復号装置、画像復号方法及び画像復号プログラム
KR20110123651A (ko) 2010-05-07 2011-11-15 한국전자통신연구원 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법
TWI600318B (zh) * 2010-05-18 2017-09-21 Sony Corp Image processing apparatus and image processing method
WO2012081895A1 (ko) 2010-12-13 2012-06-21 한국전자통신연구원 인트라 예측 방법 및 그 장치
KR102086145B1 (ko) * 2010-12-13 2020-03-09 한국전자통신연구원 인트라 예측 방법 및 그 장치
US8917950B2 (en) * 2011-01-18 2014-12-23 Sony Corporation Simplifying parametric loop filters
WO2012134046A2 (ko) 2011-04-01 2012-10-04 주식회사 아이벡스피티홀딩스 동영상의 부호화 방법
KR101383775B1 (ko) 2011-05-20 2014-04-14 주식회사 케이티 화면 내 예측 방법 및 장치
JP2013034162A (ja) * 2011-06-03 2013-02-14 Sony Corp 画像処理装置及び画像処理方法
JP2012253722A (ja) * 2011-06-07 2012-12-20 Sony Corp 画像符号化装置と画像復号装置およびその方法とプログラム
KR20120140181A (ko) 2011-06-20 2012-12-28 한국전자통신연구원 화면내 예측 블록 경계 필터링을 이용한 부호화/복호화 방법 및 그 장치
JP5789172B2 (ja) * 2011-10-20 2015-10-07 日本放送協会 画像処理装置及びプログラム
CN104935943B (zh) 2011-10-24 2018-05-25 英孚布瑞智有限私人贸易公司 对帧内预测模式进行解码的方法
HUE051689T2 (hu) * 2011-10-24 2021-03-29 Innotive Ltd Képdekódoló készülék
PL3588949T3 (pl) * 2011-10-28 2021-03-08 Samsung Electronics Co., Ltd. Sposób i urządzenie do predykcji wewnątrzramkowej wideo
WO2013067440A1 (en) 2011-11-04 2013-05-10 General Instrument Corporation Motion vector scaling for non-uniform motion vector grid
JP5871628B2 (ja) * 2011-11-07 2016-03-01 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP2013102297A (ja) 2011-11-07 2013-05-23 Canon Inc 画像符号化方法、画像符号化装置及びプログラム、画像復号方法、画像復号装置及びプログラム
TWI632808B (zh) * 2012-04-06 2018-08-11 新力股份有限公司 Image processing device and method
CN108718412B (zh) * 2012-04-13 2020-10-16 三菱电机株式会社 图像编码装置、图像解码装置及其方法
US11317101B2 (en) 2012-06-12 2022-04-26 Google Inc. Inter frame candidate selection for a video encoder
WO2013185336A1 (en) * 2012-06-15 2013-12-19 Intel Corporation Adaptive filtering for scalable video coding
US9781447B1 (en) 2012-06-21 2017-10-03 Google Inc. Correlation based inter-plane prediction encoding and decoding
TWI618404B (zh) * 2012-06-27 2018-03-11 Sony Corp Image processing device and method
US9167268B1 (en) 2012-08-09 2015-10-20 Google Inc. Second-order orthogonal spatial intra prediction
US9344742B2 (en) 2012-08-10 2016-05-17 Google Inc. Transform-domain intra prediction
US9380298B1 (en) 2012-08-10 2016-06-28 Google Inc. Object-based intra-prediction
WO2014049981A1 (ja) * 2012-09-28 2014-04-03 三菱電機株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
US9485515B2 (en) 2013-08-23 2016-11-01 Google Inc. Video coding using reference motion vectors
US9503746B2 (en) * 2012-10-08 2016-11-22 Google Inc. Determine reference motion vectors
WO2014084106A1 (ja) 2012-11-30 2014-06-05 ソニー株式会社 画像処理装置および方法
JP6065613B2 (ja) * 2013-01-29 2017-01-25 富士通株式会社 動画像符号化装置
US9247251B1 (en) 2013-07-26 2016-01-26 Google Inc. Right-edge extension for quad-tree intra-prediction
US9332150B2 (en) * 2014-08-25 2016-05-03 Kabushiki Kaisha Toshiba Text scanning system, image processing apparatus, and text scanning method
TWI561060B (en) * 2015-01-15 2016-12-01 Mstar Semiconductor Inc Signal processing apparatus and signal processing method including quantization or inverse-quantization process
JP2016146572A (ja) * 2015-02-09 2016-08-12 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像処理システム、動画像符号化方法、動画像復号方法、およびプログラム
US10382792B2 (en) 2015-02-13 2019-08-13 Lg Electronics Inc. Method and apparatus for encoding and decoding video signal by means of transform-domain prediction
EP3067889A1 (en) 2015-03-09 2016-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and apparatus for signal-adaptive transform kernel switching in audio coding
CN108028923B (zh) * 2015-09-10 2021-08-20 Lg电子株式会社 视频编码系统中的帧内预测方法和设备
WO2017052174A1 (ko) * 2015-09-21 2017-03-30 엘지전자(주) 계수 유도 예측을 이용하여 비디오 신호를 처리하는 방법 및 장치
CN108141609A (zh) * 2015-10-21 2018-06-08 夏普株式会社 预测图像生成装置、图像解码装置以及图像编码装置
GB2552274A (en) 2015-11-09 2018-01-17 Sky Cp Ltd Television user interface
US10819987B2 (en) * 2015-11-12 2020-10-27 Lg Electronics Inc. Method and apparatus for coefficient induced intra prediction in image coding system
WO2017188652A1 (ko) 2016-04-26 2017-11-02 인텔렉추얼디스커버리 주식회사 영상 부호화/복호화 방법 및 장치
US20200329232A1 (en) * 2016-05-27 2020-10-15 Lg Electronics Inc. Method and device for encoding or decoding video signal by using correlation of respective frequency components in original block and prediction block
WO2017222140A1 (ko) * 2016-06-24 2017-12-28 한국과학기술원 Cnn 기반 인루프 필터를 포함하는 부호화 방법과 장치 및 복호화 방법과 장치
KR101974261B1 (ko) 2016-06-24 2019-04-30 한국과학기술원 Cnn 기반 인루프 필터를 포함하는 부호화 방법과 장치 및 복호화 방법과 장치
WO2018012660A1 (ko) * 2016-07-15 2018-01-18 엘지전자(주) 예측 유닛 분할을 위한 변환 도메인 예측을 이용하여 비디오 신호를 인코딩, 디코딩하는 방법 및 장치
KR20190052097A (ko) 2016-09-30 2019-05-15 엘지전자 주식회사 영상 처리 방법 및 이를 위한 장치
KR20180080115A (ko) 2017-01-02 2018-07-11 한양대학교 산학협력단 참조 화소에 대하여 적응적 필터링을 수행하기 위한 화면 내 예측 방법 및 장치
WO2018124853A1 (ko) * 2017-01-02 2018-07-05 한양대학교 산학협력단 참조 화소에 대하여 적응적 필터링을 수행하기 위한 화면 내 예측 방법 및 장치
KR102053242B1 (ko) * 2017-04-26 2019-12-06 강현인 압축 파라미터를 이용한 영상 복원용 머신러닝 알고리즘 및 이를 이용한 영상 복원방법
WO2019107999A1 (ko) * 2017-11-30 2019-06-06 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치
KR101998036B1 (ko) * 2017-12-06 2019-07-08 한국과학기술원 왜곡 제거 방법 및 장치
KR102606200B1 (ko) * 2018-03-06 2023-11-24 삼성전자주식회사 전자 장치 및 그 제어 방법
JP7253564B2 (ja) * 2018-03-29 2023-04-06 フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ． パディングのためのイントラ予測モードを選択する装置
US10687083B2 (en) * 2018-06-06 2020-06-16 Intel Corporation Loop restoration filtering for super resolution video coding
CN112335249A (zh) * 2018-06-25 2021-02-05 金起佰 用于编码/解码图像的方法和装置
AU2019298063B2 (en) * 2018-07-02 2022-10-13 Huawei Technologies Co., Ltd. Apparatus and method for filtering in video coding
HUE063986T2 (hu) * 2018-09-16 2024-02-28 Huawei Tech Co Ltd Eljárás és berendezés predikcióhoz
JP7228980B2 (ja) * 2018-09-21 2023-02-27 日本放送協会 予測画像補正装置、画像符号化装置、画像復号装置、及びプログラム
WO2020060449A1 (en) * 2018-09-23 2020-03-26 Huawei Technologies Co., Ltd. Method and apparatus for intra reference sample interpolation filter switching
RU2718426C9 (ru) * 2019-07-10 2020-12-29 федеральное государственное автономное образовательное учреждение высшего образования "Южный федеральный университет" (Южный федеральный университет) Устройство восстановления папиллярных узоров отпечатка пальца
TWI731579B (zh) * 2020-02-11 2021-06-21 日商東芝股份有限公司 傳輸裝置、通訊系統、傳輸方法及電腦程式產品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040213470A1 (en) * 2002-04-25 2004-10-28 Sony Corporation Image processing apparatus and method
CN1555652A (zh) * 2001-09-14 2004-12-15 ������������ʽ���� 基于边界强度的自适应过滤
US20050025236A1 (en) * 2003-08-01 2005-02-03 Polycom, Inc. Adaptive filter to improve H-264 video quality
CN1596546A (zh) * 2001-11-30 2005-03-16 罗伯特-博希股份公司 对图像块进行定向序报的方法
WO2008085109A1 (en) * 2007-01-09 2008-07-17 Telefonaktiebolaget Lm Ericsson (Publ) Adaptive filter representation

Family Cites Families (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3608582B2 (ja) * 1995-07-07 2005-01-12 ソニー株式会社 画像符号化装置および方法、画像復号装置および方法
JP3493872B2 (ja) * 1996-02-29 2004-02-03 ソニー株式会社 画像データ処理方法およびその装置
JP3263807B2 (ja) * 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
EP0956703B1 (de) * 1997-01-31 2001-09-19 Siemens Aktiengesellschaft Verfahren und anordnung zur codierung und decodierung eines digitalisierten bildes
JP3748489B2 (ja) * 1998-03-11 2006-02-22 キヤノン株式会社 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体
FI117533B (fi) * 2000-01-20 2006-11-15 Nokia Corp Menetelmä digitaalisten videokuvien suodattamiseksi
US6724943B2 (en) * 2000-02-07 2004-04-20 Sony Corporation Device and method for image processing
US6654503B1 (en) * 2000-04-28 2003-11-25 Sun Microsystems, Inc. Block-based, adaptive, lossless image coder
JP2002073541A (ja) * 2000-08-31 2002-03-12 Sony Corp コンテンツ配信方法およびコンテンツ供給システム
US20020146074A1 (en) * 2001-02-20 2002-10-10 Cute Ltd. Unequal error protection of variable-length data packets based on recursive systematic convolutional coding
US20020157058A1 (en) * 2001-02-20 2002-10-24 Cute Ltd. System and method for feedback-based unequal error protection coding
JP2003304538A (ja) * 2002-04-11 2003-10-24 Matsushita Electric Ind Co Ltd 画像符号化装置、画像復号化装置及びそれらの方法
US20040062310A1 (en) 2002-01-17 2004-04-01 Zhong Xue Coding distortion removal method, video encoding method, video decoding method, and apparatus and program for the same
US20030103523A1 (en) * 2001-11-30 2003-06-05 International Business Machines Corporation System and method for equal perceptual relevance packetization of data for multimedia delivery
US6907079B2 (en) * 2002-05-01 2005-06-14 Thomson Licensing S.A. Deblocking filter conditioned on pixel brightness
US7227901B2 (en) * 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter
US7321565B2 (en) * 2003-08-29 2008-01-22 Ineoquest Technologies System and method for analyzing the performance of multiple transportation streams of streaming media in packet-based networks
CN1233171C (zh) * 2004-01-16 2005-12-21 北京工业大学 一种用于视频编码的简单化环路滤波方法
JP4082383B2 (ja) * 2004-05-20 2008-04-30 ソニー株式会社 撮像装置、画像処理方法および色領域設定プログラム
KR100813958B1 (ko) * 2004-06-07 2008-03-14 세종대학교산학협력단 동영상의 무손실 인코딩 및 디코딩 방법, 그 장치
JP4763422B2 (ja) * 2004-12-03 2011-08-31 パナソニック株式会社 イントラ予測装置
US7876833B2 (en) * 2005-04-11 2011-01-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive up-scaling for spatially scalable coding
US20060258991A1 (en) * 2005-04-29 2006-11-16 Lin Edward D Portable needle uncapping and recapping device
US20090034857A1 (en) * 2005-07-22 2009-02-05 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
JP2007150913A (ja) * 2005-11-29 2007-06-14 Matsushita Electric Ind Co Ltd 画像符号化装置
US7570704B2 (en) * 2005-11-30 2009-08-04 Intel Corporation Transmitter architecture for high-speed communications
WO2007074649A1 (ja) * 2005-12-27 2007-07-05 Kyocera Corporation 撮像装置およびその画像処理方法
KR101246294B1 (ko) * 2006-03-03 2013-03-21 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
EP1841230A1 (en) * 2006-03-27 2007-10-03 Matsushita Electric Industrial Co., Ltd. Adaptive wiener filter for video coding
US8189934B2 (en) 2006-03-27 2012-05-29 Panasonic Corporation Image coding apparatus and image decoding apparatus
KR100745765B1 (ko) 2006-04-13 2007-08-02 삼성전자주식회사 화상 데이터의 공간상 예측 장치 및 방법과 그를 이용한부호화 장치 및 방법, 화상 데이터의 공간상 예측 보상장치 및 방법과 그를 이용한 복호화 장치 및 방법
CN100578622C (zh) 2006-05-30 2010-01-06 北京中星微电子有限公司 一种自适应麦克阵列系统及其语音信号处理方法
US8243815B2 (en) * 2006-06-16 2012-08-14 Via Technologies, Inc. Systems and methods of video compression deblocking
FR2903253A1 (fr) * 2006-06-29 2008-01-04 Thales Sa Procede permettant de determiner des parametres de compression et de protection pour la transmission de donnees multimedia sur un canal sans fil.
US8457200B2 (en) * 2006-07-07 2013-06-04 Telefonaktiebolaget Lm Ericsson (Publ) Video data management
JP4747975B2 (ja) * 2006-07-14 2011-08-17 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
CN101554058B (zh) * 2006-11-07 2011-09-21 三星电子株式会社 基于帧内预测进行编码和解码的方法和装置
US9961372B2 (en) * 2006-12-08 2018-05-01 Nxp Usa, Inc. Adaptive disabling of deblock filtering based on a content characteristic of video information
US9445128B2 (en) * 2006-12-08 2016-09-13 Freescale Semiconductor, Inc. System and method of determining deblocking control flag of scalable video system for indicating presentation of deblocking parameters for multiple layers
JP4847890B2 (ja) * 2007-02-16 2011-12-28 パナソニック株式会社 符号化方式変換装置
JP5089214B2 (ja) 2007-03-27 2012-12-05 キヤノン株式会社 画像処理方法及びその装置、コンピュータプログラム及び記憶媒体
JP4790843B2 (ja) * 2007-03-30 2011-10-12 富士通株式会社 能動消音装置および能動消音方法
US20080253467A1 (en) * 2007-04-13 2008-10-16 Nokia Corporation System and method for using redundant pictures for inter-layer prediction in scalable video coding
US8238428B2 (en) 2007-04-17 2012-08-07 Qualcomm Incorporated Pixel-by-pixel weighting for intra-frame coding
US7991237B2 (en) * 2007-06-28 2011-08-02 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
EP3410706B1 (en) * 2007-06-29 2021-12-01 Velos Media International Limited Image encoding device and image decoding device
CN100562114C (zh) 2007-08-30 2009-11-18 上海交通大学 视频解码方法与解码装置
JP2009194617A (ja) * 2008-02-14 2009-08-27 Sony Corp 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
EP2249572A4 (en) * 2008-03-07 2012-05-23 Toshiba Kk METHOD AND DEVICE FOR DYNAMIC IMAGE CODING / DECODING
US8831086B2 (en) * 2008-04-10 2014-09-09 Qualcomm Incorporated Prediction techniques for interpolation in video coding
EP2266321B1 (en) * 2008-04-23 2017-12-13 Telefonaktiebolaget LM Ericsson (publ) Template-based pixel block processing
WO2009133845A1 (ja) * 2008-04-30 2009-11-05 株式会社 東芝 動画像符号化／復号化装置及び方法
WO2009133844A1 (ja) * 2008-04-30 2009-11-05 株式会社 東芝 エッジを考慮したフィルタリング機能を備えた動画像符号化／復号化方法及び装置
WO2010001999A1 (ja) * 2008-07-04 2010-01-07 株式会社 東芝 動画像符号化／復号化方法及び装置
CN101321290B (zh) * 2008-07-17 2010-12-15 北京数码视讯科技股份有限公司 基于数字信号处理器的去块滤波方法
TWI386068B (zh) * 2008-10-22 2013-02-11 Nippon Telegraph & Telephone 解塊處理方法、解塊處理裝置、解塊處理程式及記錄該程式之可由電腦讀取之記錄媒體
WO2010076856A1 (ja) * 2009-01-05 2010-07-08 株式会社 東芝 動画像符号化方法及び動画像復号化方法
KR20110001990A (ko) * 2009-06-30 2011-01-06 삼성전자주식회사 영상 데이터의 인 루프 필터링 장치 및 방법과 이를 이용한 영상 부호화/복호화 장치
JP5597968B2 (ja) * 2009-07-01 2014-10-01 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
US8306355B2 (en) * 2009-07-13 2012-11-06 Sharp Laboratories Of America, Inc. Methods and systems for reducing compression artifacts
JP2011050001A (ja) * 2009-08-28 2011-03-10 Sony Corp 画像処理装置および方法
US20110249741A1 (en) * 2010-04-09 2011-10-13 Jie Zhao Methods and Systems for Intra Prediction
CN106231342B (zh) * 2010-04-13 2019-05-31 三星电子株式会社 执行去块滤波的对视频进行解码的方法
DE102011006036B4 (de) * 2011-01-14 2012-12-27 Siemens Aktiengesellschaft Verfahren und Vorrichtungen zur Bildung eines Prädiktionswertes
US20160073107A1 (en) * 2013-04-15 2016-03-10 Intellectual Discovery Co., Ltd Method and apparatus for video encoding/decoding using intra prediction
CN116506601A (zh) * 2016-03-11 2023-07-28 数字洞察力有限公司 视频编码方法以及装置
CN117221585A (zh) * 2016-06-22 2023-12-12 Lx 半导体科技有限公司 图像编码/解码方法以及图像数据的传输方法
US10958903B2 (en) * 2016-10-04 2021-03-23 Electronics And Telecommunications Research Institute Method and apparatus for encoding/decoding image and recording medium storing bit stream
EP3646599A4 (en) * 2017-06-30 2020-05-06 Telefonaktiebolaget LM Ericsson (PUBL) ENCODING AND DECODING OF AN IMAGE BLOCK USING A CURVED INTRA-PREDICTION MODE

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1555652A (zh) * 2001-09-14 2004-12-15 ������������ʽ���� 基于边界强度的自适应过滤
CN1596546A (zh) * 2001-11-30 2005-03-16 罗伯特-博希股份公司 对图像块进行定向序报的方法
US20040213470A1 (en) * 2002-04-25 2004-10-28 Sony Corporation Image processing apparatus and method
US20050025236A1 (en) * 2003-08-01 2005-02-03 Polycom, Inc. Adaptive filter to improve H-264 video quality
WO2008085109A1 (en) * 2007-01-09 2008-07-17 Telefonaktiebolaget Lm Ericsson (Publ) Adaptive filter representation

Also Published As

Publication number Publication date
BRPI1011906A2 (pt) 2016-04-19
TR201112794T1 (tr) 2012-05-21
RU2014141292A3 (zh) 2018-07-09
KR101772851B1 (ko) 2017-08-29
US20130330014A1 (en) 2013-12-12
MY156869A (en) 2016-04-15
MX2011013711A (es) 2012-02-22
KR102161394B1 (ko) 2020-10-05
RU2542945C2 (ru) 2015-02-27
CN106385583A (zh) 2017-02-08
BR122013014095B1 (pt) 2021-03-09
TW201440501A (zh) 2014-10-16
US11328452B2 (en) 2022-05-10
RU2011152881A (ru) 2013-06-27
US8675978B2 (en) 2014-03-18
US20220335657A1 (en) 2022-10-20
TWI577179B (zh) 2017-04-01
RU2014141292A (ru) 2016-05-10
KR20190133800A (ko) 2019-12-03
TW201907722A (zh) 2019-02-16
CN106331710A (zh) 2017-01-11
CN102474617B (zh) 2016-11-16
ZA201106207B (en) 2012-06-27
JP2011030175A (ja) 2011-02-10
TWI651965B (zh) 2019-02-21
US20180005408A1 (en) 2018-01-04
CA2763887C (en) 2016-08-30
KR101696950B1 (ko) 2017-01-16
TWI699996B (zh) 2020-07-21
KR20190006082A (ko) 2019-01-16
KR20160143871A (ko) 2016-12-14
WO2011001865A1 (ja) 2011-01-06
US20120093426A1 (en) 2012-04-19
MY176882A (en) 2020-08-25
TWI705702B (zh) 2020-09-21
KR101938316B1 (ko) 2019-01-15
AU2010267185A8 (en) 2016-02-25
KR20160142409A (ko) 2016-12-12
US8885956B2 (en) 2014-11-11
CN104125468B (zh) 2018-07-03
US20200202577A1 (en) 2020-06-25
US20140376631A1 (en) 2014-12-25
TW201717637A (zh) 2017-05-16
EP2451162A4 (en) 2013-01-16
EP2451162A1 (en) 2012-05-09
CN106254876B (zh) 2019-10-11
BR122013014095A2 (pt) 2016-05-10
CN106385583B (zh) 2019-04-19
CN102474617A (zh) 2012-05-23
TW201904298A (zh) 2019-01-16
TW201116069A (en) 2011-05-01
TW201717638A (zh) 2017-05-16
KR20120036847A (ko) 2012-04-18
KR101765430B1 (ko) 2017-08-07
TWI650007B (zh) 2019-02-01
AU2010267185A1 (en) 2012-01-12
RU2690211C1 (ru) 2019-05-31
CN106254876A (zh) 2016-12-21
KR20170065686A (ko) 2017-06-13
KR102051266B1 (ko) 2019-12-03
US9830716B2 (en) 2017-11-28
RU2665885C2 (ru) 2018-09-04
BRPI1011906B1 (pt) 2021-02-23
MX349900B (es) 2017-08-18
MX349898B (es) 2017-08-18
TWI475891B (zh) 2015-03-01
KR101765429B1 (ko) 2017-08-07
US9710930B2 (en) 2017-07-18
US20140376630A1 (en) 2014-12-25
RU2019115874A (ru) 2020-11-23
JP5597968B2 (ja) 2014-10-01
US10614593B2 (en) 2020-04-07
AU2010267185B2 (en) 2015-09-24
CA2763887A1 (en) 2011-01-06
KR20150024440A (ko) 2015-03-06

Similar Documents

Publication Publication Date Title
CN102474617B (zh) 图像处理装置和方法
CN102484714B (zh) 图像处理装置和方法
CN102714734A (zh) 图像处理设备和方法
CN102318346A (zh) 图像处理设备和方法
CN102648630A (zh) 图像处理设备和方法
CN102823254A (zh) 图像处理设备和方法
CN102160379A (zh) 图像处理装置和图像处理方法
CN102160381A (zh) 图像处理设备和方法
CN102577390A (zh) 图像处理设备和方法
CN103503453A (zh) 编码装置和编码方法、以及解码装置和解码方法
CN102939759A (zh) 图像处理设备和方法
CN102884791A (zh) 图像处理设备和方法
CN102792693A (zh) 图像处理设备和方法
CN102668570B (zh) 图像处理设备及其方法
CN102342107A (zh) 图像处理设备和方法
CN102160383A (zh) 图像处理装置和方法
JP6048774B2 (ja) 画像処理装置および方法
CN106331710B (zh) 图像处理装置和方法
AU2016200566B2 (en) Image processing device and method
AU2010267185B8 (en) Image processing device and method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20190102

Address after: Dublin, Ireland

Patentee after: Qualcomm Inc.

Address before: Tokyo, Japan

Patentee before: Sony Corp.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221130

Address after: Tokyo

Patentee after: Sony Group

Address before: Irish Dublin

Patentee before: Qualcomm Inc.

TR01 Transfer of patent right