CN102986222B - 编码设备、编码方法、解码设备以及解码方法 - Google Patents

编码设备、编码方法、解码设备以及解码方法 Download PDF

Info

Publication number
CN102986222B
CN102986222B CN201180033755.6A CN201180033755A CN102986222B CN 102986222 B CN102986222 B CN 102986222B CN 201180033755 A CN201180033755 A CN 201180033755A CN 102986222 B CN102986222 B CN 102986222B
Authority
CN
China
Prior art keywords
unit
orthogonal transformation
image
component
klt
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180033755.6A
Other languages
English (en)
Other versions
CN102986222A (zh
Inventor
近藤健治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102986222A publication Critical patent/CN102986222A/zh
Application granted granted Critical
Publication of CN102986222B publication Critical patent/CN102986222B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/439—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using cascaded computational arrangements for performing a single operation, e.g. filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets

Abstract

本技术涉及能够减小正交变换处理或逆正交变换处理的计算量的编码设备和编码方法以及解码设备和解码方法。DWT单元(91)对残差信息执行计算量小于KLT的计算量的DWT。KLT单元(92-0至92-8)利用对应的帧内预测模式的KLT的基础，对作为DWT的结果而获得的残差信息的低频分量执行可分离型KLT。对作为KLT的结果获得的系数和作为DWT的结果获得的残差信息的高频分量进行无损编码。本技术可以应用于例如图像编码设备。

Description

编码设备、编码方法、解码设备以及解码方法
技术领域
本技术涉及编码设备、编码方法、解码设备以及解码方法，更具体来说，涉及能够减小正交变换处理或逆正交变换处理的计算量的编码设备、编码方法、解码设备以及解码方法。
背景技术
在高级视频编码（AVC）模式中，提出了改进帧内预测编码的模式依赖方向性变换(MDDT)（例如，见专利文献1和2）。MDDT是用于在对帧内预测图像与输入图像之间的残差（residualerror）执行正交变换时，根据帧内预测模式，利用Karhunen-Loeve变换(KLT)而不是利用常规离散余弦变换（DCT）来改进编码效率的技术。
KLT是这样一种变换：变换后的系数不存在关联，并且第一主分量的分散（dispersion）最大。对通过这种变换获得的分散的大系数赋予更多比特，对分散的小系数赋予更少比特，从而可以改进编码效率。
此外，如专利文献1所述，帧内预测图像与输入图像之间的残差依赖于帧内预测模式。因此，在MDDT中，根据帧内预测模式预先学习KLT的基础，并且通过利用随每个帧内预测模式而不同的KLT的基础，可以高效地变换残差。
然而，KLT的计算量大于DCT。因此，在专利文献2中，提出了通过对帧内预测图像与输入图像之间的残差执行计算量相对较小的可分离型KLT，而不是执行具有一般性的不可分离型KLT，来减小乘法次数。
引证列表
非专利文献
非专利文献1：MartaKarczewicz,″ImprovedIntraCoding″,VCEG(VideoCodingExpertsGroup)-AF15,USA,April,2007
非专利文献2：YanYe,MartaKarczewicz,″ImprovedIntraCoding″,VCEG(VideoCodingExpertsGroup)-AG11r1,China,October，2007
发明内容
然而，如专利文献2所公开的，即使在执行可分离型KLT的情况下，当块大小较大时，计算量仍很大。更具体来说，当块大小是NxN像素时，使用高速算法的DCT的计算量的量级是Nlog│N│，可分离型KLT的计算量的量级是N2。因此，随着块大小变大，可分离型KLT的计算量与使用高速算法的DCT的计算量相比变得较大。
结果，在通过硬件实现可分离型KLT的情况下，大规模集成（LSI）电路规模增大，因此，制造成本增加。另一方面，在通过软件实现可分离型KLT的情况下，处理量增大，难以实时再现图像。
鉴于上述情况设计了本技术，其能够减小正交变换处理或逆正交变换处理的计算量。
本技术的第一方面是一种编码设备，包括：前正交变换单元，对图像执行计算量比第一正交变换的计算量小的第二正交变换；后正交变换单元，对作为第二正交变换的结果而获得的图像的低频分量执行第一正交变换；以及编码单元，对第一正交变换后的低频分量和作为第二正交变换的结果而获得的图像的高频分量进行编码。
根据本技术的第一方法的编码方法对应于根据本技术的第一方面的编码设备。
根据本技术的第一方面，对图像执行计算量比第一正交变换的计算量小的第二正交变换；对作为第二正交变换的结果而获得的图像的低频分量执行第一正交变换；以及对第一正交变换后的低频分量和作为第二正交变换的结果而获得的图像的高频分量进行编码。
根据本技术的另一方面是一种解码设备，包括：解码单元，获得图像的低频分量在第一正交变换后的系数和对作为执行第二正交变换的结果而获得的图像的高频分量进行编码的结果，作为对图像进行编码的结果，并对图像的编码结果进行解码，所述图像的低频分量是作为执行第二正交变换的结果而获得的，第二正交变换的计算量小于第一正交变换的计算量；前逆正交变换单元，对作为所述解码的结果而获得的第一正交变换后的低频分量的系数执行与第一正交变换对应的第一逆正交变换；以及后逆正交变换单元，通过对作为第一逆正交变换的结果而获得的低频分量和作为所述解码的结果而获得的高频分量执行与第二正交变换对应的第二逆正交变换，获得所述图像。
根据本技术的第二方法的解码方法对应于根据本技术的第二方面的解码设备。
根据本技术的第二方面，获得图像的低频分量在第一正交变换后的系数和对作为执行第二正交变换的结果而获得的图像的高频分量进行编码的结果，作为对图像进行编码的结果，并对图像的编码结果进行解码，所述图像的低频分量是作为执行第二正交变换的结果而获得的，第二正交变换的计算量小于第一正交变换的计算量；对作为所述解码的结果而获得的第一正交变换后的低频分量的系数执行与第一正交变换对应的第一逆正交变换；以及通过对作为第一逆正交变换的结果而获得的低频分量和作为所述解码的结果而获得的高频分量执行与第二正交变换对应的第二逆正交变换，获得所述图像。
根据第一方面的编码设备和根据第二方面的解码设备可以是独立设备或者可以是构成一个设备的内部模块。
附图说明
图1是说明根据本技术的第一实施例的图像编码设备的结构示例的框图。
图2是说明每个帧内预测模式的预测方向的示例的图。
图3是说明图1所示的帧内预测正交变换单元的详细结构示例的框图。
图4是说明DWT单元执行的DWT的图。
图5是说明图1所示的帧内预测逆正交变换单元的详细结构示例的框图。
图6是说明图1所示的无损编码单元执行的无损编码序列的图。
图7是说明图1所示的图像编码设备的编码处理的流程图。
图8是说明正交变换处理的流程图。
图9是说明逆正交变换处理的流程图。
图10是说明帧内预测成本函数值计算处理的流程图。
图11是说明成本函数值计算处理的流程图。
图12是说明根据本技术的第一实施例的图像解码设备的结构示例的框图。
图13是说明执行的解码处理的流程图。
图14是说明无损解码处理的流程图。
图15是说明根据本技术的第二实施例的图像编码设备的结构示例的框图。
图16是说明图15所示的帧内预测正交变换单元的详细结构示例的框图。
图17是说明DWT单元执行的DWT的图。
图18是说明图15所示的帧内预测逆正交变换单元的详细结构示例的框图。
图19是说明正交变换处理的流程图。
图20是说明逆正交变换处理的流程图。
图21是说明根据本技术的第二实施例的图像解码设备的结构示例的框图。
图22是说明宏块大小示例的图。
图23说明了根据一个实施例的计算机的结构示例。
图24是说明电视机的主结构示例的框图。
图25是说明蜂窝电话的主结构示例的框图。
图26是说明硬盘记录器的主结构示例的框图。
图27是说明照相机的主结构示例的框图。
具体实施方式
<第一实施例>
[图像编码设备的结构示例]
图1是说明根据本技术的第一实施例的图像编码设备的结构示例的框图。
图1所示的图像编码设备51包括A/D转换单元61、画面重排缓冲器62、计算单元63、正交变换单元64、量化单元65、无损编码单元66、存储缓冲器67、逆量化单元68、逆正交变换单元69、计算单元70、去块滤波器71、帧存储器72、开关73、帧内预测单元74、运动预测/补偿单元75、预测图像选择单元76以及速率控制单元77。图像编码设备51按AVC模式对输入图像进行压缩和编码。
更具体来说，图像编码设备51的A/D转换单元61对按帧单位构成的输入图像进行A/D转换，并将所得到的图像输出到画面重排缓冲器62以供存储。画面重排缓冲器62将存储的显示顺序的图像帧排序成用于根据GOP（图像组）结构进行编码的顺序。
算术单元63根据需要从读自画面重排缓冲器62的图像减去从预测图像选择单元76提供的预测图像。计算单元63将从该减法的结果获得的图像或者从画面重排缓冲器62读取的图像输出到正交变换单元64，作为残差信息。在不从预测图像选择单元76提供预测图像的情况下，计算单元63将从画面重排缓冲器62读取的图像在没有任何改变的情况下作为残差信息输出到正交变换单元64。
正交变换单元64包括帧间预测正交变换单元64A和帧内预测正交变换单元64B。在从预测图像选择单元76提供了表示最优帧间预测模式的信息（以下称为帧间预测模式信息）的情况下，帧间预测正交变换单元64A对从计算单元63提供的残差信息执行作为正交变换处理的诸如DCT或KLT的正交变换处理。然后，正交变换单元64将作为该处理的结果而获得的系数作为变换系数提供给量化单元65。
在从预测图像选择单元76提供了表示最优帧内预测模式的信息（以下称为帧内预测模式信息）的情况下，帧内预测正交变换单元64B对从计算单元63提供的残差信息执行正交变换处理。
更具体来说，帧内预测正交变换单元64B对残差信息执行计算量小于KLT的离散小波变换(DWT)，并提取低频分量和高频分量。然后，帧内预测正交变换单元对低频分量执行每个帧内预测模式的可分离型KLT。帧内预测正交变换单元64B将作为由帧内预测模式信息表示的最优帧内预测模式的可分离型KLT的结果而获得的系数以及高频分量提供给量化单元65，作为变换系数。
量化单元65对从正交变换单元64提供的变换系数进行量化。将量化变换系数输入到无损编码单元66。
无损编码单元66从帧内预测单元74获得帧内预测模式信息，并从运动预测/补偿单元75获得帧间预测模式信息、运动矢量信息等。
无损编码单元66（编码单元）对从量化单元65提供的量化变换系数执行诸如变长编码的无损编码（例如，上下文自适应变长编码(CAVLC)）和算术编码（例如，上下文自适应二进制算术编码(CABAC)），并将所得到的信息设定为压缩图像。此外，无损编码单元66对帧内预测模式信息、帧间预测模式信息、运动矢量信息等执行无损编码，并将所获得的所得信息设定为要添加到压缩图像的头部信息。
此外，在变换系数的最优预测模式是最优帧内预测模式的情况下，无损编码单元66按照最优帧内预测模式对变换系数按顺序执行无损编码。无损编码单元66将附加了作为无损编码的结果获得的头部信息的压缩图像提供并存储到存储缓冲器67，作为压缩信息。
存储缓冲器67临时存储从无损编码单元66提供的压缩信息，并将压缩信息输出到图中未示出的设置在后部的记录装置、传输线路等。
此外，将从量化单元65输出的量化变换系数也输入到逆量化单元68，并量化变换系数执行逆量化，然后，将变换系数提供给逆正交变换单元69。
逆正交变换单元69包括帧间预测逆正交变换单元69A和帧内预测逆正交变换单元69B。在从预测图像选择单元76提供帧间预测模式信息的情况下，帧间预测逆正交变换单元69A对从逆量化单元68提供的变换系数执行诸如逆DCT或逆KLT的逆正交变换，作为逆正交变换处理。帧间预测逆正交变换单元69A将获得的所得残差信息提供给计算单元70。
在从预测图像选择单元76提供帧内预测模式信息的情况下，帧内预测逆正交变换单元69B对从逆量化单元68提供的变换系数执行逆正交变换处理。更具体来说，帧内预测逆正交变换单元69B对变换系数中的低频分量系数执行每个帧内预测模式的逆KLT。此外，帧内预测逆正交变换单元69B对作为由帧内预测模式信息表示的最优帧内预测模式的逆KLT的结果而获得的低频分量以及变换系数中的高频分量执行逆DWT，从而获得残差信息。帧内预测逆正交变换单元69B将残差信息提供给计算单元70。
计算单元70根据需要将从逆正交变换单元69提供的残差信息和从预测图像选择单元76提供的预测图像相加起来，从而获得局部解码的图像。计算单元70将所获得的图像提供给去块滤波器71。
去块滤波器71对从计算单元70提供的局部解码信号进行滤波，从而消除块失真。去块滤波器71将所获得的所得图像提供给帧存储器72以供存储。此外，还将在去块滤波器71执行去块滤波处理之前的图像提供给帧存储器72并存储。
开关73将存储在帧存储器72中的图像作为参考图像输出到运动预测/补偿单元75或帧内预测单元74。
帧内预测单元74基于从画面重排缓冲器62读取的图像和通过开关73提供的参考图像，执行作为候选模式的所有帧内预测模式的帧内预测处理，从而生成预测图像。在此，即使帧内预测模式针对相同的预测方向，也将具有不同块大小的帧内预测模式描述为相互不同的帧内预测模式。此外，作为块大小，假设处理4x4像素和8x8像素的两种类型。
此外，帧内预测单元74计算作为候选模式的所有帧内预测模式的成本函数值。然后，帧内预测单元74选择成本函数值最小的帧内预测模式作为最优帧内预测模式。
所述成本函数值也称为速率失真（RD）成本，并且是例如基于作为AVC模式的参考软件的联合模型（JM）中定义的高复杂度模式和低复杂度模式中的任何一个技术而计算的。
更具体来说，在采用高复杂度模式作为计算成本函数值的技术的情况下，对作为候选模式的所有帧内预测模式临时地执行直至无损编码的处理，并且对每个帧内预测模式计算以下公式（1）中表示的成本函数值。
公式（1）
Cost(Mode)=D+λ·R
（成本（模式）=D+λ·R）
在此，D是原始图像与解码图像之间的差值（失真），R是包括变换系数在内的所生成的代码的量，并且λ是作为量化参数QP的函数给出的Larange乘子。
另一方面，在采用低复杂度模式作为计算成本函数值的技术的情况下，对作为候选模式的所有帧内预测模式执行解码图像的生成和诸如帧内预测模式信息的头部比特的计算，并对每个帧内预测模式计算由以下公式（2）表示的成本函数值。
公式（2）
Cost(Mode)=D+QPtoQuant(QP).Header_Bit
（成本（模式）=D+QPtoQuant(QP)·Header_Bit）
在此，D是原始图像与解码图像之间的差值（失真），Header_Bit是帧内预测模式的头部比特，并且QPtoQuant是作为量化参数QP的函数给出的函数。
在低复杂度模式中，对所有帧内预测模式仅生成解码图像，不必执行无损编码，从而计算量较小。在此，假设使用高复杂度模式作为计算成本函数值的技术。
帧内预测单元74将帧内预测模式信息、以最优帧内预测模式生成的预测图像以及相应的成本函数值提供给预测图像选择单元76。当从预测图像选择单元76通知了对以最优帧内预测模式生成的预测图像的选择时，帧内预测单元74将帧内预测模式信息提供给无损编码单元66。
运动预测/补偿单元75基于从画面重排缓冲器62提供的图像和通过开关73提供的参考图像，预测作为候选模式的所有帧间预测模式的运动，并生成运动矢量。然后，运动预测/补偿单元75基于运动矢量对参考图像执行补偿处理，并生成预测图像。此时，运动预测/补偿单元75计算作为候选模式的所有帧间预测模式的成本函数值，并将成本函数值最小的帧间预测模式确定为最优帧间预测模式。
然后，运动预测/补偿单元75将帧间预测模式信息、以最优帧间预测模式生成的预测图像以及相应的成本函数值提供给预测图像选择单元76。当从预测图像选择单元76通知了对最优帧间预测模式的预测图像的选择时，运动预测/补偿单元75将帧间预测模式信息、相应的运动矢量信息等输出到无损编码单元66。
预测图像选择单元76基于从帧内预测单元74和运动预测/补偿单元75提供的成本函数值，将最优帧内预测模式和最优帧间预测模式中的一个确定为最优预测模式。然后，预测图像选择单元76将最优预测模式的预测图像提供给计算单元63和计算单元70。此外，预测图像选择单元76将对最优预测模式的预测图像的选择通知给帧内预测单元74或运动预测/补偿单元75。再者，预测图像选择单元76将表示最优预测模式的帧间预测模式信息或帧内预测模式信息提供给正交变换单元64和逆正交变换单元69。
速率控制单元77基于存储缓冲器67中存储的压缩信息，对量化单元65的量化操作的速率执行控制，使得不会发生上溢或下溢。
[帧内预测模式的描述]
图2是说明每个帧内预测模式的预测方向的示例的图。
如图2所示，在AVC模式的帧内预测模式中，存在预测8个方向的模式和预测DC的模式。图2中所示的数字是帧内预测模式编号，并且数字所赋予的箭头表示该编号的预测方向。
更具体来说，如图2所示，编号0的帧内预测模式的预测方向是垂直方向，编号1的帧内预测模式的预测方向是水平方向。图中未示出的编号2的帧内预测模式是预测DC的模式。如图2所示，编号3到8的帧内预测模式的预测方向是倾斜方向。
[帧内预测正交变换单元的详细结构示例]
图3是说明图1所示的帧内预测正交变换单元64B的详细结构示例的框图。
图3所示的帧内预测正交变换单元64B包括DWT单元91、KLT单元92-0至92-8以及选择器93。
DWT单元91(前正交变换单元)根据需要对从图1所示的计算单元63提供的残差信息执行DWT，从而获得低频分量和高频分量。DWT单元91将低频分量提供给KLT单元92-0至92-8，将高频分量提供给选择器93。在不必执行KLT的情况下，DWT单元91将残差信息没有变化地提供给KLT单元92-0至92-8。
KLT单元92-0至92-8(后正交变换单元)利用编号0到8的帧内预测模式的KLT的基础，对从DWT单元91提供的低频分量或残差信息执行可分离型KLT。在此，每个帧内预测模式的KLT的基础是通过预先学习而获得的最优值。KLT单元92-0至92-8将作为可分离型KLT的结果而获得的系数提供给选择器93。
将从预测图像选择单元76提供的帧内预测模式信息提供给选择器93。选择器93基于帧内预测模式信息，选择从KLT单元92-0至92-8提供的系数中的、从KLT单元92-0至92-8中的与最优帧内预测模式对应的一个KLT单元提供的系数。然后，选择器93将残差信息的所选系数作为变换系数提供给量化单元65（图1），或者将从DWT单元91提供的低频分量和高频分量的系数作为变换系数提供给量化单元65。
尽管在图3所示的帧内预测正交变换单元64B中选择器93布置在KLT单元92-0至92-8之后，但是可以将选择器布置在KLT单元92-0至92-8之前。在这种情况下，将从DWT单元91输出的低频分量或残差信息仅提供给KLT单元92-0至92-8中的与最优帧内预测模式对应的一个KLT单元。
[DWT的描述]
图4是说明DWT单元91执行的DWT的图。
当在水平方向和垂直方向对图4的A所示的残差信息执行DWT时，如图4的B所示，将水平分量和垂直分量分别分成高频分量和低频分量。在图4中，L表示低频分量，H表示高频分量。此外，连续表示水平分量和垂直分量。这些也类似地适用于后述图17。
如图4的B所示，当在水平方向和垂直方向对残差信息执行DWT时，将残差信息分成：水平分量和垂直分量是低频分量的分量(LL分量)、水平分量是高频分量并且垂直分量是低频分量的分量(HL分量)、水平分量是高频分量并且垂直分量是低频分量的分量(LH分量)、以及水平分量和垂直分量是高频分量的分量(HH分量)。
此外，当在水平方向和垂直方向对LL分量再次执行DWT时，如图4的C所示，将LL分量的水平分量和垂直分量分别进一步分成高频分量和低频分量。结果，将LL分量分成：水平分量和垂直分量是低频分量的分量(LLLL分量)、水平分量是高频分量并且垂直分量是低频分量的分量(LLHL分量)、水平分量是低频分量并且垂直分量是高频分量的分量(LLLH)、以及水平分量和垂直分量是高频分量的分量(LLHH分量)。作为残差信息的除LL分量以外的分量的HL分量、LH分量以及HH分量不变。
例如，在DWT单元91执行的DWT次数是2次的情况下，将由具有最低频率的水平分量和垂直分量构成的LLLL分量作为低频分量输出到KLT单元92-0至92-8（图3）。因此，作为可分离型KLT的目标的数据大小可以是残差信息的数据大小的1/16。例如，在帧内预测的块大小对应于4x4像素的情况下，换句话说，在残差信息对应于4x4像素的情况下，作为可分离型KLT的目标的数据大小对应于1x1像素。此外，在帧内预测的块大小对应于8x8像素的情况下，作为可分离型KLT的目标的数据大小对应于2x2像素。
结果，可以减少根据帧内预测利用预测图像对残差信息的正交变换处理的计算量。更具体来说，当块大小对应于NxN像素时，DWT单元91的计算量的量级约为N到Nlog│N│，并且KLT单元92-0至92-8的计算量的量级是(N/4)2。因此，正交变换处理的计算量的量级是约(N/4)2+Nlog│N│，这比作为在块大小对应于NxN像素的情况下可分离型KLT的计算量的量级的N2充分小。
将除LLLL分量以外的分量作为高频分量没有变化地输出到量化单元65（图1）。
在此，DWT的执行次数并不限于2次。重复执行DWT，直到由具有最低频率的水平分量和垂直分量构成的分量的大小是可以由KLT单元92-0至92-8处理的大小或者更小。由于可以由KLT单元92-0至92-8处理的大小变得较小，尽管正交变换处理的计算量较小，这在制造成本或实时再现方面有利，但是DWT的执行次数增大，因此编码效率降低。因此，在考虑编码效率和正交变换处理的计算量的允许范围的情况下确定可以由KLT单元92-0至92-8处理的大小。
[帧内预测正交变换单元的详细结构示例]
图5是说明图1所示的帧内预测逆正交变换单元69B的详细结构示例的框图。
图5所示的帧内预测逆正交变换单元69B包括逆KLT单元101-0至101-8、选择器102以及逆DWT单元103。
逆KLT单元101-0至101-8利用编号0到8的帧内预测模式的逆KLT的基础，对从图1所示的逆量化单元68提供的变换系数中的系数执行可分离型逆KLT。
将从预测图像选择单元76提供的帧内预测模式信息提供给选择器102。选择器102基于帧内预测模式信息，选择从逆KLT单元101-0至101-8提供的逆KLT后的分量中的、从逆KLT单元101-0至101-8中的与最优帧内预测模式对应的一个提供的逆KLT后的分量。然后，选择器102将所选择的逆KLT后的分量提供给逆DWT单元103。
逆DWT单元103将从选择器102提供的分量作为残差信息提供给计算单元70（图1）。作为替换方式，逆DWT单元103对从选择器102提供的分量和从逆量化单元68提供的变换系数中的高频分量执行与根据DWT单元91的DWT对应的逆DWT，并将获得的所得分量作为残差信息提供给计算单元70。
在图5所示的帧内预测逆正交变换单元69B中，尽管选择器102布置在逆KLT单元101-0至101-8之后，但是可以将选择器布置在逆KLT单元101-0至101-8之前。在这种情况下，将从逆量化单元68提供的变换系数的系数仅提供给逆KLT单元101-0至101-8中的与最优帧内预测模式对应的一个逆KLT单元。
[无损编码的过程描述]
图6是说明图1所示的无损编码单元66执行的无损编码序列的图。
在无损编码中，由于对连续的0的数量进行编码，因此优选的是无损编码序列是0连续的序列。
这样，无损编码单元66根据帧内预测模式改变编码序列，使得量化后的变换系数的0是连续的。
更具体来说，当对图6的A所示的残差信息执行DWT时，如图6的B所示，将残差信息分成包括LL分量、HL分量、LH分量以及HH分量的四个分量的频带。此时，如图6的B所示，LL分量具有残差信息的特性。此外，HL分量表示沿垂直方向延伸的线，LH分量表示沿水平方向延伸的线，并且HH分量表示沿倾斜方向延伸的线。换句话说，HL分量在垂直方向上具有强相关性，LH分量在水平方向上具有强相关性，HH分量在倾斜方向上具有强相关性。
在预测方向是垂直方向的编号为0的帧内预测模式中，残差信息在垂直方向上的相关性较强。换句话说，在水平方向上存在残差信息的许多高频分量。因此，在编号为0的帧内预测模式中，存在许多有很多HL分量的情况。
在预测方向是水平方向的编号为1的帧内预测模式中，残差信息在水平方向上的相关性较强。换句话说，在垂直方向上存在残差信息的许多高频分量。因此，在编号为1的帧内预测模式中，存在许多有很多LH分量的情况。
在预测方向是倾斜方向的编号为3至8的帧内预测模式中，残差信息在倾斜方向上的相关性较强。换句话说，在倾斜方向上存在残差信息的许多高频分量。因此，在编号为3至8的帧内预测模式中，存在许多有很多HH分量的情况。
在此，为了使得作为无损编码的目标的量化后的变换系数的0变得连续，有必要按从DWT后的值估计较大的变换系数分量到DWT后的值估计较小的变换系数的顺序设定作为无损编码的目标的量化后的变换系数分量。
因此，在最优预测模式是编号为0的帧内预测模式的情况下，无损编码单元66按LL分量、HL分量、HH分量以及LH分量的顺序设定无损编码的目标。此外，在最优预测模式是编号为1的帧内预测模式的情况下，按LL分量、LH分量、HH分量以及HL分量的顺序设定无损编码的目标。此外，在最优预测模式是编号为3至8的帧内预测模式中的任何一个的情况下，按LL分量、HH分量、HL分量以及LH分量的顺序设定无损编码的目标。此外，在最优预测模式是编号为2的帧内预测模式的情况下，按预先设定的预定顺序对作为无损编码的目标的分量进行设定。
在LH分量、HL分量以及HH分量内，同样，按从DWT之后的值估计较大的块到DWT之后的值估计较小的块的顺序，将块设定为无损编码的目标。更具体来说，由于LH分量在水平方向上具有强相关性，因此在LH分量内按沿水平方向对准的顺序将块设定为无损编码的目标。此外，由于HL分量在垂直方向上具有强相关性，因此在HL分量内按沿垂直方向对准的顺序将块设定为无损编码的目标。此外，由于HH分量在倾斜方向上具有强相关性，因此在HH分量内按沿倾斜方向对准的顺序将块设定为无损编码的目标。
在LL分量内，按预先确定的预定顺序将块设定为无损编码的目标。LL分量内的顺序可以随每个帧内预测模式而不同。
[图像编码设备的编码处理的描述]
图7是说明图1所示的图像编码设备51的编码处理的流程图。
在步骤S11中，A/D转换单元61对以帧为单位的输入图像执行A/D转换，并将所得图像提供给画面重排缓冲器62。在步骤S12中，画面重排缓冲器62存储从A/D转换单元61提供的图像，将以显示顺序存储的帧的图像重排成编码用顺序，并将所得图像提供给计算单元63。
在步骤S13中，计算单元63根据需要从读自画面重排缓冲器62的图像减去从预测图像选择单元76提供的预测图像，从而获得残差信息。然后，计算单元63将残差信息输出到正交变换单元64。
在步骤S14中，正交变换单元64对从计算单元63提供的残差信息执行正交变换处理。更具体来说，在从预测图像选择单元76提供帧间预测模式信息的情况下，正交变换单元64的帧间预测正交变换单元64A对从计算单元63提供的残差信息执行正交变换处理，并将获得的所得系数作为变换系数提供给量化单元65。
在从预测图像选择单元76提供帧内预测模式信息的情况下，帧内预测正交变换单元64B对从计算单元63提供的残差信息执行正交变换处理。稍后将参照图8详细描述正交变换处理。
在步骤S15中，量化单元65对作为正交变换处理的结果而获得的变换系数进行量化。当执行量化时，对速率进行控制，如稍后关于步骤S30的处理描述的那样。
如下对如上所述地量化的变换系数进行局部解码。在步骤S16中，逆量化单元68根据与量化单元65的特性对应的特性，对量化单元65量化的变换系数进行逆量化。在步骤S17中，逆正交变换单元69对利用逆量化单元68执行了逆量化的变换系数执行与正交变换单元64执行的正交变换处理对应的逆正交变换处理。
更具体来说，在从预测图像选择单元76提供帧间预测模式信息的情况下，逆正交变换单元69的帧间预测逆正交变换单元69A对从逆量化单元68提供的变换系数执行逆正交变换处理。帧间预测逆正交变换单元69A将获得的所得残差信息提供给计算单元70。
此外，在从预测图像选择单元76提供帧内预测模式信息的情况下，帧内预测逆正交变换单元69B对从逆量化单元68提供的变换系数执行逆正交变换处理。将参照后述图9详细描述逆正交变换处理。
在步骤S18中，计算单元70将从逆正交变换单元69提供的残差信息与从预测图像选择单元76提供的预测图像相加，从而生成局部解码的图像。然后，计算单元70将局部解码的图像提供给计算单元70和帧存储器72。
在步骤S19中，去块滤波器71通过对从计算单元70提供的局部解码的图像进行滤波，去除块失真。然后，去块滤波器71将获得的所得图像提供给帧存储器72。
在步骤S20中，帧存储器72存储从去块滤波器71提供的图像和从计算单元70提供的没有经过去块滤波器71滤波的图像。
在步骤S21中，帧内预测单元74执行帧内预测处理。更具体来说，帧内预测单元74基于从画面重排缓冲器62读取的图像和从帧存储器72通过开关73提供的参考图像，执行作为候选模式的所有帧内预测模式的帧内预测处理，从而生成预测图像。
在步骤S22中，帧内预测单元74执行帧内预测成本函数值计算处理，以计算作为候选模式的所有帧内预测模式的成本函数值。将参照后述图10详细描述帧内预测成本函数值计算处理。
在步骤S23中，运动预测/补偿单元75执行运动预测/补偿处理。更具体来说，运动预测/补偿单元75基于从画面重排缓冲器62提供的图像和通过开关73提供的参考图像，预测作为候选模式的所有帧间预测模式的运动，从而生成运动矢量。然后，运动预测/补偿单元75基于运动矢量，对参考图像执行补偿处理，从而生成预测图像。
在步骤S24中，运动预测/补偿单元75计算作为候选模式的所有帧间预测模式的成本函数值，并将成本函数值最小的帧间预测模式确定为最优帧间预测模式。然后，运动预测/补偿单元75将帧间预测模式信息、以最优帧间预测模式生成的预测图像以及相应的成本函数值提供给预测图像选择单元76。
在步骤S25中，预测图像选择单元76确定从帧内预测单元74提供的最优帧内预测模式的成本函数值是否大于从运动预测/补偿单元75提供的最优帧间预测模式的成本函数值。
在步骤S25中确定最优帧内预测模式的成本函数值大于最优帧间预测模式的成本函数值的情况下，处理进行到步骤S26。在步骤S26中，预测图像选择单元76将最优帧内预测模式确定为最优预测模式，并选择最优帧内预测模式的预测图像。然后，预测图像选择单元76将最优帧内预测模式的预测图像提供给计算单元63和计算单元70。在上述步骤S13和S18的处理中使用该预测图像。此外，预测图像选择单元76将帧内预测模式信息提供给正交变换单元64和逆正交变换单元69，并将对最优帧内预测模式的预测图像的选择通知给帧内预测单元74。帧内预测单元74根据该通知将帧内预测模式信息提供给无损编码单元66。然后，处理进行到步骤S28。
另一方面，在步骤S25中确定最优帧内预测模式的成本函数值不大于最优帧间预测模式的成本函数值的情况下，处理进行到步骤S27。在步骤S27中，预测图像选择单元76将最优帧间预测模式确定为最优预测模式，并选择最优帧间预测模式的预测图像。然后，预测图像选择单元76将最优帧间预测模式的预测图像提供给计算单元63和计算单元70。在上述步骤S13和S18的处理中使用该预测图像。此外，预测图像选择单元76将帧间预测模式信息提供给正交变换单元64和逆正交变换单元69，并将对帧间预测模式的预测图像的选择通知给运动预测/补偿单元75。运动预测/补偿单元75根据该通知将帧间预测模式信息、相应的运动矢量的信息等提供给无损编码单元66。然后，处理进行到步骤S28。
在步骤S28中，无损编码单元66对从量化单元65提供的量化变换系数执行无损编码，从而获得压缩图像。在作为无损编码的目标的变换系数的最优预测模式是最优帧内预测模式的情况下，如参照图6描述的那样，按根据最优帧内预测模式的序列执行无损编码。此外，无损编码单元66对帧内预测模式信息、帧间预测模式信息、运动矢量等执行无损编码，并将获得的所得信息设定为附加到压缩图像的头部信息。无损编码单元66将附加了作为无损编码的结果而获得的头部信息的压缩图像提供给存储缓冲器67，作为压缩信息。
在步骤S29中，存储缓冲器67存储从无损编码单元66提供的压缩信息。存储在存储缓冲器67中的压缩信息被适当读取并通过传输线路发送到解码方。
在步骤S30中，速率控制单元77基于存储在存储缓冲器67中的压缩信息，对量化单元65的量化操作的速率进行控制，使得不会发生上溢或下溢。
图8是说明帧内预测正交变换单元64B在图7所示的步骤S14中执行的正交变换处理的流程图。
在步骤S41中，帧内预测正交变换单元64B的DWT单元91（图3）确定从计算单元63（图1）提供的残差信息的大小是否为可以由KLT单元92-0至92-8处理的大小。
在步骤S41中确定残差信息的大小不是可以由KLT单元92-0至92-8处理的大小的情况下，DWT单元91在步骤S42中对残差信息执行DWT。
在步骤S43中，DWT单元91确定作为步骤S42的处理的结果而获得的低频分量的大小是否为可以由KLT单元92-0至92-8处理的大小。在步骤S43中确定作为DWT的结果而获得的低频分量的大小不是可以由KLT单元92-0至92-8处理的大小的情况下，DWT单元91对作为步骤S42的处理的结果而获得的低频分量执行步骤S44中的DWT。然后，处理返回到步骤S43，并重复步骤S43和S44的处理，直到低频分量的大小变成可以由KLT单元92-0至92-8处理的大小。
在步骤S43中确定作为DWT的结果而获得的低频分量的大小是可以由KLT单元92-0至92-8处理的大小的情况下，DWT单元91将作为DWT的结果而获得的低频分量提供给KLT单元92-0至92-8，并将高频分量提供给选择器93。
然后，在步骤S45中，KLT单元92-0至92-8利用相应的帧内预测模式的KLT的基础，对低频分量执行可分离型KLT。
在步骤S46中，选择器93基于帧内预测模式信息，选择从KLT单元92-0至92-8提供的系数中的、从KLT单元92-0至92-8中的对应于最优帧内预测模式的一个KLT单元提供的系数，并将所选择的系数输出到量化单元65（图1）。
在步骤S47中，选择器93将从DWT单元91提供的高频分量输出到量化单元65。
另一方面，在步骤S41中确定残差信息的大小是可以由KLT单元92-0至92-8处理的大小的情况下，DWT单元91将残差信息没有变化地提供给KLT单元92-0至92-8。然后，在步骤S48中，KLT单元92-0至92-8利用相应的帧内预测模式的KLT的基础，对残差信息执行可分离型KLT。
在步骤S49中，选择器93基于帧内预测模式信息，选择从KLT单元92-0至92-8提供的系数中的、从KLT单元92-0至92-8中的对应于最优帧内预测模式的一个KLT单元提供的系数，并将所选择的系数输出到量化单元65。
图9是说明帧内预测逆正交变换单元69B执行的图7所示的步骤S17的逆正交变换处理的流程图。
在步骤S61中，帧内预测逆正交变换单元69B的逆KLT单元101-0至101-8（图5）利用相应的帧内预测模式的KLT的基础，对从逆量化单元68（图1）提供的变换系数中包括的系数执行可分离型KLT。
在步骤S62中，基于从预测图像选择单元76提供的帧内预测模式信息，选择从逆KLT单元101-0至101-8提供的逆KLT后的分量中的、从逆KLT单元101-0至101-8中的对应于最优帧内预测模式的一个逆KLT单元提供的逆KLT后的分量。然后，选择器102将所选择的逆KLT后的分量提供给逆DWT单元103。
在步骤S63中，逆DWT单元103确定从选择器102提供的逆KLT后的分量的大小是否为块大小。在步骤S63中确定逆KLT后的分量的大小不是块大小的情况下，处理进行到步骤S64。在步骤S64中，逆DWT单元103对逆KLT后的分量的高频分量和从逆量化单元68提供的变换系数执行逆DWT。
在步骤S65中，逆DWT单元103确定作为步骤S64的处理的结果而获得的逆DWT后的分量的大小是否为块大小。在步骤S65中确定逆DWT后的分量的大小不是块大小的情况下，处理返回到步骤S64，并重复步骤S64和S65的处理，直到逆DWT后的分量的大小变成块大小。
在步骤S65中确定逆DWT后的分量的大小是块大小的情况下，处理进行到步骤S66。
另一方面，在步骤S63中确定逆KLT后的分量的大小是块大小的情况下，处理进行到步骤S66。
在步骤S66中，逆DWT单元103将逆DWT后的分量或逆KLT后的分量作为残差信息提供给计算单元70（图1）。
图10是说明图7所示的步骤S22的帧内预测成本函数值计算处理的流程图。
在步骤S81中，帧内预测单元74将作为处理目标和候选者的块的尚未被设定为块大小的块大小（以下，称为当前块大小）设定为当前块大小。在此，作为候选块大小的块大小是4x4像素和8x8像素。
在步骤S82中，帧内预测单元74将当前块大小的块IDX中的、未被设定为处理目标块的块IDX的块IDX（以下称为当前块IDX）设定为当前块IDX。在此，块IDX是当根据块大小将宏块分割成多个块时指定每个块的信息。例如，在宏块的尺寸是128x128并且块大小是8x8的情况下，存在16个块IDX0到15。
在步骤S83中，帧内预测单元74将帧内预测模式的编号模式设定为“0”。
在步骤S84中，帧内预测单元74执行成本函数值计算处理，以计算所述编号模式的帧内预测模式的成本函数值。稍后参照下述图11详细描述该成本函数计算处理。
在步骤S85中，帧内预测单元74确定编号模式是否小于作为候选模式的帧内预测模式的编号“9”。在步骤S85中确定编号模式小于“9”的情况下，换句话说，在尚未计算当前块IDX的块的所有帧内预测模式的成本函数值的情况下，处理进行到步骤S86。
在步骤S86中，帧内预测单元74将编号模式增1，将处理返回到步骤S84，重复步骤S84到S86的处理，直到编号模式变成“9”或更大。
在步骤S85中确定编号模式不小于“9”的情况下，换句话说，在计算了当前块IDX的块的所有帧内预测模式的成本函数值的情况下，处理进行到步骤S87。在步骤S87中，帧内预测单元74将与当前块IDX的块的所有帧内预测模式的成本函数值中的最小值对应的帧内预测模式确定为当前块IDX的块的最优帧内预测模式。
在步骤S88中，帧内预测单元74确定是否已经将当前块大小的所有块IDX设定为当前块IDX。在步骤S88中确定尚未将当前块大小的所有块IDX设定为当前块IDX的情况下，处理返回到步骤S82。然后，重复步骤S82到S88的处理，直到已经将当前块大小的所有块IDX设定为当前块IDX。
另一方面，在步骤S88中确定已经将当前块大小的所有块IDX设定为当前块IDX的情况下，帧内预测单元74在步骤S89中确定是否已经将所有块大小设定为当前块大小。
在步骤S89中确定尚未将所有块大小设定为当前块大小的情况下，处理返回到步骤S81，重复步骤S81到S89的处理，直到已经将所有块大小设定为当前块大小。
另一方面，在步骤S89中确定已经将所有块大小设定为当前块大小的情况下，换句话说，在确定了所有块大小的所有块的所有块的最优帧内预测模式的情况下，处理进行到步骤S90。
在步骤S90中，帧内预测单元74基于所有块大小的所有块的最优帧内预测模式的成本函数值，将成本函数值按宏块的单位是最小的帧内预测模式确定为最终最优帧内预测模式。
然后，帧内预测单元74将表示最优帧内预测模式的帧内预测模式信息、以最优预测模式生成的预测图像以及相应的成本函数值提供给预测图像选择单元76。然后，处理返回到图7所示的步骤S22，并进行到步骤S23。
图11是说明图10所示的步骤S84的成本函数值计算处理的流程图。
在步骤S111中，帧内预测单元74从供自画面重排缓冲器62的对应于当前块IDX的图像减去与当前块IDX对应的编号模式的帧内预测模式的预测图像，从而获得残差信息。
在步骤S112中，帧内预测单元74对残差信息执行图8所示的正交变换处理。
在步骤S113中，帧内预测单元74对作为正交变换处理的结果而获得的变换系数进行量化。
在步骤S114中，帧内预测单元74按预定顺序对量化变换系数的系数执行无损编码。
在步骤S115中，帧内预测单元74按照与编号模式的帧内预测模式相应的顺序，对量化变换系数的高频分量(例如LH分量、HL分量以及HH分量)执行无损编码。此外，在步骤S112的正交变换处理中未执行DWT的情况下，不设置步骤S115的处理。
在步骤S116中，帧内预测单元74对在步骤S113的处理中获得的量化变换系数执行逆量化。
在步骤S117中，帧内预测单元74对执行了步骤S116的逆量化的变换系数执行图9所示的逆正交变换。
在步骤S118中，帧内预测单元74将作为步骤S117的处理的结果而获得的残差信息与对应于当前块IDX的编号模式的帧内预测模式的预测图像相加起来。
在步骤S119中，帧内预测单元74利用作为步骤S118的处理的结果而获得的解码图像、从画面重排缓冲器62提供的图像、以及在步骤S115的处理中生成的码的量，使用上述公式（1）来计算成本函数值。该成本函数值是当前块IDX的块的编号模式的帧内预测模式的成本函数值。
如上所述，在图像编码设备51中，帧内预测正交变换单元64B在离散型KLT之前执行计算量比离散型KLT的计算量小的DWT，并仅对作为DWT的结果而获得的低频分量执行离散型KLT。结果，减小了在执行帧内预测时的正交变换处理的计算量，并且甚至在块大小很大的情况下也可以减小计算量。此外，在执行逆正交变换处理时，仅对低频分量执行离散型逆KLT，并且执行计算量比逆KLT的计算量小的逆DWT，从而可以类似地减小逆正交变换处理的计算量。
在当前AVC模式中，尽管帧内预测的最大块大小是16x16，但是很可能在下一代标准中使用超过16x16的块大小。因此，减小执行帧内预测时的正交变换处理的计算量是非常有用的。由于减小了正交变换处理的计算量，在通过硬件实现帧内预测正交变换单元64B的情况下，减小了LSI的电路规模，从而可以减小制造成本。此外，在通过软件实现帧内预测正交变换单元64B的情况下，减小了处理量，从而可以更可靠地执行实时图像再现。
[图像解码设备的结构示例]
图12是说明根据本技术的第一实施例的图像解码设备的结构示例的框图。
图像解码设备151包括存储缓冲器161、无损解码单元162、逆量化单元163、逆正交变换单元164、计算单元165、去块滤波器166、画面重排缓冲器167、D/A转换单元168、帧存储器169、开关170、帧内预测单元171、运动补偿单元172以及开关173。
存储缓冲器161存储从图像编码设备51发送的压缩信息。无损解码单元162（解码单元）从存储缓冲器161读取并获得压缩信息，，并利用与图1所示的无损编码单元66的无损编码模式对应的模式，对压缩信息执行无损解码。
更具体来说，无损解码单元162对压缩信息中包括的头部信息执行无损解码，从而获得帧内预测模式信息、帧间预测模式信息、运动矢量信息等。此外，无损解码单元162对压缩信息中包括的压缩图像执行无损解码。在获得帧内预测模式信息的情况下，无损解码单元162按与帧内预测模式信息表示的最优帧内预测模式相应的顺序，对压缩图像执行无损解码。
此外，无损解码单元162将作为对压缩图像执行无损解码的结果而获得的量化变换系数提供给逆量化单元163。无损解码单元162将作为执行无损解码的结果而获得的帧内预测模式信息提供给逆正交变换单元164和帧内预测单元171，并将帧间预测模式信息、运动矢量信息等提供给运动补偿单元172。此外，无损解码单元162将帧间预测模式信息提供给逆正交变换单元164。
逆量化单元163的结构类似于图1所示的逆量化单元68，并利用与图1所示的逆量化单元65的量化模式对应的模式，对从无损解码单元16提供的量化变换系数执行逆量化。逆量化单元163将作为逆量化的结果而获得的变换系数提供给逆正交变换单元164。
逆正交变换单元164的结构类似于图1所示的逆正交变换单元69。逆正交变换单元164根据从无损解码单元162提供的帧间预测模式信息或帧内预测模式信息，对从逆量化单元163提供的变换系数执行逆正交变换处理。逆正交变换单元164将作为正交变换处理的结果而获得的残差信息提供给计算单元165。
计算单元165根据需要将从逆正交变换单元164t提供的残差信息与从开关173提供的预测图像相加，并对图像进行解码。计算单元165将解码图像提供给去块滤波器166。
去块滤波器166对从计算单元165提供的解码信号进行滤波，从而去除块失真。去块滤波器166将获得的所得图像提供给帧存储器169以供存储，并将所得图像输出到画面重排缓冲器167。
画面重排缓冲器167对从去块滤波器166提供的图像进行排列。更具体来说，将图1所示的画面重排缓冲器62排列成编码用顺序的图像的顺序排列成原始显示顺序。D/A转换单元168对画面重排缓冲器167排列后的图像进行D/A转换，并将所得图像输出到图中未示出的显示器以供显示。
开关170读取帧存储器169中存储的图像作为参考图像，将读取的图像输出到运动补偿单元172，并将读取的图像提供给帧内预测单元171。
帧内预测单元171基于从无损解码单元162提供的帧内预测模式信息，执行由帧内预测模式信息表示的最优帧内预测模式的帧内预测处理，从而生成预测图像。帧内预测单元171将预测图像输出到开关173。
运动补偿单元172基于从无损解码单元162提供的帧间预测模式信息、运动矢量信息等，对通过开关170提供的参考图像执行运动补偿处理，从而生成预测图像。运动补偿单元172将预测图像提供给开关173。
开关173选择运动补偿单元172或帧内预测单元171生成的预测图像，并将所选择的图像提供给计算单元165。
[图像解码设备的处理的描述]
图13是说明图像解码设备151执行的解码处理的流程图。
在步骤S131中，存储缓冲器161存储发自图像编码设备51的压缩信息。在步骤S132中，无损解码单元162从存储缓冲器161读取压缩信息，并对压缩信息执行无损解码处理。将参照后述图14详细描述在获得了帧内预测模式信息的情况下执行的无损解码处理。
此外，无损解码单元162将作为无损解码处理的结果而获得的量化变换系数提供给逆量化单元163。无损解码单元162将作为无损解码处理的结果而获得的帧内预测模式信息提供给逆正交变换单元164和帧内预测单元171，并将帧间预测模式信息、运动矢量信息等提供给运动补偿单元172。此外，无损解码单元162将帧间预测模式信息提供给逆正交变换单元164。
在步骤S133中，逆量化单元163以与图1所示的量化单元65的特性对应的特性，对从无损解码单元162提供的量化变换系数执行逆量化。逆量化单元163将作为逆量化的结果而获得的变换系数提供给逆正交变换单元164。
在步骤S134中，逆正交变换单元164对从逆量化单元163提供的变换系数执行与图7所示的步骤S17的逆正交变换处理类似的逆正交变换处理。逆正交变换单元164将作为逆正交变换处理的结果而获得的残差信息提供给计算单元165。
在步骤S135中，计算单元165根据需要将通过下述步骤S141的处理输入的预测图像与从逆正交变换单元164提供的残差信息相加起来，并对图像进行解码。计算单元165将解码图像提供给去块滤波器166。
在步骤S136中，去块滤波器166对从计算单元165提供的解码图像进行滤波，从而去除块失真。去块滤波器166将获得的所得图像提供给帧存储器169和画面重排缓冲器167。
在步骤S137中，帧存储器169存储从去块滤波器166提供的图像。
在步骤S138中，无损解码单元162确定压缩信息中包括的压缩图像是否为帧间预测图像，换句话说，是否获得了帧间预测模式信息。
在步骤S138中确定压缩信息中包括的压缩图像是帧间预测图像的情况下，无损解码单元162将帧间预测模式信息、运动矢量等提供给运动补偿单元172。
然后，在步骤S139中，运动补偿单元172基于从无损解码单元162提供的帧间预测模式信息、运动矢量等，对通过开关170提供的参考图像执行运动补偿处理，从而生成预测图像。运动补偿单元172将预测图像提供给开关173。
另一方面，在步骤S138中，在确定压缩信息中包括的压缩图像不是帧间预测图像的情况下，换句话说，在确定获得了帧内预测模式信息的情况下，无损解码单元162将帧内预测模式信息提供给帧内预测单元171。
然后，在步骤S140中，帧内预测单元171基于从无损解码单元162提供的帧内预测模式信息，执行由帧内预测模式信息表示的最优帧内预测模式的帧内预测处理，从而生成预测图像。帧内预测单元171将预测图像输出到开关173。
在步骤S141中，开关173选择从运动补偿单元172或帧内预测单元171提供的预测图像，并将所选择的图像输出到计算单元165。在步骤S135中如上所述将该预测图像加入逆正交变换单元164的输出。
在步骤S142中，画面重排缓冲器167对从去块滤波器166提供的图像进行排列。
在步骤S143中，D/A转换单元168对画面重排缓冲器167排列的图像执行D/A转换，并将所得图像输出到图中未示出的显示器以供显示。
图14是说明在图13所示的步骤S132中获得了帧内预测模式信息的情况下的无损解码处理的流程图。
在步骤S151中，无损解码单元162对从存储缓冲器161提供的压缩信息中包括的经过量化和无损编码的系数进行无损解码，并将系数提供给逆量化单元163。
在步骤S152中，无损解码单元162按与帧内预测信息表示的最优帧内预测模式相应的顺序，对压缩信息中包括的经过量化和无损编码的高频分量执行无损解码，并将解码的高频分量提供给逆量化单元163。在压缩信息中不包括高频分量的情况下，不设置步骤S152的处理。
如上所述，图像解码设备151对从编码设备51获得的压缩信息进行解码，并通过仅对低频分量执行离散型逆KLT并且执行计算量小于逆KLT的计算量的逆DWT，可以执行逆正交变换处理。结果，减小了逆正交变换处理中执行的计算量，并且即使在块大小很大的情况下也可以减小计算量。
<第二实施例>
[图像编码设备的结构示例]
图15是说明根据本技术的第二实施例的图像编码设备的结构示例的框图。
在图15所示的结构中，对与图1所示的结构相同的结构赋予相同的标符。酌情地不给出重复的描述。
图15所示的图像编码设备200的结构与图1所示的结构的主要不同之处在于：设置正交变换单元201而不是正交变换单元64，并且设置逆正交变换单元202而不是逆正交变换单元69。在帧内预测正交变换处理中，图像编码设备200不执行所有帧内预测模式的可分离型KLT，而是执行除倾斜方向以外的预测方向的帧内预测模式的可分离型KLT，并且执行除倾斜方向以外的预测方向的帧内预测模式的不可分离型KLT。
更具体来说，正交变换单元201包括帧间预测正交变换单元64A和帧内预测正交变换单元201B。在从预测图像选择单元76提供了帧内预测模式信息的情况下，帧内预测正交变换单元201B对从计算单元63提供的残差信息执行正交变换处理。更具体来说，帧内预测正交变换单元201B通过对残差信息执行DWT，提取高频分量和低频分量。此外，帧内预测正交变换单元201B可以基于帧内预测模式的预测方向是倾斜方向还是除倾斜方向以外的方向，改变要执行的DWT的次数。
在帧内预测模式的预测方向是倾斜方向的情况下，帧内预测正交变换单元201B对低频分量执行每个帧内预测模式信息的不可分离型KLT。另一方面，在帧内预测模式的预测方向是除倾斜方向以外的方向的情况下，帧内预测正交变换单元201B对低频分量执行每个帧内预测模式信息的可分离型KLT。帧内预测正交变换单元201B将作为帧内预测模式信息表示的最优帧内预测模式的KLT的结果而获得的系数以及高频分量提供给量化单元65，作为变换系数。
逆正交变换单元202包括帧间预测逆正交变换单元69A和帧内预测逆正交变换单元202B。在从预测图像选择单元76提供了帧内预测模式信息的情况下，帧内预测逆正交变换单元202B对从逆量化单元68提供的变换系数执行逆正交变换处理。更具体来说，在帧内预测模式的预测方向是倾斜方向的情况下，帧内预测逆正交变换单元202B对变换系数中的低频分量的系数执行每个帧内预测模式的不可分离型逆KLT。另一方面，在帧内预测模式的预测方向是除倾斜方向以外的方向的情况下，帧内预测逆正交变换单元202B对变换系数中的低频分量的系数执行每个帧内预测模式的可分离型逆KLT。
此外，帧内预测逆正交变换单元202B对作为内预测模式信息表示的最优帧内预测模式的逆KLT的执行结果而获得的低频分量以及变换系数的高频分量执行逆DWT，从而获得残差信息。帧内预测逆正交变换单元202B可以基于最优帧内预测模式的预测方向是倾斜方向还是除倾斜方向以外的方向，改变要执行的逆DWT的次数。帧内预测逆正交变换单元202B将残差信息提供给计算单元70。
[帧内预测正交变换单元的详细结构示例]
图16是说明图15所示的帧内预测正交变换单元201B的详细结构示例的框图。
在图16所示的结构中，对与图3所示的结构相同的结构赋予相同的标符。酌情地不给出重复的描述。
图16所示的帧内预测正交变换单元201B的结构与图3所示的结构的主要不同之处在于：新设置了DWT单元221，设置KLT单元222-3至222-8而不是KLT单元92-3至92-8，设置选择器223而不是选择器93。
在图16所示的帧内预测正交变换单元201B中，DWT单元91是用于编号为0至2的帧内预测模式的DWT单元，并且将从DWT单元91输出的低频分量仅提供给KLT单元92-0至92-2。
DWT单元221是用于编号为3至8的帧内预测模式的DWT单元，并且DWT单元221(前正交变换单元)根据需要对从计算单元63（图15）提供的残差信息执行DWT，从而获得低频分量和高频分量。DWT单元221执行的DWT的次数和DWT单元91执行的DWT的次数可以相同或者不同。但是，由于KLT单元222-3至222-8执行的不可分离型KLT的计算量大于KLT单元92-0至92-2执行的可分离型KLT，因此在两种KLT单元可以处理的计算量相同的情况下，DWT单元221需要执行比DWT单元91更多的DWT。
DWT单元221将低频分量提供给KLT单元222-3至222-8，并将高频分量提供给选择器223。此外，在不必执行KLT的情况下，DWT单元221将残差信息没有变化地提供给KLT单元222-3至222-8。
KLT单元222-3至222-8(后正交变换单元)利用编号3至8的帧内预测模式的KLT的基础，对从DWT单元221提供的低频分量或残差信息执行不可分离型KLT。在此，每个帧内预测模式的KLT的基础是通过预先学习获得的最优值。KLT单元222-3至222-8将作为不可分离型KLT的结果而获得的系数提供给选择器223。
将供自预测图像选择单元76的帧内预测模式信息提供给选择器223。选择器223基于帧内预测模式信息，选择从KLT单元92-0至92-2和KLT单元222-3至222-8提供的系数中的、从KLT单元92-0至92-2和KLT单元222-3至222-8中的对应于最优帧内预测模式的一个KLT单元提供的系数。然后，选择器223将残差信息的所选择的系数提供给量化单元65（图15）。作为替换方式，选择器223将从DWT单元91或DWT单元221提供的与最优帧内预测模式对应的低频分量和高频分量的系数作为变换系数提供给量化单元65。
如上所述，帧内预测正交变换单元201B执行与预测方向是倾斜方向的编号3至8的帧内预测模式对应的作为KLT的不可分离型KLT，因此，可以改进编码效率。
更具体来说，在可分离型KLT中，在将分量分成水平方向和垂直方向的情况下执行KLT，因此，与不可分离型KLT相比，对KLT的基础增加了更多限制，从而劣化了性能。更具体来说，在内预测模式的预测方向是倾斜方向的情况下，尽管可以容易地生成在倾斜方向上具有强相关性的残差信息，但是在可分离型KLT中难以考虑倾斜方向上的相关性，从而劣化了性能。与此相对照，帧内预测正交变换单元201B执行与预测方向是倾斜方向的帧内预测模式对应的作为KLT的不可分离型KLT，因此，考虑倾斜方向上的相关性，从而改进了性能。结果，提高了编码效率。
此外，在预测方向是除倾斜方向以外的方向的帧内预测模式的情况下，即，在水平方向或垂直方向的情况下，可以容易地生成在水平方向或垂直方向上具有强相关性的残差信息，从而即使在可分离型KLT中也可以实现足够的编码效率。因此，在预测方向是除倾斜方向以外的方向的帧内预测模式的情况下，帧内预测正交变换单元201B执行可分离型KLT，从而减小计算量。
尽管在图16所示的帧内预测正交变换单元201B中将选择器223设置在KLT单元92-0至92-2和KLT单元222-3至222-8之后，但是可以将选择器223设置在KLT单元92-0至92-2和KLT单元222-3至222-8之前。在这种情况下，将从DWT单元91或DWT单元221输出的低频分量或残差信息仅提供给KLT单元92-0至92-2和KLT单元222-3至222-8中的与最优帧内预测模式对应的一个KLT单元。
[DWT的描述]
图17是说明DWT单元221执行的DWT的图。
在图17所示的示例中，DWT单元221执行3次DWT。在此，图17的A至图17的C与图4的A至图4的C相同，因此，不给出其描述。
如图17的D所示，当在水平方向和垂直方向对图17的C所示的LLLL分量执行DWT时，将LLLL分量的水平分量和垂直分量分别分成高频分量和低频分量。结果，将LLLL分量分成水平分量和垂直分量是低频分量的分量(LLLLLL分量)、水平分量是高频分量并且垂直分量是低频分量的分量(LLLLHL分量)、水平分量是低频分量并且垂直分量是高频分量的分量(LLLLLH)、以及水平分量和垂直分量是高频分量的分量(LLLLHH分量)。残差信息的分量中的除LLLL分量以外的HL分量、LH分量、HH分量、LLHL分量、LLLH分量以及LLHH分量不变。
例如，如图4所示，在DWT单元91执行的DWT的次数是两次的情况下，如图17所示的DWT单元221执行3次DWT，从而进一步减小作为KLT的目标的低频分量的大小。
[帧内预测逆正交变换单元的详细结构示例]
图18是说明图15所示的帧内预测逆正交变换单元202B的详细结构示例的框图。
在图18所示的结构中，对与图5所示的结构相同的结构赋予相同的标符。酌情地不给出重复的描述。
图18所示的帧内预测逆正交变换单元202B的结构与图5所示的结构的主要不同之处在于：设置逆KLT单元241-3至241-8而不是逆KLT单元101-3至101-8，设置选择器242和243而不是选择器102，新设置了逆DWT单元244。
图18所示的帧内预测逆正交变换单元202B的逆KLT单元241-3至241-8利用编号3至8的帧内预测模式的逆KLT的基础，对从图15所示的逆量化单元68提供的变换系数的系数执行不可分离型逆KLT。
将从预测图像选择单元76提供的帧内预测模式信息提供给选择器242。选择器242基于帧内预测模式信息，选择从逆KLT单元101-0至101-2提供的逆KLT后的分量中的、从逆KLT单元101-0至101-2中的对应于最优帧内预测模式的一个逆KLT单元提供的逆KLT后的分量。然后，选择器242将所选择的逆KLT后的分量提供给逆DWT单元103。
将从预测图像选择单元76提供的帧内预测模式信息提供给选择器243。选择器243基于帧内预测模式信息，选择从逆KLT单元241-3至241-8提供的逆KLT后的分量中的、从逆KLT单元241-3至241-8中的对应于最优帧内预测模式的一个逆KLT单元提供的逆KLT后的分量。然后，选择器243将所选择的逆KLT后的分量提供给逆DWT单元244。
在帧内预测逆正交变换单元202B中，逆DWT单元103是用于编号0至2的帧内预测模式的逆DWT单元，并且将从逆KLT单元101-0至101-2中的一个获得的分量通过选择器242提供给逆DWT单元103。
逆DWT单元244是用于编号3至8的帧内预测模式的逆DWT单元，并且逆DWT单元244将从逆KLT单元241-3至241-8中的一个提供的分量作为残差信息通过选择器243提供给计算单元70（图15）。作为替换方式，逆DWT单元244对从选择器243提供的分量和从逆量化单元68提供的变换系数的高频分量执行与DWT单元221执行的DWT对应的逆DWT，并将获得的所得分量作为残差信息提供给计算单元70。
在图18所示的帧内预测逆正交变换单元202B中，尽管将选择器242和243设置在逆KLT单元101-0至101-2和逆KLT单元241-3至241-8之后，但是可以将选择器设置在逆KLT单元101-0至101-2和逆KLT单元241-3至241-8之前。在这种情况下，将从逆量化单元68提供的变换系数的系数仅提供给逆KLT单元101-0至101-2和逆KLT单元241-3至241-8中的与最优帧内预测模式对应的一个逆KLT单元。
[图像编码设备的处理的描述]
图15所示的图像编码设备200的编码处理与图7所示的编码处理相同，除了图7所示的步骤S14中的帧内预测正交变换单元64B执行的正交变换处理和步骤S17中帧内预测逆正交变换单元69B执行的逆正交变换处理以外。因此，将仅描述正交变换处理和逆正交变换处理。
图19是说明图像编码设备200的帧内预测正交变换单元201B执行的正交变换处理的流程图。
图19所示的步骤S241到S246的处理与图8所示的步骤S41到S44和S48的处理相同，除了由KLT单元92-0至92-2执行步骤S245和S246的处理以外。
在步骤S245或步骤S246的处理之后，在步骤S247中帧内预测正交变换单元201B的DWT单元221（图16）确定从计算单元63（图15）提供的残差信息的大小是否为可以由KLT单元222-3至222-8处理的大小。
在步骤S247中确定残差信息的大小不是可以由KLT单元222-3至222-8处理的大小的情况下，DWT单元221在步骤S248中对残差信息执行DWT。
在步骤S249中，DWT单元221确定作为步骤S248的处理的结果而获得的低频分量的大小是否为可以由KLT单元222-3至222-8处理的大小。在步骤S249中确定作为DWT的结果而获得的低频分量的大小不是可以由KLT单元222-3至222-8处理的大小的情况下，DWT单元221在步骤S250中对作为步骤S248的处理的结果而获得的低频分量执行DWT。然后，处理返回到步骤S249，重复步骤S249和S250的处理，直到低频分量的大小变成可以由KLT单元222-3至222-8处理的大小。
在步骤S249中确定作为DWT的结果而获得的低频分量的大小是可以由KLT单元222-3至222-8处理的大小的情况下，DWT单元221将作为DWT的结果而获得的低频分量提供给KLT单元222-3至222-8，并将高频分量提供给选择器223。
然后，在步骤S252中，KLT单元222-3至222-8利用相应的帧内预测模式的KLT的基础，对低频分量执行不可分离型KLT。然后，处理进行到步骤S253。
另一方面，在步骤S247中确定残差信息的大小是可以由KLT单元222-3至222-8处理的大小的情况下，DWT单元221将残差信息没有变化地提供给KLT单元222-3至222-8。然后，在步骤S251中，KLT单元222-3至222-8利用相应的帧内预测模式的KLT的基础，对残差信息执行不可分离型KLT，然后处理进行到步骤S253。
在步骤S253中，类似于图8所示的步骤S46的处理，选择器223基于帧内预测模式信息，选择从KLT单元92-0至92-2和KLT单元222-3至222-8提供的系数中的、从KLT单元92-0至92-2或KLT单元222-3至222-8中的对应于最优帧内预测模式的一个KLT单元提供的系数，并将所选择的系数输出到量化单元65（图15）。
在步骤S254中，选择器223确定与最优帧内预测模式对应的DWT单元91或DWT单元221是否执行了DWT，换句话说，确定是否从与最优帧内预测模式对应的DWT单元91或DWT单元221提供了高频分量。
在步骤S254中确定与最优帧内预测模式对应的DWT单元91或DWT单元221执行了DWT的情况下，处理进行到步骤S255。在步骤S255中，选择器223将从与最优帧内预测模式对应的DWT单元91或DWT单元221提供的高频分量没有变化地输出到量化单元65（图15），并结束处理。
另一方面，在步骤S254中确定与最优帧内预测模式对应的DWT单元91或DWT单元221尚未执行DWT的情况下，处理立即结束。
图20是说明图像编码设备200的帧内预测逆正交变换单元202B的逆正交变换处理的流程图。
在步骤S261中，帧内预测逆正交变换单元202B的逆KLT单元101-0至101-2（图18）利用编号0至2的帧内预测模式的KLT的基础，对从逆量化单元68（图15）提供的变换系数中的系数执行可分离型逆KLT。
在步骤S262中，逆KLT单元241-3至241-8利用编号3至8的帧内预测模式的KLT的基础，对从逆量化单元68提供的变换系数中的系数执行不可分离型逆KLT。
在步骤S263中，每个选择器242和243基于从预测图像选择单元76提供的帧内预测模式信息，选择从逆KLT单元101-0至101-2或逆KLT单元241-3至241-8提供的逆KLT后的分量中的、从逆KLT单元101-0至101-2或逆KLT单元241-3至241-8中的对应于最优帧内预测模式的一个逆KLT单元提供的逆KLT后的分量。然后，选择器242和243将所选择的逆KLT后的分量提供给逆DWT单元103或逆DWT单元244，然后处理进行到步骤S264。被提供了逆KLT后的分量的逆DWT单元103或逆DWT单元244执行随后的处理。
在步骤S264中，逆DWT单元103或逆DWT单元244确定从选择器242或243提供的逆KLT后的分量的大小是否为块大小。在步骤S264中确定逆KLT后的分量的大小不是块大小的情况下，处理进行到步骤S265。在步骤S265中，逆DWT单元103对逆KLT后的分量中的高频分量和从逆量化单元68提供的变换系数执行逆DWT。
在步骤S266中，逆DWT单元103或逆DWT单元244确定作为步骤S264的处理的结果而获得的逆DWT后的分量的大小是否为块大小。在步骤S265中确定逆DWT后的分量的大小不是块大小的情况下，处理返回到步骤S265，并重复步骤S265和S266的处理，直到逆DWT后的分量的大小变成块大小。
在步骤S266中确定逆DWT后的分量的大小是块大小的情况下，处理进行到步骤S267。
另一方面，在步骤S264中确定逆KLT后的分量的大小是块大小的情况下，处理进行到步骤S267。
在步骤S267中，逆DWT单元103或逆DWT单元244将逆DWT后的分量或逆KLT后的分量作为残差信息提供给计算单元70。
[图像解码设备的结构示例]
图21是说明根据本技术的第二实施例的图像解码设备的结构示例的框图。
在图21所示的结构中，对与图12所示的结构相同的结构赋予相同的标符。酌情地不给出重复的描述。
图21所示的图像解码设备300的结构与图12所示的结构的主要不同之处在于：设置逆正交变换单元301而不是逆正交变换单元164。
图像解码设备300的逆正交变换单元301的结构类似于图15所示的逆正交变换单元202。逆正交变换单元301根据从无损解码单元162提供的帧间预测模式信息或帧内预测模式信息，对从逆量化单元163提供的变换系数执行逆正交变换处理。逆正交变换单元301将作为逆正交变换处理的结果而获得的残差信息提供给计算单元165。
[图像解码设备的处理的描述]
图21所示的图像解码设备300的解码处理与图13所示的解码处理相同，除了图13所示的步骤S134的逆正交变换处理以外，因此，将不给出除逆正交变换处理以外的其他处理的描述。在图像解码设备300的逆正交变换处理中，在从无损解码单元162提供了帧内预测信息的情况下，执行与图20所示的逆正交变换处理类似的逆正交变换处理，而在提供了帧间预测信息的情况下，对从逆量化单元163提供的变换系数执行逆正交变换。
在以上给出的描述中，尽管假设编号3至8的帧内预测模式的预测方向是倾斜方向，但是可以假设编号5和7的帧内预测模式的预测方向是垂直方向，并且编号6和8的帧内预测模式的预测方向是水平方向。
在上述描述中，将4x4像素和8x8像素两种类型视为帧内预测的块大小，可以处理诸如16x16像素、32x32像素、64x64像素以及128x128像素的其他块大小。然而，在这种情况下，由于帧内预测模式的数量变化，KLT单元或逆KLT单元的数量变化。例如，在块大小是16x16像素的情况下，存在四种帧内预测模式，并且KLT单元或逆KLT单元的数量是4个。
在上述描述中，尽管在KLT之前执行DWT，但是在KLT之前执行的正交变换可以是计算量小于KLT的计算量的（例如，可以设置高速算法的）任何类型的正交变换。
在本技术中，宏块的大小是任意的。本技术可以应用于具有任何大小的宏块，例如，如图22所示。例如，本技术不仅可以应用于普通16x16像素的宏块，而且可以应用于扩展为32x32像素的宏块（扩展宏块）。
<第三实施例>
[应用了本技术的计算机的描述]
接着，可以用硬件或软件执行上述编码处理或解码处理。在用软件执行编码处理或解码处理的情况下，将构成软件的程序安装到通用计算机等。
图23说明了根据一个实施例的安装了执行上述系列处理的程序的计算机的结构示例。
可以将程序预先记录在作为嵌入计算机的记录介质的存储单元408或只读存储器（ROM）402中。
作为替换方式，可以将程序存储（记录）在可移动介质411中。可以将这种可移动介质411作为所谓的软件包来提供。在此，可移动介质411的示例包括软盘、紧凑盘只读存储器(CD-ROM)、磁光（MO）盘、数字多功能盘（DVD）、磁盘以及半导体存储器。
此外，可以通过通信网络或广播网络将程序下载到计算机并安装到嵌入其中的存储单元408，而不是从可移动介质411通过驱动器410如上所述地将程序安装到计算机。换句话说，可以从下载站点通过用于数字卫星广播的卫星以有线方式将程序传输到计算机，或者通过诸如局域网（LAN）或因特网的网络以有线方式将程序传输到计算机。
计算机包括其中的中央处理器（CPU）401和通过总线404连接到CPU401的输入/输出接口405。
当用户通过操作输入单元406通过输入/输出接口405输入指令时，CPU401根据指令执行存储在ROM402中的程序。作为替换方式，CPU401将存储在存储单元408中的程序加载到随机存取存储器(RAM)403并执行该程序。
因此，CPU401执行根据上述流程图的处理或由上述框图的结构执行的处理。然后，CPU401通过输入/输出接口405从输出单元407输出处理结果，从通信单元408发送处理结果，或者根据需要将处理结果记录在存储单元408。
在此，输入单元406由键盘、鼠标、麦克风等构成。此外，输出单元407由液晶显示器(LCD)、扬声器等构成。
在此，在本说明书中，由计算机根据程序执行的处理不一定需要根据在流程图中描述的序列按时间序列执行。换句话说，由计算机根据程序执行的处理包括以并行方式或者以单独方式执行的处理（例如并行处理或利用对象的处理）。
此外，程序可以由一个计算机（处理器）处理，或者可以由多个计算机以分布式方式处理。再者，可以将程序传输到远程计算机并执行。
<第四实施例>
[电视接收机的结构示例]
图24是图解说明使用应用本技术的图像解码设备的电视接收机的主要结构例子的方框图。
图24中所示的电视接收机500包括地面调谐器513、视频解码器515、视频信号处理电路518、图形生成电路519、面板驱动电路520和显示面板521。
地面调谐器513通过天线接收地面模拟广播的广播信号，解调获得视频信号，并把获得的视频信号提供给视频解码器515。视频解码器515对从地面调谐器513供给的视频信号进行解码处理，然后把获得的数字分量信号提供给视频信号处理电路518。
视频信号处理电路518对从视频解码器515供给的视频数据进行诸如噪声消除之类的预定处理，然后把获得的视频数据提供给图形生成电路519。
图形生成电路519生成待显示在显示面板521上的节目的视频数据，或者由基于经网络提供的应用程序的处理而获得的图像数据等，并把生成的视频数据或图像数据提供给面板驱动电路520。另外，图形生成电路519还酌情进行诸如把通过生成视频数据(图形)，供用户显示用于选择项目等的屏幕，并把所述视频数据(图形)重叠在节目的视频数据上而获得的视频数据提供给面板驱动电路520之类的处理。
面板驱动电路520根据从图形生成电路519供给的数据，驱动显示面板521，从而在显示面板521上显示节目的视频或者上述各种屏幕。
显示面板521由LCD(液晶显示器)等构成，按照面板驱动电路520的控制，显示节目的视频等。
另外，电视接收机500还包括音频A/D(模/数)转换电路514、音频信号处理电路522、回声消除/音频合成电路523、音频放大电路524和扬声器525。
地面调谐器513解调接收的广播信号，从而不仅获得视频信号，而且获得音频信号。地面调谐器513把获得的音频信号提供给音频A/D转换电路514。
音频A/D转换电路514对从地面调谐器513供给的音频信号进行A/D转换处理，并把获得的数字音频信号提供给音频信号处理电路522。
音频信号处理电路522对从音频A/D转换电路514供给的音频数据进行诸如噪声消除之类的预定处理，并把获得的音频数据提供给回声消除/音频合成电路523。
回声消除/音频合成电路523把从音频信号处理电路522供给的音频数据提供给音频放大电路524。
音频放大电路524对从回声消除/音频合成电路523供给的音频数据进行D/A转换处理，进行放大处理，以调整为预定音量，随后从扬声器525输出音频。
此外，电视接收机500还包括数字调谐器516和MPEG解码器517。
数字调谐器516通过天线接收数字广播(地面数字广播、BS(广播卫星)/CS(通信卫星)数字广播)的广播信号，解调获得MPEG-TS(运动图像专家组-传输流)，并把MPEG-TS提供给MPEG解码器517。
MPEG解码器517消除赋予从数字调谐器516供给的MPEG-TS的扰频，提取包括充当重放对象(观看对象)的节目的数据的流。MPEG解码器517对构成所提取流的音频分组解码，把获得的音频数据提供给音频信号处理电路522，另外还对构成所述流的视频分组解码，并把获得的视频数据提供给视频信号处理电路318。另外，MPEG解码器517通过未示出的路径，把从MPEG-TS提取的EPG(电子节目指南)数据提供给CPU532。
电视接收机500使用上述图像解码设备151（300）作为按照这种方式，解码视频分组的MPEG解码器517。因而，按照和图像解码设备151（300）的情况类似的方式，MPEG解码器517能够执行计算量小的逆正交变换处理。
按照和从视频解码器515供给的视频数据的情况相同的方式，从MPEG解码器517供给的视频数据在视频信号处理电路518经历预定处理。随后，由图形生成电路519生成的视频数据被酌情重叠在执行了预定处理的视频数据上，所得到的视频数据通过面板驱动电路520被提供给显示面板521，从而其图像被显示在显示面板521上。
按照和从音频A/D转换电路514供给的音频数据的情况类似的方式，从MPEG解码器517供给的音频数据在音频信号处理电路522经历预定处理。经过预定处理的音频数据通过回声消除/音频合成电路523被提供给音频放大电路524，从而对音频数据执行D/A转换处理和放大处理。结果，从扬声器525输出按预定音量调整的音频。
另外，电视接收机500还包括麦克风526和A/D转换电路527。
A/D转换电路527接收由对电视接收机500中设置的用于音频的麦克风526收集的用户音频信号。A/D转换电路527对接收的音频信号进行A/D转换处理，并把获得的数字音频数据提供给回声消除/音频合成电路523。
在从A/D转换电路527供给了电视接收机500的用户(用户A)的音频数据的情况下，回声消除/音频合成电路523以用户A的音频数据作为对象，进行回声消除。然后，在回声消除之后，回声消除/音频合成电路523经音频放大电路524，从扬声器525输出通过与其它音频数据等合成的处理而获得的音频数据。
此外，电视接收机500还包括音频编解码器528、内部总线529、SDRAM(同步动态随机存取存储器)530、闪速存储器531、CPU532、USB(通用串行总线)I/F533、和网络I/F534。
A/D转换电路527接收由对电视接收机500设置的用于音频的麦克风526收集的用户音频信号。A/D转换电路527对接收的音频信号进行A/D转换处理，并把获得的数字音频数据提供给音频编解码器528。
音频编解码器528把从A/D转换电路527供给的音频数据转换成预定格式的数据，以便通过网络传输，然后通过内部总线529将转换后的数据提供给网络I/F534。
网络I/F534通过安装在网络端子535上的电缆连接到网络。例如，网络I/F534把从音频编解码器528供给的音频数据传送给与网络连接的另一个设备。另外，例如，网络I/F534通过网络端子535，接收从通过网络与之连接的另一个设备传送的音频数据，并通过内部总线529，把接收的音频数据提供给音频编解码器528。
音频编解码器528把从网络I/F534供给的音频数据转换成预定格式的数据，并把转换后的数据提供给回声消除/音频合成电路523。
回声消除/音频合成电路523以从音频编解码器528供给的音频数据作为对象，进行回声消除，经音频放大电路524，从扬声器525输出通过与其它音频数据等合成而获得的音频数据。
SDRAM530保存为CPU532进行处理所必需的各种数据。
闪速存储器531保存将由CPU532执行的程序。保存在闪速存储器531中的程序由CPU532在预定时刻，比如当启动电视接收机500时读出。通过数字广播获得的EPG数据，通过网络从预定服务器获得的数据等等也保存在闪速存储器531中。
例如，MPEG-TS被保存闪速存储器531中，MPEG-TS包括在CPU532的控制下，通过网络从预定服务器获得的内容数据。在CPU532的控制下，闪速存储器531通过内部总线529，把MPEG-TS提供给MPEG解码器517。
MPEG解码器517按照和从数字调谐器516供给的MPEG-TS的情况类似的方式，处理该MPEG-TS。这样，电视接收机500通过网络接收由视频、音频等构成的内容数据，利用MPEG解码器517解码内容数据，从而能够显示视频，或者输出音频。
另外，电视接收机500还包括接收从遥控器551传送的红外信号的受光单元537。
受光单元537从遥控器551接收红外线，把表示通过解调获得的用户操作的内容的控制码输出给CPU532。
CPU532执行保存在闪速存储器531中的程序，以按照从受光单元537供给的控制码等，控制电视接收机500的全部操作。CPU532和电视接收机500的各个单元是通过未示出的路径相互连接的。
USBI/F533相对于通过安装在USB端子536上的USB电缆，连接的电视接收机500和外部设备，进行数据的传输/接收。网络I/F534通过安装在网络端子535上的电缆，连接到网络，另外相对于连接到网络的各种设备，进行除音频数据外的数据的传输/接收。
电视接收机500利用图像解码设备151（300）作为MPEG解码器517，从而能够减小逆正交变换处理的计算量。结果，电视接收机500能够从通过天线接收的广播波信号，或者通过网络获得的内容数据中，以较小的计算量获得解码图像，和显示该解码图像。
<第五实施例>
[蜂窝电话的结构例子]
图25是图解说明使用应用本技术的图像编码设备和图像解码设备的蜂窝电话的主要结构例子的方框图。
图25中所示的蜂窝电话机600包括配置成一体控制各个单元的主控制单元650、电源电路单元651、操作输入控制单元652、图像编码器653、照相机I/F单元654、LCD控制单元655、图像解码器656、分离单元657、记录/再现单元662、调制/解调电路单元658、和音频编解码器659。这些单元通过总线660互相连接。
另外，蜂窝电话机600包括操作按键619、CCD(电荷耦合器件)照相机616、液晶显示器618、存储单元623、传输/接收电路单元663、天线614、麦克风(mike)621和扬声器617。
当通过用户的操作，结束呼叫和开启电源按键时，电源电路单元651通过从电池组向各个单元供电，以可操作状态启动蜂窝电话机600。
在由CPU、ROM、RAM等构成的主控制单元650的控制下，蜂窝电话机600按照各种模式，比如话音通话模式，数据通信模式等进行各种操作，比如音频信号的传输/接收，电子邮件和图像数据的传输/接收，摄影，数据记录等等。
例如，在话音通话模式下，蜂窝电话机600用音频编解码器659，把麦克风(话筒)621收集的音频信号转换成数字音频数据，利用调制/解调电路单元658对数字音频数据进行频谱扩展处理，利用传输/接收电路单元663对处理的数字音频数据进行数/模转换处理和频率转换处理。蜂窝电话机600通过天线614，把通过转换处理获得的传输信号传送给未示出的基站。传送给基站的传输信号(音频信号)经公共电话线路网络，被提供给通话对方的蜂窝电话机。
另外，例如，在电话通话模式下，蜂窝电话机600利用传输/接收电路单元663，放大利用天线614接收的接收信号，另外对接收信号进行频率转换处理和模/数转换处理，利用调制/解调电路单元658进行频谱扩展处理，然后用音频编解码器659将所得信号转换成模拟音频信号。蜂窝电话机600从扬声器617输出转换获得的模拟音频信号。
此外，例如，当按数据通信模式传送电子邮件时，蜂窝电话机600利用操作输入控制单元652，接收通过操纵操作按键619而输入的电子邮件的文本数据。蜂窝电话机600利用主控制单元650处理文本数据，并借助LCD控制单元655，以图像的形式把处理后的文本数据显示在液晶显示器618上。
另外，蜂窝电话机600根据由操作输入控制单元652接收的文本数据，用户指令等，利用主控制单元650生成电子邮件数据。蜂窝电话机600利用调制/解调电路单元658对电子邮件数据进行频谱扩展处理，并利用传输/接收电路单元663对电子邮件数据进行数/模转换处理和频率转换处理。蜂窝电话机600把通过转换处理获得的传输信号经天线614传给未示出的基站。传给基站的传输信号(电子邮件)经网络、邮件服务器等被提供给预定目的地。
另外，例如，当按数据通信模式接收电子邮件时，蜂窝电话机600利用传输/接收电路单元663，通过天线614接收从基站传来的信号，放大接收的信号，并对放大的信号进行频率转换处理和模/数转换处理。蜂窝电话机600利用调制/解调电路单元658对接收的信号进行频率扩展处理，以恢复原始电子邮件数据。蜂窝电话机600通过LCD控制单元655，把恢复的电子邮件数据显示在液晶显示器618上。
此外，蜂窝电话机600可通过记录/再现单元662，把接收的电子邮件数据记录(保存)在存储单元623中。
存储单元623是任意可重写记录介质。存储单元623可以是诸如RAM，内置闪速存储器之类的半导体存储器，可以是硬盘，或者可以是诸如磁盘、磁光盘、光盘、USB存储器、存储卡之类的可拆卸介质。当然，存储单元623可以是除上述介质外的其它介质。
此外，例如，当按数据通信模式传送图像数据时，蜂窝电话机600通过在CCD照相机616成像，生成图像数据。CCD照相机616包括诸如透镜、光圈之类的光学器件和充当光电变换器件的CCD，对被摄物体成像，把受光强度转换成电信号，并生成被摄物体的图像的图像数据。通过照相机I/F单元654，在图像编码器653利用预定编码格式，比如MPEG2或MPEG4，对图像数据进行压缩和编码，从而把图像数据转换成编码图像数据。
蜂窝电话机600采用上述图像编码设备51（200）作为进行这种处理的图像编码器653。因而，按照和图像编码设备51（200）类似的方式，图像编码器653可以执行计算量较小的正交变换处理和逆正交变换处理。
此外，蜂窝电话机600同时在音频编解码器659，把在麦克风(话筒)621收集的音频从模拟转换成数字，另外在用CCD照相机616摄影期间对所述音频编码。
蜂窝电话机600利用预定模式，在复用单元657复用从图像编码器653供给的编码图像数据，和从音频编解码器659供给的数字音频数据。蜂窝电话机600在调制/解调电路单元658，对作为结果获得的复用数据进行频谱扩展处理，然后在传输/接收电路单元663对所得数据进行数/模转换处理和频率转换处理。蜂窝电话机600把通过转换处理获得的传输信号经天线614传给未示出的基站。传给基站的传输信号(图像数据)经网络等被提供给通信对方。
在不传送图像数据的情况下，蜂窝电话机600也可经LCD控制单元655，而不是图像编码器653，把在CCD照相机616生成的图像数据显示在液晶显示器618上。
另外，例如，当按数据通信模式，接收链接到简单网站等的运动图像文件的数据时，蜂窝电话机600通过天线614，在传输/接收电路单元663接收从基站传送的信号，放大接收的信号，另外对接收信号进行频率转换处理和模/数转换处理。蜂窝电话机600在调制/解调电路单元658对接收的信号进行频谱扩展处理，以恢复原始的复用数据。蜂窝电话机600在复用单元657把复用数据分离成编码图像数据和音频数据。
蜂窝电话机600利用与诸如MPEG2或MPEG4之类的预定编码格式对应的解码格式，在图像解码器656对编码图像数据解码，从而生成重放运动图像数据，然后通过LCD控制单元655，把重放运动图像数据显示在液晶显示器618上。从而，例如，包括在与链接到简单网站的运动图像文件中的运动图像数据被显示在液晶显示器618上。
蜂窝电话机600采用上述图像解码设备151（300）作为进行这种处理的图像解码器656。因而，按照和图像解码设备151（300）类似的方式，图像解码器656可以执行计算量较小的逆正交变换处理。
此时，蜂窝电话机600同时在音频编解码器659，把数字音频数据转换成模拟音频信号，然后从扬声器617输出模拟音频信号。从而，例如，包括在链接到简单网站的运动图像文件中的音频数据被再现。
此外，按照和电子邮件的情况类似的方式，蜂窝电话机600可通过记录/重放单元662，把链接到简单网站等的数据记录(保存)在存储单元623中。
蜂窝电话机600在主控制单元650分析用CCD照相机516成像获得的二维代码，从而能够获得记录在二维代码中的信息。
此外，便携式电话机600能够利用红外线，在红外通信单元681与外部设备通信。
蜂窝电话机600采用图像编码设备51（200）作为图像编码器653，能够以较小的计算量执行正交变换处理和逆正交变换处理。结果，蜂窝电话机600能够向另一个设备提供可以用较小的计算量解码的编码数据(图像数据)。
另外，蜂窝电话机600采用图像解码设备151（300）作为图像解码器656，能够以较小的计算量执行逆正交变换处理。结果，蜂窝电话机600能够从链接到简单网站的运动图像文件，以较小的计算量获得解码图像，并显示所述解码图像。
以上尽管说明了蜂窝电话机600采用CCD照相机616，不过，代替CCD照相机616，蜂窝电话机600可以采用利用CMOS(互补金属氧化物半导体)的图像传感器(CMOS图像传感器)。在这种情况下，按照和采用CCD照相机616的情况类似的方式，蜂窝电话机600也能够对被摄物体成像，从而生成被摄物体的图像的图像数据。
以上，尽管关于蜂窝电话机600进行了说明，不过，按照和蜂窝电话机600的情况类似的方式，图像编码设备51（200）和图像解码设备151（300）可适用于任何种类的设备，只要所述设备是具有和蜂窝电话机600相同的成像功能和通信功能的设备，比如PDA(个人数字助手)、智能电话机、UMPC(超移动个人计算机)、上网本、笔记本型个人计算机等。
<第六实施例>
[硬盘记录器的结构例子]
图26是图解说明采用应用本技术的图像编码设备和图像解码设备的硬盘记录器的主要结构例子的方框图。
图26中所示的硬盘记录器(HDD记录器)700是把包括在从卫星或地面天线等传送，并由调谐器接收的广播信号(电视信号)中的广播节目的音频数据和视频数据保存在内置硬盘中，并在与用户的指令相应的时刻，把保存的数据提供给用户的设备。
例如，硬盘记录器700可从广播信号中提取音频数据和视频数据，恰当地解码提取的音频数据和视频数据，并把解码的音频数据和视频数据保存在内置硬盘中。另外，例如，硬盘记录器700还可通过网络，从另一个设备获得音频数据和视频数据，恰当地解码获得的音频数据和视频数据，并把解码的音频数据和视频数据保存在内置硬盘中。
此外，例如，硬盘记录器700解码记录在内置硬盘中的音频数据和视频数据，把解码的音频数据或视频数据提供给监视器760，从而在监视器760的屏幕上显示图像。另外，硬盘记录器700可从监视器760的扬声器输出声音。
例如，硬盘记录器700可解码从通过调谐器获得的广播信号中提取的音频数据和视频数据，或者通过网络从另一个设备获得的音频数据和视频数据，把解码的音频数据和视频数据提供给监视器760，从而把图像显示在监视器760的屏幕上。另外，硬盘记录器700能够从监视器760的扬声器输出声音。
当然，也可进行除这些操作以外的操作。
如图26中所示，硬盘记录器700包括接收单元721、解调单元722、多路分解器723、音频解码器724、视频解码器725，和记录器控制单元726。硬盘记录器700还包括EPG数据存储器727、程序存储器728、工作存储器729、显示转换器730、OSD(屏幕显示)控制单元731、显示控制单元732、记录/重放单元733、D/A转换器734、和通信单元735。
另外，显示转换器730包括视频编码器741。记录/重放单元733包括编码器751和解码器752。
接收单元721从遥控器(未示出)接收红外信号，把接收的红外信号转换成电信号，然后输出给记录器控制单元726。例如，记录器控制单元726由微处理器等构成，并按照保存在程序存储器728中的程序执行各种处理。此时，记录器控制单元726按照需要，使用工作存储器729。
连接到网络的通信单元735通过网络与另一个设备进行通信处理。例如，通信单元735由记录器控制单元726控制，从而与调谐器(未示出)通信，并且主要向调谐器输出信道选择控制信号。
解调单元722解调从调谐器供给的信号，然后输出给多路分解器723。多路分解器723把从解调单元722供给的数据分离成音频数据、视频数据和EPG数据，然后分别输出给音频解码器724、视频解码器725或记录器控制单元726。
音频解码器724例如利用MPEG模式，解码输入的音频数据，然后将解码的音频数据输出给记录/重放单元733。视频解码器725例如利用MPEG模式，解码输入的视频数据，然后将解码的视频数据输出给显示转换器730。记录器控制单元726把输入的EPG数据提供给EPG数据存储器727，以便保存。
显示转换器730利用视频编码器741，把从视频解码器725或记录器控制单元726供给的视频数据编码成符合NTSC(国家电视标准委员会)格式的视频数据，然后输出给记录/重放单元733。另外，显示转换器730把从视频解码器725或记录器控制单元726供给的视频数据的屏幕尺寸转换成与监视器760的尺寸对应的尺寸。显示转换器730还利用视频编码器741，把其屏幕尺寸已被转换的视频数据转换成符合NTSC格式的视频数据，把该视频数据转换成模拟信号，然后将模拟信号输出给显示控制单元732。
在记录器控制单元726的控制下，显示控制单元732把从OSD(屏幕显示)控制单元731输出的OSD信号重叠在从显示转换器730输入的视频信号上，然后将所得信号输出给监视器760的显示器，以便显示。
另外，从音频解码器724输出的音频数据已利用D/A转换器734，被转换成模拟信号，并被提供给监视器760。监视器760从内置扬声器输出该音频信号。
记录/重放单元733包括作为记录视频数据、音频数据等的存储介质的硬盘。
记录/重放单元733利用例如MPEG格式，用编码器751对从音频解码器724供给的音频数据编码。另外，记录/重放单元733利用MPEG模式，用编码器751对从显示转换器730的视频编码器741供给的视频数据编码。记录/重放单元733利用复用器，合成音频数据的编码数据和视频数据的编码数据。记录/重放单元733借助通道编码，放大合成数据，并通过记录头把数据写入硬盘中。
记录/重放单元733通过重放头，播放记录在硬盘中的数据，放大重放的数据，然后利用多路分解器把数据分离成音频数据和视频数据。记录/重放单元733利用MPEG格式，用解码器752解码音频数据和视频数据。记录/重放单元733把解码的音频数据从数字转换成模拟，然后将所得音频数据输出给监视器760的扬声器。另外，记录/重放单元733把解码的视频数据从数字转换成模拟，然后将所得视频数据输出给监视器760的显示器。
记录器控制单元726根据由通过接收单元721，从遥控器接收的红外信号指示的用户指令，从EPG数据存储器727读出最新的EPG数据，然后提供给OSD控制单元731。OSD控制单元731生成与输入的EPG数据对应的图像数据，然后输出给显示控制单元732。显示控制单元732把从OSD控制单元731输入的视频数据输出给监视器760的显示器，以便显示。从而，EPG(电子节目指南)被显示在监视器760的显示器上。
另外，硬盘记录器700可通过诸如因特网之类的网络，获得从另一个设备供给的各种数据，比如视频数据、音频数据、EPG数据等。
记录器控制单元726控制通信单元735，以通过网络获得从另一个设备传送的编码数据，比如视频数据、音频数据、EPG数据等，并把获得的数据提供给记录器控制单元726。记录器控制单元726把获得的视频数据或音频数据的编码数据提供给记录/重放单元733，并将编码的数据保存在硬盘中。此时，记录器控制单元726和记录/重放单元733可按照需要，进行诸如重新编码之类的处理。
另外，记录器控制单元726对获得的视频数据和音频数据的编码数据解码，然后把获得的视频数据提供给显示转换器730。按照和从视频解码器725供给的视频数据类似的方式，显示转换器730处理从记录器控制单元726供给的视频数据，然后通过显示控制单元732提供给监视器760，以显示该图像。
此外，按照图像显示，记录器控制单元726可以通过D/A转换器734，把解码的音频数据提供给监视器760，然后从扬声器输出所述音频。
此外，记录器控制单元726对获得的EPG数据的编码数据解码，然后把解码的EPG数据提供给EPG数据存储器727。
这样构成的硬盘记录器700采用图像解码设备151（300）作为视频解码器725、解码器752和置于记录器控制单元726中的解码器。因而，按照和图像解码设备51（300）的情况相似的方式，视频解码器725，解码器752和内置于记录器控制单元726中的解码器能够以较小的计算量执行逆正交变换处理。
因而，硬盘记录器700能够高精度地生成预测图像。结果，硬盘记录器700能够高精度地基于通过调谐器接收的视频数据的编码数据、从记录/重放单元733的硬盘读出的视频数据的编码数据、以及通过网络获得的视频数据的编码数据，高精度地获得解码图像，并将解码图像显示在监视器760上。
另外，硬盘记录器700采用图像编码设备51（200）作为编码器751。因而，按照和编码器51（200）类似的方式，编码器751能够以较小的计算量执行正交变换处理和逆正交变换处理。
因而，硬盘记录器700能够提高待存储在硬盘中的编码数据的编码效率。结果，硬盘记录器700能够更高速更高效地利用硬盘的存储区。
在上述描述中，尽管说明了把视频数据和音频数据记录在硬盘中的硬盘记录器700，不过，显然可以采用任何种类的记录介质。例如，即使就对其应用除硬盘外的记录介质，比如闪速存储器、光盘、录像带等的记录器来说，按照和上述硬盘记录器700的情况类似的方式，图像编码设备51（200）和图像解码设备151（300）也能够应用于该记录器。
<第七实施例>
[照相机的结构例子]
图27是图解说明采用应用本技术的图像编码设备和图像解码设备的照相机的主要结构例子的方框图。
图27中所示的照相机800对被摄物体成像，把被摄物体的图像显示在LCD816上，和把所述图像作为图像数据记录在记录介质833中。
透镜块811使光(即，被摄物体的视频)入射到CCD/CMOS812。CCD/CMOS812是采用CCD或CMOS的图像传感器，把受光的强度转换成电信号，然后提供给照相机信号处理单元813。
照相机信号处理单元813把从CCD/CMOS812提供的电信号转换成色差信号Y、Cr和Cb，然后提供给图像信号处理单元814。在控制器821的控制下，图像信号处理单元814对从照相机信号处理单元813供给的图像信号进行预定图像处理，或者利用例如MPEG模式，用编码器841对图像信号编码。图像信号处理单元814把通过编码图像信号而生成的编码数据提供给解码器815。此外，图像信号处理单元814获得在屏幕显示(OSD)820生成的显示用数据，然后提供给解码器815。
就上述处理来说，照相机信号处理单元813根据需要，利用经总线817连接的DRAM(动态随机存取存储器)818，以把图像数据，通过编码图像数据而获得的编码数据等保存在DRAM618中。
解码器815对从图像信号处理单元814供给的编码数据解码，把获得的图像数据(解码图像数据)提供给LCD816。另外，解码器815把从图像信号处理单元814供给的显示用数据提供给LCD816。LCD816恰当合成从解码器815供给的解码图像数据的图像和显示用数据的图像，然后显示合成图像。
在控制器821的控制下，屏幕显示820通过总线817，把显示用数据，比如由符号、字符或图形构成的菜单屏幕或图标等输出给图像信号处理单元814。
根据指示用户利用操作单元822命令的内容的信号，控制器821进行各种处理，还通过总线817，控制图像信号处理单元814、DRAM818、外部接口819、屏幕显示820、介质驱动器823等。为控制器821进行各种处理所必需的程序、数据等被保存在闪速ROM824中。
例如，代替图像信号处理单元814或解码器815，控制器821可对保存在DRAM818中的图像数据编码，或者对保存在DRAM818中的编码数据解码。此时，控制器821可利用和图像信号处理单元814或解码器815的编码和解码模式相同的模式，进行编码和解码处理，或者可利用图像信号处理单元814不能处理，解码器815也不能处理的模式进行编码和解码处理。
另外，例如，在从操作单元822指令图像打印的开始的情况下，控制器821从DRAM818读出图像数据，然后通过总线817把读出的图像数据提供给与外部接口819连接的打印机834，以便打印。
此外，例如，在从操作单元822指令图像记录的情况下，控制器821从DRAM818读出编码数据，然后通过总线817把读出的编码数据提供给安装在介质驱动器823上的记录介质833，以便保存。
记录介质833是任意可读/写的可拆卸介质，比如磁盘、磁光盘、光盘、半导体存储器等。显然就可拆卸介质的种类来说，记录介质833也是可选的，因而记录介质833可以是磁带设备，或者可以是光盘，或者可以是存储卡。当然，记录介质833可以是非接触IC卡等。
另一方面，介质驱动器823和记录介质833可被配置成结合成非便携式存储介质，例如内置硬盘驱动器、SSD(固态驱动器)等等。
外部接口819由USB输入/输出端子等构成，在进行图像的打印时，被连接到打印机834。另外按照需要，驱动器831被连接到外部接口819，在驱动器831上酌情安装可拆卸介质832，比如磁盘、光盘或磁光盘，按照需要，从可拆卸介质读取的计算机程序被安装在闪速ROM824中。
此外，外部接口819包括与诸如LAN、因特网之类预定网络连接的网络接口。例如，按照来自操作单元822的指令，控制器821可从DRAM818读出编码数据，然后把读出的编码数据从外部接口819提供给经由网络连接的另一个设备。另外，控制器821可通过外部接口819，获得通过网络从另一个设备供给的编码数据或图像数据，然后把获得的数据保存在DRAM818中，或者把获得的数据提供给图像信号处理单元814。
这样构成的照相机800采用图像解码设备151（300）作为解码器815。因而，按照和图像解码设备151类似的方式，解码器815能够以较小的计算量执行逆正交变换处理。
因而，照相机800能够实现高速处理并生成高精度的预测图像。结果，照相机800能够从在CCD/CMOS812生成的图像数据，从DRAM818或记录介质833读出的视频数据的编码数据，或者通过网络获得的视频数据的编码数据中，获得精度更高的解码图像，并将解码图像显示在LCD816上。
此外，照相机800采用图像编码设备51（200）作为编码器841。因而，按照和图像编码设备51（200）类似的方式，编码器841能够以较小的计算量执行正交变换处理和逆正交变换处理。
因而，照相机800能够提高记录在硬盘中的编码数据的编码效率。结果，照相机800能够以更高的速度，更高效地利用DRAM818或记录介质833的存储区。
此外，图像解码设备151（300）的解码方法可应用于控制器821进行的解码处理。类似地，图像编码设备51（200）的编码方法可应用于控制器821进行的编码处理。
另外，照相机800拍摄的图像数据可以是运动图像，或者可以是静止图像。
不用说，图像编码设备51（200）和图像解码设备151（300）也可应用于除上述设备之外的设备或系统。
此外，本技术的实施例并不限于上述实施例，并且可以在不脱离本技术的构思的范围内进行各种变化。
此外，本技术可以具有以下结构。
（1）
提供了一种编码设备，包括：前正交变换单元，对图像执行计算量比第一正交变换的计算量小的第二正交变换；后正交变换单元，对作为第二正交变换的结果而获得的图像的低频分量执行第一正交变换；以及编码单元，对第一正交变换后的低频分量和作为第二正交变换的结果而获得的图像的高频分量进行编码。
（2）
根据上述（1）中所述的编码设备，其中第一正交变换是可分离型Karhunen-Loeve变换。
（3）
根据上述（1）或（2）所述的编码设备，其中所述后正交变换单元在图像的AVC（高级视频编码）模式下的帧内预测模式的预测方向是倾斜方向的情况下对所述低频分量执行不可分离型Karhunen-Loeve变换，并且在图像的帧内预测模式的预测方向不是倾斜方向的情况下对所述低频分量执行可分离型Karhunen-Loeve变换。
（4）
根据上述（3）所述的编码设备，其中，与在图像的帧内预测模式的预测方向不是倾斜方向的情况下执行的第二正交变换相比，在图像的帧内预测模式的预测方向是倾斜方向的情况下所述前正交变换单元执行更多次第二正交变换。
（5）
根据上述（1）至（4）中的任一个所述的编码设备，其中第二正交变换是小波变换。
（6）
根据上述（1）至（5）中的任一项所述的编码设备，其中所述编码单元按照与图像的AVC（高级视频编码）模式下的帧内预测模式相应的顺序，对第一正交变换后的低频分量和所述高频分量进行编码。
（7）
提供了一种由编码设备执行的编码方法，所述编码方法包括以下步骤：对图像执行计算量比第一正交变换的计算量小的第二正交变换；对作为第二正交变换的结果而获得的图像的低频分量执行第一正交变换；以及对第一正交变换后的低频分量和作为第二正交变换的结果而获得的图像的高频分量进行编码。
(8)
提供了一种解码设备，包括：解码单元，获得图像的低频分量在第一正交变换后的系数和对作为执行第二正交变换的结果而获得的图像的高频分量进行编码的结果，作为对图像进行编码的结果，并对图像的编码结果进行解码，所述图像的低频分量是作为执行第二正交变换的结果而获得的，第二正交变换的计算量小于第一正交变换的计算量；前逆正交变换单元，对作为所述解码的结果而获得的第一正交变换后的低频分量的系数执行与第一正交变换对应的第一逆正交变换；以及后逆正交变换单元，通过对作为第一逆正交变换的结果而获得的低频分量和作为所述解码的结果而获得的高频分量执行与第二正交变换对应的第二逆正交变换，获得所述图像。
(9)
根据上述（8）所述的解码设备，其中第一逆正交变换是可分离型逆Karhunen-Loeve变换。
(10)
根据上述（8）或（9）所述的解码设备，其中在所述编码的结果中包括AVC（高级视频编码）模式下的图像的帧内预测模式，并且其中所述前逆正交变换单元在帧内预测模式的预测方向是倾斜方向的情况下，对第一正交变换后的低频分量的系数执行不可分离型逆Karhunen-Loeve变换，并且在帧内预测模式的预测方向不是倾斜方向的情况下，对第一正交变换后的低频分量的系数执行可分离型逆Karhunen-Loeve变换。
(11)
根据上述（10）所述的解码设备，其中，与在帧内预测模式的预测方向不是倾斜方向的情况下执行的第二逆正交变换相比，在帧内预测模式的预测方向是倾斜方向的情况下，所述前逆正交变换单元执行更多次第二逆正交变换。
（12）
根据上述（8）至（11）中的任一项所述的解码设备，其中第二逆正交变换是逆小波变换。
（13）
根据上述（8）至（12）中的任一项所述的解码设备，其中在所述编码的结果中包括AVC（高级视频编码）模式下的图像的帧内预测模式，并且其中所述解码单元按照与帧内预测模式相应的顺序，对第一正交变换后的低频分量的系数和所述高频分量进行解码。
（14）
提供一种由解码设备执行的解码方法，所述解码方法包括以下步骤：获得图像的低频分量在第一正交变换后的系数和对作为执行第二正交变换的结果而获得的图像的高频分量进行编码的结果，作为对图像进行编码的结果，并对图像的编码结果进行解码，所述图像的低频分量是作为执行第二正交变换的结果而获得的，第二正交变换的计算量小于第一正交变换的计算量；对作为所述解码的结果而获得的第一正交变换后的低频分量的系数执行与第一正交变换对应的第一逆正交变换；以及通过对作为第一逆正交变换的结果而获得的低频分量和作为所述解码的结果而获得的高频分量执行与第二正交变换对应的第二逆正交变换，获得所述图像。
标符列表
51图像编码设备
66无损编码单元
91DWT单元
92-0至92-8KLT单元
101-0至101-8逆KLT单元
103逆DWT单元
151图像解码设备
162无损解码单元
200图像编码设备
221DWT单元
222-3至222-8KLT单元
241-3至241-8逆KLT单元
244逆DWT单元

Claims (12)

1.一种编码设备，包括：
前正交变换单元，对图像执行计算量比第一正交变换的计算量小的第二正交变换；
后正交变换单元，对作为第二正交变换的结果而获得的图像的低频分量执行第一正交变换；以及
编码单元，对第一正交变换后的低频分量和作为第二正交变换的结果而获得的图像的高频分量进行编码，
其中所述后正交变换单元在图像的帧内预测模式的预测方向是倾斜方向的情况下对所述低频分量执行不可分离型Karhunen-Loeve变换。
2.根据权利要求1所述的编码设备，其中第一正交变换是可分离型Karhunen-Loeve变换。
3.根据权利要求1所述的编码设备，其中，与在图像的帧内预测模式的预测方向不是倾斜方向的情况下执行的第二正交变换相比，在图像的帧内预测模式的预测方向是倾斜方向的情况下所述前正交变换单元执行更多次第二正交变换。
4.根据权利要求1所述的编码设备，其中第二正交变换是小波变换。
5.根据权利要求1所述的编码设备，其中所述编码单元按照与图像的高级视频编码AVC模式下的帧内预测模式相应的顺序，对第一正交变换后的低频分量和所述高频分量进行编码。
6.一种由编码设备执行的编码方法，所述编码方法包括以下步骤：
对图像执行计算量比第一正交变换的计算量小的第二正交变换；
对作为第二正交变换的结果而获得的图像的低频分量执行第一正交变换；以及
对第一正交变换后的低频分量和作为第二正交变换的结果而获得的图像的高频分量进行编码，
其中在图像的帧内预测模式的预测方向是倾斜方向的情况下对所述低频分量执行不可分离型Karhunen-Loeve变换。
7.一种解码设备，包括：
解码单元，获得图像的低频分量在第一正交变换后的系数和对作为执行第二正交变换的结果而获得的图像的高频分量进行编码的结果，作为对图像进行编码的结果，并对图像的编码结果进行解码，所述图像的低频分量是作为执行第二正交变换的结果而获得的，第二正交变换的计算量小于第一正交变换的计算量；
前逆正交变换单元，对作为所述解码的结果而获得的第一正交变换后的低频分量的系数执行与第一正交变换对应的第一逆正交变换；以及
后逆正交变换单元，通过对作为第一逆正交变换的结果而获得的低频分量和作为所述解码的结果而获得的高频分量执行与第二正交变换对应的第二逆正交变换，获得所述图像，
其中在所述编码的结果中包括图像的帧内预测模式，并且
其中所述前逆正交变换单元在帧内预测模式的预测方向是倾斜方向的情况下，对第一正交变换后的低频分量的系数执行不可分离型逆Karhunen-Loeve变换。
8.根据权利要求7所述的解码设备，其中第一逆正交变换是可分离型逆Karhunen-Loeve变换。
9.根据权利要求7所述的解码设备，其中，与在帧内预测模式的预测方向不是倾斜方向的情况下执行的第二逆正交变换相比，在帧内预测模式的预测方向是倾斜方向的情况下，所述前逆正交变换单元执行更多次第二逆正交变换。
10.根据权利要求7所述的解码设备，其中第二逆正交变换是逆小波变换。
11.根据权利要求7所述的解码设备，
其中在所述编码的结果中包括高级视频编码AVC模式下的图像的帧内预测模式，并且
其中所述解码单元按照与帧内预测模式相应的顺序，对第一正交变换后的低频分量的系数和所述高频分量进行解码。
12.一种由解码设备执行的解码方法，所述解码方法包括以下步骤：
获得图像的低频分量在第一正交变换后的系数和对作为执行第二正交变换的结果而获得的图像的高频分量进行编码的结果，作为对图像进行编码的结果，并对图像的编码结果进行解码，所述图像的低频分量是作为执行第二正交变换的结果而获得的，第二正交变换的计算量小于第一正交变换的计算量；
对作为所述解码的结果而获得的第一正交变换后的低频分量的系数执行与第一正交变换对应的第一逆正交变换；以及
通过对作为第一逆正交变换的结果而获得的低频分量和作为所述解码的结果而获得的高频分量执行与第二正交变换对应的第二逆正交变换，获得所述图像，
其中在所述编码的结果中包括图像的帧内预测模式，并且
其中在帧内预测模式的预测方向是倾斜方向的情况下，对第一正交变换后的低频分量的系数执行不可分离型逆Karhunen-Loeve变换。
CN201180033755.6A 2010-07-15 2011-07-08 编码设备、编码方法、解码设备以及解码方法 Expired - Fee Related CN102986222B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010160952A JP2012023632A (ja) 2010-07-15 2010-07-15 符号化装置および符号化方法、並びに、復号装置および復号方法
JP2010-160952 2010-07-15
PCT/JP2011/065734 WO2012008388A1 (ja) 2010-07-15 2011-07-08 符号化装置および符号化方法、並びに、復号装置および復号方法

Publications (2)

Publication Number Publication Date
CN102986222A CN102986222A (zh) 2013-03-20
CN102986222B true CN102986222B (zh) 2016-05-18

Family

ID=45469388

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180033755.6A Expired - Fee Related CN102986222B (zh) 2010-07-15 2011-07-08 编码设备、编码方法、解码设备以及解码方法

Country Status (6)

Country Link
US (2) US9918084B2 (zh)
EP (1) EP2595383A1 (zh)
JP (1) JP2012023632A (zh)
KR (1) KR20130088119A (zh)
CN (1) CN102986222B (zh)
WO (1) WO2012008388A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101756442B1 (ko) * 2010-11-29 2017-07-11 에스케이텔레콤 주식회사 인트라예측모드의 중복성을 최소화하기 위한 영상 부호화/복호화 방법 및 장치
US10390048B2 (en) * 2016-02-15 2019-08-20 Qualcomm Incorporated Efficient transform coding using optimized compact multi-pass transforms
WO2020013541A1 (ko) * 2018-07-12 2020-01-16 엘지전자 주식회사 비디오 신호를 처리하기 위한 방법 및 장치
CN111758261B (zh) * 2018-09-02 2022-06-10 Lg电子株式会社 用于处理图像信号的方法和设备
JP7214894B2 (ja) * 2019-04-16 2023-01-30 エルジー エレクトロニクス インコーポレイティド イントラ予測ベースの映像コーディングにおける変換

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8428133B2 (en) * 2007-06-15 2013-04-23 Qualcomm Incorporated Adaptive coding of video block prediction mode
US8285068B2 (en) * 2008-06-25 2012-10-09 Cisco Technology, Inc. Combined deblocking and denoising filter
WO2010087808A1 (en) * 2009-01-27 2010-08-05 Thomson Licensing Methods and apparatus for transform selection in video encoding and decoding

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
《Improved Intra Coding》;Marta Karczewicz;《ITU-Telecommunications Standardization Sector STUDY GROUP 16 Question 6 Video Coding Experts Group (VCEG) 32nd Meeting: San Jose, CA, USA》;20070421;全文 *
《Improved Intra Coding》;Yan Ye, Marta Karczewicz;《ITU-Telecommunications Standardization Sector STUDY GROUP 16 Question 6 Video Coding Experts Group (VCEG) 33rd Meeting:Shenzhen, China, Document VCEG-AG11r1, ITU-T》;20071020;正文第1-2页 *
《Samsung’s Response to the call for proposals on Video Compression Technology》;Ken McCann, Woo-Jin Han, Il-Koo Kim;《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 1st Meeting: Dresden, DE, Document: JCTVC-A124, ITU-T》;20100401;第2.1节、第2.5.2节，第5-6、21-22页 *
《Video coding technology proposal by Qualcomm Inc.》;Marta Karczewicz 等;《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 1st Meeting: Dresden, DE》;20100423;全文 *

Also Published As

Publication number Publication date
US10728544B2 (en) 2020-07-28
JP2012023632A (ja) 2012-02-02
US9918084B2 (en) 2018-03-13
WO2012008388A1 (ja) 2012-01-19
EP2595383A1 (en) 2013-05-22
US20180160115A1 (en) 2018-06-07
KR20130088119A (ko) 2013-08-07
CN102986222A (zh) 2013-03-20
US20130094584A1 (en) 2013-04-18

Similar Documents

Publication Publication Date Title
CN102484714B (zh) 图像处理装置和方法
CN104469376B (zh) 图像处理设备和方法
CN105915908A (zh) 图像处理装置和图像处理方法
CN102648630A (zh) 图像处理设备和方法
CN103583045A (zh) 图像处理装置以及图像处理方法
CN102972026A (zh) 图像处理装置和图像处理方法
CN102474617A (zh) 图像处理装置和方法
CN104380752A (zh) 编码设备和编码方法
CN106713934A (zh) 图像处理设备和图像处理方法
CN102823254A (zh) 图像处理设备和方法
CN102884791A (zh) 图像处理设备和方法
CN103503453A (zh) 编码装置和编码方法、以及解码装置和解码方法
CN102714734A (zh) 图像处理设备和方法
CN102939759A (zh) 图像处理设备和方法
US10728544B2 (en) Encoding device, encoding method, decoding device, and decoding method
CN104255028A (zh) 图像处理设备及图像处理方法
CN104620586A (zh) 图像处理装置和方法
CN102100072B (zh) 图像处理装置和方法
CN103329533A (zh) 图像处理装置和图像处理方法
CN102668570B (zh) 图像处理设备及其方法
CN103636211A (zh) 图像处理设备以及图像处理方法
CN103748878A (zh) 图像处理装置和方法
CN102742274A (zh) 图像处理设备和方法
CN102342107A (zh) 图像处理设备和方法
CN102742273A (zh) 图像处理装置和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160518

Termination date: 20200708

CF01 Termination of patent right due to non-payment of annual fee