CN102474271A - 编码方法、解码方法、编码装置及解码装置 - Google Patents

编码方法、解码方法、编码装置及解码装置 Download PDF

Info

Publication number
CN102474271A
CN102474271A CN2010800342988A CN201080034298A CN102474271A CN 102474271 A CN102474271 A CN 102474271A CN 2010800342988 A CN2010800342988 A CN 2010800342988A CN 201080034298 A CN201080034298 A CN 201080034298A CN 102474271 A CN102474271 A CN 102474271A
Authority
CN
China
Prior art keywords
signal
mentioned
conversion
output signal
inverse transformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010800342988A
Other languages
English (en)
Inventor
柴原阳司
西孝启
笹井寿郎
谷川京子
M·纳罗施克
V·德吕容
S·维特曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN102474271A publication Critical patent/CN102474271A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本发明的编码方法包括变换输入信号的变换步骤(S110a)、将构成变换输出信号的系数值扫描并量化的量化步骤(S120)和将量化系数熵编码的熵编码步骤(S130)；变换步骤(S110a)包括通过用第1变换系数对输入信号进行第1变换而生成第1变换输出信号的第1变换步骤(S112)、和通过对第1变换输出信号的一部分即第1部分信号用第2变换系数进行第2变换而生成第2变换输出信号，输出包括生成的第2变换输出信号和第1变换输出信号中的第1部分信号以外的部分即第2部分信号的变换输出信号的第2变换步骤(S116a)；在扫描、量化及熵编码的至少一个中，对与第2变换输出信号和第2部分信号分别对应的信号进行不同处理。

Description

编码方法、解码方法、编码装置及解码装置
技术领域
本发明涉及将音频、静止图像、及运动图像编码的编码方法，特别涉及包括将输入信号从时空域向频率域变换的变换处理的编码方法。
背景技术
为了将声音数据及运动图像数据压缩，开发了多个声音编码规格、运动图像编码规格。作为运动图像编码规格的例子，可以举出称作H.26x的ITU-T规格及称作MPEG-x的ISO/IEC规格。最新的运动图像编码规格是称作H.264/MPEG-4AVC的规格。
图1是表示以往的编码装置1600的结构的块图。如图1所示，编码装置1600具备变换部1610、量化部1620、和熵编码部1630，将声音数据及运动图像数据以低位速率编码。
变换部1610通过将作为各种数据的输入信号、或者对输入信号施加了某些处理的变换输入信号从时空域向频率域变换，生成减轻了相关的变换输出信号。将所生成的变换输出信号向量化部1620输出。
量化部1620通过将从变换部1610输出的变换输出信号量化，生成总数据量的较少的量化系数。将所生成的量化系数向熵编码部1630输出。
熵编码部1630通过将从量化部1620输出的量化系数使用熵编码算法编码，生成将其余的数据压缩的编码信号。将所生成的编码信号例如记录到记录媒体中，或者经由网络向解码装置等发送。
以下，对变换部1610进行的变换处理详细地说明。
在变换部1610中，将作为变换对象信号(即变换输入信号)的n元矢量(n维信号)作为变换输入(Transform Input)矢量xn输入。变换部1610对变换输入矢量xn进行规定的变换处理(变换T)，作为变换输出信号，输出变换输出(Transform Output)矢量yn(参照式1)。
[数式1]
(式1)yn＝T[xn]
在变换T是线性变换的情况下，如式2所示，变换T可以表现为作为n×n的正方矩阵的变换矩阵(Transform Matrix)A与变换输入矢量xn的矩阵积。另外，式3是用来将变换输出矢量yn使用作为变换矩阵A的各要素的变换系数aik按照要素yi计算的式子，由式1和式2导出。
[数式2]
(式2)T[xn]＝Axn
[数式3]
(式3) y i = Σ k = 1 n a ik x k
变换矩阵A设计为，使其将输入信号的相关减轻、使得能量向变换输出矢量yn的要素中的具有较小的n的要素(所谓的低频带侧)集中。在变换矩阵A的设计中，已知有KLT(Karhunen Loeve Transform：卡亨南-赖佛变换)的变换系数导出方法、或变换方法。
KLT是基于输入信号的统计性质导出最优的变换系数的方法、或者使用导出的最优的变换系数的变换方法。KLT作为能够完全消除输入信号的相关性、能够最高效率地将能量向低频带集中的技术是周知的。
即，KLT是理想的变换处理，能够以良好的编码效率将通过KLT变换后的编码对象信号编码。
发明概要
发明要解决的课题
但是，在上述以往技术所示的KLT中，有运算量较大、并且作为在变换中使用的系数的变换矩阵的数据量较多的问题。具体而言，是以下这样的。
如图2所示，在蝴蝶结构等的高速算法存在的DCT(Discrete CosineTransform：离散余弦变换)中，输入信号的维数(以下也记作输入元数)为M的情况下的乘法次数是M×Log2(M)。相对于此，在KLT中，乘法次数为M×M。例如，DCT的乘法次数在输入元数为4元的情况下是8次，在输入元数为8元的情况下是24次。相对于此，KLT的乘法次数例如在输入元数为4元的情况下是16次(DCT比2倍)、8元的情况下是64次(DCT比2.6倍)、16元的情况下是DCT比4.0倍。由于变换尺寸越大则KLT的运算量的增加趋势越显著，所以KLT与DCT相比有运算量变大的问题。
此外，在KLT中，基于包括输入信号矢量xn的集合SA的统计性质导出变换矩阵A。使用变换矩阵A的变换能够对包含在集合SA中的输入信号矢量xn进行最优的无相关化和向低频带的能量压缩。但是，在输入了包含在具有与在设计时设想的集合SA不同的统计的特性的集合SB中的输入信号矢量的情况下，使用变换矩阵A的变换结果不为最优。相反，如果总是求出最优、每当输入的统计性质的稍稍的变化都生成变换系数，则变换系数的数据量变得庞大。
如以上这样，在KLT等的、使用由基于输入信号的统计性质计算的变换系数构成的变换矩阵的变换中，有运算量较大、并且变换系数的数据量较多的问题，所以在以往的编码时难以使用KLT。
发明内容
所以，本发明是为了解决上述问题而做出的，目的是提供一种能够抑制运算量的增加、及变换系数的数据量的增加、提高编码效率的编码方法及编码装置。进而，本发明的目的是提供一种能够将通过有关本发明的编码方法及编码装置编码的信号正确地解码的解码方法及解码装置。
解决课题的手段
为了解决上述问题，有关本发明的一技术方案的编码方法，包括：变换步骤，通过将输入信号变换，生成变换输出信号；扫描步骤，将构成上述变换输出信号的系数值扫描；量化步骤，通过将包括扫描后的系数值的扫描信号量化，生成量化系数；以及熵编码步骤，通过将上述量化系数进行熵编码，生成编码信号；上述变换步骤包括：第1变换步骤，通过使用第1变换系数对上述输入信号进行第1变换，生成第1变换输出信号；以及第2变换步骤，通过对上述第1变换输出信号的一部分即第1部分信号使用第2变换系数进行第2变换，生成第2变换输出信号，输出包括所生成的第2变换输出信号、和上述第1变换输出信号中的上述第1部分信号以外的部分即第2部分信号的上述变换输出信号；在上述扫描步骤、上述量化步骤、及上述熵编码步骤中的至少1个步骤中，对与上述第2变换输出信号和上述第2部分信号分别对应的信号进行不同的处理。
根据本结构，通过对输入信号进行第1阶段的第1变换，生成第1变换输出信号，对第1变换输出信号的一部分即第1部分信号进行第2阶段的第2变换。由于作为第2变换的对象的第1部分信号与第1变换输出信号相比维数降低，所以能够实现运算量的削减和变换系数的总数的削减。此外，通过第1变换和第2变换的两次变换，能够进行进一步减少相关那样的变换，能够提高编码效率。进而，由于对于与第2变换输出信号和第2部分信号分别对应的信号在扫描、量化及熵编码的至少1个中进行不同的处理，所以能够按照每个信号进行适合的处理，能够实现编码效率的提高、及运算量的降低。
此外，也可以是，在上述熵编码步骤中，对上述量化系数中的与上述第2变换输出信号对应的第1量化系数、和与上述第2部分信号对应的第2量化系数，分别使用不同的概率表进行熵编码。
根据本结构，能够按照每个信号进行适合的处理，能够实现编码效率的提高、及运算量的降低。例如，为了将熵编码时的内部状态变量存储而需要存储器，但可以将该存储器区域在第2变换输出信号和第2部分信号中适当地分配。
此外，也可以是，在上述熵编码步骤中，通过对上述量化系数中的与上述第2变换输出信号对应的第1量化系数、和与上述第2部分信号对应的第2量化系数分别进行不同的上下文导出，将上述量化系数进行熵编码。
根据本结构，能够按照每个信号进行适合的处理，能够实现编码效率的提高、及运算量的降低。例如，为了将熵编码时的内部状态变量存储而需要存储器，但可以将该存储器区域在第2变换输出信号和第2部分信号中适当地分配。
此外，也可以是，在上述扫描步骤中，将构成上述第2变换输出信号的系数值以上述第2变换的强度顺序进行扫描，并且将构成上述第2部分信号的系数值通过锯齿形扫描进行扫描。
根据本结构，能够按照每个信号进行适合的扫描。
此外，也可以是，在上述量化步骤中，将上述扫描信号中的与上述第2变换输出信号对应的第1扫描信号以第1精度量化，将与上述第2部分信号对应的第2扫描信号以比上述第1精度低的第2精度量化。
根据本结构，由于能够提高能量较大的第2变换输出信号的量化精度，所以能够抑制画质的劣化。此外，通过降低能量较小的第2部分信号的量化精度，能够减少代码量。
此外，也可以是，在上述扫描步骤中，能够进行扫描方式的切换；在上述量化步骤中，能够进行量化精度的切换；在上述熵编码步骤中，能够进行熵编码方式的切换；对于在上述扫描步骤、上述量化步骤、及上述熵编码步骤中的切换的频度来说，相比于与上述第2部分信号对应的信号，与上述第2变换输出信号对应的信号要高。
根据本结构，通过使对于能量较大的第2变换输出信号的处理的切换频度比对于能量较小的第2部分信号的处理的切换频度高，能够对第2变换输出信号进行精度更高的处理。即，能够根据第2变换输出信号的特性等频繁地切换处理，能够对第2变换输出信号适应性地执行适当的处理。
此外，有关本发明的一技术方案的解码方法，包括：熵解码步骤，通过将编码信号进行熵解码，生成解码量化系数；逆量化步骤，通过将上述解码量化系数逆量化，生成解码扫描信号；扫描步骤，将构成上述解码扫描信号的系数值扫描；以及逆变换步骤，通过将包括扫描后的系数值的解码变换输出信号逆变换，生成解码信号；上述逆变换步骤包括：第2逆变换步骤，通过使用第2逆变换系数对上述解码变换输出信号的一部分即第2解码变换输出信号进行第2逆变换，生成第1解码部分信号；以及第1逆变换步骤，通过对包括上述第1解码部分信号、和上述解码变换输出信号中的上述第2解码变换输出信号以外的部分即第2解码部分信号的第1解码变换输出信号使用第1逆变换系数进行第1逆变换，生成上述解码信号；在上述熵解码步骤、上述逆量化步骤、及上述扫描步骤中的至少1个步骤中，对与上述第2解码变换输出信号和上述第2解码部分信号分别对应的信号进行不同的处理。
根据本结构，能够以较少的运算量和较少的变换系数将编码信号正确地解码。
此外，也可以是，在上述熵解码步骤中，对上述编码信号中的与上述第2解码变换输出信号对应的第1编码信号、和与上述第2解码部分信号对应的第2编码信号，分别使用不同的概率表将上述编码信号进行熵解码。
此外，也可以是，在上述熵解码步骤中，通过对上述编码信号中的与上述第2解码变换输出信号对应的第1编码信号、和与上述第2解码部分信号对应的第2编码信号分别进行不同的上下文导出，将上述编码信号进行熵解码。
此外，也可以是，在上述扫描步骤中，将构成上述解码扫描信号中的与上述第2解码变换输出信号对应的第1解码扫描信号的系数值以上述第2逆变换的强度顺序进行扫描，并且将构成与上述第2解码部分信号对应的第2解码扫描信号的系数值通过锯齿形扫描进行扫描。
此外，也可以是，在上述逆量化步骤中，将上述解码量化系数中的与上述第2解码变换信号对应的第1解码量化系数以第1精度逆量化，将与上述第2解码部分信号对应的第2解码量化系数以比上述第1精度低的第2精度逆量化。
此外，也可以是，在上述熵解码步骤中，能够进行熵解码方式的切换；在上述逆量化步骤中，能够进行逆量化精度的切换；在上述扫描步骤中，能够进行扫描方式的切换；对于在上述熵解码步骤、上述逆量化步骤、及上述扫描步骤中的切换的频度来说，相比于与上述第2解码部分信号对应的信号，与上述第2解码变换输出信号对应的信号要高。
在以上的哪种解码方法中，都与编码方法的情况同样，能够抑制运算量的增加及变换系数的数据量的增加。此外，能够将通过上述编码方法编码的信号正确地解码。
另外，本发明不仅能够作为编码方法及解码方法实现，还能够作为具备进行包含在该编码方法及解码方法中的处理步骤的处理部的编码装置及解码装置实现。此外，也可以作为使计算机执行这些步骤的程序实现。进而，也可以作为记录有该程序的计算机可读取的CD-ROM(Compact Disc-Read Only Memory)等的记录媒体、以及表示该程序的信息、数据或信号实现。并且，这些程序、信息、数据及信号也可以经由因特网等的通信网络分发。
此外，构成上述各编码装置及解码装置的构成单元的一部分或全部也可以由1个系统LSI(Large Scale Integration：大规模集成电路)构成。系统LSI是将多个构成部集成在1个芯片上而制造的超多功能LSI，具体而言，是包括微处理器、ROM及RAM(Random Access Memory)等而构成的计算机系统。
发明效果
根据本发明，能够抑制运算量的增加及变换系数的数据量的增加、提高编码效率。
附图说明
图1是表示以往的编码装置的结构的块图。
图2是表示DCT与KLT的运算量的比较的图。
图3是表示有关本发明的实施方式1的编码装置的结构的一例的块图。
图4是表示有关本发明的实施方式1的变换处理的一例的流程图。
图5A是概念性地表示有关本发明的实施方式1的变换部的数据流的一例的图。
图5B是概念性地表示有关本发明的实施方式1的变换部的数据流的另一例的图。
图6是表示有关本发明的实施方式1的变换处理的另一例的流程图。
图7是概念性地表示有关本发明的实施方式1的变换部的变换系数的导出的一例的图。
图8是概念性地表示有关本发明的实施方式1的矩阵运算的一例的图。
图9是表示有关本发明的实施方式1的变形例的编码装置的结构的一例的块图。
图10是表示有关本发明的实施方式1的变形例的编码装置的动作的一例的流程图。
图11A是表示有关本发明的实施方式2的解码装置的结构的一例的块图。
图11B是表示有关本发明的实施方式2的解码装置的逆变换部的结构的一例的块图。
图12是表示有关本发明的实施方式2的解码装置的动作的一例的流程图。
图13A是概念性地表示有关本发明的实施方式2的逆变换部的数据流的一例的图。
图13B是概念性地表示有关本发明的实施方式2的逆变换部的数据流的另一例的图。
图14是表示有关本发明的实施方式2的逆变换处理的一例的流程图。
图15是表示有关本发明的实施方式2的变形例的解码装置的结构的一例的块图。
图16是表示有关本发明的实施方式2的变形例的解码装置的动作的一例的流程图。
图17是表示有关本发明的实施方式3的编码装置的结构的一例的块图。
图18是表示有关本发明的实施方式3的编码装置的动作的一例的流程图。
图19是表示有关本发明的实施方式3的变换部的结构的一例的块图。
图20是表示有关本发明的实施方式3的变换部的结构的另一例的块图。
图21是概念性地表示有关本发明的实施方式3的变换部的变换系数的导出的一例的图。
图22是表示有关本发明的实施方式3的变形例的变换部的结构的一例的块图。
图23是表示有关本发明的实施方式3的变形例的编码装置的结构的一例的块图。
图24A是表示有关本发明的实施方式3的变形例的编码装置的结构的一例的块图。
图24B是表示有关本发明的实施方式3的变形例的编码装置的结构的一例的块图。
图25是表示在有关本发明的实施方式3的变形例的编码装置中、保存在存储器中的第2变换系数与划分综合信息的对应关系的一例的图。
图26A是概念性地表示有关本发明的实施方式3的第1变换输出信号与第1部分信号及第2部分信号的关系的图。
图26B是概念性地表示有关本发明的实施方式3的划分综合信息的一例的图。
图26C是概念性地表示有关本发明的实施方式3的划分综合信息的一例的图。
图27是表示有关本发明的实施方式4的解码装置的结构的一例的块图。
图28是表示有关本发明的实施方式4的解码装置的动作的一例的流程图。
图29是表示有关本发明的实施方式4的逆变换部的结构的一例的块图。
图30是表示有关本发明的实施方式4的变形例的解码装置的结构的一例的块图。
图31是表示有关本发明的实施方式4的变形例的解码装置的结构的一例的块图。
图32是表示有关本发明的实施方式5的变换部的结构的一例的块图。
图33是概念性地表示有关本发明的实施方式5的变换部的变换系数的导出的图。
图34是表示有关本发明的实施方式5的变形例的变换部的结构的一例的块图。
图35是表示有关本发明的实施方式5的变形例的变换部的结构的一例的块图。
图36是表示有关本发明的实施方式6的逆变换部的结构的一例的块图。
图37是表示有关本发明的实施方式6的变形例的逆变换部的结构的一例的块图。
图38是表示有关本发明的实施方式6的变形例的逆变换部的结构的一例的块图。
图39是表示概念性地有关本发明的实施方式7的变换部的数据流的一例的图。
图40是概念性地表示有关本发明的实施方式7的分离型的结构的第2变换的数据流的一例的图。
图41是概念性地表示有关本发明的实施方式7的多维的变换输入信号是YUV的信号的情况下的数据流的一例的图。
图42是概念性地表示有关本发明的实施方式7的多维的变换输入信号是空间上相邻的块的信号的情况下的数据流的一例的图。
图43是概念性地表示有关本发明的实施方式8的逆变换部的数据流的一例的图。
图44是概念性地表示有关本发明的实施方式8的逆变换部的数据流的一例的图。
图45是概念性地表示有关本发明的实施方式8的多维的解码变换输出信号是YUV的信号的情况下的数据流的一例的图。
图46是概念性地表示有关本发明的实施方式8的多维的解码变换输出信号是在空间上相邻的块的信号的情况下的数据流的一例的图。
图47是概念性地表示有关本发明的实施方式9的变换部的数据流的一例的图。
图48A是表示有关本发明的实施方式9的变换处理的一例的流程图。
图48B是表示有关本发明的实施方式9的变换处理的一例的流程图。
图49是表示有关本发明的实施方式9的变形例的变换处理的一例的流程图。
图50是表示有关本发明的实施方式9的变形例的变换处理的一例的流程图。
图51A是表示有关本发明的实施方式10的逆变换处理的一例的流程图。
图51B是表示有关本发明的实施方式10的逆变换处理的一例的流程图。
图52是表示有关本发明的实施方式10的变形例的逆变换处理的一例的流程图。
图53是表示有关本发明的实施方式10的变形例的逆变换处理的一例的流程图。
图54A是表示有关本发明的实施方式11的编码装置的结构的一例的块图。
图54B是表示有关本发明的实施方式11的编码装置的、按照信号的处理的差异的一例的图。
图55A是表示有关本发明的实施方式12的解码装置的结构的一例的块图。
图55B是表示有关本发明的实施方式12的解码装置的、按照信号的处理的差异的一例的图。
图56A是表示有关本发明的实施方式13的变换矩阵的一例的图。
图56B是表示有关本发明的实施方式13的绝对平均值的一例的图。
图56C是表示有关本发明的实施方式13的头记述值(即，差)的一例的图。
图56D是表示有关本发明的实施方式13的第2变换矩阵的一例的图。
图56E是表示有关本发明的实施方式13的上三角要素与下三角要素之间的符号的关系的图。
图56F是表示有关本发明的实施方式13的变换矩阵的一例的图。
图57A是表示有关本发明的实施方式14的变换及量化的时间图的一例的图。
图57B是表示有关本发明的实施方式14的变换及量化的时间图的一例的图。
图58A是表示有关本发明的实施方式15的逆量化及逆变换的时间图的一例的图。
图58B是表示有关本发明的实施方式15的逆量化及逆变换的时间图的一例的图。
图59是表示实现内容分发服务的内容供给系统的整体结构图。
图60是表示数字广播用系统的整体结构图。
图61是表示便携电话的外观的图。
图62是表示便携电话的结构例的块图。
图63是表示电视机的结构例的块图。
图64是表示对作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例的块图。
图65是表示作为盘的记录介质的构造例的图。
图66是表示实现各实施方式的运动图像编码方法及运动图像解码方法的集成电路的结构例的块图。
具体实施方式
以下，参照附图对本发明的实施方式进行说明。
(实施方式1)
有关本发明的实施方式1的编码装置具备通过将输入信号变换而生成变换输出信号的变换部、通过将变换输出信号量化而生成量化系数的量化部、和通过将量化系数进行熵编码而生成编码信号的熵编码部。并且，变换部具备通过使用由第1变换系数构成的第1变换矩阵对输入信号进行第1变换而生成第1变换输出信号的第1变换部、和通过对作为第1变换输出信号的一部分的第1部分信号使用由第2变换系数构成的第2变换矩阵进行第2变换、生成第2变换输出信号、将包括所生成的第2变换输出信号、和第1变换输出信号中的作为第1部分信号以外的部分的第2部分信号的上述变换输出信号输出的第2变换部。
换言之，有关本发明的实施方式1的编码装置的特征在于，对输入信号进行2阶段的变换。具体而言，有关本发明的实施方式1的编码装置的特征在于，对输入信号进行第1变换，对作为第1变换后的信号的一部分的第1部分信号进行第2变换。
另外，在本说明书中，有将变换矩阵和变换系数以大致同义而使用的情况。
另外，即使如蝴蝶结构或使用移位和加法的运算的结构那样、是单纯的不用矩阵运算也能够实现的变换，在本说明书中也有用矩阵表现记述的情况。这样用矩阵表现记述并不是将蝴蝶结构或使用移位和加法的运算的结构、或者使用提升构造的结构等、减轻了各种的运算量的变换排除。
图3是表示有关本发明的实施方式1的编码装置100的结构的一例的块图。如图3所示，编码装置100具备变换部110、量化部120、和熵编码部130。
变换部110通过将输入信号(变换输入信号)变换，生成变换输出信号。变换部110如图3所示，具备第1变换部200、划分部210、第2变换部220、和综合部230。
第1变换部200通过使用第1变换矩阵对变换输入信号进行第1变换，生成第1变换输出信号。
划分部210将第1变换输出信号划分为两个部分。具体而言，划分部210将由第1变换部200生成的第1变换输出信号使用划分综合信息划分为第1部分信号和第2部分信号。另外，划分综合信息是表示第1部分信号对应于第1变换输出信号的哪个部分的选择范围信息的一例。
第2变换部220通过使用第2变换矩阵对第1部分信号进行第2变换，生成第2变换输出信号。
综合部230通过将第2变换输出信号与第2部分信号综合，生成变换输出信号。
关于上述变换部110具备的各处理部的详细的动作在后面说明。
量化部120通过将由变换部110生成的变换输出信号量化，生成量化系数。
熵编码部130通过将由量化部120生成的量化系数进行熵编码，生成编码信号。
另外，在编码装置100中，作为编码对象信号而输入作为声音数据、静止图像数据、运动图像数据等的各种数据的输入信号。在变换部110中，作为变换输入信号而输入编码对象信号(Original Signal)、或作为该编码对象信号与基于以前输入的编码对象信号制作的预测信号的差的预测误差信号。一般将预测误差信号作为变换的对象输入的情况较多，但在设想在传送路径中混入错误的情况而不进行预测的情况、或者能量较小的情况下，不进行预测而将输入信号作为变换的对象输入。将这样的变换输入(Transform Input)信号表示为式4所示那样的向量xn。
[数式4]
(式4)xn＝(x1，x2，...，xn)t
接着，对有关本发明的实施方式1的编码装置100的动作的一例进行说明。
图4是表示有关本发明的实施方式1的编码装置100的动作的一例的流程图。此外，图5A及图5B是概念性地表示有关本发明的实施方式1的编码装置100的变换部110的数据流的一例的图。
首先，变换部110通过将变换输入信号xn变换，生成变换输出信号yn(步骤S110)。
具体而言，首先，第1变换部200通过使用第1变换矩阵对变换输入信号xn进行第1变换，生成第1变换输出信号y1 n(步骤S112)。具体而言，第1变换部200将变换输入信号xn变换为第1变换输出信号y1 n，以减轻变换输入信号xn的相关、使能量集中于低频率带。
此时，作为在第1变换中使用的第1变换系数，例如在以前输入的变换输入信号xn的第1变换时，可以使用已经计算出的系数。即，也可以不每当进行第1变换就计算第1变换系数，所以能够减轻在第1变换系数的计算中耗费的运算量。关于计算第1变换系数的情况下的具体的处理在后面说明。
接着，划分部210将第1变换输出信号y1 n划分为第1部分信号y1L m和第2部分信号y1H n-m(步骤S114)。具体而言，划分部210基于划分综合信息划分第1变换输出信号y1 n，以使第1部分信号y1L m的相关能量比第2部分信号y1H n-m的相关能量大。
所谓划分综合信息，是对于划分部210、使其进行将低频率带划分为第1部分信号y1L m、将高频率带划分为第2部分信号y1H n-m的控制那样的信息。划分综合信息也可以是指示以使其根据将能量较大的成分向第1部分信号y1L m、将能量较小的成分向第2部分信号y1H n-m的输入动态地控制的信息。
此时，作为划分综合信息，例如可以使用在以前输入的第1变换输出信号y1 n的划分时已经决定的划分综合信息。即，不需要每当进行划分时决定新的划分综合信息。
将由划分部210划分的第1部分信号y1L m如图5A所示那样一维地重新排列，输入到第2变换部220中。
接着，第2变换部220通过使用第2变换矩阵对第1部分信号y1L m进行第2变换，生成第2变换输出信号y2 m(步骤S116)。具体而言，第2变换部220将第1部分信号y1L m变换为第2变换输出信号y2 m，以减轻第1部分信号y1L m的相关、使能量更集中于低频率带。
此时，作为第2变换系数，例如可以使用在以前输入的第1部分信号y1L m的第2变换时已经计算出的系数。即，也可以不每当进行第2变换时计算第2变换系数，所以能够减少在第2变换系数的计算中耗费的运算量。关于计算第2变换系数的情况下的具体的处理在后面说明。
接着，综合部230通过将第2变换输出信号y2 m与第2部分信号y1H n m综合，生成变换输出信号yn(步骤S118)。具体而言，综合部230将第2变换输出信号y2 m重新排列为排列成一维之前的维，基于划分综合信息，将重新排列后的第2变换输出信号y2 m与第2部分信号y1H n-m综合。
接着，量化部120通过将如以上那样生成的变换输出信号yn量化，生成量化系数(步骤S120)。最后，熵编码部130通过将量化系数进行熵编码，生成编码信号(步骤S130)。
另外，如图5B所示，划分部210也可以不将第1部分信号y1L m重新排列为一维，而原样向第2变换部220输出。在此情况下，第2变换部220通过对二维的第1部分信号y1L m进行第2变换，生成二维的第2变换输出信号y2 m。这里，第2变换部220例如进行非分离型的第2变换。并且，在综合部230中，不进行第2变换输出信号y2 m的重新排列、而将第2变换输出信号y2 m与第2部分信号y1H n-m综合。
此外，在图5A及图5B中，如第2变换的对象是第1变换输出信号的任意的区域(非矩形区域)那样图示，但并不限定于此，也可以是矩形区域。具体而言，在图5A及图5B所示的例子中，第2变换部220将包括第1变换输出信号的低频成分的系数值的、包括矩阵表现的情况下的非矩形区域中包含的信号作为第1部分信号进行第2变换。相对于此，第2变换部220也可以将包括第1变换输出信号的低频成分的系数值的、包括矩阵表现的情况下的矩形区域中包含的系数值的信号作为第1部分信号进行第2变换。
接着，对决定第1变换系数、第2变换系数及划分综合信息的情况下的动作及结构进行说明。
图6是表示有关本发明的实施方式1的变换部110的变换处理的一例的流程图。此外，图7是表示有关本发明的实施方式1的变换部110的变换系数的导出的一例的概念图。
如图7所示，变换部110还具备第1变换系数导出部202、和第2变换系数导出部222。另外，在图7中，没有图示划分部210及综合部230。
首先，图6所示，第1变换系数导出部202基于变换输入信号xn决定第1变换系数(步骤S111)。接着，第1变换部200使用由将由第1变换系数导出部202决定的第1变换系数构成的第1变换矩阵，对变换输入信号xn进行第1变换(步骤S112)。
接着，决定划分综合信息(步骤S113)。划分综合信息如果是控制划分部210以使其进行预先决定的划分的，则从编码装置100的存储器等读出。此外，划分综合信息如果是控制划分部210以使其进行对应于第1变换输出信号y1 n的划分的，则基于第1变换输出信号y1 n，借鉴能量状态的分布而导出划分综合信息。
基于这样决定的划分综合信息，划分部210划分第1变换输出信号y1 n(步骤S114)。
接着，第2变换系数导出部222基于第1部分信号y1L m决定第2变换系数(步骤S115)。接着，第2变换部220使用由所决定的第2变换系数构成的第2变换矩阵，对第1部分信号y1 n进行第2变换(步骤S116)。
最后，综合部230将第2变换输出信号y2 m与划分的第2部分信号y1H n -m综合，作为变换输出信号yn输出(步骤S118)。
使用图7，对第1变换部200的第1变换和第2变换部220的第2变换详细地说明。
在包含许多样本的集合SA中，包含输入到第1变换部200中的变换输入信号xn。第1变换系数导出部202例如使用KLT求出对包含在该集合SA中的许多样本平均地优化的第1变换系数。
通过这样基于包含许多样本的集合SA求出第1变换系数，能够不怎么受各个变换输入信号xn的统计性质影响、即使是有些不同的性质，也能够使用由相同的第1变换系数构成的第1变换矩阵进行第1变换。由此，能够抑制第1变换系数的更新频度，即，如图4所示的处理那样，能够使不进行第1变换系数的决定的情况变多，所以能够削减运算量。
此外，即使是进行第1变换系数的更新的情况，也由于更新前与后的变换系数的各个值的变化量较小，所以能够减小差信息量。因而，在将第1变换系数向解码装置发送的情况下，能够抑制代码量的增加。
另一方面，在第2变换部220中，输入构成第1变换输出信号y1 n的系数值中的、作为相关能量较大的部分的第1部分信号y1L m。第2变换系数导出部222与第1变换系数导出部202同样，例如使用KLT，对在包含第1部分信号y1L m、与集合SA相比样本数较少的集合SC中的样本平均地优化的第2变换系数。
这样，通过使集合SC为比集合SA小的集合，能够敏锐地追随输入的第1变换输出信号y1 n的统计性质的变化，能够进行进一步的相关的减轻和能量压缩。另外，通过做成较小的集合SC，变换系数的更新频度提高，但由于第1部分信号y1L m是第1变换输出信号y1 n的一部分、维数比变换输入信号xn少，所以第2变换矩阵的要素数变少，能够同时实现高效率的变换、和运算量及数据量的削减。
另外，在第2变换部220中，输入构成第1变换输出信号y1 n的系数值中的作为相关能量较大的部分的第1部分信号y1L m，但这可以说是选择了第1变换输出信号y1 n的自相关较高的位置。相对于此，作为类似的方法，也可以选择第1变换输出信号y1 n的相互相关较高的位置作为第1部分信号y1L m。
另外，对于第1部分信号y1L m和第2变换输出信号y2 m，分别由划分部210和综合部230进行维的重新排列，但也可以是第2变换部220进行各自的重新排列的结构。此外，在编码的对象是声音数据等的一维信号的情况下，或者在可以看作一维信号处理的分离型的各维的处理中，由于输入到变换部110中的变换输入信号xn是一维的，所以不需要这些重新排列的处理。
如以上这样，有关本发明的实施方式1的编码装置100的特征在于，对输入信号进行第1变换，对作为第1变换后的信号的一部分的第1部分信号进行第2变换。由此，根据有关本发明的实施方式1的编码装置100，在使用基于输入信号的统计性质计算的变换系数的变换中，能够实现变换的运算量的削减、及变换矩阵的要素数(数据量)的削减。
另外，在有关上述实施方式1的编码装置100中，将第1变换输出信号y1 n划分为第1部分信号y1L m和第2部分信号y1H n-m，在第2变换后综合，但也可以不明示地划分，只要实质地划分就可以。即，只要决定第1变换输出信号y1 n中的、作为执行第2变换的对象的部分就可以。例如，在第2变换时，通过将对于不作为第2变换的对象的要素的行的对角要素设为1、将非对角要素设为0，能够实质上仅对第1部分信号y1L m进行第2变换。在图8中表示矩阵运算的具体例。
如图8(a)那样对4元向量Xn中的3元(X1，X2，X3)乘以3×3的大小的矩阵A3得到的结果、与如图8(b)那样将A3向4×4扩展、在扩展时将对角要素设定为1、将非对角要素设定为0的扩展后的矩阵A4与4元的X的相乘结果的3元的部分一致。
图9是表示有关本发明的实施方式1的变形例的编码装置100a的结构的一例的块图。
编码装置100a具备变换部110a、量化部120、和熵编码部130。另外，对于进行与图3所示的编码装置100相同的动作的处理部赋予相同的标号，以下省略说明。
变换部110a具备第1变换部200和第2变换部220a。即，变换部110a与图3所示的变换部110相比，不具备划分部210和综合部230这一点、还有代替第2变换部220而具备第2变换部220a这一点不同。
第2变换部220a通过使用由基于包含作为第1变换输出信号y1 n的一部分的第1部分信号y1L m的集合的统计特性决定的第2变换系数构成的第2变换矩阵对第1部分信号y1L m进行第2变换，生成第2变换输出信号y2 m。具体而言，第2变换部220a决定构成第1变换输出信号y1 n的系数值中的、作为第2变换的对象的系数值，将由所决定的系数值构成的信号作为第1部分信号y1L m进行第2变换。更具体地讲，第2变换部220a将包括构成第1变换输出信号y1 n的多个系数值中的、值比规定的阈值大的系数值的信号作为第1部分信号y1L m，进行第2变换。
并且，第2变换部220a输出包括所生成的第2变换输出信号y2 m、和第1变换输出信号y1 n中的作为第1部分信号y1L m以外的部分的第2部分信号y1H n-m的变换输出信号yn。
图10是表示图9所示的编码装置100a的动作的一例的流程图。
首先，变换部110a通过将所输入的变换输入信号xn变换，生成变换输出信号yn(步骤S110a)。具体而言，首先，通过第1变换部200对输入的变换输入信号xn进行第1变换，生成第1变换输出信号y1 n(步骤S112)。
接着，第2变换部220a对第1部分信号y1L m进行第2变换(步骤S116a)。例如，第2变换部220a将第1变换输出信号y1 n中的、作为进行第2变换的对象的部分决定为第1部分信号y1L m，对所决定的第1部分信号y1L m使用第2变换矩阵进行第2变换。
接着，量化部120通过将包括第2变换输出信号y2 m的变换输出信号yn量化，生成量化系数Cn(步骤S120)。最后，熵编码部130通过将量化系数Cn进行熵编码，生成编码信号(步骤S130)。
如以上这样，有关实施方式1的变形例的编码装置100a也通过部分地进行2阶段的变换，能够抑制编码处理的运算量的增加、及变换系数的数据量的增加。
(实施方式2)
有关本发明的实施方式2的解码装置具备通过将编码信号进行熵解码而生成解码量化系数的熵解码部、通过将解码量化系数逆量化而生成解码变换输出信号的逆量化部、和通过将解码变换输出信号逆变换而生成解码信号的逆变换部。并且，逆变换部具备通过使用由第2逆变换系数构成的第2逆变换矩阵对作为解码变换输出信号的一部分的第2解码变换输出信号进行第2逆变换、生成第1解码部分信号的第2逆变换部、和对包括第1解码部分信号、和解码变换输出信号中的作为第2解码变换输出信号以外的部分的第2解码部分信号的第1解码变换输出信号使用由第1逆变换系数构成的第1逆变换矩阵进行第1逆变换、生成解码信号的第1逆变换部。
换言之，有关本发明的实施方式2的解码装置的特征在于，对编码信号进行2阶段的逆变换。具体而言，有关本发明的实施方式2的解码装置的特征在于，对作为通过对编码信号进行熵解码及逆量化而生成的解码变换输出信号的一部分的第2解码变换输出信号进行第2逆变换，对包括第2逆变换后的信号、和作为解码变换输出信号的剩余的部分的第2解码部分信号的第1解码变换输出信号进行第1逆变换。
图11A是表示有关本发明的实施方式2的解码装置300的结构的一例的块图。在解码装置300中，输入将声音数据及运动图像数据以低位速率编码的编码信号，解码装置300通过从编码信号将声音数据及运动图像数据解码，生成解码信号。
解码装置300对编码信号进行熵解码、逆量化、逆变换的与编码的处理大体相反的处理。如图11A所示，解码装置300具备熵解码部310、逆量化部320、和逆变换部330。
熵解码部310通过将输入的编码信号进行熵解码，生成解码量化系数。解码量化系数相当于有关实施方式1的量化部120生成的量化系数。
逆量化部320通过将由熵解码部310生成的解码量化系数逆量化，生成解码变换输出信号。解码变换输出信号相当于有关实施方式1的变换部110生成的变换输出信号。
逆变换部330通过将由逆量化部320生成的解码变换输出信号逆变换，生成解码信号。解码信号相当于对有关实施方式1的变换部110输入的变换输入信号。
以下，对有关本发明的实施方式2的逆变换部330详细地说明。图11B是表示有关本发明的实施方式2的解码装置300的逆变换部330的结构的一例的块图。如图11B所示，逆变换部330具备划分部400、第2逆变换部410、综合部420、和第1逆变换部430。
划分部400将解码变换输出信号划分为两个部分。具体而言，划分部400将由逆量化部320生成的解码变换输出信号使用划分综合信息划分为第2解码变换输出信号和第2解码部分信号。
第2解码变换输出信号相当于由有关实施方式1的第2变换部220生成的第2变换输出信号。即，第2解码变换输出信号相当于在编码时被执行第2变换的部分，是作为第2逆变换的对象的部分。此外，第2解码部分信号相当于由有关实施方式1的划分部210划分的第2部分信号。
第2逆变换部410通过对第2解码变换输出信号进行第2逆变换，生成第1解码部分信号。第1解码部分信号相当于由有关实施方式1的划分部210划分的第1部分信号。
综合部420通过将由第2逆变换部410生成的第1解码部分信号与第2解码部分信号综合，生成第1解码变换输出信号。第1解码变换输出信号相当于由有关实施方式1的第1变换部200生成的第1变换输出信号。
第1逆变换部430通过使用第1逆变换矩阵对第1解码变换输出信号进行第1逆变换，生成解码信号。第1解码变换输出信号是包括第2解码变换输出信号和第2解码部分信号的信号。
另外，在解码装置300中，输入通过将作为声音数据、静止图像数据、运动图像数据等的各种数据的信号编码而生成的编码信号。在逆变换部330中，作为解码变换输出信号y∧n而输入通过将该编码信号熵解码、并且逆量化而生成的信号。这里，记号“∧(hat，帽)”表示分别附加在之前的文字之上的记号，在本说明书中，以下将记号“∧(hat，帽)”以同样的意义使用。
接着，对于有关本发明的实施方式2的解码装置300的动作的一例进行说明。
图12是表示有关本发明的实施方式2的解码装置300的动作的一例的流程图。此外，图13A及图13B是概念性地表示有关本发明的实施方式2的解码装置300的逆变换部330的数据流的一例的图。
首先，熵解码部310通过将编码信号进行熵解码，生成解码量化系数(步骤S210)。接着，逆量化部320通过将解码量化系数逆量化，生成解码变换输出信号y∧n(步骤S220)。
接着，逆变换部330通过将解码变换输出信号y∧n逆变换，生成解码信号x∧n(步骤S230)。
具体而言，首先，划分部400基于划分综合信息将解码变换输出信号y∧n划分为两个区域(步骤S232)。即，划分部400将解码变换输出信号y∧n划分为第2解码变换输出信号y∧ 2 m和第2解码部分信号y∧ 1H n-m。第2解码变换输出信号y∧ 2 m是构成解码变换输出信号y∧n的多个系数值中的、作为第2逆变换的对象的部分。第2解码部分信号y∧ 1H n-m是构成解码变换输出信号y∧n的多个系数值中的、不作为第2逆变换的对象的部分。
此时，作为划分综合信息，例如可以使用在以前输入的解码变换输出信号y∧n的划分时使用的划分综合信息。即，不需要每当进行划分时决定新的划分综合信息。
将由划分部400划分的第2解码变换输出信号y∧ 2 m如图13A所示那样重新排列为一维、向第2逆变换部410输入。
接着，第2逆变换部410通过使用第2逆变换矩阵对第2解码变换输出信号y∧ 2 m进行第2逆变换，生成第1解码部分信号y∧ 1L m(步骤S234)。
此时，作为第2逆变换系数，例如可以使用在以前输入的第2解码变换输出信号y∧ 2 m的第2逆变换时已经决定的系数。即，不需要每当进行第2逆变换时决定新的第2逆变换系数。
接着，综合部420通过将第2解码部分信号y∧ 1H n-m与第1解码部分信号y∧ 1L m综合，生成第1解码变换输出信号y∧ 1 n(步骤S236)。具体而言，综合部420将第1解码部分信号y∧ 1L m重新排列为重新排列到一维之前的维，基于划分综合信息将重新排列后的第1解码部分信号y∧ 1L m与第2解码部分信号y∧ 1H n-m综合。
接着，第1逆变换部430通过使用第1逆变换矩阵对第1解码变换输出信号y∧ 1 n进行第1逆变换，生成解码信号x∧n(步骤S238)。
此时，作为第1逆变换系数，例如可以使用在以前输入的第1解码变换输出信号y∧ 1 n的第1逆变换时已经决定的系数。即，不需要每当进行第1逆变换时决定新的第1逆变换系数。
另外，如图13B所示，划分部400也可以不将第2解码变换输出信号y∧ 2 m重新排列为一维、而原样向第2逆变换部410输出。在此情况下，第2逆变换部410通过对二维的第2解码变换输出信号y∧ 2 m进行第2逆变换，生成二维的第1解码部分信号y∧ 1L m。并且，在综合部420中，不进行第1解码部分信号y∧ 1L m的重新排列，将第1解码部分信号y∧ 1L m与第2解码部分信号y∧ 1H n-m综合。
此外，在图13A及图13B中，图示了第2逆变换的对象是解码变换输出信号的任意的区域(非矩形区域)，但并不限定于此，也可以是矩形区域。具体而言，在图13A及图13B所示的例子中，第2逆变换部410将包括解码变换输出信号的低频成分的系数值的、在使用矩阵表现的情况下的非矩形区域中包含的信号作为第2解码变换输出信号进行第2逆变换。相对于此，第2逆变换部410也可以将包括解码变换输出信号的低频成分的系数值的、包括在使用矩阵表现的情况下的矩形区域中包含的系数值的信号作为第2解码变换输出信号进行第2逆变换。
接着，对决定划分综合信息、第1逆变换系数及第2逆变换系数的情况下的动作进行说明。
图14是表示有关本发明的实施方式2的逆变换部330的逆变换处理的一例的流程图。
使用这些对逆变换处理进行说明。
首先，如图14所示，划分部400取得划分综合信息(步骤S231)。并且，划分部400将在上述中说明的解码变换输出信号y∧n划分为包含低频率带的第2解码变换输出信号y∧ 2 m、和包含高频率带的第2解码部分信号y∧ 1H n -m(步骤S232)。具体而言，划分部400基于划分综合信息进行解码变换输出信号y∧n的划分，以使第2解码变换输出信号y∧ 2 m的相关能量比第2解码部分信号y∧ 1H n-m的相关能量大。
另外，划分综合信息与在实施方式1中说明的同样，划分综合信息的取得，既可以将预先设定的保存在存储器等中的信息读出，也可以根据解码变换输出信号y∧ 2 m动态地决定。
接着，第2逆变换部410取得在第2逆变换中使用的第2逆变换系数(步骤5233)。由第2逆变换系数构成的第2逆变换矩阵是在实施方式1中说明的第2变换的变换系数的逆矩阵或与其近似的矩阵。该第2逆变换系数既可以与实施方式1同样例如使用KLT基于包含第2解码变换输出信号y∧ 2 m的集合SD求出，也可以根据在编码装置中的第2变换中使用的第2变换系数求出。
接着，第2逆变换部410通过使用由所决定的第2逆变换系数构成的第2逆变换矩阵对第2解码变换输出信号y∧ 2 m进行第2逆变换，生成第1解码部分信号y∧ 1L m(步骤S234)。并且，综合部420通过将第1解码部分信号y∧ 1L m与第2解码部分信号y∧ 1H n-m综合，生成第1解码变换输出信号y∧ 1 n(步骤S236)。
接着，第1逆变换部430取得在第1逆变换中使用的第1逆变换系数(步骤S237)。由第1逆变换系数构成的第1逆变换矩阵是在实施方式1中说明的第1变换的变换系数的逆矩阵或与其近似的矩阵。该第1逆变换系数既可以与实施方式1同样例如使用KLT基于包含第1解码变换输出信号y∧ 1 n的集合SE求出，也可以根据在编码装置中的第1变换中使用的第1变换系数求出。这样的逆变换系数的计算在以下的实施方式中也可以同样进行。
第1逆变换部430通过使用由所决定的第1逆变换系数构成的第1逆变换矩阵对第1解码变换输出信号y∧ 1 n进行第1逆变换，生成解码信号x∧n(步骤S238)。
另外，集合SD和集合SE处于实施方式1的集合SC和集合SA的关系，集合SD是比集合SE包含的样本数更少的较小的集合。如以上这样，具备有关本发明的实施方式2的逆变换部330的解码装置300与实施方式1同样，能够同时实现高效率的变换、和运算量及数据量的削减。
另外，对第2解码变换输出信号y∧ 2 m和第1解码部分信号y∧ 1L m，分别由划分部400和综合部420进行维的重新排列，但也可以是第2逆变换部410进行各自的重新排列的结构。即，既可以使用分离型的变换，也可以使用图8(b)所示那样的包括对角要素为1、非对角要素为0的行的变换矩阵A4。此外，解码的对象是声音数据等的一维信号的情况、或者将多维信号以分离型构成的情况下的各维的信号可以看作一维信号，所以输入到逆变换部330中的解码变换输出信号y∧n是一维，上述维的重新排列(划分部400中的向一维信号的重新排列、以及综合部420中的向原来的维的重新排列)的处理不再需要。
如以上这样，有关本发明的实施方式2的解码装置300的特征在于，对作为通过对编码信号进行熵解码及逆量化而生成的解码变换输出信号的一部分的第2解码变换输出信号进行第2逆变换，对包括第2逆变换后的信号、和作为解码变换输出信号的其余部分的第2解码部分信号的第1解码变换输出信号进行第1逆变换。由此，根据有关本发明的实施方式2的解码装置300，在使用基于输入信号的统计性质计算的逆变换系数的逆变换中，能够实现变换的运算量的削减、及逆变换矩阵的要素数的削减。此外，如实施方式1所示的编码装置100那样，能够将通过进行包括使用基于输入信号的统计性质计算的变换系数的变换的2阶段的变换生成的编码信号正确地解码。
另外，在有关上述实施方式2的解码装置300中，将解码变换输出信号y∧n划分为第2解码变换输出信号y∧ 2 m和第2解码部分信号y∧ 1H n-m、综合为第2逆变换后，但也可以不明示地划分。即，只要决定解码变换输出信号y∧n中的、作为执行第2逆变换的对象的部分就可以。例如，在第2逆变换时，通过使用图8(b)所示那样的包括对角要素为1、非对角要素为0的行的变换矩阵A4，能够将划分和综合实质上在第2逆变换时进行。
图15是表示有关本发明的实施方式2的变形例的解码装置300a的结构的一例的块图。
解码装置300a具备熵解码部310、逆量化部320、和逆变换部330a。另外，对于进行与图11A所示的解码装置300相同的动作的处理部赋予相同的标号，以下省略说明。
逆变换部330a具备第2逆变换部410a和第1逆变换部430。即，逆变换部330a与图11B所示的逆变换部330相比，不具备划分部400和综合部420这一点、还有代替第2逆变换部410而具备第2逆变换部410a这一点不同。
第2逆变换部410a通过使用第2逆变换矩阵对作为解码变换输出信号y∧n的一部分的第2解码变换输出信号y∧ 2 m进行第2逆变换，生成第1解码部分信号y∧ 1L m。例如，第2逆变换部410a决定构成解码变换输出信号y∧n的系数值中的、作为第2逆变换的对象的系数值，将由所决定的系数值构成的信号作为第2解码变换输出信号y∧ 2 m，进行第2逆变换。更具体地讲，第2逆变换部410a将包括构成解码变换输出信号y∧n的多个系数值中的、值比规定的阈值大的系数值的信号作为第2解码变换输出信号y∧ 2 m，进行第2变换。
例如，第2逆变换部410a通过使对解码变换输出信号y∧n中的作为不为第2逆变换的对象的部分的第2解码部分信号y∧ 1H n-m乘以的第2逆变换系数的对角要素为1、使非对角要素为0，实质上能够仅对第2解码变换输出信号y∧ 2 m进行第2逆变换。
图16是表示图15所示的解码装置300a的动作的一例的流程图。
首先，熵解码部310通过将输入的编码信号进行熵解码，生成解码量化系数C∧n(步骤S210)。接着，逆量化部320通过将解码量化系数C∧n逆量化，生成解码变换输出信号y∧n(步骤S220b)。
接着，逆变换部330a通过将解码变换输出信号y∧n逆变换，生成解码信号(步骤S230a)。具体而言，首先，第2逆变换部410a通过将解码变换输出信号y∧n中的是作为第2逆变换的对象的部分的第2解码变换输出信号y∧ 2 m逆变换，生成第1解码部分信号y∧ 1L m(S234a)。并且，第2逆变换部410a将包括所生成的第1解码部分信号y∧ 1L m、和解码变换输出信号y∧n中的作为不为第2逆变换的对象的部分的第2解码部分信号y∧ 1H n-m的第1解码变换输出信号y∧ 1 n输出。
最后，第1逆变换部430通过使用第1逆变换矩阵对第1解码变换输出信号y∧ 1 n进行第1逆变换，生成解码信号x∧n(S238)。
如以上这样，通过有关实施方式2的变形例的解码装置300a，也能够将为了抑制运算量的增加及逆变换系数的数据量的增加而进行了2阶段的变换的编码信号解码。
(实施方式3)
有关本发明的实施方式3的编码装置及编码方法具备将声音数据、静止图像数据、运动图像数据等作为编码对象的信号通过多种变换的组合进行变换的变换部及变换方法。有关本发明的实施方式3的编码装置及编码方法的特征在于，作为变换输入信号，对作为编码对象信号(输入信号)与预测信号的差的预测误差信号进行2阶段的变换。
图17是表示有关本发明的实施方式3的编码装置500的结构的一例的块图。如图17所示，有关本发明的实施方式3的编码装置500具备减法器505、变换部510、量化部120、熵编码部130、逆量化部540、逆变换部550、加法器560、存储器570、预测部580、和控制部590。另外，对于与图3所示的有关实施方式1的编码装置100相同的结构赋予相同的标号，以下省略说明。
减法器505计算作为编码对象的输入信号与根据以前的编码对象信号生成的预测信号的差(预测误差)。将表示计算出的预测误差的信号作为变换输入信号输入到变换部510中。
变换部510与在实施方式1中说明的变换部110同样，对变换输入信号进行2阶段的变换。即，变换部510通过对变换输入信号进行第1变换，生成第1变换输出信号，通过对作为生成的第1变换输出信号的一部分的第1部分信号进行第2变换，生成第2变换输出信号。并且，变换部510将包括所生成的第2变换输出信号、和第1变换输出信号中的作为第1部分信号以外的部分的第2部分信号的变换输出信号向量化部120输出。关于变换部510的详细情况在后面说明。这里，在变换部510中，作为变换输入信号而输入表示预测误差图像的信号。
逆量化部540通过将由量化部120生成的量化系数逆量化，生成解码变换输出信号。解码变换输出信号相当于由变换部510生成的变换输出信号。
逆变换部550通过将由逆量化部540生成的解码变换输出信号逆变换，生成解码变换输入信号。解码变换输入信号相当于由减法器505生成的变换输入信号。
加法器560通过将由逆变换部550生成的解码变换输入信号、与根据以前的编码对象信号生成的预测信号相加，生成解码信号。
存储器570是用来将所生成的解码信号保存的存储部的一例。
预测部580通过使用解码信号进行编码对象信号的预测，生成预测信号。具体而言，预测部580基于规定的编码参数，生成包含在作为编码对象的输入图像中的编码对象块的预测像素(预测信号)。在减法器505中，生成作为编码对象块的像素与预测像素的差的预测误差图像。
控制部590基于局部信息，输出用来控制变换部510的动作的控制信号。局部信息例如是与变换系数及划分综合信息建立了对应的索引、或表示预测模式等的信息。控制部590基于这些局部信息决定变换系数及划分综合信息，将表示所决定的系数及信息的控制信息向变换部510输出。
在有关本发明的实施方式3的编码装置500中，基于从控制部590的控制，在第2变换时，作为第1部分信号，在时间或空间上适应性地决定第1变换输出信号中的作为第2变换的对象的范围、和第2变换系数的至少其一。例如，基于规定的编码参数，作为第1部分信号，决定第1变换输出信号中的作为第2变换的对象的范围、和第2变换系数的至少其一。
另外，存储器570作为能够进行编码对象信号与由其以前的对象信号生成的预测信号的比较的延迟部动作。通过量化部120的量化处理将信息量压缩(发生信息的损失)，所以为了将编码在编码信号中的信息取出，逆量化部540通过将量化系数逆量化，生成解码变换输出信号，逆变换部550通过将解码变换输出信号逆变换，生成解码变换输入信号。
另外，逆变换部550的逆变换处理需要变换部510的变换处理与逆变换的关系成立。但是，通过用来抑制运算所需要的位长的乘法的简单化及四舍五入处理的插入，也有变换处理及逆变换处理不能严格地用矩阵表现的情况，此外，也有设计为、使得变换部510的变换处理和逆变换部550的逆变换处理不满足严格的逆变换的关系的情况。
另外，在将声音或音频的数据编码的情况下，输入信号是一维，在将静止图像或运动图像的数据编码的情况下，输入信号为二维。
接着，使用图18，说明有关本发明的实施方式3的编码装置500执行的编码处理。图18是表示有关本发明的实施方式3的编码装置500的动作的一例的流程图。
首先，如果对编码装置500输入编码对象信号(输入信号)，则预测部580使用保存在存储器570中的已编码信号(解码信号)生成预测信号。并且，减法器505生成作为输入信号与预测信号的误差的预测误差信号(步骤S305)。另外，在不是预测误差信号、而将输入信号直接变换的情况下，将生成步骤S305的预测误差信号的步骤省略。
将通过减法器505生成的预测误差信号或输入信号输入到变换部510中。将向变换输入的元的向量、即预测误差信号作为变换输入(TransformInput)信号xn(参照式4)。另外，由于在许多压缩编码中进行预测，所以变换输入信号xn是预测误差(Prediction Error)的情况较多，但在设想在传送路径中混入错误的情况而不进行预测的情况下，或者在能量足够小的情况下，也有不进行预测、而将编码对象信号(Original Signal)、即输入信号直接向变换输入的情况。
变换部510通过将变换输入信号xn用某个变换T变换，生成变换输出(Transform Output)信号yn(参照式5)(步骤S110)。此外，变换输出信号(变换输出向量)yn也有单称作系数(Coefficient)的情况。
[数式5]
(式5)yn＝T[xn]
接着，量化部120通过将变换输出信号yn量化，生成量化系数(Quantized Coefficient)Cn(步骤S120)。量化部120进行的量化处理是在加上四舍五入偏差a后同样用量化步长s除的处理，如式6那样表现。将a及s在编码装置500中为了高效率编码而控制。
[数式6]
(式6)
Figure BDA0000133640920000291
接着，熵编码部130通过将量化系数Cn进行熵编码，生成编码信号(步骤S130)。将生成的编码信号向解码装置发送。
接着，逆量化部540通过如式7那样对量化系数Cn进行逆量化，生成解码变换输出(Decoded Transform Output)信号y∧n(步骤S340)。
[数式7]
(式7) y ^ n = sC n
另外，在将数据量大幅削减、从而不能向原来的数据完全复原的有损(lossy)编码中，由于通过量化处理而丢失信息量，所以解码变换输出信号y∧n与变换输出信号yn不一致。即，在解码变换输出信号y∧n中，混入了因量化带来的畸变，所以在变换前进行预测的情况下，也有将解码变换输出信号y∧n称作量化预测误差(Quantized Prediction Error)的情况。另外，在即使是有损编码的情况也能够用充分的数据量编码的情况下，信息没怎么丢失，y∧n与yn大致一致。
接着，逆变换部550通过如式8那样对解码变换输出信号y∧n进行逆变换T-1，生成解码变换输入向量x∧n(步骤S350)。
[数式8]
(式8) x ^ n = T - 1 [ y ^ n ]
接着，加法器560通过将上述预测信号与解码变换输入信号相加，生成解码信号。并且，加法器560将所生成的解码信号保存到存储器570中，使得在下个定时能够参照(步骤S360)。
另外，变换T及逆变换T-1分别用式9及式10所示那样的与n×n的大小的变换矩阵A及B的矩阵积表现。
[数式9]
(式9)T[xn]＝An×nxn
[数式10]
(式10) T - 1 [ y ^ n ] = B n × n y ^ n
在一般的变换(所谓的正交变换)中，变换矩阵B是A的逆矩阵，是转置矩阵(B＝AT)。但是，并不限定于此，为了抑制编码装置500内的逆变换T-1的运算量，也有B不为A的严格的逆矩阵或严格的转置矩阵的情况。此外，也可以是称作双正交(Biorthogonal)变换的、不严格地正交的变换A及其逆变换B。
式9中的、对于变换输入xn的变换矩阵An×n的矩阵积可以用式11表现。变换矩阵的乘法次数及变换矩阵的要素数是n∧2。
[数式11]
(式11) y i = Σ k = 1 n a ik x k
接着，对有关本发明的实施方式3的变换部510的结构及动作进行说明。图19是表示有关本发明的实施方式3的变换部510的详细的结构的一例的块图。
如图19所示，变换部510具有第1变换部200、第1存储器601、第1变换系数导出部202、划分部210、第2存储器611、划分综合信息计算部612、第2变换部220、第3存储器621、第2变换系数导出部222、和综合部230。另外，对于与图3所示的变换部110相同的结构赋予相同的标号。
将输入到变换部510中的变换输入信号xn输入到第1存储器601和第1变换部200中。
第1存储器601是用来存储关于多个变换输入信号xn的信息的存储器。
第1变换系数导出部202根据第1存储器601的信息生成构成在第1变换T1中使用的第1变换矩阵A1 n的第1变换系数，将所生成的第1变换系数向第1变换部200输出。
第1变换部200通过对输入的变换输入信号xn使用由通过第1变换系数导出部202计算出的第1变换系数构成的第1变换矩阵A1 n进行第1变换T1，生成第1变换输出信号y1 n。将第1变换输出信号y1 n输入到第2存储器611及划分部210中。
第2存储器611是用来存储关于多个第1变换输出信号y1 n的信息的存储器。
划分综合信息计算部612根据第2存储器611的信息生成划分综合信息，将所生成的划分综合信息向划分部210及综合部230输出。划分综合信息是将第1变换输出信号y1 n中的低频带的成分向第1部分信号y1L m、将高频带的成分向第2部分信号y1H n-m划分那样的划分的控制信息。此外，也可以是将能量较大的成分向第1部分信号y1L m、将能量较小的成分向第2部分信号y1H n-m划分那样的划分的信息。
划分部210将第1变换输出信号y1 n基于划分综合信息，向m元的第1部分信号y1L m、和n-m元的第2部分信号y1H n-m划分(这里，m是比n小的自然数)。即，划分部210将由n个系数值构成的第1变换输出信号y1 n划分为由m个系数值构成的第1部分信号y1L m、和由n-m个系数值构成的第2部分信号y1H n-m。将第1部分信号y1L m输入到第3存储器621及第2变换部220中。此外，将第2部分信号y1H n-m输入到综合部230中。
第3存储器621是用来存储关于多个第1部分信号y1L m的信息的存储器。
第2变换系数导出部222根据第3存储器621的信息生成构成在第2变换T2中使用的第2变换矩阵A2 m的第2变换系数，将所生成的第2变换系数向第2变换部220输出。
第2变换部220通过使用由第2变换系数导出部222计算出的第2变换系数构成的第2变换矩阵A2 m、对第1部分信号y1L m进行第2变换T2，生成第2变换输出信号y2 m。
综合部230通过将第2变换输出信号y2 m和第2部分信号y1H n-m按照划分综合信息综合，生成变换输出信号yn。另外，所谓综合，是划分的相反的处理。
由第2变换系数导出部222决定的第2变换系数是对第1部分信号y1L m最优地设计的变换系数。因此，使用第2变换矩阵A2 m的第2变换T2是能够将残留在第1变换输出信号y1 n中的冗余性削减的变换，带来有利于编码信号的压缩的效果。
此外，划分部210通过将第1变换输出信号y1 n划分，能够减少向第2变换部220的输入信号(即第1部分信号)的元数(系数值的个数)。通过元数减少，能够得到第2变换部220的运算量的削减效果、以及第2变换部220的变换系数的总数(即数据量)的削减效果。
这里，对由第1变换系数导出部202进行的第1变换系数的生成、以及由第2变换系数导出部222进行的第2变换系数的生成进行说明。在这些变换系数的生成中，例如使用上述KLT。
KLT(Karhunen-Loeve变换：卡亨南-赖佛变换)是基于包含输入信号的某个集合的统计性质、设计能够使输入信号完全无相关化的向频率区域的变换的方法。具体而言，是求出输入信号的方差协方差矩阵(Variance-covariance matrix)的非对角要素为0那样的变换，这等于解方差协方差矩阵的特征值问题。导出的特征向量为基函数，特征值为变换系数的各成分的轴的大小(即能量)。将变换系数从特征值的值(方差或能量)较大的轴向较小的轴排列。通过以该顺序排列，例如如果设变换输入信号是n元的向量，则变换输出信号的n元的向量中的第i个要素(1≤i＜n)与第j个(i＜j≤n)要素的能量相比、第i个要素的能量比第j个要素的能量大(可以设计变换系数以使其变大)。
在本发明中，当使用低频率带及高频率带的表现时，它们分别对应于具有相对较小的号码的要素、具有相对较大的号码的要素，并没有严格地规定在哪里划分。本发明以在变换及逆变换等中耗费的资源(运算量及使用存储器量)的削减为主要的目的，但在资源和变换性能中在广义上存在权衡的关系，根据使用本发明的方法及装置的目的而设定。
但是，如在以往技术问题中言及那样，如果输入具有与在导出变换系数时参照的集合不同的统计性质的集合，则使用导出的变换系数的变换变得不为最优。相对于此，如果根据输入信号的性质、每当输入了输入信号时导出变换系数，则变换系数的数据量变得庞大。
对于该问题，在本实施方式中，使用多个变换。即，在第1变换中，使用由根据更大的集合SA的统计性质最优地导出的变换系数构成的变换矩阵进行变换，在第2变换中，使用由根据更小的集合SB的(第1变换输出信号的)统计性质最优地导出的变换系数构成的变换矩阵进行变换。
另外，有关本发明的实施方式3的编码装置500也可以不具备在导出第2变换系数时解析输入信号的特征的局部集合判断部。即，有关本发明的实施方式3的编码装置500也可以代替变换部510而具备图20所示的变换部510a。变换部510a如图20所示，具备局部集合判断部623。
局部集合判断部623解析变换输入信号xn的特征，基于解析结果进行第2变换系数导出部222的控制。另外，在图20中没有图示，但局部集合判断部623也可以进行图19所示的划分综合信息计算部612的控制。关于局部集合判断部623的具体的处理，使用图21在以下进行说明。
图21是概念性地表示有关本发明的实施方式3的变换部510a的变换系数的导出的一例的图。
设想变换输入信号xn属于较大的集合SA、并且属于更小的集合SB(1)和SB(2)的某个的情况。另外，在图21中，图示了集合SB包含在集合SA中，但在变换输入信号xn属于集合SB、不属于集合SA那样的、集合SB不包含在集合SA中的情况下也能够采用同样的导出方法。
第1变换部200使用的第1变换系数由第1变换系数导出部202生成。第1变换系数导出部202基于包含更多的样本的集合SA将第1变换系数优化。
由于集合SA包含更多的样本，所以将第1变换系数平均地优化，能够使其不怎么受各个变换输入的差异的影响。由此，能够抑制第1变换系数的更新频度。此外，在进行第1变换系数的更新的情况下，变换系数的各个值的变化量也变小，所以能够减少差信息量。因而，能够削减将第1变换系数向解码装置发送的情况下的代码量。
第2变换系数分别为变换输入到集合SB(1)和SB(2)中而进行优化来导出。在第2变换部220中，作为第2变换的对象的第1部分信号的元数通过划分而相比变换输入信号的元数减少了，所以能够削减运算量和变换系数的数据量。即，作为第2变换的对象的向第2变换部220的输入信号不是包含在集合SB(1)、SB(2)中的变换输入信号xn本身，是作为第1变换输出信号y1 n的一部分的第1部分信号y1L m。
局部集合判断部623通过将变换输入信号xn的特征解析，检测小集合的统计性的变动。如果检测到变动，则决定属于小集合的多个样本，向第2变换系数导出部222通知。或者，局部集合判断部623也可以判断变换输入信号xn属于预先设定的小集合的哪个。
向第2变换部220的输入信号(即第1部分信号y1L m)有取决于预测信号的生成方法的情况。因此，局部集合判断部623也可以根据预测信号的生成方法(预测信号模式)、例如H.264的面内预测的方向，在构成第1变换输出信号y1 n的多个系数值中，作为第1部分信号y1L m而判断作为第2变换的对象的范围。或者，局部集合判断部623也可以预先设定N个小集合、基于评价属于哪个最能够减轻信息量的指标，作为第1部分信号y1L m而判断作为第2变换的对象的范围。
第2变换系数导出部222基于由局部集合判断部623检测到的统计性的变化的指示，对于属于小集合的多个样本的第1变换输出信号y1 n，导出设计为使得信息量为最小的第2变换系数。或者，第2变换系数导出部222将预先计算出的变换系数从存储器调出。
此时，划分综合信息计算部612与变换系数同样进行划分综合信息的决定。或者，划分综合信息计算部612也可以将预先计算出的划分综合信息从存储器调出。
分别对更小的集合SB(1)、SB(2)(的第1变换输出信号)最优地设计的第2变换系数能够追随于统计性质的变化，带来无相关化与能量压缩的效果的叠加效果。进而，第2变换由于通过划分部210减轻了输入信号的维数，所以能够减轻变换矩阵的要素数及变换的运算量，所以是高效率的。
作为更小的集合的集合SB是包含发生了局部性的变化的变换输入信号xn的集合，例如是将集合SA在时间轴或空间区域中局部地划分那样的集合。或者，集合SB在短时间中被输入具有与属于集合SA的变换输入信号xn不同的统计性质的变换输入信号的情况下是该具有不同的性质那样的集合。这样，即使是在短时间中输入了不包含在集合SA中的那样的属于集合SB的变换输入信号xn的情况，也通过基于较大的集合SA决定第1变换系数、基于较小的集合SB决定第2变换系数，能够实现在对应于变化的同时减轻了运算量的高效率的变换。
具体而言，局部集合判断部623基于规定的编码参数决定变换系数及划分综合信息的至少1个。编码参数表示预先设定的多个预测方法中的1个预测方法。例如，局部集合判断部623也可以根据作为编码参数的一例的面内预测或面间预测的预测模式来切换变换系数及划分综合信息。或者，也可以在编码流中明示地多路复用从多个变换系数和划分综合信息的集中选择哪个。
此外，在根据面内预测或面间预测模式切换变换系数及划分综合信息时，也可以将多个预测模式与1个变换系数和划分综合信息建立对应。划分综合信息是变化较少的信息，所以也可以与变换系数相比减少切换的种类、减轻与划分综合信息关联的存储器使用量。
另外，在图19中，例示了具备用来将第1变换系数、划分综合信息、第2变换系数导出的存储器、及导出部的结构，但也可以不是完全的最优解，而将它们的某1个或全部基于经验或准最优的方法在事前导出。图22是表示有关本发明的实施方式3的变换部的另一例的块图。
图22所示的变换部510b与图19所示的变换部510相比，不具备第1存储器601、第2存储器611、第3存储器621、第1变换系数导出部202、第2变换系数导出部222及划分综合信息计算部612这一点不同。即，变换部510b从外部取得预先在事前导出的第1变换系数、第2变换系数及划分综合信息，基于所取得的系数及信息进行变换及划分。
另外，在第2变换中，也可以有通过减少对于高频带侧的信号的变换系数的乘法系数(即，降低变换系数的有效精度)、或者设为零、来削减对于高频带信号的运算量的结构。在此情况下，划分部和综合部没有明示地出现在块图中(参照图9)，但如果是不出现的结构也可以说符合本发明的结构。
图23是表示具备图20所示的变换部510a的编码装置500a的结构的块图。图23所示的编码装置500a与图17所示的编码装置500相比，代替变换部510而具备变换部510a这一点、和不具备控制部590这一点不同。
有关本发明的实施方式3的变形例的变换部510a的变换处理的流程与实施方式1是同样的。具体而言，如图6所示，首先，第1变换系数导出部202决定第1变换系数(步骤S111)。接着，第1变换部200通过使用由所决定的第1变换系数构成的第1变换矩阵对变换输入信号进行第1变换，生成第1变换输出信号(步骤S112)。
接着，划分综合信息计算部612(未图示)或局部集合判断部623决定划分综合信息(步骤S113)。并且，划分部210将第1变换输出信号向第1部分信号和第2部分信号划分(步骤S110)。此时，划分部210进行划分以使第1部分信号的相关能量比第2部分信号的相关能量大。
接着，局部集合判断部623解析第1部分信号的局部性的集合的统计性质，第2变换系数导出部222基于解析结果决定第2变换系数(步骤S115)。接着，第2变换部220通过使用由对第1部分信号决定的第2变换系数构成的第2变换矩阵进行第2变换，生成第2变换输出信号(步骤S116)。
最后，综合部230通过将第2部分信号与第2变换输出信号综合，生成变换输出信号(步骤S118)。另外，步骤S111、步骤S113、步骤S115也可以通过别的方法决定、不作为本实施方式的一部分动作。
如以上所示，根据有关本发明的实施方式3的编码装置及编码方法，由于根据变换输入信号适应性地变更变换系数及划分综合信息，所以能够在抑制变换处理的运算量和变换系数的数据量的同时，适应于输入信号的统计性质的变化。
以下，使用图24A及图24B对有关本发明的实施方式3的变形例的编码装置进行说明。
在本发明的实施方式3的变形例中，如图24A所示的编码装置500c那样，也可以使用由预先设定的变换系数(预先导出的变换系数)构成的规定的变换矩阵进行第2变换。图24A是表示有关本发明的实施方式3的变形例的编码装置500c的结构的一例的块图。
如图24A所示，编码装置500c与图23所示的编码装置500a相比，代替变换部510a而具备变换部510c这一点、和新具备存储器624这一点不同。
变换部510c与变换部510a相比，代替第2变换系数导出部222及局部集合判断部623而具备第2变换系数导出部222c及局部集合判断部623c这一点不同。第2变换系数导出部222c基于从局部集合判断部623c输出的导出控制信号生成第2变换系数。将所生成的第2变换系数保存到存储器624中。
存储器624是用来存储至少1个第2变换系数的存储部的一例。存储器624将从存储的至少1个第2变换系数中、基于从局部集合判断部623c输出的选择信号选择的第2变换系数向第2变换部220和熵编码部130输出。
例如，存储器624将索引与第2变换系数建立对应存储。选择信号是表示索引的信号，存储器624输出与选择信号表示的索引建立了对应的第2变换系数。
具体而言，存储器624将具有相互不同的系数值的组的多个变换矩阵作为第2变换系数的候选存储。在多个变换矩阵中，1对1地建立对应而存储有作为编码参数的一例的索引信息。并且，在第2变换时，将由选择信号表示的索引信息指定的变换矩阵决定为第2变换系数。
图25表示在有关本发明的实施方式3的变形例的编码装置中、保存在存储器中的第2变换系数与划分综合信息的对应关系的一例的图。如上所述，在存储器624中，建立对应存储有索引和第2变换系数。此外，如图25所示，在存储器624中，还建立对应而存储有选择范围信息(这里是划分综合信息)和索引。
具体而言，首先，局部集合判断部623c基于输入信号的特性，或者基于压缩的信息量的推测值的大小，输出用来选择使用预先设定的变换系数、及划分综合信息的哪个的选择信号。基于输出的选择信号，存储器624将预先设定的变换系数向第2变换部220输出。此外，在存储器624还保持有划分综合信息的情况下，将划分综合信息向划分部210及综合部230输出(在图24A中没有表示)。
选择信号根据需要而采用信息量的压缩(例如，输出与根据周边相邻块的索引预测的预测索引的差信号)，在熵编码部130中多路复用在编码信号中。
此外，局部集合判断部623c也有输出向第2变换系数导出部222c指示以使其导出新的第2变换系数的导出控制信号的情况。此时，将新导出的第2变换系数保存到存储器624中。此外，局部集合判断部623c也可以通过对划分综合信息计算部(未图示)输出导出控制信号，计算新的划分综合信息。另外，划分综合信息的计算也可以由第2变换系数导出部222c进行。
将新的第2变换系数和划分综合信息根据需要而压缩信息量、在熵编码部130中多路复用在编码信号中。换言之，图24A所示的有关实施方式3的变形例的编码装置500c将第2变换系数及划分综合信息向解码装置输出。另外，也可以不是将第2变换系数本身输出、而通过将表示索引的选择信号发送、在解码装置侧选择解码装置存储的第2变换系数。
另外，如上述那样，变换输入信号是输入信号与预测信号的差，所以取决于预测信号的特性。也可以想到在预测信号能够良好地预测的情况、和不能的情况中、变换输入信号的特性不同的情况，所以局部集合判断部623c也可以根据变换输入信号的大小来切换第2变换系数和划分综合信息。
此外，也可以如图24B所示的编码装置500d那样、基于表示预测方法的种类的信息(预测模式信号)控制第2变换系数的导出。图24B是表示有关本发明的实施方式3的变形例的编码装置500d的结构的一例的块图。
如图24B所示，编码装置500d与图24A所示的编码装置500c相比，代替变换部510c而具备变换部510d这一点、和新具备预测控制部585这一点不同。此外，变换部510d与变换部510c相比，代替局部集合判断部623c而具备局部集合判断部623d这一点不同。
预测控制部585决定预测模式信号，向预测部580输出，并向局部集合判断部623d输出。预测模式信号根据需要而取与根据附近块的信息的推测值的差等，将信息量压缩，在熵编码部130中向编码信号多路复用。
局部集合判断部623d基于预测模式信号，输出用来选择预先设定的变换系数和划分综合信息的选择信号。基于选择信号，存储器624将预先设定的第2变换系数向第2变换部220、将划分综合信息向划分部210及综合部230输出。
此外，局部集合判断部623d也有输出向第2变换系数导出部222c指示以使其导出新的第2变换系数的导出控制信号的情况。此时，将新导出的第2变换系数保存到存储器624中。此外，局部集合判断部623d也可以通过对划分综合信息计算部(未图示)输出导出控制信号、来计算新的划分综合信息。另外，划分综合信息的计算也可以由第2变换系数导出部222c进行。
将新的第2变换系数和划分综合信息根据需要而压缩信息量，在熵编码部130中多路复用到编码信号中。
另外，局部集合判断部623d也可以根据变换输入信号的大小来切换第2变换系数和划分综合信息。另外，预测的方法有多种，其1个由预测模式信号指示。预测既可以是帧间预测(间预测)也可以是帧内预测(内预测)。帧内预测也可以是将已编码(已解码)的周边相邻像素在规定的方向上外插而预测的方法。
此外，划分综合信息也可以基于生成预测信号的预测方法的角度(在帧内预测的情况下是规定的外插角度)决定，以使其能够面向该角度进行最优化的划分综合。关于划分综合信息，使用图26A～图26C说明概念。
图26A表示4x4块的第1变换输出信号，左上表示低频带的例子。一般而言，通过将能量容易集中的低频带侧作为第1部分信号、将其以外的高频带部分作为第2部分信号、对第1部分信号进行第2变换，再进行压缩。另外，这里，为了说明，将第1变换输出信号的NxN个要素属于哪个部分定义为Gij＝{0，1}(i是垂直下方向，j是水平右方向，ij都以1为起点，如果属于第1部分信号则为0，如果属于第2部分信号则为1)。
图26B是表示从多个划分综合信息中基于内预测的预测方向选择划分综合信息的例子的概念图。以右上方向为角度的基点，以将0到π[rad]的范围划分为几个的角度单位设计划分综合信息。图26B是定义4个划分综合信息的例子。
具体而言，设计角度是水平的S0设想了强度向左侧(在水平方向上DC)集中的情况，将G0j优先地设为0(即第1部分信号)。设计角度是垂直的S1设想了强度向上侧(在垂直方向上DC)集中的情况，将Gj0优先地设为0(即第1部分信号)。设计角度是倾斜的S1和S3例如将Gij(i＜＝1、j＜＝1)优先地设为0。
图26C是在选择4x4的块中的4要素作为第1部分信号的情况下、准备8种角度、即8种划分综合信息的情况下的例子。如该例所示，在角度与构成第1部分信号的系数值的位置中可以定义关系性，能够以任意的角度决定构成第1部分信号的系数值的位置。
这样，在第2变换时，在编码参数表示向规定的方向的外插的预测方法的情况下，将构成第1变换输出信号的多个系数值中的、包括该规定的方向的系数值的范围决定为第2变换的对象。所谓包括规定的方向的系数值的范围，具体而言，是包括规定的方向的起点侧的系数值、即外插方向的起点侧的系数值的范围。
例如，在编码参数表示向略水平方向(右方向)的外插的预测方法的情况下，将构成第1变换输出信号的多个系数值中的、包括横向的系数值(具体而言是左侧的系数值)的范围决定为第2变换的对象。此外，在编码参数表示向大致垂直方向(下方向)的外插的预测方法的情况下，将构成第1变换输出信号的多个系数值中的、包括纵向的系数值(具体而言是上侧的系数值)的范围决定为第2变换的对象。
换言之，在作为第2变换的对象而决定m个系数值(要素)的情况下，从构成第1变换输出信号的n个系数值中，决定更接近于外插方向的起点侧的m个系数值。更具体地讲，包括左上的系数值、和接近于外插方向的起点侧的系数值。
例如，在如图26B的S0那样选择了向右方向的外插方向的情况下，由于该外插方向的起点是左侧，所以选择接近于左侧的m个系数值作为第1部分信号。同样，在如图26B的S1那样选择了向右下方向的外插方向的情况下，由于该外插方向的起点是左上侧，所以选择接近于左上侧的m个系数值作为第1部分信号。进而，在如图26B的S2那样选择了向下方向的外插方向的情况下，由于该外插方向的起点是上侧，所以选择接近于上侧的m个系数值作为第1部分信号。
另外，在如图26B的S3、或图26C的S0、S1、S7那样、外插方向的起点侧是左下或右上等的情况下，作为第2变换的对象而决定m个系数值(要素)的情况下，决定m个系数值，以使其包括左上的系数值、接近于外插方向的起点侧的系数值、和沿着外插方向的系数值。例如，图26C的S7比S6向左偏差22.5度，所以S7的第2部分信号如S6那样包括左上的系数值((1，1))和上侧的系数值((1，2)及(1，3))、并且包括沿着外插方向(左下方向)的系数值((2，1))。
(实施方式4)
有关本发明的实施方式4的解码装置及解码方法具备将编码了声音数据、静止图像数据、运动图像数据等的信号的编码信号(例如，在实施方式1或3中生成的编码信号)通过多个种类的变换的组合进行逆变换的逆变换部及逆变换方法。有关本发明的实施方式4的解码装置及解码方法的特征在于，对将作为编码对象信号(输入信号)与预测信号的差的预测误差信号编码的信号进行2阶段的逆变换。
图27是表示有关本发明的实施方式4的解码装置700的结构的一例的块图。如图27所示，有关本发明的实施方式4的解码装置700具备熵解码部310、逆量化部320、逆变换部730、控制部740、加法器750、存储器760、和预测部770。另外，对于与图11A所示的有关实施方式2的解码装置300相同的结构赋予相同的标号，以下省略说明。
逆变换部730与在实施方式2中说明的逆变换部330同样，通过将由逆量化部320生成的解码变换输出信号进行逆变换，生成解码变换输入信号。具体而言，逆变换部730对解码变换输出信号进行2阶段的逆变换。另外，基于来自控制部740的控制信号，决定在逆变换中使用的逆变换系数及划分的位置(作为第2逆变换的对象的部分)。关于逆变换部730的详细情况在后面说明。
控制部740基于局部信息，输出用来控制逆变换部730的动作的控制信号。局部信息是编码参数的一例，例如，是表示与逆变换系数及划分综合信息建立了对应的索引、或者在编码时使用的预测模式等的信息。控制部740基于这些局部信息，决定逆变换系数及划分综合信息，将表示所决定的系数及信息的控制信息向逆变换部730输出。
加法器750通过将由逆变换部730生成的解码变换输入信号、与通过基于根据以前的编码信号生成的解码信号的预测生成的预测信号相加，生成解码信号。
存储器760是用来保存生成的解码信号的存储部的一例。
预测部770通过进行基于根据以前的编码信号生成的解码信号的预测，生成预测信号。即，预测部770基于保存在存储器760中的已解码的解码信号生成预测信号。例如，预测部770基于编码参数，生成包含在预测误差图像中的解码对象块的预测像素(预测信号)。并且，将由预测部770生成的预测像素与解码对象块的像素通过加法器750相加，将输入图像(解码信号)复原。
另外，逆变换部730也可以从编码装置取得第2逆变换系数及划分综合信息。另外，也可以是，从编码装置取得的是第2变换系数，从第2变换系数求出第2逆变换系数。划分综合信息是表示第2解码变换输出信号对应于解码变换输出信号的哪个部分的选择范围信息的一例。
在有关本发明的实施方式4的解码装置700中，基于来自控制部740的控制，在第2逆变换时，作为第2解码变换输出信号，在时间或空间上适应性地决定解码变换输出信号中的作为第2逆变换的对象的范围、和第2逆变换系数的至少其一。例如，基于规定的编码参数，作为第2解码变换输出信号，决定解码变换输出信号中的作为第2逆变换的对象的范围、和第2逆变换系数的至少其一。
接着，使用图28说明有关本发明的实施方式4的解码装置700进行的解码处理。图28是表示有关本发明的实施方式4的解码装置700的动作的一例的流程图。
首先，预测部770基于保存在存储器760中的已解码的解码信号生成预测信号(步骤S405)。另外，在将通过直接变换输入信号的编码方法生成的编码信号解码的情况下，将本步骤S405省略。
接着，熵解码部310通过将输入的编码信号进行熵解码，生成量化系数(步骤S210)。逆量化部320通过将量化系数逆量化，生成解码变换输出信号y∧n(步骤S220)。
接着，逆变换部730通过将解码变换输出信号y∧n逆变换，生成解码变换输入信号x∧n(步骤S230)。具体而言，逆变换部730如图12或图14所示，通过进行2阶段的逆变换，生成解码变换输入信号x∧n。另外，这里，所谓逆变换部730的逆变换，是解码装置中的变换的意思，并不限定于编码装置的变换的逆变换。
接着，加法器750通过将解码变换输入信号x∧n与预测信号相加，生成解码信号。将解码信号作为解码装置700整体的输出信号输出。此外，将解码信号保存到存储器760中(步骤S440)，在后续的编码信号的解码时参照。即，存储器760作为延迟部动作。
另外，在将声音或音频的数据解码的情况下，输出信号是一维，在静止图像及运动图像解码装置中，输出信号为二维。此外，不进行预测而将解码信号直接作为输出信号那样的解码装置(或动作模式)能够将预测部770及存储器760去除而例示。
接着，使用图29，对有关本发明的实施方式4的逆变换部730的结构进行说明。图29是表示有关本发明的实施方式4的逆变换部730的结构的一例的块图。
逆变换部730具备划分部400、第2逆变换部410、综合部420、和第1逆变换部430。对逆变换部730输入解码变换输出信号y∧n。另外，解码变换输出信号y∧n相当于图17所示的变换部510生成的变换输出信号yn。
划分部400按照划分综合信息，将解码变换输出信号y∧n划分为第2解码变换输出信号和第2解码部分信号。
第2逆变换部410通过使用第2逆变换矩阵将第2解码变换输出信号逆变换，生成第1解码部分信号。
综合部420通过将第2解码部分信号和第1解码部分信号按照划分综合信息综合，生成第1解码变换输出信号。
第1逆变换部430通过使用第1逆变换矩阵将第1解码变换输出信号逆变换，生成解码变换输入信号。另外，解码变换输入信号相当于输入到图17所示的变换部510中的变换输入信号。
划分综合信息与在上述实施方式中记载的是同样的，向划分部400的输入(解码变换输出信号)的维数是n，向第2逆变换部410的输入(第2解码变换输出信号)的维数是m(m＜n的自然数)。另外，向第2逆变换部410的输入时的维数为n，第2逆变换部410也可以使用图8(b)所示那样的包括对角要素为1、非对角要素为0的行的变换矩阵A4。第2变换部也可以是分离型。
在第2逆变换中使用的第2逆变换矩阵与实施方式1或3中记载的第2变换的变换矩阵的逆矩阵或逆矩阵有近似的关系。在第1逆变换中使用的第1逆变换矩阵与实施方式1或3中记载的第1变换矩阵的逆矩阵或逆矩阵有近似的关系。为了将逆变换的运算所需要的运算精度抑制得较低，也有使第1逆变换系数、和第2逆变换系数的有效精度变低的情况。在此情况下，逆变换部的运算精度在给编码及解码整体带来的畸变中是支配性的，所以优选的是，基于在实施方式2或本实施方式中记载的第1逆变换系数，导出实施方式1或3中记载的第1变换系数，同样基于第2逆变换系数导出第2变换系数。
另外，将第2逆变换系数、第1逆变换系数、及划分综合信息多路复用在编码信号中，从编码装置向解码装置通知。另外，也可以使用别的传送通道、不多路复用在编码信号中而通知、或通过传送-储存格式通知。或者，也可以作为某个规格或规格的概况水平的规定值通知、或基于由解码装置和编码装置的两者得到的信息通知等。
本发明的实施方式4的逆变换处理的动作与实施方式2是同样的。具体而言，如图14所示，首先，划分部400取得划分综合信息(步骤S231)。并且，划分部400按照所取得的划分综合信息，将解码变换输出信号划分为第2解码变换输出信号和第2解码部分信号(步骤S232)。
接着，第2逆变换部410取得第2逆变换系数(步骤S233)。并且，第2逆变换部410通过对第2解码变换输出信号进行第2逆变换，生成第1解码部分信号(步骤S234)。
接着，综合部420通过按照划分综合信息将第1解码部分信号与第2解码部分信号综合，生成第1解码变换输出信号(步骤S236)。
接着，第1逆变换部430取得第1逆变换系数(步骤S237)。并且，第1逆变换部430通过对第1解码变换输出信号进行第1逆变换，生成解码变换输入信号(步骤S238)。
另外，取得划分综合信息的步骤S231、取得逆变换系数的步骤S232及步骤S234由于如上述那样通知的变形有许多，所以并不限于以本流程的定时实施，此外，不是作为本实施方式的一部分而必须的动作。
如以上这样，根据有关本发明的实施方式4的解码装置及解码方法，能够在抑制变换处理的运算量和逆变换系数的数据量的同时、适应于输入信号的统计性质的变化。此外，能够将如实施方式3所示的编码装置500那样通过进行包括使用基于输入信号的统计性质计算的变换系数的变换的2阶段的变换生成的编码信号正确地解码。
另外，也可以如图30所示的解码装置700a那样，基于从编码信号解码出的选择信号选择预先设定的逆变换系数及划分综合信息，使用所选择的逆变换系数及划分综合信息进行逆变换。图30是表示有关本发明的实施方式4的解码装置700a的结构的一例的块图。
如图30所示，解码装置700a与图27所示的解码装置700相比，新具备存储器781及782这一点不同。
在存储器781中，将第2逆变换系数与索引建立对应而存储。此外，在存储器782中，将在划分及综合中使用的划分综合信息与索引建立对应而存储。
具体而言，存储器781将具有相互不同的系数值的组的多个变换矩阵作为第2逆变换矩阵的候选存储。对于多个变换矩阵，将作为编码参数的一例的索引信息1对1地建立对应。并且，在第2逆变换时，将由选择信号表示的索引信息指定的变换矩阵的系数决定为第2逆变换系数。
存储器781及782分别基于从熵解码部310输出的选择信号，选择逆变换系数及划分综合信息而对逆变换部730输出。具体而言，选择信号例如是表示索引的信号，将与选择信号表示的索引建立了对应的逆变换系数及划分综合信息输出。
具体而言，熵解码部310通过将编码信号进行熵解码，将已压缩选择信号取出，从已压缩选择信号解码选择信号。并且，熵解码部310将解码后的选择信号向存储器781和存储器782输出。从存储器781及782分别将第2逆变换系数和划分综合信息向逆变换部730输出。
该选择的机制也可以适应于时间空间、基于选择信号以块单位、宏块单位、汇集了多个宏块的单位、或片段单位进行。此外，也可以将面内预测模式与选择信号组合而适应性地进行。另外，也可以根据解码量化系数的非零系数的总数、低频带区域的非零系数的总数、非零系数的水平的总和、逆量化部320输出的解码变换输出信号y∧的总和、低频带区域的总和等，切换第2逆变换系数及划分综合信息。
此外，也可以如图31所示的解码装置700b那样，基于从编码信号解码的预测信号选择预先设定的逆变换系数及划分综合信息，使用所选择的逆变换系数及划分综合信息进行逆变换。图31是表示有关本发明的实施方式4的解码装置700b的结构的一例的块图。
如图31所示，解码装置700b与图30所示的解码装置700a相比，新具备选择信号决定部790这一点不同。
选择信号决定部790取得从熵解码部310输出的预测模式信号，基于所取得的预测模式信号生成选择信号。选择信号例如是表示索引的信号，从存储器781及782将与选择信号表示的索引建立了对应的逆变换系数及划分综合信息向逆变换部730输出。
具体而言，熵解码部310通过将编码信号进行熵解码，将已压缩的预测模式信号取出，与根据附近块的信息的推测值组合而将预测模式信号解码。将预测模式信号向预测部770输出，预测部770生成预测信号。
此外，将预测模式信号向选择信号决定部790发送，选择信号决定部790输出用来选择对应于预测模式信号的逆变换系数及划分综合信息的选择信号。将选择信号向存储器781和存储器782输出，从各个存储器将第2逆变换系数和划分综合信息向逆变换部730输出。
该选择的机制也可以适应于时间空间、基于选择信号以块单位、宏块单位、汇集了多个宏块的单位、或片段单位进行。此外，也可以将与在图31中叙述的预测模式信号对应的选择信号、与根据在图30中说明的编码信号解码的选择信号组合。
另外，也可以根据解码量化系数的非零系数的个数、低频带区域的非零系数的个数、非零系数的水平的总和、逆量化部320输出的解码变换输出y∧的总和、低频带区域的总和等来切换第2逆变换系数及划分综合信息。另外，也可以基于解码量化系数的总和的奇偶性(偶数或奇数的状态)来切换第2逆变换系数及划分综合信息。另外，也可以当解码量化系数的总和是1时不进行第2逆变换。
另外，在本发明的实施方式4中，在如实施方式3所示那样在第2逆变换时编码参数表示向规定的方向的外插的预测方法的情况下，在构成解码变换输出信号的多个系数值中，将包括该规定的方向的系数值的范围决定为第2逆变换的对象。所谓包括规定的方向的系数值的范围，具体而言是包括规定的方向的起点侧的系数值的范围。
例如，在编码参数表示向大致水平方向的外插的预测方法的情况下，将构成解码变换输出信号的多个系数值中的、包括横向的系数值(具体而言是左侧的系数值)的范围决定为第2逆变换的对象。此外，在编码参数表示向大致垂直方向的外插的预测方法的情况下，将构成解码变换输出信号的多个系数值中的、包括纵向的系数值(具体而言是上侧的系数值)的范围决定为第2逆变换的对象。
(实施方式5)
有关本发明的实施方式5的编码装置及编码方法具备将声音数据、静止图像数据、运动图像数据等作为编码对象的信号通过多种变换的组合进行变换的变换部及变换方法。在有关本发明的实施方式5的编码装置及编码方法中，其特征在于，使用由预先设定的固定的变换系数构成的固定的变换矩阵进行第1变换。对于与上述实施方式同样的结构由赋予相同的标号而省略说明的情况。
使用图32说明本发明的实施方式5的变换部及变换方法。图32是表示有关本发明的实施方式5的变换部810的结构的一例的块图。另外，有关本发明的实施方式5的编码装置与实施方式1或3相比，仅变换部的结构不同，所以以下对变换部的结构及动作进行说明。
如图32所示，变换部810具备第1变换部200、划分部210、第2变换部220、综合部230、第2存储器611、划分综合信息计算部612、第3存储器621、和第2变换系数导出部222。变换部810与图19所示的变换部510相比，代替第1变换部200而具备第1变换部900这一点、和不具备第1存储器601和第1变换系数导出部202这一点不同。
将变换输入信号向第1变换部900输入。第1变换部900通过使用由预先设定的变换系数及/或基函数构成的变换矩阵对变换输入信号进行第1变换，生成第1变换输出信号。第1变换部900放弃能够任意取变换系数的自由度，而限定为进行规定的变换。由此，能够减轻处理的复杂度、削减运算量。另外，这里将这样的变换称作固定变换。
另外，在图32中，表示了具备用来将划分综合信息、第2变换系数导出的存储器及导出部的结构，但与在实施方式3中说明的情况同样，也可以不是完全的最优解，而将它们的某1个或全部基于经验或准最优的方法在事前导出。
在有关本发明的实施方式5的变换部810中使用多个变换，作为第1变换，使用固定变换进行变换，作为第2变换，进行使用由根据更小的集合SB的(第1变换输出信号的)统计性质最优地导出的变换系数构成的变换矩阵的变换。以下，使用图33说明有关本发明的实施方式5的变换方法的概念。另外，与图7及图21大致相同，仅对不同点进行说明。
第1变换系数当将集合SA非常大地选取时，基于集合SA的统计性质预先设计以使其成为最优。通过将集合SA非常大地选取而设计，能够消除将第1变换部900的变换系数更新的需要，能够设为固定变换。因而，由于没有对输入信号取不同的变换系数的自由度，所以变换部810不需要具备实施方式3中记载的第1存储器601及第1变换系数导出部202。
进而，也可以使用已有规格的变换作为第1变换。例如，也可以使用搭载有MPEG-1/2/4视频编码规格的离散余弦变换、或采用H.264/AVC规格的整数精度DCT等。这些变换可以取蝴蝶结构，能够将对于n维的输入的乘法次数减轻到n×Log2(n)(在实施方式3的第1变换的情况下为n×n)。
另外，已有规格的变换有可能没有对包含变换输入信号的非常大的集合SA严格地最优化。在向编码装置的输入信号受到摄像元件等的特性的影响而具有特殊的相关的情况下，或者在变换输入信号是预测误差的情况下等，由于预测信号具有特殊的相关，所以作为原因可以考虑是变换输入信号具有特殊的相关。
这样的相关通过在各实施方式的第2变换系数的设计时反映、通过在第2变换中进行无相关化和能量压缩能够补偿。具体而言，设将第1变换输出信号的集合SC中的集合SB(1)由第1变换部900变换后的集合为集合SC(1)，设将集合SB(2)由第1变换部900变换后的集合为集合SC(2)。在此情况下，对于集合SC(1)及集合SC(2)分别独立地在第2变换系数导出部222中导出第2变换系数。
但是，第2变换部220由于为由划分部210仅输入信号的一部分的结构，所以与实施方式3相比，无相关化和能量压缩的性能稍稍下降。但是，根据有关本发明的实施方式5的编码装置，由于不需要计算第1变换系数，所以能够实现运算量的降低。此外，由于不需要具备用来导出第1变换系数的存储器及导出部，所以能够实现电路的小型化。
另外，本发明的实施方式5的变换处理的流程与实施方式1或3的流程大致同样。由于第1变换是固定变换，所以省略图6的步骤S111，执行步骤S112～步骤S118的处理。此时，第1变换是已有的变换，没有对第1变换输入信号进行最优的设计，所以用第2变换的变换系数的最优化(步骤S115)反映。另外，步骤S113、步骤S115也可以通过别的方法决定、不作为本实施方式的一部分动作。
如以上这样，通过有关本发明的实施方式5的编码装置及编码方法，能够在抑制变换处理的运算量和变换系数的数据量的同时、适应于输入信号的统计性质的变化。进而，通过使用固定变换，能够削减运算量。
另外，作为固定变换，采用H.264/AVC规格的整数精度DCT等的、不使用乘法而由移位和加法运算构成的变量有变换矩阵的基底的大小(范数，norm)不一致的情况。因而，在作为第1变换而使用固定变换的情况下，优选的是进行范数的修正。
图34是表示有关本发明的实施方式5的变形例的变换部810a的结构的一例的块图。变换部810a与变换部810相比，还具备范数修正部940。
范数修正部940对由第1变换部900生成的第1变换输出信号进行范数修正。并且，将范数修正后的信号向划分部210输出。范数修正部940通过使用基于第1变换矩阵决定的修正参数将第1变换输出信号正规化，将第1变换输出信号修正。修正参数例如是第1变换矩阵的范数。
范数修正部940使用根据在第1变换中使用的第1变换矩阵A1 n计算出的范数将输入的第1变换输出信号y1 n修正。范数通过以下的式12计算。
[数式12]
(式12) N ( i ) = Σ k = 1 n a ( i , k ) 2
这里，a(i，k)是包含在第1变换矩阵A1 n中的要素。
另外，在第1变换矩阵A1 n适应性地变化的情况下，范数也变化，所以范数修正部940计算范数，使用计算出的范数将第1变换输出信号y1 n修正。在第1变换矩阵A1 n是固定的矩阵的情况下，范数修正部940只要在内部存储器等中保持范数就可以。
范数修正部940按照式13将第1变换输出信号y1 n修正。即，范数修正部940通过对第1变换输出信号y1 n乘以范数的倒数，生成修正后的第1变换输出信号y’1 n。换言之，范数修正部940通过将第1变换输出信号y1 n用范数除，生成修正后的第1变换输出信号y’1 n。
[数式13]
(式13)y′1(i)＝y1(i)/N(i)
另外，使用范数的乘法及除法对包含在第1变换输出信号y1 n中的每个要素进行。即，范数修正部940通过对第1变换输出信号y1 n的要素y1(i)乘以范数N(i)的倒数，生成修正后的第1变换输出信号y’1 n的要素y’1(i)。
另外，上述的范数修正也可以对由划分部210划分后的第1部分信号和第2部分信号分别进行。
图35是表示有关本发明的实施方式5的变形例的变换部810b的结构的一例的块图。变换部810b与变换部810相比，还具备范数修正部941及942。
范数修正部941对第1部分信号y1L m进行范数修正。并且，将范数修正后的第1部分信号y’1L m向第2变换部220输出。具体而言，范数修正部941使用根据在第1变换中使用的第1变换矩阵A1 n计算出的范数N，将输入的第1部分信号y1L m修正(参照式13，将y’1(i)改读为y’1L (i)，将y1(i)改读为y1L(i))。此外，范数N通过上述式12计算。
范数修正部942对第2部分信号y1H n-m进行范数修正。并且，将范数修正后的第2部分信号y’1H n-m向综合部230输出。具体而言，范数修正部942使用根据在第1变换中使用的第1变换矩阵A1 n计算出的范数N，将输入的第2部分信号y1H n-m修正(参照式13，将y’1(i)改读为y’1H(i)，将y1(i)改读为y1H(i))。此外，范数N通过上述式12计算。
另外，不是对第1部分信号y1L m进行范数修正、而对第2变换矩阵A2 m进行范数修正也能够得到同样的效果。以下，说明对第2变换矩阵A2 m进行范数修正的情况。
范数修正部941通过使用根据第1变换矩阵A1 n计算出的范数将构成第2变换矩阵A2 m的第2变换系数修正，导出修正系数。另外，范数通过式12计算。
具体而言，范数修正部941按照式14将构成第2变换矩阵A2 m的第2变换系数修正。即，范数修正部941通过对第2变换矩阵A2 m乘以范数的倒数，生成修正后的第2变换矩阵A’2 m。换言之，范数修正部941通过将第2变换系数用范数除，生成作为修正系数的修正后的第2变换系数。
[数式14]
(式14)a′2(i，j)＝a 2(i，j)/N(i)
另外，使用范数的乘法及除法对第2变换矩阵A2 m的作为第2变换系数的每个要素进行。即，范数修正部941通过对第2变换系数a2(i，j)乘以范数N(i)的倒数，生成修正后的第2变换系数a’2(i，j)。
并且，第2变换部220通过使用修正后的第2变换矩阵A’2 m将第1部分信号y1L m变换，生成第2变换输出信号y2 m。
如以上这样，通过对第1变换后的信号进行范数修正，能够使变换矩阵的基底一致，能够提高变换的精度。
此外，也可以在进行范数修正的同时、由上述范数修正部940(或范数修正部941及942)进行在H.264中由量化部进行的量化矩阵(Qmatrix)的权重尺度的加权。另外，量化矩阵的权重尺度是修正参数的一例。
范数修正部940通过使用在量化部120中使用的量化矩阵将第1部分信号加权，将第1变换输出信号y1 n修正。具体而言，范数修正部940按照式15及式16将第1变换输出信号y1 n修正。即，范数修正部940通过对第1变换输出信号y1 n乘以量化矩阵的倒数mf，生成修正后的第1变换输出信号y’1 n。换言之，范数修正部940通过将第1变换输出信号y1 n用量化矩阵除，生成修正后的第1变换输出信号y’1 n。
[数式15]
(式15)y′1(i)＝y1(i)*mf(i)
[数式16]
(式16)mf(i)＝1/f(i)
另外，f(i)是根据量化矩阵导出的权重尺度(weight Scale)的各要素的值。
另外，优选的是在第2变换后再进行后尺度修正。
通过对综合部230输出的信号y’n乘以根据量化矩阵计算的修正系数mf_2，生成变换输出信号yn。具体而言，通过按照式17及式18将综合后的信号y’n修正，生成变换输出信号yn。
[数式17]
(式17)y(i)＝y′(i)*mf_2(j)
[数式18]
(式18)mf_2(j)＝1/S(i)
另外，S(i)是由式19表示的矩阵的要素。
[数式19]
(式19)
在图35所示的变换部810b中，与上述同样，能够进行量化矩阵的权重尺度的加权。另外，上述后尺度修正只要对由第2变换部220生成的第2变换输出信号进行就可以。
此外，在图35的例子中，在量化矩阵的权重尺度的加权中，也可以不是将第1部分信号y1L m、而将第2变换矩阵A2 m修正。
此时，范数修正部941使用量化矩阵将第2变换矩阵A2 m修正。具体而言，范数修正部941按照式20将第2变换矩阵A2 m修正。如式20所示，范数修正部941对每个第2变换系数a2(i，j)乘以量化矩阵的要素的倒数mf(i)、和根据量化矩阵计算的修正系数mf_2(j)。
[数式20]
(式20)a′2(i，j)＝a2(i，j)*mf(i)*mf_2(j)
如以上这样，通过不是将第1部分信号y1L m、而将第2变换矩阵A2 m修正，也同样能够得到提高编码效率的效果。
另外，也可以将范数修正与量化矩阵的加权组合。即，范数修正部941也可以对第1部分信号y1L m或第2变换矩阵A2 m进行范数修正和量化矩阵的修正的两者。
例如，在将第1部分信号y1L m修正的情况下，范数修正部941按照式21将第1部分信号y1L m修正。具体而言，范数修正部941通过对第1部分信号y1L m的每个要素y1L(i)乘以根据第1变换矩阵A1 n计算出的范数N(i)的倒数、和量化矩阵的要素的倒数mf(i)，生成修正后的第1部分信号y’1L m。
[数式21]
(式21)y2(i)＝y′2(i)/N(i)*mf(i)
此外，在将第2变换矩阵A2 m修正的情况下，范数修正部941按照式22将第2变换矩阵A2 m修正。具体而言，范数修正部941通过对每个第2变换系数a2(i，j)乘以根据第1变换矩阵A1 n计算出的范数N(i)的倒数、量化矩阵的要素的倒数mf(i)、和根据量化矩阵计算的修正系数mf_2(j)，生成修正后的第2变换矩阵A’2 m。
[数式22]
(式22)a′2(i，j)＝a2(i，j)/N(i)*mf(i)*mf_2(j)
如果是以上那样的结构，也能够对第1部分信号采用更适合的第2变换。
另外，也可以通过将构成向第2变换部220输入的第1部分信号的系数值进行向低移位、以使第2变换中的有效数据长包含在规定的值以下，来修正第1变换输出信号。由此，能够降低第2变换部220的内部处理的需要精度、节约电路资源。
此外，也可以将构成第1部分信号或第2变换输出信号的系数值进行向低移位，以使构成第1变换前的第1部分信号或第2变换后的第1部分信号(第2变换输出信号)的系数值的位长与构成第2部分信号的系数值的位长相同。
(实施方式6)
有关本发明的实施方式6的解码装置及解码方法具备将编码了声音数据、静止图像数据、运动图像数据等的信号的编码信号(例如，在实施方式5中生成的编码信号)通过多个种类的变换的组合进行逆变换的逆变换部及逆变换方法。在有关本发明的实施方式6的解码装置及解码方法中，其特征在于，使用由预先设定的固定的逆变换系数构成的逆变换矩阵进行第1逆变换。对于与上述实施方式同样的结构，有赋予相同的标号而省略说明的情况。
使用图36说明有关本发明的实施方式6的逆变换部及逆变换方法。图36是表示有关本发明的实施方式6的逆变换部1030的结构的一例的块图。另外，有关本发明的实施方式6的解码装置与实施方式2或4相比，仅逆变换部的结构不同，所以以下对逆变换部的结构及动作进行说明。
如图36所示，逆变换部1030具备划分部400、第2逆变换部410、综合部420、和第1逆变换部1130。逆变换部1030与图29所示的逆变换部730相比，代替第1逆变换部430而具备第1逆变换部1130这一点不同。
第1逆变换部1130通过对第1解码变换输出信号进行预先设定的固定的逆变换处理，生成解码变换输入信号。第1逆变换部1130由于进行预先设定的固定的逆变换，所以不需要从外部(例如、编码装置)取得第1(逆)变换系数。
进而，第1逆变换部1130也可以使用例如搭载有MPEG-1/2/4视频编码规格的离散余弦变换、或采用H.264/AVC规格的整数精度DCT作为第1逆变换、来减轻运算量。
本发明的实施方式6的逆变换处理的流程与实施方式2或4的流程大致同样。由于第1逆变换是固定的逆变换，所以将图14的步骤S237省略，执行步骤S231～S236、S238的处理。另外，取得划分综合信息的步骤S231、取得第2逆变换系数的步骤S233如上述那样有许多通知的变形，所以并不限于以本流程的定时实施，此外，不是作为本实施方式的一部分而必须的动作。
如以上那样，根据有关本发明的实施方式6的解码装置及解码方法，能够在抑制变换处理的运算量和逆变换系数的数据量的同时、适应于输入信号的统计性质的变化。进而，通过使用固定变换，能够削减运算量。
另外，作为固定的逆变换，采用H.264/AVC规格的整数精度DCT等、不使用乘法而由移位和加法运算构成的变换有逆变换矩阵的基底的大小(范数)不一致的情况。因而，在作为第1逆变换而使用范数不一致的逆变换的情况下，优选的是进行范数的修正。
在H.264中，在逆量化部中进行范数修正处理，但在有关本发明的实施方式6的解码装置中，例如如图37所示，对向第1逆变换部1130的输入信号进行。即，在进行第2逆变换后，将第1解码变换输出信号修正。
图37是表示有关本发明的实施方式6的变形例的逆变换部1030a的结构的一例的块图。逆变换部1030a与逆变换部1030相比，还具备范数修正部1140。
范数修正部1140通过对由综合部420综合后的包括第1解码部分信号和第2解码部分信号的信号进行范数修正，生成第1解码变换输出信号。范数修正部1140通过使用基于第1逆变换矩阵决定的修正参数将第1解码部分信号正规化，将第1解码变换输出信号修正。修正参数例如是第1逆变换矩阵的范数。
范数修正部1140使用根据第1逆变换矩阵A-1 1 n计算出的范数，将综合后的信号y∧’1 n修正。范数与实施方式5同样，按照式12计算。
另外，在编码信号中包含有第1逆变换系数矩阵A-1 1 n的情况下等、第1逆变换矩阵A-1 1 n适应性地变化的情况下，范数也变化，所以范数修正部1140计算范数，使用计算出的范数将综合后的信号y∧’1 n修正。在第1逆变换系数是固定的系数的情况下，范数修正部1140只要在内部存储器等中保持范数就可以。
范数修正部1140进行与有关实施方式5的变形例的范数修正部940相反的处理。具体而言，范数修正部1140如式23所示，通过对综合后的信号y∧’1 n乘以范数，生成第1解码变换输出信号y∧ 1 n。
[数式23]
(式23) y ^ 1 ( i ) = y ^ ′ 1 ( i ) * N ( i )
另外，式23所示的乘法对包含在综合后的信号y∧’1 n中的每个要素进行。即，范数修正部1140通过对综合后的信号y∧’1 n的要素y∧’1(i)乘以范数N(i)，生成第1解码变换输出信号y∧ 1 n的要素y∧ 1(i)。
另外，上述的范数修正也可以对作为综合部420的综合前的两个输入信号的第2解码部分信号、及第1解码部分信号分别进行。
图38是表示有关本发明的实施方式6的变形例的逆变换部1030b的结构的一例的块图。逆变换部1030b与逆变换部1030相比，还具备范数修正部1141及1142。
范数修正部1141对第1解码部分信号y∧’1L m进行范数修正。具体而言，范数修正部1141使用根据在第1逆变换中使用的第1逆变换矩阵A-1 1 n计算出的范数N，将输入的第1解码部分信号y∧’1L m修正(参照式23，将y∧ 1(i)改读为y∧ 1L (i)，将y∧’1(i)改读为y∧’1L(i))。另外，范数N通过上述式12计算。
范数修正部1142对第2解码部分信号y∧’1H n-m进行范数修正。具体而言，范数修正部1142使用根据在第1逆变换中使用的第1逆变换矩阵A- 1 1 n计算出的范数N，将输入的第2解码部分信号y∧’1H n-m修正(参照式23，将y∧ 1(i)改读为y∧ 1H(i)，将y∧’1(i)改读为y∧’1H(i))。
综合部420通过将进行了范数修正的第1解码部分信号与第2解码部分信号综合，生成第1解码变换输出信号。另外，范数N通过上述式12计算。
另外，如果不是对第2逆变换后的第2解码变换输出信号y∧’1L m进行范数修正、而对第2逆变换矩阵A-1 2 m进行范数修正，也能够得到同样的效果。
范数修正部1141使用根据第1逆变换矩阵A-1 1 n计算出的范数，将第2变换系数修正。另外，范数通过式12计算。具体而言，范数修正部1141按照式24将第2逆变换系数修正。即，范数修正部1141通过对第2逆变换系数乘以范数，生成修正后的第2逆变换系数。
[数式24]
(式24)a-1′2(i，j)＝a-1 2(i，j)*N(i)
第2逆变换部410通过使用修正后的第2逆变换矩阵A-1’2 m将第2解码变换输出信号y∧ 2 m逆变换，生成第1解码部分信号y∧ 1L m。
如以上这样，通过对第1逆变换前的信号进行范数修正，能够使逆变换矩阵的基底一致，能够提高变换的精度。
另外，如果将图37所示的结构与图38所示的结构比较，则图37的结构由于范数修正部是单一的，所以具有能够使安装简单游的效果。另一方面，图38的结构在两个信号的有效性不同情况下，具有能够实现具备与各自的有效精度对应的最小限度的有效精度的范数修正部的效果。
此外，与范数修正同样，也可以由图37或图38所示的范数修正部进行在H.264中由逆量化部进行的量化矩阵(Qmatrix)的权重尺度的加权处理。即，也可以通过使用量化矩阵的权重尺度将第1解码部分信号加权来修正第1解码变换输出信号。
范数修正部1140进行与有关实施方式5的变形例的范数修正部940进行的处理相反的处理。具体而言，范数修正部1140通过对综合后的信号y∧’1 n乘以量化参数，生成第1解码变换输出信号y1 n。另外，这如式25所示，与用修正系数mf除综合后的信号y∧’1 n等价。
[数式25]
(式25) y ^ 1 ( i ) = y ^ ′ 1 ( i ) / mf ( i )
另外，修正系数mf由式16表示。
此外，如图38所示，在对第1解码部分信号进行量化矩阵的缩放的情况下，优选的是在第2逆变换前进行后尺度逆修正。
具体而言，通过对第2解码变换输出信号y∧ 2 m乘以根据量化矩阵计算的修正系数mf_2的倒数，生成逆修正后的第2解码变换输出信号y∧’2 m。另外，这如式26所示，与用修正系数mf_2除第2解码变换输出信号y∧ 2 m等价。
[数式26]
(式26) y ^ ′ 2 ( i ) = y ^ 2 ( i ) / mf _ 2 ( j )
另外，修正系数mf_2(j)由式18及式19表示。
此外，在图38的例子中，在量化矩阵的权重尺度的加权中，也可以不是将逆变换后的第2解码变换输出信号y∧’1L m、而将第2逆变换矩阵A-1 2 m修正。
此时，范数修正部1141使用量化矩阵将第2逆变换矩阵A-1 2 m修正。具体而言，范数修正部1141按照式27将第2逆变换矩阵A-1 2 m修正。如式27所示，范数修正部1141对每个第2逆变换系数a-1 2(i，j)，用量化矩阵的要素的倒数mf(i)、和根据量化矩阵计算的修正系数mf_2(j)除。
[数式27]
(式27)a-1′2(i，j)＝a-1 2(i，j)/mf(i)/mf_2(j)
如以上这样，通过不是将逆变换后的第2解码变换输出信号y∧’1L m、而将第2逆变换矩阵A-1 2 m修正，也同样能够得到提高编码效率的效果。
另外，也可以将范数修正与量化参数的加权组合。即，范数修正部1141也可以对逆变换后的第2解码变换输出信号y∧’1L m或第2逆变换矩阵A-1 2 m进行范数修正和量化矩阵的加权两者。
例如，在将逆变换后的第2解码变换输出信号y∧’1L m修正的情况下，范数修正部1141按照式28将逆变换后的第2解码变换输出信号y∧’1L m修正。具体而言，范数修正部1141对逆变换后的第2解码变换输出信号y∧’1L m的每个要素y∧’1L(i)乘以根据第1逆变换矩阵A-1 1 n计算出的范数N(i)，通过除以量化矩阵的要素的倒数mf(i)，生成第1解码部分信号y∧ 1L m。
[数式28]
(式28) y ^ 1 L ( i ) = y ^ ′ 1 L ( i ) * N ( i ) / mf ( i )
此外，在将第2逆变换矩阵A-1 2 m修正的情况下，范数修正部1141按照式29将第2逆变换矩阵A-1 2 m修正。具体而言，范数修正部1141通过对每个第2变换系数a-1 2(i，j)乘以根据第1逆变换矩阵A-1 1 n计算出的范数N(i)、用量化矩阵的要素的倒数mf(i)、和根据量化矩阵计算的修正系数mf_2(j)除，生成修正后的第2逆变换矩阵A-1’2 m。
[数式29]
(式29)a-1′2(i，j)＝a-1 2(i，j)*N(i)/mf(i)/mf_2(j)
如果是以上那样的结构，也能够对第2解码变换输出信号采用更适合的第2逆变换。
另外，在变换输入信号的数据量较多的情况下，也可以将范数的修正处理和权重尺度的加权处理省略、削减运算量，仅在变换输入信号的数据量较少的情况下进行这些处理。另外，范数的修正处理和权重尺度的加权也可以仅限定在修正对象的信号为非零的情况，来削减运算量。
另外，所谓变换输入信号的数据量较多的情况，具体而言，可以想到在将变换的块的尺寸如4×4像素、8×8像素、16×16像素、32×32像素等那样定义多个种类时、32×32比4×4及8×8数据量多。或者，可以想到是指变换矩阵的非零系数较多的情况。
另外，在变换输入信号的数据量较多的情况下，也可以对范数的修正处理和权重尺度的加权处理不是进行乘法、而近似为仅由移位和加法构成，来削减乘法次数。
另外，正确地表现数值而需要的存储器的数据尺寸(这里为需要位长)一般通过矩阵运算而增加。由于将第2解码部分信号不进行第2逆变换、而将第1解码部分信号在第2逆变换部410中进行乘法，所以需要位长有可能不同。因而，在第2逆变换部410中需要位长增加M位的情况下，第2解码部分信号也可以向高移位M位的量。
例如，在图36的结构中，通过在向第1逆变换部1130输入之前的时点中进行使位长一致的修正，不再需要切换第1逆变换部1130，能够使第1逆变换部1130的结构简单化。此外，在图37所示的结构中，通过在向范数修正部1140输入之前的时点中进行使需要位长一致的修正，不再需要将范数修正部1140的处理切换为第2解码部分信号、和第1解码部分信号，能够使范数修正部1140的结构简单化。
此外，在图38所示的结构的情况下，被输入第2解码部分信号的范数修正部1142由于输入信号的需要位长较低，所以能够将内部的信号处理所需要的需要位长抑制得较低而节约电路资源。或者，也可以相应于输入信号的需要位长较低、而提高在范数修正部1142中乘以的范数修正量及权重尺度的加权量的有效精度，在此情况下，能够提高范数修正和权重尺度的加权的运算精度。
或者，也可以将向第2逆变换部410输入的第2解码变换输出信号预先向低移位N位，降低第2逆变换部410的内部处理的需要精度而节约电路资源。另外，当通过第2逆变换部410的变换而增加的位长是M位时，N也可以设定得比M小。在此情况下，在向第2逆变换的输入时进行N位的向低移位时，对第2逆变换的输出进行M-N位的向低移位。
这样，也可以通过将构成向第2逆变换部410输入的第2解码变换输出信号的系数值进行向低移位、以使第2逆变换中的有效数据长包含在规定的值以下，来修正第2解码变换输出信号。由此，能够降低第2逆变换部410的内部处理的需要精度而节约电路资源。
此外，也可以将构成第1解码部分信号或第2解码变换输出信号的系数值向低移位，以使构成第1解码部分信号或第2解码变换输出信号的系数值的位长与构成第2解码部分信号的系数值的位长相同。
另外，在本实施方式中叙述的位操作的位长也可以以序列单位、GOP单位、帧单位、块单位控制。通过基于第2解码变换输出信号的块的有效位长(在某个瞬间实际消耗存储器的尺寸)以块单位控制位长，能够提高运算精度。例如，也可以当第2解码变换输出的块的有效位长较长时增大向第2逆变换部410的输入前的向低移位量、在不是那样时减小向第2逆变换部410的输入前的向低移位量。
此外，第1变换及第1逆变换也可以是切换离散余弦变换和离散正弦变换的结构。将切换标志信息在编码装置中多路复用在编码信号中、在解码装置中解码、从编码装置向解码装置通知。离散余弦变换和离散正弦变换是相位相互相差pi/2的变换，所以第2变换和第2逆变换系数也可以相互具有相差pi/2的关系而削减逆变换系数的信息量。
(实施方式7)
有关本发明的实施方式7的编码装置及编码方法具备将声音数据、静止图像数据、运动图像数据等作为编码对象的信号通过多种变换的组合进行变换的变换部及变换方法。在有关本发明的实施方式7的编码装置及编码方法中，其特征在于，对多维的信号进行分离型及非分离型的变换。对于与上述实施方式同样的结构有赋予同样的标号而省略说明的情况。
在有关本发明的实施方式7的编码装置中，变换输入信号、第1变换输出信号、第2部分信号、及变换输出信号是P(P是2以上的整数)维信号。第2变换部220是输入输出P维信号的情况、和输入输出一维信号的情况的哪种都可以。在第2变换部220输入输出一维信号的情况下，第2变换部220与实施方式1、3及5相同。
划分部210将P维的变换输入信号按照划分综合信息划分为第1部分信号和第2部分信号后，再将第1部分信号重新排列为一维。将重新排列的顺序信息追加保存到划分综合信息中。
综合部230通过将第2变换输出信号和第2部分信号按照划分综合信息综合，生成变换输出信号。此时，综合部230将作为一维信号的第2变换输出信号基于保存在划分综合信息中的重新排列信息向P维信号重新排列后，将P维的第2变换输出信号与P维的第2部分信号综合。另外，在第2变换部220将P维信号输入输出的情况下，也可以不进行向一维信号的重新排列。
进而，在此情况下，第2变换部220也可以进行分离型(水平轴方向和垂直轴方向的2阶段变换)的变换。即，第2变换部220也可以在水平方向上以行单位进行变换、在垂直方向上以列单位进行变换。另外，水平和垂直的顺序也可以相反。
此外，要素数为1个行或列单位的变换实质上与不进行处理等同，所以也可以将处理跳过，或者也可以将后段的范数修正的处理在这里进行。此外，行变换的变换系数和列变换的变换系数既可以相同也可以不同。行变换的变换系数既可以在全部的行中使用相同的变换系数削减变换系数的数据量，也可以以行单位使用不同的变换系数、适应于行单位的统计性质的差异而提高变换性能。关于列变换也与行变换是同样的，既可以在全部列中使用相同的变换系数，或者也可以使用不同的变换系数。
这些差异是将P维信号在变换的输入时点重新排列为一维的非分离型、还是在变换内部中以一维单位进行处理的分离型的结构。
另外，也可以通过对第2变换系数的一部分设定零，来削减该系数的乘法处理。设定为零的系数如上述那样为能量较低的要素。特别是，在第2变换矩阵的大小与第1变换矩阵的大小相同的情况下，在划分部210中，没有分为向第2变换部220输入的信号(第1部分信号)和不输入的信号(第2部分信号)的需要。因而，综合部230也不需要。
即，在不使用划分部210和综合部230的情况下，如图8(b)所示，其特征也可以是，通过对与不是第2变换的对象的要素对应的变换矩阵的行使用对角要素为1、非对角要素为0的变换矩阵，削减对不是该第2变换的对象的要素耗费的乘法处理。作为第2变换的对象外的也可以是对应于第1变换输出中的能量较小的要素的行。或者，也可以将与第1变换输出的相互相关较小的要素对应的变换矩阵的要素设定为零。
关于第2变换部220的前后的动作，对输入了4×4×2的三维块信号(输入元数n＝32)的情况使用图39进行说明。
将P维(例如，P＝3)的第1变换输出信号在划分部210中按照划分综合信息划分为第1部分信号和第2部分信号。第2变换部220通过对第1部分信号使用第2变换矩阵进行第2变换，生成第2变换输出信号。综合部230通过将第2变换输出信号与第2部分信号综合，作为变换输出信号输出。
首先，说明对第1变换部200进行的第1变换。第1变换部200通过对P维的输入信号(例如多个二维的变换输入信号)分别进行第1变换，生成多个第1变换输出信号。
也可以对作为P维的信号的变换输入信号如图39所示那样采用多次P-1维的第1变换、生成第1变换输出信号。例如，在图39所示的例子中，第1变换部200对4×4×2的三维的变换输入信号进行两次4×4的二维的第1变换。
另外，在图39中，为了使说明变得容易理解，表示了两个第1变换部200，但可以是1个第1变换部200进行两次二维的第1变换。此外，实际上也可以是变换部具备两个第1变换部200、两个第1变换部200分别机械能各1次二维的第1变换。
或者，第1变换部200也可以对P维的变换输入信号进行1次P维的第1变换。P维的第1变换既可以是分离型，或者也可以是非分离型。
接着，说明第2变换部220进行的第2变换。第2变换部220对包括作为多个第1变换输出信号的一部分的多个第1部分信号的一揽子信号一起进行第2变换。
图40是概念性地表示分离型的结构的第2变换的数据流的图。在被输入了包括两个二维块的信号的情况下，首先，第2变换部220在二维信号的水平方向上进行变换(S501)。接着，第2变换部220在垂直方向上进行变换(S502)。最后，第2变换部220在跨越块的方向上进行变换(S503)。另外，该顺序是一例，水平、垂直、跨越块的方向的处理的顺序并不限定于此。此外，分离型的结构的第2逆变换也与图40同样，以水平方向、垂直方向、跨越块的方向等的顺序进行逆变换。逆变换的顺序也并不限定于此。
这样，有关本发明的实施方式7的第2变换部220对于P维的第1部分信号进行分别对P维进行P次一维的变换的分离型的第2变换。即，在图40所示的例子中，对于三维的第1部分信号进行分别对三维进行3次一维的变换的分离型的第2变换。
本发明的实施方式7的变换处理的流程与实施方式1、3、5大致同样，所以这里使用图6进行说明。
另外，输入到有关本发明的实施方式7的编码装置中的输入信号例如是分别对应于构成输入图像或预测误差图像的多个块的图像信号。具体而言，多个块如图41所示，包括输入图像或预测误差图像的亮度块或色差块。或者，多个块如图42所示，也可以在输入图像或预测误差图像内包含相互在空间上相邻的块。
首先，第1变换系数导出部202决定第1变换系数(步骤S111)。接着，第1变换部200通过对P维的变换输入信号进行第1变换，生成第1变换输出信号(步骤S112)。此时，第1变换也可以以比输入信号的维低的维进行多次。
接着，划分综合信息计算部612决定划分综合信息(步骤S113)。接着，划分部210基于划分综合信息将第1变换输出信号向第1部分信号和第2部分信号划分(步骤S114)。此时，划分部210进行划分，以使第1部分信号的相关能量比第2部分信号的相关能量大。
接着，第2变换系数导出部222基于第1部分信号的局部性的集合的统计性质决定第2变换系数(步骤S115)。并且，第2变换部220通过对第1部分信号使用第2变换矩阵进行第2变换，生成第2变换输出信号(步骤S116)。
最后，综合部230通过将第2变换输出信号与第2部分信号综合，生成变换输出信号(步骤S118)。
另外，在第1变换是固定变换的情况下，将步骤S111省略。另外，步骤S111、步骤S113、步骤S115也可以通过别的方法决定、不作为本实施方式的一部分动作。此外，在第2变换是分离型的情况下，在步骤S114中，划分部210将第1部分信号从P维向一维重新排列，在步骤S118中，综合部230将第2变换输出信号从一维重新排列为P维后综合。
另外，如上所述，在本实施方式中，多维的变换输入信号也可以是亮度信号(Y信号)及色差信号(U信号、V信号)。图41是概念性地表示多维的变换输入信号是YUV的信号的情况下的数据流的一例的图。
将亮度信号(Y信号)和两个色差信号(U信号和V信号)在第1变换部200中同时进行三维的第1变换、或者单独地进行二维的第1变换。
第2变换部220对Y信号的第1变换输出信号、U信号的第1变换输出信号、和V信号的第1变换输出信号中的、作为能量较大的低频带侧区域的第1部分信号进行第2变换，生成第2变换输出信号。此时，第2变换部220例如以图40所示那样的顺序，对多个第2变换输出信号一起进行第2变换。
并且，通过将第2变换输出信号、与作为没有采用第2变换的区域的第2部分信号综合，生成变换输出信号。将Y信号的变换输出信号、U信号的变换输出信号、及V信号的变换输出信号分别单独地扫描、量化。另外，也可以如实施方式11所示那样，对于第2变换输出信号进行与第2部分信号独立的扫描、量化。
此外，在本实施方式中，多维的变换输入信号也可以是在空间上相邻的块的图像信号。图42是概念性地表示多维的变换输入信号是在空间上相邻的块的信号的情况下的数据流的一例的图。
将在空间上相邻的多个小块(在图42所示的例子中是4个)通过第1变换部200单独进行第1变换。接着，第2变换部220通过对各个第1变换输出信号中的、作为包含能量较大的要素的低频带侧区域的第1部分信号进行第2变换，生成第2变换输出信号。此时，第2变换部220例如以图40所示那样的顺序，对多个第2变换输出信号一起进行第2变换。
并且，通过将第2变换输出信号、与作为没有采用第2变换的区域的第2部分信号综合，生成变换输出信号。将小块的变换输出信号分别单独地扫描、量化。另外，也可以如实施方式11所述那样、对第2变换输出信号进行与第2部分信号独立的扫描、量化。
如以上那样，通过有关本发明的实施方式7的编码装置及编码方法，能够在抑制变换处理的运算量和变换系数的数据量的同时、适应于输入信号的统计性质的变化。特别是，对于P维(P是2以上的整数)的输入信号是有效的。
另外，在本发明的实施方式7中，第2变换部220也可以进行非分离型的第2变换。即，第2变换部220也可以对P维的第1部分信号进行将P维的信号重新排列为一维的信号、对重新排列后的信号进行变换的非分离型的第2变换。具体而言，与在实施方式1等中说明的情况是同样的，所以这里省略说明。
(实施方式8)
有关本发明的实施方式8的解码装置及解码方法具备将编码了声音数据、静止图像数据、运动图像数据等的信号的编码信号(例如在实施方式7中生成的编码信号)通过多种变换的组合进行逆变换的逆变换部及逆变换方法。有关本发明的实施方式8的解码装置及解码方法的特征在于，对多维的信号进行分离型及非分离型的逆变换。对于与上述实施方式同样的结构有赋予相同的标号而省略说明的情况。
在有关本发明的实施方式8的解码装置中，解码变换输出信号、解码变换输入信号、解码信号、预测信号是P维信号(P是2以上的整数)。即，解码变换输出信号、第2解码部分信号、第1解码变换输出信号、解码变换输入信号是P维信号。第2逆变换部410是将P维信号输入输出的情况和将一维信号输入输出的情况的哪种都可以。在第2逆变换部410将一维信号输入输出的情况下，第2逆变换部410与实施方式2、4及6相同。
划分部400将P维信号按照划分综合信息划分为第2解码变换输出信号和第2解码部分信号后，再将第2解码变换输出信号重新排列为一维。将重新排列的顺序信息追加保存在划分综合信息中。
综合部420通过将第1解码部分信号和第2解码部分信号按照划分综合信息综合，生成第1解码变换输出信号。此时，综合部420将作为一维信号的第1解码部分信号基于保存在划分综合信息中的重新排列信息向P维信号重新排列后，将P维的第1解码部分信号与P维的第2解码部分信号综合。另外，在第2逆变换部410将P维信号输入输出的情况下，也可以不进行向一维信号的重新排列。此情况下的数据流的概念图为图13B。
进而，在此情况下，第2逆变换部410也可以进行分离型(水平轴方向和垂直轴方向的2阶段变换)的变换。此情况下的数据流的概念图为、图43。即，第2逆变换部410在水平方向上以行单位进行逆变换，在垂直方向上以列单位进行逆变换。另外，水平和垂直的顺序也可以相反。
此外，要素数为1个行或列单位的变换实质上与不进行处理等同，所以也可以将处理跳过，或者也可以将后段的范数修正的处理在这里进行。此外，行变换的逆变换系数和列变换的逆变换系数既可以相同也可以不同。行变换的逆变换系数既可以通过在全部的行中使用相同的逆变换系数来削减逆变换系数的数据量，也可以以行单位使用不同的逆变换系数、适应于行单位的统计性质的差异而提高变换性能。关于列变换也与行变换是同样的，既可以在全部列中使用相同的逆变换系数，或者也可以使用不同的逆变换系数。
这些差异是将P维信号在逆变换的输入时点重新排列为一维的非分离型、还是在逆变换内部中以一维单位进行处理的分离型的结构。
另外，也可以通过对第2逆变换系数的一部分设定零，来削减该系数的乘法处理。设定为零的系数如上述那样为能量较低的要素。特别是，在第2逆变换矩阵的大小与第1变换矩阵的大小相同的情况下，在划分部400中，没有划分为向第2逆变换部410输入的信号(第2解码变换输出信号)和不输入的信号(第2解码部分信号)的需要。因而，综合部420也不再需要。
即，在不使用划分部400和综合部420的情况下，其特征也可以是，通过对第2逆变换系数设定多个非零系数，来削减对该系数耗费的乘法处理。此外，此时设定零系数的也可以为能量较小的位置，也可以仅为相互相关较小的系数。另外，在将非对角要素全部设为0的基底中，对角要素为1。
图44是概念性地表示有关本发明的实施方式8的逆变换部的数据流的图。
将P维(在图44的例子中是4×4×2的三维信号、输入元数n＝32)的解码变换输出信号在划分部400中按照划分综合信息划分为第2解码变换输出信号(输入元数m＝6)和第2解码部分信号。第2逆变换部410通过对第2解码变换输出信号使用由第2逆变换系数构成的第2逆变换矩阵进行第2逆变换，生成第1解码部分信号。即，第2逆变换部410通过对包括与多个编码信号的一部分对应的第2解码变换输出信号(在图44的例子中，是两个二维的第2解码变换输出信号)的一揽子信号一起进行第2逆变换，生成多个第1解码部分信号。
综合部420通过将第1解码部分信号与第2解码部分信号综合，生成第1解码变换输出信号。并且，第1逆变换部430通过对第1解码变换输出信号使用由第1逆变换系数构成的第1逆变换矩阵进行第1逆变换，生成解码变换输入信号。即，第1逆变换部430通过分别对多个第1部分信号、和包括对应的第2解码部分信号的第1解码变换输出信号进行第1逆变换，生成解码变换输入信号。
另外，第2逆变换部410在被输入包括两个二维块的信号的情况下，与图40同样，以水平方向、垂直方向、跨越块的方向等的顺序进行逆变换。逆变换的顺序并不限定于此。
此外，在第1逆变换部430中，通过如图44所示那样将P-1维的第1逆变换采用多次而生成解码变换输入信号。例如，在图44所示的例子中，第1逆变换部430对4×4×2的三维的第1解码变换输出信号进行两次4×4的二维的第1逆变换。
另外，在图44中，为了使说明容易理解，表示了两个第1逆变换部430，但可以由1个第1逆变换部430进行两次二维的第1变换。此外，也可以实际上变换部具备两个第1逆变换部430、两个第1逆变换部430分别进行各1次二维的第1变换。
或者，第1逆变换部430也可以对P维的变换输入信号进行1次P维的第1变换。P维的第1变换既可以是分离型、或者也可以是非分离型。
这样，有关本发明的实施方式8的第2逆变换部410对于P维的第2解码变换输出信号进行对P维分别进行P次一维的变换的分离型的第2逆变换。即，在图44所示的例子中，对于三维的第2解码变换输出信号进行对三维分别进行3次一维的变换的分离型的第2逆变换(参照图40)。
本发明的实施方式8的逆变换处理的流程与实施方式2、4、6大致同样，所以这里使用图14进行说明。
另外，对有关本发明的实施方式8的解码装置输入的编码信号例如是将分别与构成输入图像或预测误差图像的多个块对应的图像信号编码的信号。具体而言，多个块如图45所示，包括输入图像或预测误差图像的亮度块或色差块。或者，多个块也可以如图46所示那样在输入图像或预测误差图像内包含相互在空间上相邻的块。
首先，划分部400取得划分综合信息(步骤S231)。接着，划分部400按照划分综合信息，将解码变换输出信号划分为第2解码变换输出信号和第2解码部分信号(步骤S232)。
接着，第2逆变换部410取得第2逆变换系数(步骤S233)。并且，第2逆变换部410通过对第2解码变换输出信号进行第2逆变换，生成第1解码部分信号(步骤S234)。
接着，综合部420通过按照划分综合信息将第1解码部分信号和第2解码部分信号综合，生成第1解码变换输出信号(步骤S236)。
接着，第1逆变换部430取得第1逆变换系数(步骤S237)。并且，第1逆变换部430通过对第1解码变换输出信号进行第1逆变换，生成解码变换输入信号(步骤S238)。
另外，取得划分综合信息的步骤S231、取得逆变换系数的步骤S233、S237等如上述那样有许多通知的变形，所以并不限定于以本流程的定时实施，此外，不是作为本实施方式的一部分而必须的动作。此外，在第2逆变换是分离型的情况下，在步骤S232中，划分部400将第2解码变换输出信号从P维向一维重新排列，在步骤S236中，在将第1解码部分信号从一维重新排列为P维后综合。
另外，如上所述，在本实施方式中，多维的解码变换输出信号也可以是亮度信号(Y信号)及色差信号(U信号、V信号)。图45是概念性地表示多维的解码变换输出信号是YUV的信号的情况下的逆变换的数据流的一例的图。
将Y信号的解码量化系数、U信号的解码量化系数、V信号的解码量化系数在逆量化部320中逆量化，生成解码变换输出信号。逆量化既可以对YUV信号分别进行，也可以如实施方式11所述那样对输入到第2逆变换部410中的部分集中逆量化。
第2逆变换部410通过对解码变换输出信号中的作为能量较大的低频带侧区域的第2解码变换输出信号进行第2逆变换，生成第1解码部分信号。第1解码部分信号通过与作为没有进行第2逆变换的部分的第2解码部分信号综合，生成第1解码变换输出。
第1逆变换部430通过对第1解码变换输出信号进行第1逆变换，生成Y信号、U信号、V信号的解码变换输入信号。第1逆变换部430既可以将YUV信号一起进行集中的三维的变换，或者也可以将YUV信号单独地进行二维的变换。另外，也可以如实施方式11所述那样对采用第2逆变换的部分(第1解码部分信号)进行与没有采用的部分(第2解码部分信号)独立的逆扫描、逆量化。
此外，在本实施方式中，多维的解码变换输出信号也可以是在空间上相邻的块的图像信号。图46是概念性地表示多维的解码变换输出信号是在空间上相邻的块的信号的情况下的数据流的一例的图。
将与在空间上相邻的多个小块(在图46所示的例子中是4个)对应的解码量化系数在逆量化部320中逆量化，生成解码变换输出信号。逆量化对与4个小块对应的数据单独地进行。或者，也可以将与输入到第2逆变换部410中的部分对应的数据首先逆量化，将与4个小块对应的数据中的、没有被输入到第2逆变换部410中的部分单独地逆量化。
第2逆变换部410通过对与4个小块对应的解码变换输出信号中的、作为包含能量较大的要素的低频带侧区域的第2解码变换输出信号进行第2逆变换，生成第1解码部分信号。并且，通过将作为第2逆变换的输出的第1解码部分信号、越作为没有采用第2逆变换的区域的第2解码部分信号综合，生成第1解码变换输出信号。
第1逆变换部430通过对第1解码变换输出信号的各个小块单位进行第1逆变换，生成解码变换输入信号。另外，也可以如实施方式11所述那样对采用了第2逆变换的部分(第1解码部分信号)进行与没有采用第2逆变换的区域(第2解码部分信号)独立的逆扫描、逆量化。此外，也可以根据采用第2逆变换的区域的量化系数的状态、切换对于没有采用第2逆变换的区域的逆扫描、逆量化、熵解码的内部状态变量。
此外，将第1逆变换矩阵的范数修正的处理如图37及图38所示，在第1逆变换前进行。具体而言，也可以是，对于进行第2逆变换的部分在第2逆变换后进行，对于不进行第2逆变换的部分在第1逆变换前的某个时点进行。
如以上这样，通过有关本发明的实施方式8的解码装置及解码方法，能够在抑制变换处理的运算量和逆变换系数的数据量的同时、适应于输入信号的统计性质的变化。特别是，对于P维(P是2以上的整数)的输入信号是有效的。
另外，在本发明的实施方式8中，第2逆变换部410也可以进行非分离型的第2逆变换。即，第2逆变换部410也可以对于P维的第2解码变换输出信号进行将P维的信号重新排列为一维的信号、对重新排列后的信号进行变换的非分离型的第2变换。具体而言，与在实施方式1等中说明的情况下是同样的，所以这里省略说明。
(实施方式9)
有关本发明的实施方式9的编码装置及编码方法具备将声音数据、静止图像数据、运动图像数据等作为编码对象的信号通过多种变换的组合进行变换的变换部及变换方法。有关本发明的实施方式9的编码装置的特征在于，在第1变换及第2变换的至少其一中执行分离型的变换。对于与上述实施方式同样的结构有赋予同样的标号而省略说明的情况。
在有关本发明的实施方式9的编码装置及编码方法中，输入信号是P维信号(P是2以上的整数)。因此，变换输出信号、解码变换输出信号、解码变换输入信号、解码信号、预测信号也为P维。
本发明的实施方式9的第1变换部200在运算处理的一部分或全部中使用固定的变换处理。具体而言，例如使用搭载有MPEG-1/2/4视频编码规格的离散余弦变换、或采用H.264/AVC规格的整数精度DCT。或者，也可以将在实施方式1、3、5、7中说明的变换作为分离型变换的一部分使用。
对于将4×4的二维信号作为变换输入信号输入的情况，使用图47进行说明。图47是概念性地表示有关本发明的实施方式9的变换部的数据流的一例的图。
第1变换部200通过对P维信号(在图47所示的例子中是P＝2)的变换输入信号进行作为分离型变换的第1变换，生成第1变换输出信号。作为分离型变换的第1变换部200进行执行行方向的变换的第1坐标轴变换，接着，进行执行列方向的变换的第2坐标轴变换。另外，也可以为将行方向和列方向的处理替换的结构。
n×n的二维信号的输入由于维数是n×n、变换的运算量变得庞大，所以优选的是采用分离型的结构。在分离型中，在行或列的1个变换单位中，维数是n，与不是分离型的变换的维数n×n相比较低，所以能够减轻运算量。划分部210、第2变换部220、综合部230的动作与实施方式1、3、5、7相同，所以省略说明。
使用图48A说明有关本发明的实施方式9的变换部110进行的变换方法。图48A是表示有关本发明的实施方式9的变换部110的动作的一例的流程图。
首先，第1变换部200通过对变换输入信号进行第1变换，生成第1变换输出信号(步骤S112)。步骤S112包括以下的两个步骤。
具体而言，首先，第1变换部200通过将变换输入信号变换为第1坐标轴方向，生成第1坐标轴变换信号(步骤S112a)。并且，第1变换部200通过将第1坐标轴变换信号变换为第2坐标轴方向，生成第2坐标轴变换信号(步骤S112b)。这样生成的第2坐标轴变换信号相当于实施方式1、3、5、7中的第1变换输出信号。
接着，划分综合信息计算部612决定划分综合信息(步骤S113)。并且，划分部210基于划分综合信息，将作为第1变换输出信号的第2坐标轴变换信号向第1部分信号和第2部分信号划分(步骤S114)。此时，划分部210进行划分，以使第1部分信号的相关能量比第2部分信号的相关能量大。进而，划分部210将P维(P是2以上的整数)的第1部分信号重新排列为一维。
接着，第2变换系数导出部222基于第1部分信号的局部性的集合的统计性质决定第2变换系数(步骤S115)。并且，第2变换部220通过对第1部分信号使用第2变换矩阵进行第2变换，生成第2变换输出信号(步骤S116)。
最后，综合部230通过将一维信号的第2变换输出信号重新排列为P维、将第2部分信号与从一维重新排列为P维的第2变换输出信号综合，生成变换输出信号(步骤S118)。
另外，如图48B所示，也可以将划分综合信息的决定(步骤S113)、和第2变换系数的决定(步骤S115)通过不同的方法决定、不作为本实施方式的一部分动作。
此外，上述的第1坐标轴变换及第2坐标轴变换(步骤S112a、步骤S112b)也可以是实施方式1、3、5、7中记载的第1变换。上述第1坐标轴变换及第2坐标轴变换(步骤S112a、步骤S112b)也可以是例如搭载有MPEG-1/2/4视频编码规格的离散余弦变换、或采用H.264/AVC规格的整数精度DCT的变换。
此外，与在本实施方式中对第1变换叙述的同样，第2变换也可以是分离型的结构。在第1变换和第2变换是分离型的情况下，例如，如果输入为二维信号，则在分离的各维中成为一维的信号处理，能够采用本实施方式1到8中叙述的2阶段的变换处理。
图49是表示有关本发明的实施方式9的变形例的变换部110的动作的一例的流程图。对于进行与图48A及图48B相同的动作的步骤赋予相同的标号，省略说明。
划分部210将第1变换输出信号划分为第1部分信号和第2部分信号(步骤S114)。此时，划分部210不将P维的第1部分信号重新排列为一维。
并且，第2变换部220通过作为第2变换的第1坐标轴变换而进行行方向的变换处理，生成第1坐标轴变换信号(S116a)。接着，第2变换部220通过对第1坐标轴变换信号作为第2变换的第2坐标轴变换而进行列方向的变换处理，生成第2坐标轴变换信号(S116b)。这样，生成的第2坐标轴变换信号相当于第2变换输出信号。另外，行和列的变换的顺序也可以替换。
另外，也可以将第1方向的变换处理和第2方向的变换处理连续进行。图50是表示有关本发明的实施方式9的变形例的变换部110的动作的一例的流程图。
图49将处理的顺序替换，在第1变换部200进行行方向的第1变换的第1坐标轴变换后(S112a)，划分部210在行方向上进行划分(S114a)。并且，第2变换部220在进行行方向的第2变换的第1坐标轴变换后(S116a)，综合部230进行行方向的综合处理(S118a)。
接着，在第1变换部200进行列方向的第1变换的第2坐标轴变换后(S112b)，划分部210进行列方向的划分(S114b)。并且，在第2变换部220进行列方向的第2变换的第2坐标轴变换后(S116b)，综合部230进行列方向的综合处理(S118b)。
另外，行和列的处理顺序也可以替换。此外，划分处理和综合处理在变换系数包含零系数的情况下，也可以不作为明示的步骤呈现。
如以上这样，通过有关本发明的实施方式9的编码装置及编码方法，能够在抑制变换处理的运算量和变换系数的数据量的同时、适应于输入信号的统计性质的变化。特别是，对于P维(P是2以上的整数)的输入信号是有效的。
(实施方式10)
有关本发明的实施方式10的解码装置及解码方法具备将编码了声音数据、静止图像数据、运动图像数据等的信号的编码信号(在实施方式9中生成的编码信号)通过多种变换的组合进行逆变换的逆变换部及逆变换方法。有关本发明的实施方式10的解码装置及解码方法的特征在于，通过第1逆变换及第2逆变换的至少其一执行分离型的逆变换。对于与上述实施方式同样的结构有赋予同样的标号而省略说明的情况。
在有关本发明的实施方式10的解码装置及解码方法中，解码变换输出信号、解码变换输入信号、解码信号、预测信号是P维信号(P是2以上的整数)。
第1逆变换部430在运算处理的一部分或全部中使用固定的变换处理。具体而言，例如使用搭载有MPEG-1/2/4视频编码规格的离散余弦变换、或采用H.264/AVC规格的整数精度DCT。或者，也可以使用上述实施方式2、4、6、8的逆变换作为分离型变换的一部分。
划分部400被输入P维(例如、P＝2)的解码变换输出信号，按照划分综合信息将解码变换输出信号划分为第2解码变换输出信号和第2解码部分信号。第2逆变换部410通过使用第2逆变换矩阵对第2解码变换输出信号进行第2逆变换，生成第1解码部分信号。
综合部420通过将第2解码部分信号和第1解码部分信号按照划分综合信息综合，生成第1解码变换输出信号。
第1逆变换部430通过对第1解码变换输出信号进行作为分离型变换的第1逆变换，生成解码变换输入信号。在第1逆变换部430中，进行执行行方向的变换的第1分离变换(即，第1坐标轴逆变换)，接着，进行执行列方向的变换的第2分离变换(即，第2坐标轴逆变换)。也可以是将行方向和列方向的处理替换的结构。
n×n的二维信号的输入的维数是n×n，变换的运算量变得庞大，所以优选的是采取分离型的结构。在分离型中，在行或列的1个变换单位中，维数是n，与不是分离型的变换的维数n×n相比较低，所以能够减轻运算量。划分部400、第2逆变换部410、综合部420的动作与上述实施方式2、4、6、8相同，所以省略说明。
使用图51A，说明有关本发明的实施方式10的逆变换部330进行的逆变换方法。图51A是表示有关本发明的实施方式10的逆变换部330的动作的一例的流程图。
首先，划分部400取得划分综合信息(步骤S231)。并且，划分部400按照划分综合信息，将作为P维信号(P是2以上的整数)的解码变换输出信号重新排列为一维，划分为第2解码变换输出信号和第2解码部分信号(步骤S232)。
接着，第2逆变换部410取得第2逆变换系数(步骤S233)。并且，第2逆变换部410通过对第2解码变换输出信号进行第2逆变换，生成第1解码部分信号(步骤S234)。
接着，综合部420通过按照划分综合信息、将作为一维信号的第1解码部分信号重新排列为P维信号、将重新排列的信号与第2解码部分信号综合，生成第1解码变换输出信号(步骤S236)。
接着，第1逆变换部430取得第1逆变换系数(步骤S237)。并且，第1逆变换部430通过对第1解码变换输出信号进行第1逆变换，生成解码变换输入信号(步骤S238)。这里，步骤S238包括以下的两个步骤。
即，具体而言，第1逆变换部430通过将第1解码变换输出信号逆变换为第1坐标轴方向，生成第1坐标轴逆变换信号(步骤S238a)。接着，第1逆变换部430通过将第1坐标轴逆变换信号逆变换为第2坐标轴方向，生成第2坐标轴逆变换信号(步骤S238b)。这样生成的第2坐标轴逆变换信号相当于上述实施方式2、4、6、8中的解码变换输入信号。
另外，如图51B所示，划分综合信息的取得(步骤S231)、和逆变换系数的取得(步骤S233及步骤S237)如上述那样有许多通知的变形，所以并不限定于以本流程的定时实施。
此外，上述的第1坐标轴逆变换及第2坐标轴逆变换(步骤S238a、步骤S238b)也可以是在上述实施方式2、4、6、8中记载的第1逆变换。此外，上述的第1坐标轴逆变换及第2坐标轴逆变换(步骤S238a、步骤S238b)也可以是例如搭载有MPEG-1/2/4视频编码规格的离散余弦变换、或采用H.264/AVC规格的整数精度DCT的变换。
此外，与在本实施方式中对第1逆变换叙述的同样，第2逆变换也可以是分离型的结构。在第1逆变换和第2逆变换是分离型的情况下，例如如果输入为二维信号，则在分离后的各维中为一维的信号处理，能够采用本实施方式1到8中叙述的2阶段的变换处理。
图52是表示有关本发明的实施方式10的变形例的逆变换部330的动作的一例的流程图。对于进行与图51A及图51B相同的动作的步骤赋予相同的标号，省略说明。
划分部400将解码变换输出信号划分为第1部分信号和第2部分信号(步骤S232)。此时，划分部400不将P维的第1部分信号重新排列为一维。
第2逆变换部410通过作为第2逆变换的第1坐标轴变换而进行行方向的逆变换处理，生成第1坐标轴逆变换信号(S234a)。接着，第2逆变换部410通过作为第2逆变换的第2坐标轴变换而进行列方向的逆变换处理，生成第2坐标轴逆变换信号(S234b)。这样，生成的第2坐标轴变换信号相当于第1解码部分信号。另外，行和列的变换的顺序也可以替换。
另外，也可以将第1方向的逆变换处理和第2方向的逆变换处理继续进行。图53是表示有关本发明的实施方式10的变形例的逆变换部330的动作的一例的流程图。
首先，划分部400进行行方向的划分(S232a)，第2逆变换部410进行行方向的第2逆变换的第1坐标轴变换(S234a)。并且，综合部420进行行方向的综合处理(S236a)，第1逆变换部430进行行方向的第1逆变换的第1坐标轴变换(S238a)。
接着，划分部400进行列方向的划分(S232b)，第2逆变换部410进行列方向的第2逆变换的第2坐标轴变换(S234b)。并且，综合部420进行列方向的综合处理(S236b)，第1逆变换部430进行列方向的第1逆变换的第2坐标轴变换(S238b)。
另外，行和列的处理顺序也可以替换。划分处理和综合处理在逆变换系数包含零系数的情况下，也可以不作为明示的步骤呈现。
如以上这样，通过有关本发明的实施方式10的解码装置及解码方法，能够在抑制变换处理的运算量和逆变换系数的数据量的同时、适应于输入信号的统计性质的变化。特别是，对于P维(P是2以上的整数)的输入信号是有效的。
(实施方式11)
有关本发明的实施方式11的编码装置及编码方法具备将声音数据、静止图像数据、运动图像数据等作为编码对象的信号通过多种变换的组合进行变换的变换部及变换方法。有关本发明的实施方式11的编码装置及编码方法的特征在于，对采用了第2变换的部分、和没有采用第2变换的部分进行不同的处理。对于与上述实施方式同样的结构有赋予同样的标号而省略说明的情况。
对于有关本发明的实施方式11的编码装置使用图54A进行说明。图54A是表示有关本发明的实施方式11的编码装置1200的结构的一例的块图。
如图54A所示，编码装置1200与图17所示的有关实施方式3的编码装置500相比，代替变换部510、量化部120、熵编码部130、逆量化部540及逆变换部550而具备变换部1210、量化部1220、熵编码部1230、逆量化部1240及逆变换部1250这一点不同。以下，对于与有关实施方式3的编码装置500相同的结构省略说明，以不同点为中心进行说明。
在本实施方式中，将变换部1210的输出根据第2变换的采用的有无，分离为两个而输出。即，变换部1210通过对变换输入信号进行第1变换及第2变换，生成变换输出信号，将所生成的变换输出信号中的、采用了第2变换的部分、和没有采用第2变换的部分分别作为两个信号输出。换言之，变换部1210将上述第2变换输出信号作为变换输出信号L输出，将上述第2部分信号作为变换输出信号H输出。
第2变换输出信号由于统计性质与第2部分信号不同，所以通过也分别进行后续的处理，能够实现进一步的性能提高。具体而言，量化部1220通过将变换输出信号L和变换输出信号H扫描、量化，分别生成量化系数L和量化系数H。换言之，量化部1220通过将构成变换输出信号的系数值扫描、将包含扫描到的系数值的扫描信号量化，生成量化系数。
此时，量化部1220也可以进行控制以将量化系数L的量化带来的损失抑制得较低、优待对给主观画质带来的影响较大的低频带信号分配的数据量。即，量化部1220将扫描信号中的、对应于第2变换输出信号的第1扫描信号以第1精度量化，将对应于第2部分信号的第2扫描信号以比第1精度低的第2精度量化。另外，在量化部1220中，能够进行量化精度的切换。
此外，量化部1220也可以切换对包含在变换输出信号L中的系数值的扫描的动作、和对包含在变换输出信号H中的系数值的扫描的动作。另外，在量化部1220中，能够切换扫描方式。
例如，量化部1220在第2变换是非分离型的结构的情况下，以作为重新排列成一维的列的第2变换输出信号的顺序扫描，对于不采用第2变换的第2部分信号，进行锯齿形扫描等的在水平方向和垂直方向上大致同时移动、在块的端部折回的扫描。即，量化部1220将构成第2变换输出信号的系数值以第2变换的强度顺序扫描，并且将构成第2部分信号的系数值以锯齿形扫描进行扫描。
另外，在变换的输入输出是多维信号的情况下，对于第2部分信号，也可以进行多维的锯齿形扫描，或者也可以依次进行二维的锯齿形扫描。例如，在以YUV信号为输入的例子中，也可以将Y信号的第2部分信号进行锯齿形扫描、将U信号的第2部分信号进行锯齿形扫描、将V信号的第2部分信号进行锯齿形扫描。YUV的处理的顺序并不限定于此。
熵编码部1230通过将量化系数L进行熵编码，生成编码信号L，通过将量化系数H进行熵编码，生成编码信号H。并且，熵编码部1230将编码信号L和编码信号H多路复用并输出。
此外，量化系数L和量化系数H由于统计性质不同，所以熵编码部1230将内部状态变量(发生概率、上下文等)独立地管理。另外，在熵编码部1230中，能够进行熵编码方式的切换。此外，也可以切换2值化、上下文导出方法。熵编码的内部状态变量为了存储状态而消耗存储器，所以有希望削减的情况。因而，例如也可以是对于变换输出信号L的这些变量密集地设置、对于变换输出信号H的这些变量稀疏地设置的结构。密集或稀疏是表示独立的内部状态变量的个数相对于解码量化系数的个数的比的大小关系的。
即，熵编码部1230对于量化系数中的、对应于第2变换输出信号的第1量化系数、和对应于第2部分信号的第2量化系数，分别使用不同的概率表进行熵编码。或者，熵编码部1230也可以通过对量化系数中的第1量化系数和第2量化系数分别进行不同的上下文导出、将量化系数进行熵编码。
逆量化部1240通过将量化系数L逆量化，生成解码变换输出信号L，通过将量化系数H逆量化，生成解码变换输出信号H。逆量化部1240进行与量化部1220执行的处理相反的处理。
逆变换部1250通过将解码变换输出信号L和解码变换输出信号H进行逆变换，生成解码信号。逆变换部1250进行与变换部1210进行的处理相反的处理。
另外，也可以使对于变换输出信号L的处理(扫描、量化、熵编码)比对于变换输出信号H的处理(扫描、量化、熵编码)处理顺序靠前。在设为该处理优先次序的情况下，也可以根据对于变换输出信号L的这些处理的结果来切换对于变换输出信号H的这些处理的动作。例如，也可以根据变换输出信号L的非零系数的量来切换对于量化系数H的熵编码的内部状态变量。
图54B是表示有关本发明的实施方式11的编码装置1200中的、按照信号的处理的差异的一例的图。如图54B所示，在有关本发明的实施方式11的编码装置1200中，在扫描、量化、熵编码的至少1个中，对分别对应于第2变换输出信号和第2部分信号的信号进行不同的处理。
本发明的实施方式11的编码处理流程与上述实施方式的编码处理流程大致是同样的，所以以下使用图18进行说明。
首先，在使用预测误差信号作为输入信号的情况下，预测部580生成预测误差信号(步骤S305)。接着，变换部1210通过将预测误差信号或输入信号变换，生成采用了第2变换的变换输出信号L和没有采用第2变换的变换输出信号H(步骤S110)。
接着，量化部1220通过将变换输出信号L量化而生成量化系数L，通过将变换输出信号H量化而生成量化系数H(步骤S120)。接着，熵编码部1230通过将量化系数L进行熵编码、并且将量化系数H进行熵编码，生成编码信号(步骤S130)。另外，量化系数L的熵编码和量化系数H的熵编码的内部状态变量是独立的。
接着，逆量化部1240通过将量化系数L逆量化，生成解码变换输出信号L，通过将量化系数H逆量化，生成解码变换输出信号H(步骤S340)。接着，逆变换部1250通过将解码变换输出信号L和解码变换输出信号H逆变换，生成解码信号(步骤S350)。最后，将生成的解码信号保存到存储器570中(步骤S360)。
另外，在根据在实施方式3中叙述的输入信号的局部性的统计性质的变动控制第2变换系数的结构中，也可以根据这些变动来切换扫描、量化、熵编码的内部状态变量。但是，根据切换的种类的增加，由于具有内部存储器量增加的缺点，所以也可以是，虽然切换对于变换输出信号L的扫描、量化、熵编码的内部状态变量、熵编码的上下文导出方法，但不使对于变换输出信号H的这些连动，即，也可以使用相同的存储器抑制存储器使用量。此外，扫描、量化、熵编码的内部状态变量、上下文导出方法也可以不是同时切换连动和非连动、而单独地切换连动和非连动。
另外，扫描也可以是预先设定的固定的样式、或基于量化系数的发生频度更新的动态的样式。扫描方式、量化精度、熵编码方式的切换的频度也可以是对应于第2变换输出信号的信号比对应于第2部分信号的信号高。
如以上这样，通过有关本发明的实施方式11的编码装置及编码方法，能够在抑制变换处理的运算量和变换系数的数据量的同时、适应于输入信号的统计性质的变化。
(实施方式12)
有关本发明的实施方式12的解码装置及解码方法具备将编码了声音数据、静止图像数据、运动图像数据等的信号的编码信号(在实施方式11中生成的编码信号)通过多种变换的组合进行逆变换的逆变换部及逆变换方法。有关本发明的实施方式12的解码装置及解码方法的特征在于，对采用第2变换的部分、和不采用第2变换的部分进行不同的处理。对于与上述实施方式同样的结构有赋予同样的标号而省略说明的情况。
对有关本发明的实施方式12的解码装置使用图55A进行说明。图55A是表示有关本发明的实施方式12的解码装置1300的结构的一例的块图。
如图55A所示，解码装置1300与图27所示的有关实施方式4的解码装置700相比，代替熵解码部310、逆量化部320及逆变换部730而具备熵解码部1310、逆量化部1320及逆变换部1330这一点不同。以下，对与有关实施方式4的解码装置700相同的结构省略说明，以不同点为中心进行说明。
熵解码部1310通过将编码信号进行熵解码，生成解码量化系数L和解码量化系数H。在熵解码中，对于解码量化系数L和解码量化系数H的内部状态变量(概率状态变量、上下文)是独立的。
此外，也可以切换2值化、上下文导出方法。另外，在熵解码部1310中，能够进行熵解码方式的切换。熵解码的内部状态变量为了将状态存储而消耗存储器，所以有希望削减的情况。也可以是对于解码量化系数L的这些变量密集地设置、对于解码量化系数H的这些变量稀疏地设置的结构。密集或稀疏是表示独立的内部状态变量的个数相对于解码量化系数的个数的比的大小关系的。
即，熵解码部1310对于编码信号中的、对应于第2解码变换输出信号的第1编码信号、和对应于第2解码部分信号的第2编码信号，分别使用不同的概率表进行熵解码。或者，熵解码部1310也可以通过对编码信号中的第1编码信号和第2编码信号分别进行不同的上下文导出、来将编码信号进行熵解码。
逆量化部1320通过将解码量化系数L逆量化、逆扫描，生成解码变换输出信号L。进而，逆量化部1320通过将解码量化系数H逆量化、逆扫描，生成解码变换输出信号H。即，逆量化部1320通过将解码量化系数逆量化而生成解码扫描信号，扫描构成解码扫描信号的系数值的系数值。由此，生成包括扫描的系数值的解码变换输出信号。
另外，逆量化部1320也可以将解码量化系数中的、对应于第2解码变换输出信号的第1解码量化系数以第1精度逆量化，将对应于第2解码部分信号的第2解码量化系数以比第1精度低的第2精度逆量化。另外，在量化部1220中，能够进行量化精度的切换。
逆变换部1330通过将解码变换输出信号L和解码变换输出信号H逆变换，生成解码变换输入信号。另外，解码变换输出信号L和解码变换输出信号H分别相当于第2解码变换输出信号、第2解码部分信号。
另外，在逆量化部1320中，也可以切换对于解码量化系数L的逆扫描、和对于解码量化系数H的逆扫描的动作。另外，在逆量化部1320中，能够进行扫描方式的切换。在第2逆变换是非分离型的结构的情况下，以作为重新排列为一维的列的第1解码部分信号的顺序进行逆扫描，对于不采用第2逆变换的第2解码部分信号，进行锯齿形扫描等的在水平方向和垂直方向上大致同时移动而在块的端部折回的逆扫描。
即，逆量化部1320将构成解码扫描信号中的与第2解码变换输出信号对应的第1解码扫描信号的系数值以第2逆变换的强度顺序扫描，并且将构成与第2解码部分信号对应的第2解码扫描信号的系数值以锯齿形扫描进行扫描。
另外，在变换的输入输出是多维信号的情况下，对于第2解码部分信号也可以进行多维的锯齿形扫描，或者也可以依次进行二维的锯齿形扫描。例如，在以YUV信号为输入的结构中，也可以将Y信号的第2解码部分信号进行逆锯齿形扫描、将U信号的第2解码部分信号进行逆锯齿形扫描、将V信号的第2解码部分信号进行逆锯齿形扫描。YUV的处理的顺序并不限定于此。
另外，也可以使对于解码量化系数L的处理与对于解码量化系数H的处理相比处理顺序靠前。在设为该处理优先次序的情况下，也可以根据对于解码量化系数L的这些处理的结果来切换对于解码量化系数H的这些处理的动作。
图55B是表示有关本发明的实施方式12的解码装置1300的、按照信号的各处理的差异的一例的图。如图55B所示，在有关本发明的实施方式12的解码装置1300中，在熵解码、逆量化及扫描的至少1个中，对分别对应于第2解码变换输出信号和第2解码部分信号的信号进行不同的处理。
本发明的实施方式12的解码处理流程与上述实施方式的解码处理流程大致是同样的，所以使用图28进行说明。
首先，预测部770基于保存在存储器760中的已编码信号，生成预测信号(步骤S405)。另外，在将通过将输入信号直接变换的编码方法生成的编码信号解码的情况下，将本步骤S405省略。
接着，熵解码部1310通过将编码信号进行熵解码，生成解码量化系数L和解码量化系数H(步骤S210)。这里，在熵解码中，对于解码量化系数L和解码量化系数H的内部状态变量(概率状态变量、上下文)是独立的。
接着，逆量化部1320通过将解码量化系数L逆量化，生成解码变换输出信号L，通过将解码量化系数H逆量化，生成解码变换输出信号H(步骤S220)。并且，逆变换部1330通过将解码变换输出信号L和解码变换输出信号H逆变换，生成解码变换输入信号(步骤S230)。
接着，加法器750通过将上述预测信号与解码变换输入信号相加，生成解码信号。并且，将解码信号保存到存储器760中，使得在下个定时能够参照(步骤S440)。
另外，在根据在实施方式3中叙述的输入信号的局部性的统计性质的变动控制第2逆变换系数的结构中，也可以根据这些变动来切换熵解码的上下文的导出方法、熵解码的内部状态变量、逆量化、逆扫描。但是，有因为切换的种类的增加而内部存储器量增加的缺点，所以也可以将输出解码量化系数L的熵解码的内部状态变量、对于解码量化系数L的逆量化、对它的逆扫描切换，但与解码量化系数H关联的这些处理不连动，即，也可以使用同一个存储器来抑制存储器使用量。熵解码的上下文导出方法、熵解码的内部状态变量、逆量化、逆扫描也可以不是同时切换连动和非连动、而单独地切换连动和非连动。
另外，逆扫描也可以是基于预先设定的固定的样式、或量化系数的发生频度更新的动态样式。关于扫描方式、逆量化精度、熵解码方式的切换的频度，也可以是对应于第2解码变换输出信号的信号比对应于第2解码部分信号的信号高。
如以上这样，通过有关本发明的实施方式12的解码装置及解码方法，能够在抑制变换处理的运算量和逆变换系数的数据量的同时、适应于输入信号的统计性质的变化。
(实施方式13)
有关本发明的实施方式13的编码装置、编码方法、解码装置及解码方法的特征在于，利用第2变换系数及第2逆变换系数的特征将变换系数编码及解码，以使编码效率提高。第2变换矩阵及第2逆变换矩阵由于是以下所示那样的特征性的矩阵，所以能够实现变换性能的提高、或变换系数的数据量削减。
在本实施方式中，作为一例，设想将由4个要素构成的第1部分信号y1L m输入到第2变换部220中、第2变换部220通过使用4×4矩阵的第2变换矩阵A2 m将第1部分信号y1L m变换、将第1部分变换输出信号y2 m输出的情况。
如图56A所示，构成第2变换矩阵A2 m的第2变换系数用a(i，j)(或者aij)表示。另外，是i＝1、2、3、4、及j＝1、2、3、4。此时，如图56A所示，作为i＝j的要素(aii)是对角要素，作为i≠j的要素是非对角要素。进而，将非对角要素分类为作为i＜j的要素的上三角要素、和作为i＞j的要素的下三角要素。
以下，首先对第2变换矩阵A2 m的对角要素的特征进行说明。
假如在第1变换是能够达到完全的无相关化的变换的情况下，第2变换不能将第1变换输出信号进一步无相关化，所以可以将对角要素全部设定为1(即，在8位精度的系数的情况下为255)、将非对角要素的全部设定为0。
但是，如上所述，第1变换系数导出部202将对包含在集合SA中的多个变换输入信号xn平均性地最优化的第1变换矩阵A1 n导出，所以不对各个变换输入信号xn最优化。因此，第1变换部200不能达到完全的无相关化，第1变换输出信号y1 n、及作为其一部分的第1部分信号y1L m没有被完全无相关化。因而，由第2变换系数导出部222导出的第2变换系数构成的第2变换矩阵A2 m的对角要素不一定为1，非对角要素不一定为0。
但是，第1部分信号y1L m由于通过第1变换被某种程度地无相关化，所以也可以将第2变换矩阵A2 m的对角要素设定为接近于1的值、将非对角要素设定为接近于0的值。因而，在将第2变换系数编码时，对角要素a(i，i)与1的差为接近于0的值，所以能够削减应编码的信息量，所以能够进一步提高编码效率。
此外，对角要素由于越为高频带成分越容易受特殊的相关的影响，所以也可以设定为从1偏离。即，也可以设定为，使得越是右下的对角要素越从1偏离。例如，也可以决定第2变换矩阵的对角要素，以使其从左上到右下、值以一次函数或等差级数变小。关于逆矩阵也是同样的。
图56B是表示第2变换矩阵及第2逆变换矩阵的一例的图。如图56B所示，对角要素的值的大小也可以设定为非对角要素的值的大小的4倍以上。在各种各样的噪声信号等的干扰进入的情况下等，也可以将对角要素的值的大小设定为非对角要素的值的大小的2倍以上。换言之，第2变换部220在矩阵表现的情况下，也可以使用全部的对角要素的值为非对角要素的值的2倍以上的值的变换系数作为第2变换系数而进行第2变换。同样，第2逆变换部410在矩阵表现的情况下，也可以使用全部的对角要素的值为非对角要素的值的2倍以上的值的逆变换系数作为第2逆变换系数而进行第2逆变换。
接着，关于非对角要素的系数，在将变换系数用a(i，j)表示的情况下，由a(j，i)表示的转置要素也可以大致将绝对值设定为相同。图56B是非对角要素的变换系数具有与转置要素大致相等的绝对值的例子。a12＝48和a21＝-58的对、a13＝64和a31＝-57的对等是典型例。另外，大致相等，是绝对值中为2成以内的误差的意思。
图56C是表示规定的要素和转置要素的绝对值的平均值的图。如图56B及图56C所示，决定变换系数，以使各要素与对应的平均值大致相同。
另外，图56D是表示图56B所示的非对角要素与图56C所示的绝对平均值的差的图。在本实施方式中，可以决定第2变换系数值以使图56D所示的差变小。
此外，在第2变换系数中，作为特征性的关系，有对象要素的符号(a(i，j))与转置要素a(j，i)的符号相互不同的情况较多的关系。例如，如图56B所示，a12＝48和a21＝-58的对、a13＝64和a31＝-57的对等是典型例。
此外，也可以决定变换系数、以使其满足图56E所示那样的关系。另外，图56E是表示上三角要素与下三角要素之间的符号的关系的图。具体而言，是上三角要素的符号为正的情况较多、下三角要素的符号为负的情况较多的关系。
另外，通过将变换系数设定为零，能够实现乘法处理次数的削减、和保持变换系数的存储器量的削减，但也可以将具有在本实施方式中叙述的特征的变换系数作为基准、将绝对值较小的变换系数设定为零。换言之，第2变换部220也可以使用矩阵表现的情况下的至少1个非对角要素的值是0的变换系数作为第2变换系数而进行第2变换。同样，第2逆变换部410也可以使用矩阵表现的情况下的至少1个非对角要素的值是0的逆变换系数作为第2逆变换系数而进行第2逆变换。
例如，在图56B中，也可以将a14＝10、a24＝10、a34＝2、a41＝-3、a42＝-25、a43＝-28设定为零。在图56F中表示非对角要素的至少1个被设定为0的第2变换系数的例子。
如以上这样，根据有关本发明的实施方式3的编码装置、编码方法、解码装置及解码方法，由于决定变换系数以使其具有特征性的性质，所以能够利用该特征性的性质将变换系数编码或解码、能够提高编码效率。
(实施方式14)
有关本发明的实施方式14的编码装置及编码方法具备将声音数据、静止图像数据、运动图像数据等作为编码对象的信号通过多种变换的组合进行变换的变换部及变换方法。有关本发明的实施方式14的编码装置及编码方法的特征在于，将第2变换处理和量化处理并行进行。对于与上述实施方式同样的结构，有赋予同样的标号而省略说明的情况。
在本发明的实施方式14中，变换部110和量化部120通过将一部分的处理并行进行，缩短处理时间。图57A是表示有关本发明的实施方式14的变换及量化的时间图的一例的图。
在图57A所示的例子中，变换输入信号的维数n是8，向第2变换的输入(第1部分信号)的维数m是3。在第1变换处理T1后，进行第2变换处理1401(T2(1)～T2(3))。在该例中，由于包含在第1部分信号中的要素数是3要素，所以设为花费3单位时间。另外，1单位时间例如是在1个要素的第2变换处理中耗费的时间。
并且，如图57A所示，延迟1单位时间而并行，对第2变换输出信号进行量化处理1402(Q2(1)～Q2(3))。然后，对第2部分信号进行量化处理1403(Q1(1)～Q1(5))。
如以上这样，在有关本发明的实施方式14的编码装置及编码方法中，将第1部分信号的第k+1(k是自然数)个要素的第2变换、和第2变换输出信号的第k个要素的量化并行地进行。例如，如图57A所示，将第1部分信号的第2个要素的第2变换(T2(2))、和第2变换输出信号的第1个的量化(Q2(1))在相同的时间并行地进行。由此，能够缩短变换部中的处理时间。
另外，在图57A所示的例子中，将第2变换处理1401和对它的量化处理1402仅以1单位时间的延迟而并行化，第2变换的导入带来的延迟较小。第2变换的对于1要素的处理需要m次的积和运算，运算量较多。因而，通过延长该第2变换处理的处理时间、降低运算电路的并行度，能够抑制电路规模。
具体而言，如图57B所示，将第2变换处理1401和对它的量化处理1402以1单位时间的延迟并行化。但是，由于第2变换处理1401的处理时间延长，所以在对它的量化处理1402中发生空闲时间。利用该空闲时间，并行进行对第2部分信号的量化处理1403。
例如，如图57B所示，在对第1部分信号的第1个要素的第2变换处理(T2(1))中，进行对第2部分信号的第1个要素和第2个要素的量化处理((Q2(1)、Q2(2))。由此，能够在抑制电路规模的同时、实现处理时间的缩短。
如以上这样，通过有关本发明的实施方式14的编码装置及编码方法，能够在抑制变换处理的运算量和变换系数的数据量的同时、适应于输入信号的统计性质的变化。特别是，能够减轻处理时间的增加量。
(实施方式15)
有关本发明的实施方式15的解码装置及解码方法具备将编码了声音数据、静止图像数据、运动图像数据等的信号的编码信号(在实施方式14中生成的编码信号)通过多种变换的组合进行逆变换的逆变换部及逆变换方法。有关本发明的实施方式15的解码装置及解码方法的特征在于，将第2逆变换处理和逆量化处理并行进行。对于与上述实施方式同样的结构有赋予同样的标号而省略说明的情况。
在本发明的实施方式15中，通过逆量化部320和逆变换部330并行进行一部分的处理，将处理时间缩短。图58A是表示有关本发明的实施方式14的变换及量化的时间图的一例的图。
在图58A所示的例子中，解码量化系数的维数n是8，向第2逆变换的输入(第2解码变换输出信号)的维数m是3。在第2解码量化系数的逆量化处理1501(Q2(1)～Q2(3))后，进行第2变换输出信号的第2逆变换处理1502(T2(1)～T2(3))、及第2解码部分信号的逆量化处理1503(Q1(1)～Q1(5))。
如以上这样，在有关本发明的实施方式15的解码装置及解码方法中，并行进行第2解码变换输出信号的第k(k是自然数)个要素的第2逆变换、和第2解码量化系数的第k个要素的逆量化。例如，如图58A所示，将第2解码变换输出信号的第1个要素的第2逆变换(T2(1))、和第2解码量化系数的第1个逆量化(Q1(1))在相同的时间并行地进行。这样，将第2逆变换处理1502和逆量化处理1503并行执行，所以能够将逆量化及逆变换的整体的处理时间抑制得较短。
另外，并行的结构并不限定于上述例子。例如，也可以将第2解码变换输出信号的第k(k是自然数)个要素的第2逆变换、和第1解码量化系数的第k+1个要素的逆量化并行地进行。
此外，也可以降低逆变换处理的并行度而延长需要时间。如图58B所示，将第2逆变换处理1502和逆量化处理1503并行执行。具体而言，在第2逆变换处理1502的空闲时间中进行对第2解码量化系数的逆量化处理1503。
例如，如图58B所示，在对第2解码变换输出信号的第1个要素的第2变换处理(T2(1))中，进行对第2解码量化系数的第1个要素和第2个要素的量化处理((Q2(1)、Q2(2))。由此，能够在抑制电路规模的同时实现处理时间的缩短。
如以上这样，通过有关本发明的实施方式15的解码装置及解码方法，能够在抑制变换处理的运算量和逆变换系数的数据量的同时、适应于输入信号的统计性质的变化。特别是，能够减轻处理时间的增加量。
(实施方式16)
通过将用来实现上述各实施方式所示的运动图像编码方法或运动图像解码方法的结构的程序记录到存储介质中，能够将上述各实施方式所示的处理在独立的计算机系统中简单地实施。存储介质是磁盘、光盘、光磁盘、IC卡、半导体存储器等，只要是能够记录程序的介质就可以。
进而，这里说明上述各实施方式所示的运动图像编码方法及运动图像解码方法的应用例和使用它的系统。
图59是表示实现内容分发服务的内容供给系统ex100的整体结构的图。将通信服务的提供区划分为希望的大小，在各小区内分别设置有作为固定无线站的基站ex107～ex110。
该内容供给系统ex100在因特网ex101上经由因特网服务提供商ex102及电话网ex104、及基站ex107～ex110连接着计算机ex111、PDA(PersonalDigital Assistant)ex112、照相机ex113、便携电话ex114、游戏机ex115等的各设备。
但是，内容供给系统ex100并不限定于图59那样的结构，也可以将某些要素组合连接。此外，也可以不经由作为固定无线站的基站ex107～ex110将各设备直接连接在电话网ex104上。此外，也可以将各设备经由近距离无线等直接相互连接。
照相机ex113是能够进行数字摄像机等的运动图像摄影的设备，照相机ex116是能够进行数字照相机等的静止图像摄影、运动图像摄影的设备。此外，便携电话ex114是GSM(Global System for Mobile Communications)方式、CDMA(Code Division Multiple Access)方式、W-CDMA(Wideband-Code Division Multiple Access)方式、或LTE(Long Term Evolution)方式、HSPA(High Speed Packet Access)的便携电话机、或PHS(PersonalHandyphone System)等，是哪种都可以。
在内容供给系统ex100中，通过将照相机ex113等经由基站ex109、电话网ex104连接在流媒体服务器ex103上，能够进行现场分发等。在现场分发中，对用户使用照相机ex113摄影的内容(例如音乐会现场的影像等)如在上述各实施方式中说明那样进行编码处理，向流媒体服务器ex103发送。另一方面，流媒体服务器ex103将发送来的内容数据对有要求的客户端进行流分发。作为客户端，有能够将上述编码处理后的数据解码的计算机ex111、PDAex112、照相机ex113、便携电话ex114、游戏机ex115等。在接收到分发的数据的各设备中，将接收到的数据解码处理而再现。
另外，摄影的数据的编码处理既可以由照相机ex113进行，也可以由进行数据的发送处理的流媒体服务器ex103进行，也可以相互分担进行。同样，分发的数据的解码处理既可以由客户端进行，也可以由流媒体服务器ex103进行，也可以相互分担进行。此外，并不限于照相机ex113，也可以将由照相机ex116摄影的静止图像及/或运动图像数据经由计算机ex111向流媒体服务器ex103发送。此情况下的编码处理由照相机ex116、计算机ex111、流媒体服务器ex103的哪个进行都可以，也可以相互分担进行。
此外，这些编码解码处理一般在计算机ex111或各设备具有的LSIex500中处理。LSIex500既可以是单芯片，也可以是由多个芯片构成的结构。另外，也可以将运动图像编码解码用的软件装入到能够由计算机ex111等读取的某些记录介质(CD-ROM、软盘、硬盘等)中、使用该软件进行编码解码处理。进而，在便携电话ex114是带有照相机的情况下，也可以将由该照相机取得的运动图像数据发送。此时的运动图像数据是由便携电话ex114具有的LSIex500编码处理的数据。
此外，也可以是，流媒体服务器ex103是多个服务器或多个计算机，是将数据分散处理、记录、及分发的。
如以上这样，在内容供给系统ex100中，客户端能够接收编码的数据而再现。这样，在内容供给系统ex100中，客户端能够将用户发送的信息实时地接收、解码、再现，即使是没有特别的权利或设备的用户也能够实现个人广播。
只要在构成该内容供给系统的各设备的编码、解码中使用上述各实施方式所示的图像编码方法或图像解码方法就可以。
作为其一例，对便携电话ex114进行说明。
图60是表示使用在上述实施方式中说明的图像编码方法和图像解码方法的便携电话ex114的图。便携电话ex114具有由用来在与基站ex110之间收发电波的天线ex601、CCD照相机等的能够拍摄影像、静止图像的照相机部ex603、显示将由照相机部ex603摄影的影像、由天线ex601接收到的影像等解码后的数据的液晶显示器等的显示部ex602、操作键ex604群构成的主体部、用来进行声音输出的扬声器等的声音输出部ex608、用来进行声音输入的麦克风等的声音输入部ex605、用来将摄影的运动图像或静止图像的数据、接收到的邮件的数据、运动图像的数据或静止图像的数据等、编码的数据或解码的数据的记录介质ex607、用来使得能够向便携电话ex114安装记录介质ex607的插槽部ex606。记录介质ex607是在SD卡等的塑料壳内收存有作为能够电气地进行改写及删除的非易失性存储器的EEPROM(Electrically Erasable and Programmable Read Only Memory)的一种的闪存存储器元件的结构。
进而，使用图61对便携电话ex114进行说明。便携电话ex114对于综合控制具备显示部ex602及操作键ex604的主体部的各部的主控制部ex711，将电源电路部ex710、操作输入控制部ex704、图像编码部ex712、照相机接口部ex703、LCD(Liquid Crystal Display)控制部ex702、图像解码部ex709、多路复用分离部ex708、记录再现部ex707、调制解调电路部ex706及声音处理部ex705经由同步总线ex713相互连接。
电源电路部ex710如果通过用户的操作使结束通话及电源键成为开启状态，则通过从电池组对各部供给电力，带有照相机的数字便携电话ex114起动为能够动作的状态。
便携电话ex114基于由CPU、ROM及RAM等形成的主控制部ex711的控制，在声音通话模式时，将由声音输入部ex605集音的声音信号通过声音处理部ex705变换为数字声音数据，将其用调制解调电路部ex706进行波谱扩散处理，由收发电路部ex701实施数字模拟变换处理及频率变换处理后经由天线ex601发送。此外，便携电话ex114在声音通话模式时，将由天线ex601接收到的接收数据放大并实施频率变换处理及模拟数字变换处理，用调制解调电路部ex706进行波谱逆扩散处理，通过声音处理部ex705变换为模拟声音数据后，将其经由声音输出部ex608输出。
进而，在数据通信模式时发送电子邮件的情况下，将通过主体部的操作键ex604的操作输入的电子邮件的文本数据经由操作输入控制部ex704向主控制部ex711送出。主控制部ex711将文本数据用调制解调电路部ex706进行波谱扩散处理，由收发电路部ex701实施数字模拟变换处理及频率变换处理后，经由天线ex601向基站ex110发送。
在数据通信模式时，在发送图像数据的情况下，将由照相机部ex603摄像的图像数据经由照相机接口部ex703向图像编码部ex712供给。此外，在没有发送图像数据的情况下，也可以将由照相机部ex603摄像的图像数据经由照相机接口部ex703及LCD控制部ex702直接显示在显示部ex602上。
图像编码部ex712是具备在本发明中说明的图像编码装置的结构，通过将从照相机部ex603供给的图像数据用在上述实施方式所示的图像编码装置中使用的编码方法压缩编码而变换为编码图像数据，将其向多路复用分离部ex708送出。此外，与此同时，便携电话ex114将在由照相机部ex603摄像中由声音输入部ex605集音的声音经由声音处理部ex705作为数字的声音数据向多路复用分离部ex708送出。
多路复用分离部ex708将从图像编码部ex712供给的编码图像数据和从声音处理部ex705供给的声音数据用规定的方式多路复用，将结果得到的多路复用数据用调制解调电路部ex706进行波谱扩散处理、由收发电路部ex701实施数字模拟变换处理及频率变换处理后、经由天线ex601发送。
在数据通信模式时接收到链接在主页等上的运动图像文件的数据的情况下，将经由天线ex601从基站ex110接收到的接收数据用调制解调电路部ex706进行波谱逆扩散处理，将结果得到的多路复用数据向多路复用分离部ex708送出。
此外，为了将经由天线ex601接收到的多路复用数据解码，多路复用分离部ex708通过将多路复用数据分离，分为图像数据的比特流和声音数据的比特流，经由同步总线ex713将该编码图像数据向图像解码部ex709供给，并将该声音数据向声音处理部ex705供给。
接着，图像解码部ex709是具备在本发明中说明的图像解码装置的结构，通过将图像数据的比特流用与在上述实施方式中表示的编码方法对应的解码方法解码而生成再现运动图像数据，将其经由LCD控制部ex702向显示部ex602供给，由此，显示例如包含在链接在主页上的运动图像文件中的运动图像数据。与此同时，声音处理部ex705将声音数据变换为模拟声音数据后，将其向声音输出部ex608供给，由此，将例如包含在链接在主页上的运动图像文件中的声音数据再现。
另外，并不限定于上述系统的例子，最近通过卫星、地面波的数字广播受到关注，如图62所示，在数字广播用系统中也能够装入上述实施方式的至少图像编码装置或图像解码装置的某个。具体而言，在广播局ex201中，将声音数据、影像数据或多路复用了这些数据的比特流经由电波向通信或广播卫星ex202传送。接受到该传送的广播卫星ex202发出广播用的电波，由具有卫星广播接收设备的家庭的天线ex204接收该电波，通过电视机(接收机)ex300或机顶盒(STB)ex217等的装置将比特流解码并将其再现。此外，在将记录在作为记录媒体的CD或DVD等的储存介质ex215、216中的多路复用了图像数据和声音数据的比特流读取、解码的读取器/记录器ex218中也能够安装上述实施方式所示的图像解码装置。在此情况下，将再现后的影像信号显示在监视器ex219上。此外，也可以考虑在连接在有线电视用的电缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装图像解码装置、将其用电视机的监视器ex219再现的结构。此时，也可以不是在机顶盒、而在电视机内装入图像解码装置。此外，也可以由具有天线ex205的车ex210从卫星ex202或从基站等接收信号、在车ex210具有的导航仪ex211等的显示装置上再现运动图像。
此外，可以在将记录在DVD、BD等的记录介质ex215中的声音数据、影像数据或多路复用了这些数据的编码比特流读取并解码、或将声音数据、影像数据或这些数据编码而作为多路复用数据记录在记录介质ex215中的读取器/记录器ex218中也能够安装上述各实施方式所示的运动图像解码装置或运动图像编码装置。在此情况下，可以将再现的影像信号显示在监视器ex219上、通过记录有编码比特流的记录介质ex215在其他装置或系统中再现影像信号。此外，也可以在连接在有线电视用的电缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装运动图像解码装置、将其用电视机的监视器ex219显示。此时，也可以不是在机顶盒、而在电视机内装入运动图像解码装置。
图63是表示使用在上述各实施方式中说明的运动图像解码方法及运动图像编码方法的电视机(接收机)ex300的图。电视机ex300具备经由接收上述广播的天线ex204或电缆ex203等取得影像信息的比特流或输出的调谐器ex301、将接收到的编码数据解调或调制到向外部发送的编码数据中的调制/解调部ex302、和将解调后的影像数据、声音数据分离、或将编码的影像数据、声音数据多路复用的多路复用/分离部ex303。此外，电视机ex300具备具有将声音数据、影像数据分别解码、或将各自的信息编码的声音信号处理部ex304和影像信号处理部ex305的信号处理部ex306、和具有将解码后的声音信号输出的扬声器ex307及将解码后的影像信号显示的显示器等的显示部ex308的输出部ex309。进而，电视机ex300具备具有受理用户操作的输入的操作输入部ex312等的接口部ex317。进而，电视机ex300具有综合控制各部的控制部ex310、对各部供给电力的电源电路部ex311。接口部ex317也可以除了操作输入部ex312以外、还具有与读取器/记录器ex218等的外部设备连接的桥接部ex313、用来能够安装SD卡等的记录介质ex216的插槽部ex314、用来与硬盘等的外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。另外，记录介质ex216是能够通过收存的非易失性/易失性的半导体存储元件电气地进行信息的记录的结构。电视机ex300的各部经由同步总线相互连接。
首先，对电视机ex300将通过天线ex204等从外部取得的数据解码、再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于具有CPU等的控制部ex310的控制，将由调制/解调部ex302解调的影像数据、声音数据用多路复用/分离部ex303分离。进而，电视机ex300将分离的声音数据用声音信号处理部ex304解码，将分离的影像数据用影像信号处理部ex305使用在上述各实施方式中说明的解码方法解码。将解码后的声音信号、影像信号分别从输出部ex309朝向外部输出。在输出时，可以暂时将这些信号储存到缓存ex318、ex319等中，以使声音信号和影像信号同步再现。此外，电视机ex300也可以不是从广播等、而从磁/光盘、SD卡等的记录介质ex215、ex216读出编码的编码比特流。接着，对电视机ex300将声音信号或影像信号编码、向外部发送或写入到记录介质等中的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于控制部ex310的控制，由声音信号处理部ex304将声音信号编码，由影像信号处理部ex305将影像信号使用在上述各实施方式中说明的编码方法编码。将编码后的声音信号、影像信号用多路复用/分离部ex303多路复用，向外部输出。在多路复用时，可以暂时将这些信号储存到缓存ex320、ex321等中，以使声音信号和影像信号同步再现。另外，缓存ex318～ex321既可以如图示那样具备多个，也可以是共用一个以上的缓存的结构。进而，在图示以外，也可以在例如调制/解调部ex302或多路复用/分离部ex303之间等也作为避免系统的溢出、下溢的缓冲部而在缓存中储存数据。
此外，电视机ex300除了从广播等或记录介质等取得声音数据、影像数据以外，也可以具备受理麦克风或照相机的AV输入的结构、对从它们中取得的数据进行编码处理。另外，这里，将电视机ex300作为能够进行上述编码处理、多路复用、及外部输出的结构进行了说明，但也可以不能进行这些处理，而是仅能够进行上述接收、解码处理、外部输出的结构。
此外，在由读取器/记录器ex218从记录介质将编码比特流读出、或写入的情况下，上述解码处理或编码处理由电视机ex300、读取器/记录器ex218的哪个进行都可以，也可以是电视机ex300和读取器/记录器ex218相互分担进行。
作为一例，将从光盘进行数据的读入或写入的情况下的信息再现/记录部ex400的结构表示在图64中。信息再现/记录部ex400具备以下说明的单元ex401～ex407。光头ex401对作为光盘的记录介质ex215的记录面照射激光斑而写入信息，检测来自记录介质ex215的记录面的反射光而读入信息。调制记录部ex402电气地驱动内置在光头ex401中的半导体激光器，根据记录数据进行激光的调制。再现解调部ex403将由内置在光头ex401中的光检测器电气地检测到来自记录面的反射光的再现信号放大，将记录在记录介质ex215中的信号成分分离并解调，再现所需要的信息。缓存ex404将用来记录到记录介质ex215中的信息及从记录介质ex215再现的信息暂时保持。盘马达ex405使记录介质ex215旋转。伺服控制部ex406一边控制盘马达ex405的旋转驱动一边使光头ex401移动到规定的信息轨道，进行激光斑的追踪处理。系统控制部ex407进行信息再现/记录部ex400整体的控制。上述的读出及写入的处理由系统控制部ex407利用保持在缓存ex404中的各种信息、此外根据需要而进行新的信息的生成、追加、并且一边使调制记录部ex402、再现解调部ex403、伺服控制部ex406协调动作、一边通过光头ex401进行信息的记录再现来实现。系统控制部ex407例如由微处理器构成，通过执行读出写入的程序来执行它们的处理。
以上，假设光头ex401照射激光斑而进行了说明，但也可以是使用接近场光进行高密度的记录的结构。
在图65中表示作为光盘的记录介质ex215的示意图。在记录介质ex215的记录面上，以螺旋状形成有导引槽(沟)，在信息轨道ex230中，预先通过沟的形状的变化而记录有表示盘上的绝对位置的地址信息。该地址信息包括用来确定作为记录数据的单位的记录块ex231的位置的信息，通过在进行记录及再现的装置中将信息轨道ex230再现而读取地址信息，能够确定记录块。此外，记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233，配置在比数据记录区域ex233靠内周或外周的内周区域ex232和外周区域ex234用于用户数据的记录以外的特定用途。信息再现/记录部ex400对这样的记录介质ex215的数据记录区域ex233进行编码的声音数据、影像数据或多路复用了这些数据的编码数据的读写。
以上，举1层的DVD、BD等的光盘为例进行了说明，但并不限定于这些，也可以是多层构造、在表面以外也能够记录的光盘。此外，也可以是在盘的相同的地方使用不同波长的颜色的光记录信息、或从各种角度记录不同的信息的层等、进行多维的记录/再现的构造的光盘。
此外，在数字广播用系统ex200中，也可以由具有天线ex205的车ex210从卫星ex202等接收数据、在车ex210具有的导航仪ex211等的显示装置上再现运动图像。另外，导航仪ex211的结构可以考虑例如在图63所示的结构中添加GPS接收部的结构，在计算机ex111及便携电话ex114等中也可以考虑同样的结构。此外，上述便携电话ex114等的终端与电视机ex300同样，除了具有编码器、解码器两者的收发型终端以外，还可以考虑只有编码器的发送终端、只有解码器的接收终端的3种安装形式。
这样，将在上述各实施方式中表示的运动图像编码方法或运动图像解码方法用在上述哪种设备、系统中都可以，通过这样，能够得到在上述各实施方式中说明的效果。
此外，本发明并不限定于这样的上述实施方式，能够不脱离本发明的范围而进行各种变形或修正。
(实施方式17)
在上述各实施方式中表示的运动图像编码方法及装置、运动图像解码方法及装置典型地可以用作为集成电路的LSI实现。作为一例，在图66中表示1芯片化的LSIex500的结构。LSIex500具备以下说明的单元ex501～ex509，各单元经由总线ex510连接。电源电路部ex505通过在电源是开启状态的情况下对各部供给电力，起动为能够动作的状态。
例如在进行编码处理的情况下，LSIex500基于具有CPUex502、存储器控制器ex503、流控制器ex504等的控制部ex501的控制，通过AVI/Oex509从麦克风ex117及照相机ex113等输入AV信号。将输入的AV信号暂时储存到SDRAM等的外部的存储器ex511中。基于控制部ex501的控制，将储存的数据根据处理量及处理速度适当分多次等，向信号处理部ex507发送，在信号处理部ex507中进行声音信号的编码及/或影像信号的编码。这里，影像信号的编码处理是在上述各实施方式中说明的编码处理。在信号处理部ex507中，根据情况而进行将编码的声音数据和编码的影像数据多路复用等的处理，从流I/Oex506向外部输出。将该输出的比特流朝向基站ex107发送、或写入到记录介质ex215中。另外，在多路复用时，可以暂时将数据储存到缓存ex508中以使其同步。
此外，例如在进行解码处理的情况下，LSIex500基于控制部ex501的控制，将通过流I/Oex506经由基站ex107、或从记录介质ex215读出而得到的编码数据暂时储存到存储器ex511等中。基于控制部ex501的控制，将储存的数据根据处理量及处理速度适当分多次等，向信号处理部ex507发送，在信号处理部ex507中进行声音数据的解码及/或影像数据的解码。这里，影像信号的解码处理是在上述各实施方式中说明的解码处理。进而，根据情况，可以将解码的声音信号和解码的影像信号暂时储存到缓存ex508等中，以使这些信号能够同步再现。将解码后的输出信号一边适当经由存储器ex511等、一边从便携电话ex114、游戏机ex115、电视机ex300等的各输出部输出。
另外，在上述中，设存储器ex511为LSIex500的外部的结构进行了说明，但也可以是包含在LSIex500的内部中的结构。缓存ex508也并不限定于一个，也可以具备多个缓存。此外，LSIex500既可以1芯片化，也可以多芯片化。
另外，这里设为LSI，但根据集成度的差异，也有称作IC、系统LSI、超级LSI、超大规模LSI的情况。
此外，集成电路化的方法并不限定于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA(Field ProgrammableGate Array)、或能够再构成LSI内部的电路单元的连接及设定的可重构处理器。
进而，如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术，则当然也可以使用该技术进行功能块的集成化。有可能是生物技术的应用等。
以上，基于实施方式说明了有关本发明的编码方法、编码装置、解码方法及解码装置，但本发明并不限定于这些实施方式。只要不脱离本发明的主旨，对该实施方式实施了本领域的技术人员想到的各种变形后的形态、或将不同的实施方式的构成单元适当组合而构建的形态也包含在本发明的范围内。
工业实用性
本发明起到能够抑制编码处理的运算量的增加、以及变换系数的数据量的增加的效果，能够在将音频、静止图像、及运动图像编码的编码装置、以及将由该编码装置编码的数据解码的解码装置中使用。例如，本发明可以在音频设备、便携电话、数字照相机、BD记录器、数字电视机等的各种AV设备中使用。
标号说明
100、100a、500、500a、500c、500d、1200、1600编码装置
110、110a、510、510a、510b、510c、510d、810、810a、810b、1210、1610变换部
120、1220、1620量化部
130、1230、1630熵编码部
200、900第1变换部
202第1变换系数导出部
210、400划分部
220、220a第2变换部
222、222c第2变换系数导出部
230、420综合部
300、300a、700、700a、700b、1300解码装置
310、1310熵解码部
320、540、1240、1320逆量化部
330、330a、550、730、1030、1030a、1030b、1250、1330逆变换部
410、410a第2逆变换部
430、1130第1逆变换部
505减法器
560、750加法器
570、624、760、781、782存储器
580、770预测部
585预测控制部
590、740控制部
601第1存储器
611第2存储器
612划分综合信息计算部
621第3存储器
623、623c、623d局部集合判断部
790选择信号决定部
940、941、942、1140、1141、1142范数修正部
1401第2变换处理
1402、1403量化处理
1501、1503逆量化处理
1502第2逆变换处理
ex100内容供给系统
ex101因特网
ex102因特网服务提供商
ex103流媒体服务器
ex104电话网
ex106、ex107、ex108、ex109、ex110基站
ex111计算机
ex112PDA
ex113、ex116照相机
ex114带有照相机的数字便携电话(便携电话)
ex115游戏机
ex117麦克风
ex200数字广播用系统
ex201广播局
ex202广播卫星(卫星)
ex203电缆
ex204、ex205、ex601天线
ex210车
ex211导航仪(汽车导航)
ex212再现装置
ex213、ex219监视器
ex214、ex215、ex216、ex607记录介质
ex217机顶盒(STB)
ex218读取器/记录器
ex220遥控器
ex230信息轨道
ex231记录块
ex232内周区域
ex233数据记录区域
ex234外周区域
ex300电视机
ex301调谐器
ex302调制/解调部
ex303多路复用/分离部
ex304声音信号处理部
ex305影像信号处理部
ex306、ex507信号处理部
ex307扬声器
ex308、ex602显示部
ex309输出部
ex310、ex501控制部
ex311、ex505、ex710电源电路部
ex312操作输入部
ex313桥接部
ex314、ex606插槽部
ex315驱动器
ex316调制解调器
ex317接口部
ex318、ex319、ex320、ex321、ex404、ex508缓存
ex400信息再现/记录部
ex401光头
ex402调制记录部
ex403再现解调部
ex405盘马达
ex406伺服控制部
ex407系统控制部
ex500LSI
ex502CPU
ex503存储器控制器
ex504流控制器
ex506流I/O
ex509AV I/O
ex510总线
ex511存储器
ex603照相机部
ex604操作键
ex605声音输入部
ex608声音输出部
ex701收发电路部
ex702LCD控制部
ex703照相机接口部(照相机I/F部)
ex704操作输入控制部
ex705声音处理部
ex706调制解调电路部
ex707记录再现部
ex708多路复用分离部
ex709图像解码部
ex711主控制部
ex712图像编码部
ex713同步总线

Claims (18)

1.一种编码方法，其特征在于，
包括：
变换步骤，通过将输入信号变换，生成变换输出信号；
扫描步骤，将构成上述变换输出信号的系数值扫描；
量化步骤，通过将包括扫描后的系数值的扫描信号量化，生成量化系数；以及
熵编码步骤，通过将上述量化系数进行熵编码，生成编码信号；
上述变换步骤包括：
第1变换步骤，通过使用第1变换系数对上述输入信号进行第1变换，生成第1变换输出信号；以及
第2变换步骤，通过对上述第1变换输出信号的一部分即第1部分信号使用第2变换系数进行第2变换，生成第2变换输出信号，输出包括所生成的第2变换输出信号、和上述第1变换输出信号中的上述第1部分信号以外的部分即第2部分信号的上述变换输出信号；
在上述扫描步骤、上述量化步骤、及上述熵编码步骤中的至少1个步骤中，对与上述第2变换输出信号和上述第2部分信号分别对应的信号进行不同的处理。
2.如权利要求1所述的编码方法，其特征在于，
在上述熵编码步骤中，对上述量化系数中的与上述第2变换输出信号对应的第1量化系数、和与上述第2部分信号对应的第2量化系数，分别使用不同的概率表进行熵编码。
3.如权利要求1所述的编码方法，其特征在于，
在上述熵编码步骤中，通过对上述量化系数中的与上述第2变换输出信号对应的第1量化系数、和与上述第2部分信号对应的第2量化系数分别进行不同的上下文导出，将上述量化系数进行熵编码。
4.如权利要求1～3中任一项所述的编码方法，其特征在于，
在上述扫描步骤中，将构成上述第2变换输出信号的系数值以上述第2变换的强度顺序进行扫描，并且将构成上述第2部分信号的系数值通过锯齿形扫描进行扫描。
5.如权利要求1～4中任一项所述的编码方法，其特征在于，
在上述量化步骤中，将上述扫描信号中的与上述第2变换输出信号对应的第1扫描信号以第1精度量化，将与上述第2部分信号对应的第2扫描信号以比上述第1精度低的第2精度量化。
6.如权利要求1～5中任一项所述的编码方法，其特征在于，
在上述扫描步骤中，能够进行扫描方式的切换；
在上述量化步骤中，能够进行量化精度的切换；
在上述熵编码步骤中，能够进行熵编码方式的切换；
对于在上述扫描步骤、上述量化步骤、及上述熵编码步骤中的切换的频度来说，相比于与上述第2部分信号对应的信号，与上述第2变换输出信号对应的信号要高。
7.一种解码方法，其特征在于，
包括：
熵解码步骤，通过将编码信号进行熵解码，生成解码量化系数；
逆量化步骤，通过将上述解码量化系数逆量化，生成解码扫描信号；
扫描步骤，将构成上述解码扫描信号的系数值扫描；以及
逆变换步骤，通过将包括扫描后的系数值的解码变换输出信号逆变换，生成解码信号；
上述逆变换步骤包括：
第2逆变换步骤，通过使用第2逆变换系数对上述解码变换输出信号的一部分即第2解码变换输出信号进行第2逆变换，生成第1解码部分信号；以及
第1逆变换步骤，通过对包括上述第1解码部分信号、和上述解码变换输出信号中的上述第2解码变换输出信号以外的部分即第2解码部分信号的第1解码变换输出信号使用第1逆变换系数进行第1逆变换，生成上述解码信号；
在上述熵解码步骤、上述逆量化步骤、及上述扫描步骤中的至少1个步骤中，对与上述第2解码变换输出信号和上述第2解码部分信号分别对应的信号进行不同的处理。
8.如权利要求7所述的解码方法，其特征在于，
在上述熵解码步骤中，对上述编码信号中的与上述第2解码变换输出信号对应的第1编码信号、和与上述第2解码部分信号对应的第2编码信号，分别使用不同的概率表将上述编码信号进行熵解码。
9.如权利要求7所述的解码方法，其特征在于，
在上述熵解码步骤中，通过对上述编码信号中的与上述第2解码变换输出信号对应的第1编码信号、和与上述第2解码部分信号对应的第2编码信号分别进行不同的上下文导出，将上述编码信号进行熵解码。
10.如权利要求7～9中任一项所述的解码方法，其特征在于，
在上述扫描步骤中，将构成上述解码扫描信号中的与上述第2解码变换输出信号对应的第1解码扫描信号的系数值以上述第2逆变换的强度顺序进行扫描，并且将构成与上述第2解码部分信号对应的第2解码扫描信号的系数值通过锯齿形扫描进行扫描。
11.如权利要求7～10中任一项所述的解码方法，其特征在于，
在上述逆量化步骤中，将上述解码量化系数中的与上述第2解码变换信号对应的第1解码量化系数以第1精度逆量化，将与上述第2解码部分信号对应的第2解码量化系数以比上述第1精度低的第2精度逆量化。
12.如权利要求7～11中任一项所述的解码方法，其特征在于，
在上述熵解码步骤中，能够进行熵解码方式的切换；
在上述逆量化步骤中，能够进行逆量化精度的切换；
在上述扫描步骤中，能够进行扫描方式的切换；
对于在上述熵解码步骤、上述逆量化步骤、及上述扫描步骤中的切换的频度来说，相比于与上述第2解码部分信号对应的信号，与上述第2解码变换输出信号对应的信号要高。
13.一种编码装置，其特征在于，
具备：
变换部，通过将输入信号变换，生成变换输出信号；
量化部，将构成上述变换输出信号的系数值扫描，并通过将包括扫描后的系数值的扫描信号量化，生成量化系数；以及
熵编码部，通过将上述量化系数进行熵编码，生成编码信号；
上述变换部具备：
第1变换部，通过使用第1变换系数对上述输入信号进行第1变换，生成第1变换输出信号；以及
第2变换部，通过对上述第1变换输出信号的一部分即第1部分信号使用第2变换系数进行第2变换，生成第2变换输出信号，输出包括所生成的第2变换输出信号、和上述第1变换输出信号中的上述第1部分信号以外的部分即第2部分信号的上述变换输出信号；
在上述扫描、上述量化、及上述熵编码中的至少1个中，对与上述第2变换输出信号和上述第2部分信号分别对应的信号进行不同的处理。
14.一种解码装置，其特征在于，
具备：
熵解码部，通过将编码信号进行熵解码，生成解码量化系数；
逆量化部，通过将上述解码量化系数逆量化，生成解码扫描信号，并将构成上述解码扫描信号的系数值扫描；以及
逆变换部，通过将包括扫描后的系数值的解码变换输出信号逆变换，生成解码信号；
上述逆变换部具备：
第2逆变换部，通过使用第2逆变换系数对上述解码变换输出信号的一部分即第2解码变换输出信号进行第2逆变换，生成第1解码部分信号；以及
第1逆变换部，通过对包括上述第1解码部分信号、和上述解码变换输出信号中的上述第2解码变换输出信号以外的部分即第2解码部分信号的第1解码变换输出信号使用第1逆变换系数进行第1逆变换，生成上述解码信号；
在上述熵解码、上述逆量化、及上述扫描中的至少1个中，对与上述第2解码变换输出信号和上述第2解码部分信号分别对应的信号进行不同的处理。
15.一种集成电路，其特征在于，
具备：
变换部，通过将输入信号变换，生成变换输出信号；
量化部，将构成上述变换输出信号的系数值扫描，并通过将包括扫描后的系数值的扫描信号量化，生成量化系数；以及
熵编码部，通过将上述量化系数进行熵编码，生成编码信号；
上述变换部具备：
第1变换部，通过使用第1变换系数对上述输入信号进行第1变换，生成第1变换输出信号；以及
第2变换部，通过对上述第1变换输出信号的一部分即第1部分信号使用第2变换系数进行第2变换，生成第2变换输出信号，输出包括所生成的第2变换输出信号、和上述第1变换输出信号中的上述第1部分信号以外的部分即第2部分信号的上述变换输出信号；
在上述扫描、上述量化、及上述熵编码中的至少1个中，对与上述第2变换输出信号和上述第2部分信号分别对应的信号进行不同的处理。
16.一种集成电路，其特征在于，
具备：
熵解码部，通过将编码信号进行熵解码，生成解码量化系数；
逆量化部，通过将上述解码量化系数逆量化，生成解码扫描信号，并将构成上述解码扫描信号的系数值扫描；以及
逆变换部，通过将包括扫描后的系数值的解码变换输出信号逆变换，生成解码信号；
上述逆变换部具备：
第2逆变换部，通过使用第2逆变换系数对上述解码变换输出信号的一部分即第2解码变换输出信号进行第2逆变换，生成第1解码部分信号；以及
第1逆变换部，通过对包括上述第1解码部分信号、和上述解码变换输出信号中的上述第2解码变换输出信号以外的部分即第2解码部分信号的第1解码变换输出信号使用第1逆变换系数进行第1逆变换，生成上述解码信号；
在上述熵解码、上述逆量化、及上述扫描中的至少1个中，对与上述第2解码变换输出信号和上述第2解码部分信号分别对应的信号进行不同的处理。
17.一种程序，其特征在于，
用来使计算机执行编码方法，该编码方法包括：
变换步骤，通过将输入信号变换，生成变换输出信号；
扫描步骤，将构成上述变换输出信号的系数值扫描；
量化步骤，通过将包括扫描后的系数值的扫描信号量化，生成量化系数；以及
熵编码步骤，通过将上述量化系数进行熵编码，生成编码信号；
上述变换步骤包括：
第1变换步骤，通过使用第1变换系数对上述输入信号进行第1变换，生成第1变换输出信号；以及
第2变换步骤，通过对上述第1变换输出信号的一部分即第1部分信号使用第2变换系数进行第2变换，生成第2变换输出信号，输出包括所生成的第2变换输出信号、和上述第1变换输出信号中的上述第1部分信号以外的部分即第2部分信号的上述变换输出信号；
在上述扫描步骤、上述量化步骤、及上述熵编码步骤中的至少1个步骤中，对与上述第2变换输出信号和上述第2部分信号分别对应的信号进行不同的处理。
18.一种程序，其特征在于，
用来使计算机执行解码方法，该解码方法包括：
熵解码步骤，通过将编码信号进行熵解码，生成解码量化系数；
逆量化步骤，通过将上述解码量化系数逆量化，生成解码扫描信号；
扫描步骤，将构成上述解码扫描信号的系数值扫描；以及
逆变换步骤，通过将包括扫描后的系数值的解码变换输出信号逆变换，生成解码信号；
上述逆变换步骤包括：
第2逆变换步骤，通过使用第2逆变换系数对上述解码变换输出信号的一部分即第2解码变换输出信号进行第2逆变换，生成第1解码部分信号；以及
第1逆变换步骤，通过对包括上述第1解码部分信号、和上述解码变换输出信号中的上述第2解码变换输出信号以外的部分即第2解码部分信号的第1解码变换输出信号使用第1逆变换系数进行第1逆变换，生成上述解码信号；
在上述熵解码步骤、上述逆量化步骤、及上述扫描步骤中的至少1个步骤中，对与上述第2解码变换输出信号和上述第2解码部分信号分别对应的信号进行不同的处理。
CN2010800342988A 2009-08-06 2010-08-06 编码方法、解码方法、编码装置及解码装置 Pending CN102474271A (zh)

Applications Claiming Priority (15)

Application Number Priority Date Filing Date Title
JP2009-183791 2009-08-06
JP2009183791 2009-08-06
JP2009-192618 2009-08-21
JP2009192627 2009-08-21
JP2009192618 2009-08-21
JP2009-192627 2009-08-21
US30909010P 2010-03-01 2010-03-01
US61/309,090 2010-03-01
US32940610P 2010-04-29 2010-04-29
US61/329,406 2010-04-29
US34570310P 2010-05-18 2010-05-18
US61/345,703 2010-05-18
US36458010P 2010-07-15 2010-07-15
US61/364,580 2010-07-15
PCT/JP2010/004953 WO2011016249A1 (ja) 2009-08-06 2010-08-06 符号化方法、復号方法、符号化装置及び復号装置

Publications (1)

Publication Number Publication Date
CN102474271A true CN102474271A (zh) 2012-05-23

Family

ID=43544155

Family Applications (4)

Application Number Title Priority Date Filing Date
CN2010800329786A Pending CN102474268A (zh) 2009-08-06 2010-08-06 编码方法、解码方法、编码装置及解码装置
CN2010800343444A Pending CN102474272A (zh) 2009-08-06 2010-08-06 编码方法、解码方法、编码装置及解码装置
CN2010800342988A Pending CN102474271A (zh) 2009-08-06 2010-08-06 编码方法、解码方法、编码装置及解码装置
CN2010800337392A Pending CN102474269A (zh) 2009-08-06 2010-08-06 编码方法、解码方法、编码装置及解码装置

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN2010800329786A Pending CN102474268A (zh) 2009-08-06 2010-08-06 编码方法、解码方法、编码装置及解码装置
CN2010800343444A Pending CN102474272A (zh) 2009-08-06 2010-08-06 编码方法、解码方法、编码装置及解码装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2010800337392A Pending CN102474269A (zh) 2009-08-06 2010-08-06 编码方法、解码方法、编码装置及解码装置

Country Status (7)

Country Link
US (4) US20120134412A1 (zh)
EP (4) EP2464016A4 (zh)
JP (4) JPWO2011016249A1 (zh)
KR (4) KR20120046724A (zh)
CN (4) CN102474268A (zh)
TW (4) TW201132129A (zh)
WO (4) WO2011016248A1 (zh)

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9106933B1 (en) * 2010-05-18 2015-08-11 Google Inc. Apparatus and method for encoding video using different second-stage transform
US8913666B2 (en) 2010-10-01 2014-12-16 Qualcomm Incorporated Entropy coding coefficients using a joint context model
US9210442B2 (en) 2011-01-12 2015-12-08 Google Technology Holdings LLC Efficient transform unit representation
US9380319B2 (en) 2011-02-04 2016-06-28 Google Technology Holdings LLC Implicit transform unit representation
US20130003856A1 (en) * 2011-07-01 2013-01-03 Samsung Electronics Co. Ltd. Mode-dependent transforms for residual coding with low latency
BR122021010845B1 (pt) * 2012-04-16 2023-03-14 Electronics And Telecommunications Research Institute Método e mídia de gravação não transitória legível por computador para decodificar vídeo
JP6168365B2 (ja) * 2012-06-12 2017-07-26 サン パテント トラスト 動画像符号化方法、動画像復号化方法、動画像符号化装置および動画像復号化装置
MX345571B (es) 2012-07-09 2017-02-03 Vid Scale Inc Decodificacion y emision en tiempo real de video sensibles a la energia.
JP6210368B2 (ja) * 2012-09-18 2017-10-11 サン パテント トラスト 画像復号方法および画像復号装置
US9819965B2 (en) 2012-11-13 2017-11-14 Intel Corporation Content adaptive transform coding for next generation video
JP2014123865A (ja) * 2012-12-21 2014-07-03 Xacti Corp 画像処理装置及び撮像装置
JP6157114B2 (ja) 2012-12-28 2017-07-05 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US9219915B1 (en) 2013-01-17 2015-12-22 Google Inc. Selection of transform size in video coding
CN104737542B (zh) 2013-01-30 2018-09-25 英特尔公司 用于下一代视频的内容自适应熵编码
US9544597B1 (en) 2013-02-11 2017-01-10 Google Inc. Hybrid transform in video encoding and decoding
US9967559B1 (en) 2013-02-11 2018-05-08 Google Llc Motion vector dependent spatial transformation in video coding
US9674530B1 (en) 2013-04-30 2017-06-06 Google Inc. Hybrid transforms in video coding
US9554152B2 (en) * 2013-07-12 2017-01-24 Qualcomm Incorporated Concurrent processing of horizontal and vertical transforms
US9154782B2 (en) * 2013-09-16 2015-10-06 Magnum Semiconductor, Inc. Apparatuses and methods for adjusting coefficients using dead zones
KR101789954B1 (ko) * 2013-12-27 2017-10-25 인텔 코포레이션 차세대 비디오 코딩을 위한 콘텐츠 적응적 이득 보상된 예측
US9432696B2 (en) 2014-03-17 2016-08-30 Qualcomm Incorporated Systems and methods for low complexity forward transforms using zeroed-out coefficients
US9516345B2 (en) 2014-03-17 2016-12-06 Qualcomm Incorporated Systems and methods for low complexity forward transforms using mesh-based calculations
NL2014562A (en) * 2014-04-04 2015-10-13 Asml Netherlands Bv Control system, positioning system, lithographic apparatus, control method, device manufacturing method and control program.
TWI551124B (zh) * 2014-07-11 2016-09-21 晨星半導體股份有限公司 應用於視訊系統之編碼／解碼方法及編碼／解碼裝置
CN105516730B (zh) * 2014-09-24 2018-04-24 晨星半导体股份有限公司 视讯编码装置及视讯解码装置以及其编码与解码方法
US9565451B1 (en) 2014-10-31 2017-02-07 Google Inc. Prediction dependent transform coding
US9769499B2 (en) 2015-08-11 2017-09-19 Google Inc. Super-transform video coding
CN108353193B (zh) * 2015-08-19 2022-07-15 Lg 电子株式会社 基于多个基于图的模型处理视频数据的方法和设备
EP3345396A4 (en) 2015-09-01 2019-03-27 Telefonaktiebolaget LM Ericsson (publ) SPATIAL IMPROVEMENT OF TRANSFORMER BLOCKS
US10277905B2 (en) 2015-09-14 2019-04-30 Google Llc Transform selection for non-baseband signal coding
US10164655B2 (en) * 2015-09-25 2018-12-25 Western Digital Technologies, Inc. Cache oblivious algorithm for butterfly code
US10681379B2 (en) 2015-09-29 2020-06-09 Qualcomm Incorporated Non-separable secondary transform for video coding with reorganizing
US9807423B1 (en) 2015-11-24 2017-10-31 Google Inc. Hybrid transform scheme for video coding
CN108701462B (zh) * 2016-03-21 2020-09-25 华为技术有限公司 加权矩阵系数的自适应量化
US10623774B2 (en) 2016-03-22 2020-04-14 Qualcomm Incorporated Constrained block-level optimization and signaling for video coding tools
FR3050598B1 (fr) * 2016-04-26 2020-11-06 Bcom Procede de decodage d'une image numerique, procede de codage, dispositifs, et programmes d'ordinateurs associes
JP6822470B2 (ja) * 2016-05-13 2021-01-27 ソニー株式会社 画像処理装置および方法
JP6868786B2 (ja) * 2016-05-13 2021-05-12 ソニーグループ株式会社 画像処理装置および方法
CN114449289A (zh) 2016-08-24 2022-05-06 索尼公司 图像编码设备和图像编码方法
US11095893B2 (en) 2016-10-12 2021-08-17 Qualcomm Incorporated Primary transform and secondary transform in video coding
EP3349451A1 (en) * 2017-01-11 2018-07-18 Thomson Licensing Method and apparatus for selecting a coding mode used for encoding/decoding a residual block
EP4007277A1 (en) * 2017-03-16 2022-06-01 HFI Innovation Inc. Method and apparatus of enhanced multiple transforms and non-separable secondary transform for video coding
CN110546952A (zh) * 2017-03-21 2019-12-06 Lg电子株式会社 图像编码系统中的变换方法和用于该变换方法的设备
US10855997B2 (en) 2017-04-14 2020-12-01 Mediatek Inc. Secondary transform kernel size selection
JP2020109884A (ja) * 2017-04-28 2020-07-16 シャープ株式会社 動画像符号化装置及び動画像復号装置
US10979736B2 (en) 2017-06-08 2021-04-13 Lg Electronics Inc. Method and apparatus for performing low-complexity computation of transform kernel for video compression
WO2019004749A1 (ko) * 2017-06-28 2019-01-03 엘지전자 주식회사 비디오 압축을 위한 변환 커널의 저복잡도 연산을 수행하는 방법 및 장치
CN114449272B (zh) * 2017-07-04 2023-09-26 三星电子株式会社 使用多核变换的视频解码/编码方法和设备
TWI812414B (zh) * 2017-07-13 2023-08-11 美商松下電器（美國）知識產權公司 編碼裝置、解碼裝置及記錄媒體
TWI777907B (zh) 2017-07-13 2022-09-11 美商松下電器（美國）知識產權公司 編碼裝置、編碼方法、解碼裝置、解碼方法及電腦可讀取之非暫時性媒體
KR20200031102A (ko) * 2017-07-28 2020-03-23 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법
WO2019022099A1 (ja) 2017-07-28 2019-01-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
US10860348B2 (en) * 2018-03-26 2020-12-08 Bank Of America Corporation Computer architecture for emulating a correlithm object processing system that places portions of correlithm objects and portions of a mapping table in a distributed node network
US10915340B2 (en) * 2018-03-26 2021-02-09 Bank Of America Corporation Computer architecture for emulating a correlithm object processing system that places multiple correlithm objects in a distributed node network
US10915338B2 (en) * 2018-03-26 2021-02-09 Bank Of America Corporation Computer architecture for emulating a correlithm object processing system that places portions of correlithm objects in a distributed node network
WO2019188467A1 (ja) * 2018-03-30 2019-10-03 ソニー株式会社 画像処理装置および方法
US11070837B2 (en) 2018-04-02 2021-07-20 Panasonic Intellectual Property Corporation Of America Encoding method, decoding method, encoder, and decoder
CN117097893A (zh) 2018-07-06 2023-11-21 Lg电子株式会社 图像编码/解码设备和图像数据发送设备
US11412260B2 (en) * 2018-10-29 2022-08-09 Google Llc Geometric transforms for image compression
US11240534B2 (en) * 2019-04-05 2022-02-01 Qualcomm Incorporated Extended multiple transform selection for video coding
SI3944618T1 (sl) 2019-04-16 2024-04-30 Lg Electronics Inc. Transformacija za notranje napovedovanje, ki temelji na matriki, pri kodiranju slik
JP7214894B2 (ja) 2019-04-16 2023-01-30 エルジー エレクトロニクス インコーポレイティド イントラ予測ベースの映像コーディングにおける変換
US11122297B2 (en) 2019-05-03 2021-09-14 Google Llc Using border-aligned block functions for image compression
EP3985969A4 (en) 2019-06-17 2023-05-03 LG Electronics Inc. VIDEO OR IMAGE CODING BASED ON LUMINANCE MAPPING AND CHROMATIC SCALING
KR20210096281A (ko) 2019-06-17 2021-08-04 엘지전자 주식회사 루마 맵핑 기반 비디오 또는 영상 코딩
CN111103829B (zh) * 2019-12-11 2024-05-17 旋智电子科技（上海）有限公司 一种电机控制装置和方法
JPWO2021117500A1 (zh) * 2019-12-11 2021-06-17
JP2023517695A (ja) * 2020-03-12 2023-04-26 インターデジタル ブイシー ホールディングス フランス ビデオ符号化及び復号化のための方法並びに装置
US11197004B1 (en) * 2020-07-02 2021-12-07 Google Llc Inter-prediction mode-dependent transforms for video coding
EP4338417A2 (en) * 2021-05-12 2024-03-20 Nokia Technologies Oy A method, an apparatus and a computer program product for video encoding and video decoding

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2526675B2 (ja) * 1989-08-28 1996-08-21 日本電気株式会社 動画像の直交変換符号化方式およびその復号化の方式
GB2252002B (en) * 1991-01-11 1995-01-04 Sony Broadcast & Communication Compression of video signals
KR960006762B1 (ko) * 1992-02-29 1996-05-23 삼성전자주식회사 화상부호화를 위한 효율적인 2차원 데이타의 주사선택회로
JPH09200762A (ja) * 1995-12-29 1997-07-31 Daewoo Electron Co Ltd 映像信号符号化方法及びその装置
US5942002A (en) * 1996-03-08 1999-08-24 Neo-Lore Method and apparatus for generating a transform
US6611626B1 (en) * 1999-12-10 2003-08-26 Xerox Corporation Method of compressing JPEG files using a conditional transform
US6934730B2 (en) * 2000-10-13 2005-08-23 Xpriori, Llc Method and system for generating a transform
JP2004046499A (ja) * 2002-07-11 2004-02-12 Matsushita Electric Ind Co Ltd データ処理システム
JP4055203B2 (ja) * 2002-09-12 2008-03-05 ソニー株式会社 データ処理装置およびデータ処理方法、記録媒体、並びにプログラム
EP2373033A3 (en) * 2004-01-30 2011-11-30 Panasonic Corporation Picture coding and decoding method, apparatus, and program thereof
JP2006054846A (ja) * 2004-07-12 2006-02-23 Sony Corp 符号化方法、符号化装置、復号方法、復号装置およびそれらのプログラム
US7933337B2 (en) * 2005-08-12 2011-04-26 Microsoft Corporation Prediction of transform coefficients for image compression
WO2007035056A1 (en) * 2005-09-26 2007-03-29 Samsung Electronics Co., Ltd. Method and apparatus for entropy encoding and entropy decoding fine-granularity scalability layer video data
JP4334533B2 (ja) * 2005-11-24 2009-09-30 株式会社東芝 動画像符号化／復号化方法および装置
JP2007243399A (ja) * 2006-03-07 2007-09-20 Matsushita Electric Ind Co Ltd データ圧縮方式およびその関連技術
BRPI0621935A2 (pt) * 2006-07-28 2016-09-13 Toshiba Kk Toshiba Corp método e aparelho para codificar e decodificar imagem
US8369638B2 (en) * 2008-05-27 2013-02-05 Microsoft Corporation Reducing DC leakage in HD photo transform

Also Published As

Publication number Publication date
EP2464014A4 (en) 2012-08-01
KR20120046727A (ko) 2012-05-10
EP2464015A4 (en) 2012-07-11
EP2464014A1 (en) 2012-06-13
EP2464013A4 (en) 2012-07-18
TW201119406A (en) 2011-06-01
WO2011016249A1 (ja) 2011-02-10
US20120128066A1 (en) 2012-05-24
WO2011016246A1 (ja) 2011-02-10
TW201138475A (en) 2011-11-01
EP2464013A1 (en) 2012-06-13
EP2464015A1 (en) 2012-06-13
CN102474269A (zh) 2012-05-23
TW201132129A (en) 2011-09-16
KR20120046725A (ko) 2012-05-10
KR20120046724A (ko) 2012-05-10
US20120134412A1 (en) 2012-05-31
JPWO2011016248A1 (ja) 2013-01-10
JPWO2011016249A1 (ja) 2013-01-10
TW201136319A (en) 2011-10-16
CN102474268A (zh) 2012-05-23
EP2464016A1 (en) 2012-06-13
EP2464016A4 (en) 2012-07-18
WO2011016247A1 (ja) 2011-02-10
US20120127003A1 (en) 2012-05-24
KR20120046726A (ko) 2012-05-10
US20120134408A1 (en) 2012-05-31
JPWO2011016247A1 (ja) 2013-01-10
WO2011016248A1 (ja) 2011-02-10
CN102474272A (zh) 2012-05-23
JPWO2011016246A1 (ja) 2013-01-10

Similar Documents

Publication Publication Date Title
CN102474271A (zh) 编码方法、解码方法、编码装置及解码装置
CN102124741B (zh) 图像编码方法及图像编码装置
CN102687510B (zh) 图像解码装置、图像编码装置、图像解码方法、图像编码方法及集成电路
CN102138327B (zh) 运动图像编码方法、运动图像编码装置以及集成电路
CN102577131A (zh) 编码方法、解码方法、编码装置及解码装置
CN102474270A (zh) 编码方法、解码方法、编码装置及解码装置
CN102246525A (zh) 运动图像编码方法、运动图像解码方法、运动图像编码装置、运动图像解码装置、程序、及集成电路
CN102349299B (zh) 动态图像解码装置、动态图像编码装置、动态图像解码电路及动态图像解码方法
US20100150226A1 (en) Switching between dct coefficient coding modes
CN102197651A (zh) 图像编码方法、图像解码方法、图像编码装置、图像解码装置、集成电路及程序
CN102301720A (zh) 图像编码方法以及图像解码方法
CN103125119A (zh) 图像处理装置、图像编码方法以及图像处理方法
CN102047670A (zh) 编码装置及方法、错误检测装置及方法、解码装置及方法
CN102577387A (zh) 解码方法、解码装置、编码方法以及编码装置
CN103765903B (zh) 图像解码装置、图像编码装置、图像解码方法及图像编码方法
CN102598661B (zh) 图像编码方法、图像解码方法、图像编码装置及图像解码装置
CN102439977B (zh) 图像解码装置、图像编码装置、图像解码电路以及图像解码方法
CN102165779B (zh) 图像编码方法、图像编码装置、程序以及集成电路

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120523