CN100544438C

CN100544438C - 信号变换、逆变换方法和图象编码、译码装置及方法

Info

Publication number: CN100544438C
Application number: CNB2006100057166A
Authority: CN
Inventors: 文仲丞; 陈朝庆
Original assignee: NTT Docomo Inc
Current assignee: NTT Docomo Inc
Priority date: 2005-01-07
Filing date: 2006-01-06
Publication date: 2009-09-23
Anticipated expiration: 2026-01-06
Also published as: JP2006191485A; CN1801938A

Abstract

一种图像信号变换方法，由多个输入样本生成一个以上的变换样本，包括：通过对用于生成第一变换样本的多个第一输入样本中至少一个第一输入样本(来自端子的输入样本)进行基于滤波器的第一滤波处理来生成第一滤波数据，并通过对第一滤波数据的生成中不使用的其他第一输入样本(来自其他端子的输入样本)和所生成的第一滤波数据进行第一运算处理(基于减法器的处理)来生成第一变换样本的第一变换样本生成步骤。

Description

信号变换、逆变换方法和图象编码、译码装置及方法

技术领域

本发明涉及图象信号变换方法、图象信号逆变换方法、图象编码装置、图象编码方法、图象编码程序、图象译码装置、图象译码方法以及图象译码程序。

背景技术

以往，为了高效地进行静止图象或活动图象数据的传送或存储而使用压缩编码技术。特别是在活动图象的情况下，使用MPEG(MovingPicture Experts Group)1、2、4或H.261～H.264的方式，在静止图象时，使用JPEG(Joint Photographic Experts Group)或JPEG2000。

在这些编码方式中，作为编码对象的图象分割成多个块，使用离散余弦变换(以下，称作“DCT”)，把各块自身或这些块对应的预测信号与该块的差分信号变换到频域中。通过把变换的变换系数量子化，压缩原图象的信号的数据量。再现时，从压缩的数据把各块的信号逆量子化，进行逆离散余弦变换(以下，称作“IDCT”)，复原为象素区域的信号或差分信号。使用DCT的编码记载在美国专利公报第5196946号中。

图1是表示基于以往的技术的DCT处理的框图。该例子相当于把4个象素变换到频域中的情况。4个象素a0、a1、a2、a3分别从输入端子101～104输入。用加法器113把a0和a3相加，用减法器114求出a0和a3的差分。同样，a1和a2由加法器115和减法器116处理。这些结果分别经由端子105～108发送给下一级。来自端子105和106的信号由加法器117和减法器118处理，来自端子107和108的信号由加法器119、减法器120、乘法器121和122处理。这样取得的结果成为频域的系数，经由端子109～112输出。

图2是表示基于以往的技术的IDCT处理的框图。频域的系数分别从输入端子201～204输入。来自端子201和202的系数由加法器213和减法器214处理，来自端子203和204的系数由加法器215、减法器216、乘法器221和222处理。这样取得的信号经由端子205～208发送给下一级。来自端子205和208的信号由加法器217和减法器218处理，来自端子206和207的信号由加法器219和减法器220处理。频域的系数逆变换为原来的象素a0、a1、a2、a3，分别从端子209～212输出。

编码装置通过把图象变换到频域，能紧凑地表现输入信号，所以能高效地进行编码。

但是，以往的变换方法由于是用一种变换方式来变换作为变换对象的信号，所以难以实现超过作为变换对象的信号原有特性的能量集中。即当成为对象的信号间的相关(度)高时，能量的集中提高，能高效地进行编码，但是当信号原来的相关(度)低时，基于DCT的系数在频域(频率区域)的宽广范围内扩展。其结果是难以高效地进行编码。

一般来说，所拍摄的静止图象或活动图象的信号相关(度)高，所以能使用DCT高效地进行编码。而在取出由画面内预测或画面间预测而取得的预测信号和作为编码对象的图象信号的差分时，该差分信号的相关(度)不高。因此，难以使用DCT紧凑地表现该差分信号。

发明内容

鉴于上述问题的存在，本发明的目的在于：即使在作为变换对象的信号的相关(度)不高时，也能使信号的能量集中并高效地显示信号的图象信号变换方法、图象信号逆变换方法、图象编码装置、图象编码方法、图象编码程序、图象译码装置、图象译码方法、图象译码程序。

为了实现所述目的，本发明的图象信号变换方法，由多个输入样本生成一个以上的变换样本，包括：通过对用于生成第一变换样本的多个第一输入样本中至少一个第一输入样本进行第一滤波处理来生成第一滤波数据，并通过对所述第一滤波数据的生成中不使用的其他第一输入样本和所述生成的第一滤波数据进行第一运算处理来生成所述第一变换样本的第一变换样本生成步骤。

根据本发明，通过对成为对象的信号进行规定的滤波，能实现超过信号原有特性的能量集中，具有能高效把信号编码的效果。

须指出的是，本发明的图象信号变换方法也能应用于后面描述的图象编码装置中的变换处理、逆变换处理，此外对后面描述的图象编码装置的变换处理、逆变换处理都能应用。

须指出的是，所述图象信号变换方法还包括：通过对所述第一变换样本生成步骤中生成的第一变换样本进行第二滤波处理来生成第二滤波数据，并通过对用于生成第二变换样本的至少一个第二输入样本和所述生成的第二滤波数据进行第二运算处理来生成所述第二变换样本的第二变换样本生成步骤。

另外，所述图象信号变换方法还包括：通过对用于生成第二变换样本的多个第二输入样本中的至少一个第二输入样本进行第二滤波处理来生成第二滤波数据，并通过对所述第二滤波数据的生成中不使用的其他第二输入样本和所述生成的第二滤波数据进行第二运算处理来生成所述第二变换样本的第二变换样本生成步骤。

本发明的图象编码装置包括：输入作为编码对象的输入图象的输入部件；把由所述输入部件输入的输入图象分割成多个编码区域的区域分割部件；对由所述区域分割部件分割的编码区域通过画面内预测或画面间预测来求出差分信号，并把求出的差分信号作为变换对象信号来生成的预测部件；根据由多个输入样本生成一个以上的变换样本的图象信号变换方法，即包括通过对用于生成第一变换样本的多个第一输入样本中至少一个第一输入样本进行滤波处理来生成第一滤波数据，并通过对所述第一滤波数据的生成中不使用的其他第一输入样本和所述生成的第一滤波数据进行第一运算处理来生成所述第一变换样本的第一变换样本生成步骤的图象信号变换方法，把由所述预测部件生成的变换对象信号作为输入样本来生成变换样本，并把所生成的变换样本作为变换系数，从而把所述变换对象信号变换为所述变换系数的变换部件；对由所述变换部件变换的变换系数进行编码的编码部件。

须指出的是，在所述图象编码装置中，所述变换部件在所述滤波处理中，选择使用多种滤波器中所述变换对象信号的相关成为最高的滤波器，对用于识别该选择的滤波器的识别信息进行编码。

本发明的图象译码装置包括：输入通过对分割成多个区域的图象进行画面内预测或画面间预测后进行变换编码而生成的压缩数据的输入部件；根据由所述输入部件输入的压缩数据来复原与所述各区域对应的变换系数，并把所取得的变换系数作为复原变换系数来生成的译码部件；根据由多个输入样本生成一个以上变换样本的图象信号变换方法，即包括通过对用于生成第一变换样本的多个第一输入样本中至少一个第一输入样本进行滤波处理来生成第一滤波数据，并通过对所述第一滤波数据的生成中不使用的其他第一输入样本和所述生成的第一滤波数据进行第一运算处理来生成所述第一变换样本的第一变换样本生成步骤的图象信号变换方法，把由所述译码部件生成的复原变换系数作为输入样本来生成变换样本，并把所生成的变换样本作为逆变换数据，从而把所述复原变换系数变换为所述逆变换数据的逆变换部件。

须指出的是，在所述图象译码装置中，所述压缩数据包含用于识别所述滤波处理中使用的滤波器的滤波器识别信息，所述译码部件对所述滤波器识别信息进行译码，并使用与译码后的滤波器识别信息对应的滤波器来进行所述滤波处理。

本发明的图象编码方法包括：输入作为编码对象的输入图象的输入步骤；把所述输入步骤中输入的输入图象分割成多个编码区域的区域分割步骤；对由所述区域分割步骤分割的编码区域，通过画面内预测或画面间预测来求出差分信号，并把求出的差分信号作为变换对象信号来生成的预测步骤；根据由多个输入样本生成一个以上的变换样本的图象信号变换方法，即包括通过对用于生成第一变换样本的多个第一输入样本中至少一个第一输入样本进行滤波处理来生成第一滤波数据，并通过对所述第一滤波数据的生成中不使用的其他第一输入样本和所述生成的第一滤波数据进行第一运算处理来生成所述第一变换样本的第一变换样本生成步骤的图象信号变换方法，把由所述预测步骤生成的变换对象信号作为输入样本来生成变换样本，并把所生成的变换样本作为变换系数，从而把所述变换对象信号变换为所述变换系数的变换步骤；对由所述变换步骤变换的变换系数进行编码的编码步骤。

本发明的图象译码方法包括：输入通过对分割成多个区域的图象进行画面内预测或画面间预测后进行变换编码而生成的压缩数据的输入步骤；根据由所述输入步骤输入的压缩数据来复原与所述各区域对应的变换系数，并把所取得的变换系数作为复原变换系数来生成的译码步骤；根据由多个输入样本生成一个以上变换样本的图象信号变换方法，即包括通过对用于生成第一变换样本的多个第一输入样本中至少一个第一输入样本进行滤波处理来生成第一滤波数据，并通过对所述第一滤波数据的生成中不使用的其他第一输入样本和所述生成的第一滤波数据进行第一运算处理来生成所述第一变换样本的第一变换样本生成步骤的图象信号变换方法，把由所述译码步骤生成的复原变换系数作为输入样本来生成变换样本，并把所生成的变换样本作为逆变换数据，从而把所述复原变换系数变换为所述逆变换数据的逆变换步骤。

本发明的图象编码程序其特征在于，用于使计算机执行以下步骤：输入作为编码对象的输入图象的输入步骤；把所述输入步骤中输入的输入图象分割成多个编码区域中的区域分割步骤；对由所述区域分割步骤分割的编码区域，通过画面内预测或画面间预测来求出差分信号，并把求出的差分信号作为变换对象信号来生成的预测步骤；根据由多个输入样本生成一个以上的变换样本的图象信号变换方法，即包括通过对用于生成第一变换样本的多个第一输入样本中至少一个第一输入样本进行滤波处理来生成第一滤波数据，并通过对所述第一滤波数据的生成中不使用的其他第一输入样本和所述生成的第一滤波数据进行第一运算处理来生成所述第一变换样本的第一变换样本生成步骤的图象信号变换方法，把由所述预测步骤生成的变换对象信号作为输入样本来生成变换样本，并把所生成的变换样本作为变换系数，从而把所述变换对象信号变换为所述变换系数的变换步骤；对由所述变换步骤变换的变换系数进行编码的编码步骤。

本发明的图象译码程序其特征在于，用于使计算机执行以下步骤：输入通过对分割成多个区域的图象进行画面内预测或画面间预测后进行变换编码而生成的压缩数据的输入步骤；根据由所述输入步骤输入的压缩数据来复原与所述各区域对应的变换系数，并把所取得的变换系数作为复原变换系数来生成的译码步骤；根据由多个输入样本生成一个以上变换样本的图象信号变换方法，即包括通过对用于生成第一变换样本的多个第一输入样本中至少一个第一输入样本进行滤波处理来生成第一滤波数据，并通过对所述第一滤波数据的生成中不使用的其他第一输入样本和所述生成的第一滤波数据进行第一运算处理来生成所述第一变换样本的第一变换样本生成步骤的图象信号变换方法，把由所述译码步骤生成的复原变换系数作为输入样本来生成变换样本，并把所生成的变换样本作为逆变换数据，从而把所述复原变换系数变换为所述逆变换数据的逆变换步骤。

为了实现本发明的目的，本发明的图象信号变换方法，按照规定的变换规则，从2^N个(N为自然数)输入样本生成2^N个变换样本，包括：用第n个加权系数对按照所述变换规则决定的第n对(n为1以上2^N-1以下的自然数)的输入样本中的一个输入样本进行加权后，进行第一变换运算，并生成第n对中间值的中间值生成步骤；把由该中间值生成步骤生成的2^N个中间值作为输入，用第m个加权系数对按照所述变换规则决定的第m对(m为1以上2^N-1以下的自然数)中间值中的一个中间值进行加权后，进行第二变换运算，并生成第m对变换样本的变换系数生成步骤。

根据本发明，通过对成为对象的信号进行规定的加权处理，用适合于原有特性的变换规定变换信号。因此，能提高能量的集中度，能高效把信号编码。

本发明的图象信号逆变换方法按照规定的变换规则，从2^N个(N为自然数)变换样本生成2^N个输出样本，包括：用第n个加权系数对按照所述变换规则决定的第n对(n为1以上2^N-1以下的自然数)变换样本中的一个变换样本进行加权后，进行第一变换运算，并生成第n对中间值的中间值生成步骤；把由该中间值生成步骤生成的2^N个中间值作为输入，用第m个加权系数对按照所述变换规则决定的第m对(m为1以上2^N-1以下的自然数)中间值中的一个中间值进行加权后，进行第二变换运算，并生成第m对输出样本的输出值生成步骤。

本发明的图象信号变换方法也能对图象编码装置的变换处理应用。即图象编码装置包括：输入作为编码对象的输入图象的输入部件；把由该输入部件输入的输入图象分割成多个编码区域的区域分割部件；对由该区域分割部件分割的编码区域进行画面内预测或画面间预测来求出差分信号，并把该差分信号作为变换对象信号来生成的预测部件；根据按照规定的变换规则，从2^N个(N为自然数)输入样本生成2^N个变换样本的图象信号变换方法，即包括：用第n个加权系数对按照所述变换规则决定的第n对(n为1以上2^N-1以下的自然数)的输入样本中的一个输入样本进行加权后，进行第一变换运算，并生成第n对中间值的中间值生成步骤；把由该中间值生成步骤生成的2^N个中间值作为输入，用第m个加权系数对按照所述变换规则决定的第m对(m为1以上2^N-1以下的自然数)中间值中的一个中间值进行加权后，进行第二变换运算，并生成第m对变换样本的变换系数生成步骤的图象信号变换方法，把由所述预测部件生成的变换对象信号作为输入样本来生成变换样本，并把所生成的变换样本作为变换系数，从而把所述变换对象信号变换为所述变换系数的变换部件；对由该变换部件变换的变换系数进行编码的编码部件。

须指出的是，在所述图象编码装置中，希望所述变换部件在所述中间值生成步骤和所述变换系数生成步骤中，从多个加权系数中选择所述变换对象信号的能量集中度为最高的加权系数，并对该加权系数的识别信息进行编码。

另外，本发明的图象编码方法包括：输入作为编码对象的输入图象的输入步骤；把该输入步骤中输入的输入图象分割成多个编码区域的区域分割步骤；对由该区域分割步骤分割的编码区域进行画面内预测或画面间预测来求出差分信号，并把求出的差分信号作为变换对象信号来生成的预测步骤；根据按照规定的变换规则，从2^N个(N为自然数)输入样本生成2^N个变换样本的图象信号变换方法，即包括：用第n个加权系数对按照所述变换规则决定的第n对(n为1以上2^N-1以下的自然数)的输入样本中的一个输入样本进行加权后，进行第一变换运算，并生成第n对中间值的中间值生成步骤；把由该中间值生成步骤生成的2^N个中间值作为输入，用第m个加权系数对按照所述变换规则决定的第m对(m为1以上2^N-1以下的自然数)中间值中的一个中间值进行加权后，进行第二变换运算，并生成第m对变换样本的变换系数生成步骤的图象信号变换方法，把所述预测步骤中生成的变换对象信号作为输入样本来生成变换样本，并把所生成的变换样本作为变换系数，从而把所述变换对象信号变换为所述变换系数的变换步骤；对由该变换步骤变换的变换系数进行编码的编码步骤。

同样，本发明的图象信号逆变换方法也能对图象译码装置中的逆变换处理应用。图象译码装置包括：输入通过对分割成多个区域的图象进行画面内预测或画面间预测后进行变换编码而生成的压缩数据的输入部件；根据由所述输入部件输入的压缩数据来复原与所述各区域对应的变换系数，并把所取得的变换系数作为复原变换系数来生成的译码部件；根据按照规定的变换规则，从2^N个(N为自然数)变换样本生成2^N个输出样本的图象信号逆变换方法，即包括：用第n个加权系数对按照所述变换规则决定的第n对(n为1以上2^N-1以下的自然数)变换样本中的一个变换样本进行加权后，进行第一变换运算，并生成第n对中间值的中间值生成步骤；把由该中间值生成步骤生成的2^N个中间值作为输入，用第m个加权系数对按照所述变换规则决定的第m对(m为1以上2^N-1以下的自然数)中间值中的一个中间值进行加权后，进行第二变换运算，并生成第m对输出样本的输出值生成步骤的图象信号逆变换方法，把由所述译码部件生成的复原变换系数作为变换样本来生成输出样本，并把该输出样本作为逆变换数据，从而把所述复原变换系数变换为所述逆变换数据的逆变换部件。

须指出的是，在所述图象译码装置中，希望所述压缩数据包括：所述中间值生成步骤或所述输出值生成步骤中使用的加权系数的识别信息，所述译码部件对所述识别信息进行译码，并使用与该识别信息对应的加权系数来进行所述中间值生成步骤或所述输出值生成步骤的处理。

另外，本发明的图象译码方法包括：输入通过对分割成多个区域的图象进行画面内预测或画面间预测后进行变换编码而生成的压缩数据的输入步骤；根据由所述输入步骤输入的压缩数据来复原与所述各区域对应的变换系数，并把所取得的变换系数作为复原变换系数来生成的译码步骤；根据按照规定的变换规则，从2^N个(N为自然数)变换样本生成2^N个输出样本的图象信号逆变换方法，即包括：用第n个加权系数对按照所述变换规则决定的第n对(n为1以上2^N-1以下的自然数)变换样本中的一个变换样本进行加权后，进行第一变换运算，并生成第n对中间值的中间值生成步骤；把由该中间值生成步骤生成的2^N个中间值作为输入，用第m个加权系数对按照所述变换规则决定的第m对(m为1以上2^N-1以下的自然数)中间值中的一个中间值进行加权后，进行第二变换运算，并生成第m对输出样本的输出值生成步骤的图象信号逆变换方法，把由所述译码部件生成的复原变换系数作为变换样本来生成输出样本，并把该输出样本作为逆变换数据，从而把所述复原变换系数变换为所述逆变换数据的逆变换步骤。

本发明的编码技术也能应用于程序。即编码程序其特征在于，用于使计算机执行以下处理：输入作为编码对象的输入图象的处理；把该输入的输入图象分割成多个编码区域的处理；对该分割的编码区域，进行画面内预测或画面间预测，求出差分信号，并把求出的差分信号作为变换对象信号生成的处理；根据按照规定的变换规则，从2^N个(N为自然数)输入样本生成2^N个变换样本的图象信号变换方法，即包括：用第n个加权系数对按照所述变换规则决定的第n对(n为1以上2^N-1以下的自然数)的输入样本中的一个输入样本进行加权后，进行第一变换运算，并生成第n对中间值的中间值生成步骤；把由该中间值生成步骤生成的2^N个中间值作为输入，用第m个加权系数对按照所述变换规则决定的第m对(m为1以上2^N-1以下的自然数)中间值中的一个中间值进行加权后，进行第二变换运算，并生成第m对变换样本的变换系数生成步骤的图象信号变换方法，把所述生成的变换对象信号作为输入样本来生成变换样本，并把所生成的变换样本作为变换系数，从而把所述变换对象信号变换为所述变换系数的处理；对该变换的变换系数进行编码的处理。

同样，本发明的译码程序其特征在于，用于使计算机执行以下处理：输入通过对分割成多个区域的图象进行画面内预测或画面间预测后进行变换编码而生成的压缩数据的处理；从该输入的压缩数据来复原与所述各区域对应的变换系数，并把所取得的变换系数作为复原变换系数来生成的处理；根据按照规定的变换规则，从2^N个(N为自然数)变换样本生成2^N个输出样本的图象信号逆变换方法，即包括：用第n个加权系数对按照所述变换规则决定的第n对(n为1以上2^N-1以下的自然数)变换样本中的一个变换样本进行加权后，进行第一变换运算，并生成第n对中间值的中间值生成步骤；把由该中间值生成步骤生成的2^N个中间值作为输入，用第m个加权系数对按照所述变换规则决定的第m对(m为1以上2^N-1以下的自然数)中间值中的一个中间值进行加权后，进行第二变换运算，并生成第m对输出样本的输出值生成步骤的图象信号逆变换方法，把所述复原变换系数作为变换样本来生成输出样本，并把该输出样本作为逆变换数据，从而把所述复原变换系数变换为所述逆变换数据的处理。

附图说明

下面简要说明附图。

图1是表示基于以往技术的离散余弦变换处理的框图。

图2是表示基于以往技术的逆离散余弦变换处理的框图。

图3是执行实施例1的图象信号变换处理的第一实现方法的图象信号变换装置的框图。

图4是进行与图3的变换处理对应的逆变换处理的图象信号逆变换装置的框图。

图5是表示成为实施例1的图象信号变换处理对象的图象信号的模式图。

图6是执行实施例1的图象信号变换处理的第二实现方法的图象信号变换装置的框图。

图7是进行与图6的变换处理对应的逆变换处理的图象信号逆变换装置的框图。

图8是表示实施例1、2的图象编码装置的框图。

图9是表示实施例1的图象编码方法的流程图。

图10是在概念上表示实施例1的图象编码程序的结构的图。

图11是表示实施例1、2的图象译码装置的框图。

图12是表示实施例1的图象译码方法的流程图。

图13是在概念上表示实施例1、2的图象译码程序的结构的图。

图14是表示用于执行记录媒体上记录的程序的计算机硬件结构的图。

图15是用于执行记录媒体上存储的程序的计算机的立体图。

图16是实施例2的图象信号变换装置的框图。

图17是实施例2的图象信号逆变换装置的框图。

图18是表示用于进行变换和逆变换的以往的矩阵的一例的图。

图19是表示用于进行变换和逆变换的本发明的矩阵的一例的图。

图20是表示实施例2的图象编码方法的流程图。

图21是表示实施例2的图象译码方法的流程图。

图22是在概念上表示实施例2的图象编码程序的图。

具体实施方式

实施例1

下面参照图3～图15说明本发明实施例1。

图3表示执行基于实施例1的图象信号变换装置的第一实现方法的图象信号变换装置300的框图。图象信号变换装置300具有：输入端子301～304；连接端子305～308；输出端子309～312；减法器317、322、327、334；加法器321、326、333、338；滤波器318、319、323、324、329、330、335、336；乘法器320、325、328、331、332、337。这些减法器、加法器以及乘法器相当于执行权利要求书中记载的第一计处理或第二运算处理的结构。

关于按以上构成的图象信号变换装置300，以下描述其动作。该图象信号变换装置300把由图5所示的4×4象素构成的图象信号501作为输入。图5的各格子与1象素对应。另外，以下说明以4象素构成的一列信号即图5的象素502～505作为输入的1维变换，但是可以对图5的各行进行相同的处理。对各列进行后面描述的变换处理，还可以对其结果以行单位处理。

图5的象素a0(502)～a3(505)分别对输入端子301～304输入。从输入端子304输入的象素a3由称作P1(318)的滤波器处理，把其结果从对输入端子301输入的象素a0减去。把这样取得的信号发送给连接端子305的同时，发送给称作U1(319)的滤波器，进行处理。把其结果与用乘法器320把象素a3变为2倍的结果相加(加法器321)。把这样相加的结果发送给连接端子308。把由滤波器318、计算器317、滤波器319和计算器(320和321)构成的模块作为基本变换模块313，对输入信号进行变换。当成为变换的对象的对象信号由2象素构成时，用上述的处理就结束，但是在本实施例中，把4个象素作为变换对象，所以同样关于象素a1和a2，通过由滤波器323、计算器322和计算器324和计算器(325和326)构成的变换模块314变换。在本实施例中，滤波器323和324分别与滤波器318和319不同，但是可以使用相同的滤波器。把从变换模块313和314取得的数发送给据变换模块315和变换模块316，进行类似的处理。位于变换模块315的滤波器329、计算器(328和327)、滤波器330、计算器(331、332、333)与变换模块313或314不同，但是把一个输入(来自连接端子306的输入)信号进行滤波处理，从另一个输入(来自连接端子305的输入)信号减去，把减法结果进行滤波处理后，与来自连接端子306的输入相加的基本过程相同。关于从连接端子307和308输入的输入信号，也相同。从端子309输出直流成分，从其他端子(310～312)输出高频成分。

须指出的是，在图3的变换模块313中，基于滤波器318的滤波处理与权利要求书中记载的第一滤波处理对应，基于减法器317的减法与权利要求书中记载的第一运算处理对应，基于滤波器319的滤波处理与权利要求书中记载的第二滤波处理对应，基于加法器321的加法与权利要求书中记载的第二运算处理对应。另外，在变换模块314中，基于滤波器323的滤波处理与权利要求书中记载的第一滤波处理对应，基于减法器322的减法与权利要求书中记载的第一运算处理对应，基于滤波器324的滤波处理与权利要求书中记载的第二滤波处理对应，基于加法器326的加法与权利要求书中记载的第二运算处理对应。图3表示包含第一变换样本生成步骤和第二变换样本生成步骤双方的变换处理例，但是可以是只包含第一变换样本生成步骤的变换处理。但是，变换处理包含第一变换样本生成步骤时，逆变换处理必须只包含进行处于与变换处理中的第一滤波处理成对的关系的滤波处理的第一变换样本生成步骤。

下面参照图4说明图象信号的逆变换处理。图4表示进行与图3的变换处理对应的逆变换处理的图象信号逆变换装置400的框图。如图4所示，图象信号逆变换装置400具有：输入端子401～404；连接入端子405～408；输出端子409～412；减法器419、423、428、433；加法器437、440、430、435；滤波器417、420、424、426、427、429、432、434；乘法器418、422、421、425、431、436。这些减法器、加法器以及乘法器相当于执行权利要求书中记载的第一运算处理或第二运算处理的结构。

图4的图象信号逆变换装置400是进行与图3的图象信号变换装置300相反的处理，把频域的系数逆变换为象素区域的信号的装置，在结构上由4个基本变换模块413～416构成。在图4中，把由图3所示的变换处理取得的变换系数作为输入，从输入端子401～404输入。对从输入端子401输入的系数进行滤波处理(417)，与从输入端子402输入的系数计算(用乘法器418和减法器419)。把减法的结果进行滤波处理(420)，与来自输入端子401的输入信号计算(乘法器421、422和加法器437)。同样，从输入端子403和404输入的变换系数由变换模块414处理。这样取得的数据向连接端子405～408输入，由变换模块415和416处理。这样能逆变换为象素区域的信号。图4中的乘法器(422、425、431、436、438、439)为了变为与图3的输入信号相同的量级而决定的乘法系数。另外，使用的滤波器(417、420、424、426、427、429、432、434)与位于图3的变换模块中的滤波器对应，为了逆变换的结果与变换前的信号相同而决定各滤波器。

在本实施例中，变换模块把减法的结果相加，但是也有把相加的结果减去的实施方法，可以设定乘法器的系数，从而保持变换器的输入和逆变换器的输出的能量。须指出的是，说明了4象素的输入信号，但是关于N象素(N是任意的整数)的输入信号，在以往的NxN的DCT变换装置或IDCT变换装置的计算器(加法和减法)之前，可以设置对应的滤波器，处理数据。

下面说明图3和图4中使用的滤波器。在此，使用2种滤波器。即能使用伴随着相位移动的滤波器和不伴随着相位移动的滤波器。作为不伴随着相位移动的滤波器使用以成为滤波器处理的对象的象素为中心的奇数分支的滤波器。例如在图5中，在a0(502)和a3(505)的计算(图3的变换模块313)中，使用以a3为中心的3分支的滤波器，对象素506、505、507进行滤波处理，生成信号。作为伴随着相位移动的滤波器，使用偶数分支的滤波器，使用与想移动的相位匹配的滤波器。例如为了求出把图5中的象素505向左移动半象素的滤波结果，可以求出象素505和506的平均。为了向右移动1/4象素，使用象素505和象素507的线性插补。伴随着相位移动的滤波器在作为变换对象的信号中存在某种程度的偏移时时有效，特别是预测信号的精度低，在差分信号中残留存在相关的信号成分时有效。不伴随着相位移动的滤波器在包含很多随机噪声成分时有效。

说明本发明的变换模块(图3的313、314、315、316、图4的413、414、415、416)中使用的2个滤波器的关系。位于变换模块313的滤波器P1(318)和U1(319)处于成对的关系。即P1是低通滤波器时，U1为带通滤波器，P1使相位向右移动时，U1使相位向左移动。根据P1的特性，可以不使用U1，或根据U1的特性，不使用P1。另外，根据特性，P1和U1但是相同。关于P2和U2、P3和U3、P4和U4，也是同样的。

另外，本发明的图象信号的变换和逆变换方法中使用的滤波处理有时需要位于超过对象块的边界的区域中的象素。特别是在变换位于块的边界的列或行时产生边界值问题。此时，可以使用位于相邻的块区域中的象素值进行滤波处理，但是在本实施例中，重复使用位于边界的象素值进行滤波处理。

图6表示执行本发明一个实施例的图象信号变换处理的第二实现方法的图象信号变换装置的框图。该图象信号变换装置具有：输入端子601～604；连接端子605～608；输出端子609～612；减法器614、616、618、620；加法器613、615、617、619；滤波器623、624、625、626、627、628、629、630；乘法器621、622。4个象素a0、a1、a2、a3分别从输入端子601～604输入。用滤波器624对从输入端子604输入的信号a3进行滤波处理(624)，用加法器613把a0和进行滤波处理的a3相加。用滤波器623对从输入端子601输入的信号a0进行滤波处理(623)，用减法器614求出进行滤波处理的a0和a3的差分。同样，对a1和a2分别进行滤波处理，用加法器615和减法器616计算。这些结果分别经由端子605～608发送给下一级。来自端子605和606的信号分别由滤波器627和628处理，由加法器617和减法器618计算。来自端子607和608的信号分别由滤波器629和630处理，由加法器619、减法器620、乘法器621和622处理。这样取得的结果成为频域的系数，经由端子609～612输出。

须指出的是，在图6中，基于滤波器623的滤波处理与权利要求书中记载的第一滤波处理对应，基于减法器614的减法与权利要求书中记载的第一运算处理对应，基于滤波器624的滤波处理与权利要求书中记载的第二滤波处理对应，基于加法器613的加法与权利要求书中记载的第二运算处理对应。另外，基于滤波器625的滤波处理与权利要求书中记载的第一滤波处理对应，基于减法器616的减法与权利要求书中记载的第一运算处理对应，基于滤波器626的滤波处理与权利要求书中记载的第二滤波处理对应，基于加法器615的加法与权利要求书中记载的第二运算处理对应。图6表示包含第一变换样本生成步骤和第二变换样本生成步骤双方的变换处理例，但是可以是只包含第一变换样本生成步骤的变换处理。但是，当变换处理只包含第一变换样本生成步骤时，逆变换处理必须只包含进行处于与变换处理中的第一滤波处理成对的关系的滤波处理的第一变换样本生成步骤。

下面参照图7说明图象信号的逆变换处理。图7表示进行与图6的变换处理对应的逆变换处理的图象信号变换装置的框图。频域的系数分别从输入端子701～704输入。来自端子701和702的系数分别由滤波器723和724处理，由加法器713和减法器714计算。来自端子703和704的系数分别由滤波器725和726处理，由加法器715、减法器716、乘法器721和722计算。这样取得的信号经由端子705～708发送给下一级。来自端子705和708的信号分别由滤波器727和728处理，由加法器717和减法器718计算，来自端子706和707的信号分别由滤波器729和730处理，由加法器719和减法器720计算。这样把频域的系数逆变换为原来的象素a0、a1、a2、a3，分别从端子709～712输出。滤波器P1和U1、P2和U2、P3和U3、P4和U4的关系与图6相同。它们的关系处于上述的成对关系。

下面，说明本发明实施例的使用图象信号变换处理的图象编码装置、方法、程序。图8表示使用上述的图象信号变换处理的图象编码装置800的框图。图象编码装置800具有：输入端子801；块分割器802；画面内预测器803；画面间预测器804；连接端子805、806、807、808、810；切换开关809；加法器811；帧存储器812；变换器813；量子化器814；逆量子化器815；逆变换器816；加法器817；滤波器决定器818；熵编码器819；输出端子820。包含画面内预测器803和画面间预测器804的部件总称为预测信号生成器821。

关于采用以上结构的图象编码装置，以下描述其动作。从输入端子801输入构成动画象的多个图象，用块分割器802分给为由N×M象素构成的块。在本实施例中N＝M＝8，但是N和M可以不相等，可以8象素以外的分割。成为编码的对象的块经由线路L820a对画面内预测器803和画面间预测器804输入。在画面内预测器803中，输入作为编码对象的块信号以及构成帧存储器812中存储的相同画面的已经再现的图象信号，生成与标准规格H.264相同的画面预测信号。在画面间预测器804中，输入作为编码对象的块以及帧存储器812中存储的已经再现的不同画面的信号，生成基于与标准规格H.264相同的移动检测预测的画面间预测信号。在本发明的编码装置中，准备从端子805什么都不输入的情况。即原信号原封不动地成为编码对象。切换开关809从基于画面内预测器803的预测信号、基于画面间预测器804的预测信号和没有预测信号的3种情况选择编码量最少的模式。把这样决定的预测信号发送给加法器811，求出与作为编码对象的块的差分。把球出的差分信号发送给滤波器决定器818。滤波器决定器818使用多个滤波器，把差分信号用上述的图象信号变换方法进行变换，推测变换系数的编码量。

在本实施例中，把变换系数进行熵编码，决定编码量最少的滤波器，把识别该滤波器的标识符发送给变换器813。在变换器813中，使用由滤波器决定器818决定的滤波器进行变换。在本实施例中，把8×8象素的块再用4×4象素的单位分割，只对各4×4块的列进行滤波变换。把这样取得的变换系数发送给量子化器814，进行量子化。把量子化的系数发送给熵编码器819，进行可变长度编码，从输出端子820输出。而量子化的系数由逆量子化器815进行逆量子化，使用由滤波器决定器决定的滤波器进行逆变换(逆变换器816)，把其结果在加法器817中与预测信号(经由线路L811)相加，作为再现信号生成，存储到帧存储器812种。关于由滤波器决定器818决定的滤波器的标识符经由线路L814发送给熵编码器819，与其他数据一起从输出端子820输出。

图9表示本发明实施例的使用图象信号变换处理的图象编码方法的流程图。首先输入作为编码对象的图象(步骤902)。把该图象用步骤903分割成由8×8象素构成的块。接着，在步骤904中生成对于作为编码对象的块的预测信号。在本实施例中，从画面内预测、画面间预测或没有预测等3个模式选择。从这些预测信号中把误差最少的信号作为预测信号。在步骤905中，求出预测信号和作为编码对象的块的差分，生成差分信号。接着在步骤906中，对差分信号使用多个滤波器用上述的方法进行变换处理，决定信号汇集得最紧凑的滤波器。按照这样决定的滤波器，进行变换处理(907)。在步骤908中把各变换系数量子化，生成量子化变换系数。在步骤909中把量子化变换系数逆量子化，使用步骤906中决定的滤波器进行逆变换，生成再现系数(步骤910)。在步骤911中，把再现系数与步骤904中决定的预测信号相加，生成再现块。最后把再现块一次性存储的同时，把量子化的变换系数或滤波器的标识符进行熵编码，输出(步骤912)。对全部块以及全部图象进行以上的流程。须指出的是，如果输出决定变换时的滤波器(步骤906)是取得的变换系数，就没必要重新进行变换处理，可以省略步骤907。另外，在本实施例中，作为滤波器，使用包含没有相位移动、使相位移动1/8、2/8、3/8、4/8、-1/8、-2/8、-3/8、-4/8的9种滤波器。

下面，说明用于使计算机作为本发明的图象编码装置工作的编码程序。图10是表示本发明实施例的使用图象信号变换处理的图象编码程序P1012的结构和记录媒体1012的图。如图10所示，图象编码程序P1012存储在记录媒体1012中，提供。作为记录媒体1012，例示软盘、CD-ROM、DVD、或ROM等记录媒体、或半导体存储器。

图14是表示用于执行记录媒体中记录的程序的计算机硬件结构的图，图15是用于执行记录媒体中记录的程序的计算机的立体图。作为计算机，包含具备CPU并且进行基于软件的处理或控制的DVD播放器、机顶盒、移动电话等。

如图14所示，计算机30具有：软盘驱动装置、CD-ROM驱动装置、DVD驱动装置等读取装置12；操作系数常驻的作业用存储器(RAM)14；存储记录媒体10中记录的程序的存储器16；称作显示器的显示装置18；输入装置即鼠标20和键盘22；用于进行数据的交换的通信装置24；控制程序的执行的CPU26。如果记录媒体10插入读取装置12中，计算机30就能从读取装置12访问记录媒体10中存储的图象编码程序P1012，通过该图象编码程序P1012能作为本发明的图象编码装置工作。

如图15所示，图象编码程序P1012可以作为重叠在载波上的计算机信号40通过网络提供。此时，计算机30把由通信装置24接收的图象编码程序P1012存储到存储器16中，能执行该图象编码程序P1012。

如图10所示，图象编码程序P1012具有图象输入模块1000、图象块化模块1001、预测信号生成模块1002、差分信号生成模块1003、变换用滤波器决定模块1004、变换模块1005、量子化模块1006、逆量子化模块1007、逆变换模块1008、加法模块1009、存储模块1010、熵编码模块1011。图象输入模块1000相当于图8的输入端子801，图象块化模块1001相当于图8的块分割器802，预测信号生成模块1002相当于图8的预测信号生成器821，差分信号生成模块1003相当于图8的加法器811，变换用滤波器决定模块1004相当于图8的滤波器决定器818，变换模块1005相当于图8的变换器813，量子化模块1006相当于图8的量子化器814，逆量子化模块1007相当于图8的逆量子化器815，逆变换模块1008相当于图8的逆变换器816，加法模块1009相当于图8的加法器817，存储模块1010相当于图8的熵编码器819。

图11表示本发明实施例的使用图象信号的逆变换处理的图象译码装置1110的框图。图象译码装置1110具有输入端子1100、数据分析器1101、逆量子化器1102、逆变换器1103、加法器1104、预测信号生成器1105、帧存储器1106、输出端子1107。

在输入端子1100，输入对分割成多个区域的图象进行画面内预测或画面间预测，通过编码而生成的压缩数据。用数据分析器1101分析压缩数据，进行熵译码处理的同时，抽出量子化的变换系数、关于量子化的信息、关于预测信号的生成的模式信息、表示逆变换处理中使用的滤波器的标识符。把量子化的变换系数以及关于量子化的信息经由线路L1102发送给量子化器1102，生成逆量子化的变换系数。逆量子化的变换系数经由线路L1105发送给逆变换器1103，表示逆变换处理中使用的滤波器的标识符经由线路L1104发送给逆变换器1103，在那里使用指定的滤波器进行逆变换，生成逆变换信号。关于逆变换处理，如上所述。关于预测信号的生成的模式信息经由线路L1103发送给预测信号生成器1105，根据该信息，决定为画面内预测，或画面间预测，或没有预测，生成预测信号。把这样取得的逆变换信号以及预测信号由加法器1104相加，存储在帧存储器1106中的同时，为了显示，经由输出端子1107输出。

图12表示本发明实施例的使用图象信号的逆变换处理的图象译码方法的流程图。压缩数据在步骤1202中输入。接着在步骤1203中对压缩数据进行熵译码，抽出量子化的变换系数、关于量子化的信息、关于预测信号的生成的信息、滤波器的标识符。在步骤1204中，根据关于预测信号的生成的信息，生成预测信号。在步骤1205中，把量子化的变换系数逆量子化，在步骤1206中，按照由滤波器标识符指定的滤波器进行逆变换，生成逆变换信号。在步骤1207中，把预测信号和逆变换信号相加，生成再现块的信号。再现块信号在步骤1208中一次存储。在全部数据处理完毕之前，重复该处理。

下面，说明用于使计算机作为本发明的图象译码装置工作的图象译码程序。图13表示本发明实施例的使用图象信号变换处理的图象译码程序P1307的结构和记录媒体1307。如图13所示，图象译码程序P1307存储在记录媒体1307中，提供。通过该图象译码程序P1307，计算机能作为本发明的图象译码装置工作。关于细节，如参照图14和图15所述那样。

如图13所示，图象译码程序P1307具有：压缩数据输入模块1300、熵译码模块1301、预测信号生成模块1302、逆量子化模块1303、逆变换模块1304、加法模块1305、存储模块1306。压缩数据输入模块1300相当于图11的输入端子1100，熵译码模块1301相当于图11的数据分析器1101，预测信号生成模块1302相当于图11的预测信号生成器1105，逆量子化模块1303相当于图11的逆量子化器1102，逆变换模块1304相当于图11的逆变换器1103，加法模块1305相当于图11的加法器1104，存储模块1306相当于图11的帧存储器1106。

这样，在信号变换处理中，为了输入信号的相关提高而进行滤波处理，进行变换，从而能取得更紧凑地表现信号，能高效对图象信号进行编码的效果。

实施例2

下面参照附图说明实施例2的图象信号变换装置。

图16是表示本发明的图象信号变换装置的结构的图。本实施例的图象信号变换装置300A具有：输入端子301～304；连接端子305～308；输出端子309～312；减法器317、322、327、334；加法器321、326、333、338；加权器318A、323A、329A、335A；乘法器320、325、328、332、337。各构成要素通过总线连接为彼此能进行信号的输入输出。

图象信号变换装置300A把由图5所示的4×4象素构成的图象信号501作为输入。在图5中，各格子与1象素对应。以下说明以4象素构成的一列信号即图5的象素502～505作为输入的1维变换，但是可以对图5的各行进行相同的处理。对各列进行后面描述的变换处理，还可以对其结果以行单位处理。

图5的象素“a0”(502)～“a3”(505)分别对输入端子301～304输入。从输入端子304输入的象素“a3”由w₁(318A)加权处理后，其结果从对输入端子301输入的象素“a0”减去。这样取得的中间值对连接端子305输入的同时，对加法器321输出。

在加法器321中，把所述中间值与用乘法器320变为2倍的象素“a3”相加。这样相加的中间值对连接端子308输入。即图象信号变换装置300A把由加权器318A、计算器317、计算器320、321构成的模块作为基本变换模块313，变换输入信号。

成为变换对象的对象信号由2象素构成时，用上述的处理就结束，但是在本实施例中，把4个象素作为变换对象，所以同样关于象素“a1”和“a2”，也同样由加权器323A、计算器322、计算器(325和326)构成的变换模块314进行变换。在本实施例中，加权器323A通过与加权器318A不同的加权系数进行处理，但是可以使用相同的加权系数。

从变换模块313、314取得的中间值对变换模块315和变换模块316输出，进行类似的处理。位于变换模块315的加权器329A、计算器(328、327)、计算器(332、333)与变换模块313、314的不同。但是，对一个输入(来自连接端子306的输入)信号加权处理，从来自另一方输入(来自连接端子305的输入)信号减去，把减法的结果再与来自连接端子306的输入信号相加的基本过程是同样的。

关于从连接端子307、308输入的中间值的信号，也同样输出从端子309～312变换的频率成分的系数。图16所示的加权系数w₁～w₄全部取“1”时，变为与图1所示的变换同样。即本发明的图象信号变换方法一边按照以往的变换方法的变换规则进行处理，一边使加权系数w₁～w₄变化，从而能以适合于作为变换对象的信号的变换基底进行信号变换。

须指出的是，在图16的变换模块313中，位于加权器318A的加权系数w₁与权利要求书中记载的“第n个加权系数”对应，基于减法器317的减法处理、基于乘法器320、加法器321的加法处理与权利要求书中记载的“第一变换运算”对应。另外，在变换模块314中，基于加权器323A的加权系数w₂与权利要求书中记载的“第n个加权系数”对应，基于减法器322的减法处理、基于乘法器320、加法器321的加法处理与“第一变换运算”对应。

在变换模块315中，基于加权器329A的加权系数w₃与权利要求书中记载的“第m个加权系数”对应，基于乘法器328、减法器327的减法处理、基于乘法器332、加法器333的加法处理与权利要求书中记载的“第二变换运算”对应。另外，在变换模块316中，基于加权器335A的加权系数w₄与权利要求书中记载的“第m个加权系数”对应，基于减法器334的减法处理、基于乘法器337、加法器338的加法处理与权利要求书中记载的“第二变换运算”对应。

下面，参照图17说明图象信号的逆变换处理。图17是表示进行与基于图象信号变换装置300A的信号变换处理对应的逆变换处理的图象信号逆变换装置的结构的框图。本实施例的图象信号逆变换装置400具有：输入端子401～404；连接入端子405～408；输出端子409～412；减法器419、423、428、433；加法器437、440、430、435；加权器420A、426A、429A、434A、乘法器421、425、431、436。各构成要素通过总线连接为彼此能输入输出信号。

图象信号逆变换装置400进行与图象信号变换装置300A相反的处理。图象信号逆变换装置400是把频域的系数逆变换为象素区域的信号的装置，由4个基本变换模块413～416构成。如图17所示，图象信号逆变换装置400从输入端子401～404输入由上述的变换处理取得的变换系数。从输入端子401输入的系数用减法器减法器419与从输入端子402输入的系数计算(减法)。

把计算结果变为1/2倍(439)后，作为中间值对连接端子406输出。同时把该减法结果用加权器420A以w₃的系数加权，与来自输入端子401的输入信号计算。乘法器421、422和加法器437执行该运算处理。同样，从输入端子403、404输入的变换系数由变换模块414处理。取得的中间值对连接端子405～408输出厚，由变换模块415、416逆变换为象素区域的信号。图17的乘法器422、425、431、436决定乘法系数，从而变为与图16的输入信号相同的量级。另外，图17的加权器420A、426A、429A、434A与位于图16所示的变换模块313～316的加权器对应，为了逆变换的结果与变换前的信号相同而决定各加权系数。须指出的是，图17的加权系数w₁～w₄全部取“1”的值时，变为与参照图2说明的逆变换处理同样。

在实施例2中，变换模块把减法结果相加，但是也可以采用把相加的结果减去的实施方法。此时，图象信号逆变换装置可以设定乘法器的系数，从而保持变换器的输入能量和逆变换器的输出能量。另外，说明了4象素的输入信号，但是关于N象素(N是任意的整数)的输入信号，在以往的N×N的DCT变换装置或IDCT变换装置的计算器(加法和减法)之前，可以设置对应的加权，处理数据。

在此，说明图象信号的变换和逆变换中使用的加权。在实施例2中，从19/16、18/16、17/16、…、5/16、4/16等合计16个系数选择最提高成为处理对象的信号的能量集中度的系数。w₁～w₄等各系数取相同的值，但是可以使用不同的系数。另外，可以根据信号，把w₃固定为“1”，作为此外的系数，可以使用上述的任意值。或者把w₁～w₃分别固定为“1”，只使w₄可变。还可以使用16个系数以外的系数。

图象信号逆变换装置400通过用w₁～w₄的加权系数把输入信号加权，实质上变更变换基底。关于有关的处理，参照图18以及图19进行说明。图18是表示用于进行以往技术的变换和逆变换的矩阵的图。矩阵1801是变换矩阵，矩阵1802是逆变换矩阵，矩阵1803是用于保存能量的标准矩阵。

如果比较图18和图19，通过w₁～w₄，变更以往的变换和逆变换的矩阵的基底，但是w₁～w₄的各值为1时，成为以往的变换和逆变换。即图象信号逆变换装置400通过变更w₁～w₄的值，能调整变换基底，所以能进行适合于作为变换对象的信号的变换。

下面说明使用上述的图象信号变换处理的图象编码装置、方法、程序。图8是表示本实施例的图象编码装置800的结构的图。如图8所示，图象编码装置800具有：输入端子801；块分割器802；画面内预测器803；画面间预测器804；连接端子805、806、807、808、810；切换开关809；加法器811；帧存储器812；变换器813；量子化器814；逆量子化器815；逆变换器816；加法器817；加权器818；熵编码器819；输出端子820。各构成要素通过总线连接为能彼此输入输出信号。下面把包含画面内预测器803和画面间预测器804的部件总称为预测信号生成器821。

如果从输入端子801输入构成动画象的多个图象，就通过块分割器802分割成由N×M象素构成的块。在本实施例中，N＝M＝8，但是N和M可以不相等，也可以是8象素以外的分割。成为编码的对象的块经由线路L820a对画面内预测器803和画面间预测器804输入。

在画面内预测器803中，输入作为编码对象的块信号以及构成帧存储器812中存储的相同画面的已经再现的图象信号，生成与标准规格H.264相同的画面预测信号。在画面间预测器804中，输入作为编码对象的块以及帧存储器812中存储的已经再现的不同画面的信号，使用与标准规格H.264同样的移动检测预测，生成画面间预测信号。

图象编码装置800假定从端子805什么也没输入时，即以原信号原封不动地作为编码对象时。切换开关809选择基于画面内预测器803的预测信号、基于画面间预测器804的预测信号、没有预测信号等3个模式中编码量最少的模式。把决定的预测信号对加法器811输入后，计算与作为编码对象的块的差分。当切换开关809与端子808连接时，来自端子805的输入是“0”，所以加法器811的输出成为编码对象块。差分信号对加权决定器818输出。

加权决定器818使用多个加权系数对所述差分信号执行上述的图象信号变换处理后，推测变换系数的编码量。在本实施例中，加权决定器818对变换系数进行熵编码，决定编码量最少的加权，把识别该加权的标识符(与识别信息对应)对变换器813输出。变换器813使用由加权决定器818决定的加权进行变换。变换器813用4×4象素单位分割8×8象素的块，对各4×4块进行加权变换。

须指出的是，可以把加权决定器818执行的处理嵌入变换器813，变换器813一边进行多个加权变换，一边决定最佳的加权变换的同时，生成变换系数。另外，在本实施例中，8×8块中包含的4个4×4块全部由相同的加权变换处理，但是变换器813也可以对各4×4块进行分别不同的加权变换。

把这样取得的变换系数对量子化器814输出。把量子化的系数发送给熵编码器819，进行可变长度编码后，从输出端子820输出。而量子化的系数由逆量子化器815进行逆量子化，使用由加权决定器818决定的加权，由逆变换器816进行逆变换。结果，在加法器817中，与经由线路L811的预测信号相加，生成再现信号。把生成的再现信号存储在帧存储器812中。关于由加权决定器818决定的加权系数的标识符经由线路L814对熵编码器819输入后，与其它数据一起从输出端子820输出。

下面，参照图20，说明本发明的图象编码装置的动作、构成图象编码方法的各步骤。图20是用于说明图象编码装置800执行的图象编码处理的程序流程图。如果输入作为编码对象的图象(S1)，则该图象分割成由8×8象素构成的块(S2)。在S3中，生成对于作为编码对象的块的预测信号。在本实施例中，作为预测信号的生成方法，选择“画面内预测”、“画面间预测”、“没有预测”等3个模式。在用这些方法决定的预测信号的候补中，把误差最少的信号决定为预测信号。

在S4中，从预测信号和作为编码对象的块的差分生成差分信号。在S5中，对于分割成4×4样本单位的差分信号，使用多个加权系数用上述的方法进行变换处理，决定把信号集中最紧凑地集中的加权系数。例如，当提高编码量或图象质量时，图象编码装置800使加权系数w₁～w₃为“1”，并且关于加权系数w₄，使用上述16个值的任意一个。而降低编码量或图象质量时，使加权系数w₃为“1”，使加权系数w₁、w₂、w₄为上述16个值的任意一个。

在S6中，执行与S5中决定的加权系数对应的变换处理。然后把各变换系数量子化，生成量子化变换系数(S7)。把所述量子化变换系数逆量子化后(S8)，使用S5中决定的加权系数进行逆变换。结果生成再现系数(S9)。把S10中生成的所述再现系数与S3中决定的预测信号相加。结果，生成再现块。把再现块暂时存储在帧存储器812中。与此同时，把所述量子化变换系数和加权系数的标识符进行熵编码，输出(S11)。

把S3～S11的一系列处理对由S2的分割处理生成的全部区域进行，(S12:NO)，在关于全部区域处理完毕的时刻，图象编码处理结束。须指出的是，图象编码装置800如果输出S5中决定变换时的加权系数时取得的变换系数，就没必要重新进行变换处理，能省略S6的处理。

说明使用上述的图象信号逆变换处理的图象译码装置、方法和程序。图11是表示本实施例的图象译码装置的结构的图。如图11所示，图象译码装置1110具有输入端子1100、数据分析器1101、逆量子化器1102、逆变换器1103、加法器1104、预测信号生成器1105、帧存储器1106、输出端子1107。各构成要素通过总线连接为彼此能进行信号的输入输出。

在输入端子1100，输入对分割成多个区域的图象进行画面内预测或画面间预测，通过变换编码而生成的压缩数据。数据分析器1101分析压缩数据，进行熵译码处理。另外，抽出量子化的变换系数、关于量子化的信息、关于预测信号的生成的模式信息、逆变换处理中使用的加权系数的标识符(与识别信息对应)。

所述量子化的变换系数、关于量子化的信息经由线路L1102对逆量子化器1102输入，生成逆量子化的变换系数。在逆变换器1103，逆量子化的变换系数经由线路L1105输入，并且逆变换处理中使用的加权系数的标识符经由线路L1104输入。然后使用指定的加权系数进行逆变换，生成逆变换信号。

如果关于预测信号的生成的模式信息经由线路L1103输入，预测信号生成器1105就参照该信息，从画面内预测、画面间预测、没有预测中选择最佳的模式，生成预测信号。加法器1104把经由线路L1106输入的逆变换信号和经由线路L1107输入的预测信号相加。帧存储器1106存储所述加法的结果，输出端子1107显示它。

下面参照图21说明本发明的图象译码装置的动作、构成图象译方法的各步骤。图21是用于说明图象译码装置1110执行的图象译码处理的各步骤的程序流程图。如果输入压缩数据(T1)，就进行熵译码，把量子化的变换系数、关于量子化的信息、关于预测信号的生成的模式信息、加权系数的标识符从所述压缩数据抽出(T2)。在T3中，根据所述关于预测信号的生成的模式信息，生成预测信号。

在T4中，把量子化的变换系数逆量子化，在T5中，按照由加权系数标识符指定的加权系数，进行逆变换处理。结果生成逆变换信号。在T6中，把T3中生成的预测信号和T5中生成的逆变换信号箱加，生成再现块信号。该再现块信号在T7中暂时存储到帧存储器1106中。关于T1中输入的全部压缩数据执行T2～T7的一系列处理(T8：NO)，在关于全部数据的处理结束的时刻，图象译码处理结束。

在此，本发明的图象编码技术能作为用于使计算机作为图象编码装置800工作的图象编码程序来实现。图22是表示本发明的图象编码程序P1012的结构图。图象编码程序P1012记录在记录媒体1012中。记录媒体1012例如是软盘、CD-ROM、DVD(Digital Versatile Disc)或半导体存储器。

如图22所示，图象编码程序P1012把图象输入模块1000、图象块化模块1001、预测信号生成模块1002、差分信号生成模块1003、变换用加权决定模块1004A、变换模块1005、量子化模块1006、逆量子化模块1007、逆变换模块1008、加法模块1009、熵编码模块1011作为构成单位而包含。通过执行各模块而实现的功能分别与上述的图象编码装置800(参照图8)的输入端子801、块分割器802、预测信号生成器821、加法器811、加权决定器818、变换器813、量子化器814、逆量子化器815、逆变换器816、加法器817、熵编码器819的各功能分别同样。另外，图象编码程序P1012还具有存储模块1010，通过执行存储模块1010而存储的数据与存储在帧存储器812中的数据同样。

另外，本发明的图象译码技术也能作为用于使计算机作为图11所示的图象译码装置1110工作的图象译码程序实现。本发明的图象译码程序P1307能采用图13所示的结构。图象译码程序P1307记录在记录媒体1307中。记录媒体1307例如是软盘(注册商标)、CD-ROM、DVD、或半导体存储器。

图象译码程序P1307如图13所示，把压缩数据输入模块1300、熵译码模块1301、预测信号生成模块1302、逆量子化模块1303、逆变换模块1304、加法模块1305作为构成单位包含。通过执行各模块而实现的功能分别与上述的图象译码装置1110的输入端子1100、数据分析器1101、预测信号生成器1105、逆量子化器1102、逆变换器1103、加法器1104具有的各功能分别同样。另外，图象译码程序P1307还具有存储模块1306，通过执行存储模块1306而存储的数据与存储在帧存储器1106中的数据同样。

图14是表示用于执行记录媒体10中记录的程序的计算机30的硬件结构的图。记录媒体10相当于所述记录媒体1012、1307。如图14所示，计算机30具有：以FDD(Flexible Disk Drive)、CD-ROM驱动装置、DVD驱动装置为主的数据读取装置12；用于使OS常驻的作业用存储器(RAM：Random Access Memory)14；存储从记录媒体10读出的程序的存储器16；作为显示装置的显示器18；作为输入装置的鼠标20以及键盘22；用于进行数据的收发的通信装置24；统一控制程序的执行的CPU26。

如果记录媒体10插入读取装置12中，计算机30就通过读取装置12能访问记录媒体10中记录的图象编码程序、图象译码程序。计算机30通过CPU26执行图象编码程序，作为上述的图象编码装置800工作。同样，计算机30通过CPU26执行图象译码程序，能作为上述的图象译码装置1110工作。

图15是用于执行记录媒体10中记录的程序的计算机30的外观立体图。计算机30并不局限于PC(Personal Computer)，包含具备CPU并且进行基于软件的处理或控制的DVD播放器、机顶盒、移动电话等。

如图15所示，图象编码程序或图象译码程序可以作为重叠在载波熵的数据信号40经由网络提供(下载)。此时，计算机30通过通信装置24(图14)接收图象编码程序或图象译码程序，存储到存储器16(图14)中后，执行这些程序。

综上所述，根据实施例2的图象编码译码技术(装置、方法和程序)，在信号变换处理时进行加权变换处理以使输入信号的相关(度)提高。据此，就能更紧凑地表现信号，高效对图象信号进行编码。

Claims

1.一种图象编码装置，包括：

输入部件，输入作为编码对象的输入图象；

区域分割部件，把由该输入部件输入的输入图象分割成多个编码区域；

预测部件，对由该区域分割部件分割的编码区域进行画面内预测或画面间预测来求出差分信号，并把该差分信号作为变换对象信号来生成；

变换部件，根据按照将图象信号变换到频域的规定的变换规则而从2^N个输入样本生成2^N个变换样本的图象信号变换方法，即包括：用第n个可变的加权系数对按照所述变换规则决定的第n对的输入样本中的一个输入样本进行加权后，进行第一变换运算，并生成第n对中间值的中间值生成步骤；和把由该中间值生成步骤生成的2^N个中间值作为输入，用第m个可变的加权系数对按照所述变换规则决定的第m对中间值中的一个中间值进行加权后，进行第二变换运算，并生成第m对变换样本的变换系数生成步骤的图象信号变换方法，把由所述预测部件生成的变换对象信号作为输入样本来生成变换样本，并把所生成的变换样本作为变换系数，从而把所述变换对象信号变换为所述变换系数，并且在所述中间值生成步骤和所述变换系数生成步骤中，从多个加权系数中选择所述变换对象信号的能量集中度为最高的加权系数，并对该加权系数的识别信息进行编码，其中，N为自然数，n为大于等于1且小于等于2^N-1的自然数，m为大于等于1且小于等于2^N-1的自然数；和

编码部件，对由该变换部件变换的变换系数进行编码。

2.一种图象译码装置，包括：

输入通过对分割成多个区域的图象进行画面内预测或画面间预测后进行变换编码而生成的压缩数据的输入部件；

根据由所述输入部件输入的包括加权系数的识别信息的压缩数据来复原与各区域对应的变换系数以及所述加权系数的识别信息，并把所取得的变换系数作为复原变换系数来生成的译码部件；和

根据按照将频域的变换系数变换为空域的图象信号的规定的变换规则而从2^N个变换样本生成2^N个输出样本的图象信号逆变换方法，即包括：用与所述加权系数的识别信息对应的第n个可变的加权系数对按照所述变换规则决定的第n对变换样本中的一个变换样本进行加权后，进行第一变换运算，并生成第n对中间值的中间值生成步骤；和把由该中间值生成步骤生成的2^N个中间值作为输入，用与所述加权系数的识别信息对应的第m个可变的加权系数对按照所述变换规则决定的第m对中间值中的一个中间值进行加权后，进行第二变换运算，并生成第m对输出样本的输出值生成步骤的图象信号逆变换方法，把由所述译码部件生成的复原变换系数作为变换样本来生成输出样本，并把该输出样本作为逆变换数据，从而把所述复原变换系数变换为所述逆变换数据的逆变换部件，其中，N为自然数，n为大于等于1且小于等于2^N-1的自然数，m为大于等于1且小于等于2^N-1的自然数。

3.一种图象译码装置，包括：

输入部件，输入通过如下方式生成的压缩数据，即针对分割成多个区域的图象，对位于相同图象内的象素信号、或者通过进行画面内预测或画面间预测而生成的象素信号，进行变换编码从而生成的压缩数据；

根据按照与将图象信号变换到频域的规定的变换规则相对应的逆变换的规则，从2^N个变换样本生成2^N个输出样本的图象信号逆变换方法，即包括：用与所述加权系数的识别信息对应的第n个可变的加权系数对按照所述变换规则决定的第n对变换样本中的一个变换样本进行加权后，进行第一变换运算，并生成第n对中间值的中间值生成步骤；和把由该中间值生成步骤生成的2^N个中间值作为输入，用与所述加权系数的识别信息对应的第m个可变的加权系数对按照所述变换规则决定的第m对中间值中的一个中间值进行加权后，进行第二变换运算，并生成第m对输出样本的输出值生成步骤的图象信号逆变换方法，把由所述译码部件生成的复原变换系数作为变换样本来生成输出样本，并把该输出样本作为逆变换数据，从而把所述复原变换系数变换为所述逆变换数据的逆变换部件，其中，N为自然数，n为大于等于1且小于等于2^N-1的自然数，m为大于等于1且小于等于2^N-1的自然数。