CN1236456A - 数字信号变换方法和装置、变换矩阵产生方法和装置及提供介质 - Google Patents

数字信号变换方法和装置、变换矩阵产生方法和装置及提供介质 Download PDF

Info

Publication number
CN1236456A
CN1236456A CN98801133A CN98801133A CN1236456A CN 1236456 A CN1236456 A CN 1236456A CN 98801133 A CN98801133 A CN 98801133A CN 98801133 A CN98801133 A CN 98801133A CN 1236456 A CN1236456 A CN 1236456A
Authority
CN
China
Prior art keywords
matrix
digital signal
signal
transformation
transformation matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN98801133A
Other languages
English (en)
Inventor
市冈秀俊
浅津英树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1236456A publication Critical patent/CN1236456A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Algebra (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Complex Calculations (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

输入正交变换矩阵产生部分11产生逆正交变换矩阵Ts(k) -1,逆正交变换矩阵Ts(k) -1表示对正交变换域输入数字信号15进行的正交变换的逆变换,输出正交变换矩阵产生部分12产生正交变换矩阵Td(k),正交变换矩阵Td(k)表示在正交变换域中作为译码处理的对输出数字信号的逆正交变换的逆处理。变换矩阵产生部分13根据逆正交变换矩阵Ts(k) -1和正交变换矩阵Td(k)产生变换矩阵D。信号变换部分14将变换矩阵D应用到输入数字信号15,以在正交变换域中产生输出数字信号16。因此,通过将正交变换域的诸如分辨率变换的变换处理应用到正交变换域的输入数字信号,可减少计算量,可降低计算误差,并可实现高速和高质量变换。

Description

数字信号变换方法和装置、 变换矩阵产生方法和装置及提供介质
技术领域
本发明涉及数字信号变换方法及装置、变换矩阵产生方法和装置及提供介质，用于对通过诸如DCT(离散余弦变换)的正交变换获得的频域内的数字信号进行分辨率变换和基变换。
背景技术
一般地讲，已知诸如DCT(离散余弦变换)编码的正交变换编码作为用于对静态图像数据和动态图像数据进行有效压缩编码的编码系统。在处理这种其中已经进行正交变换的数字信号时，有时必须改变分辨率或变换基。
例如，在将第一正交变换数字信号(作为家用数字视频格式的一例具有720×480像素的分辨率)变换到称作MPEG 1格式的第二正交变换数字信号(具有352×240像素的分辨率)的情况下，对第一信号进行逆正交变换，以恢复时基上的信号，然后进行诸如插值和细化(thinning)的变换处理，从而再次进行正交变换。以这种方式，通常的情况是对正交变换的数字信号进行一次逆变换，以恢复原始信号，再通过各种变换操作进行处理，然后再次进行正交变换。
与此同时，通常对于正交变换和逆正交变换需要大量的计算，并且在如上所述地进行分辨率变换的情况下，除了分辨率变换处理之外，还需进行正交变换和逆正交变换。因此，不能实现高效处理。此外，由于计算量的增加而累积误差，因此，存在信号变劣的问题。
本发明公开
鉴于本技术领域中的上述状况，本发明的目的在于提供可进行诸如分辨率变换的变换处理、并且处理简单及信号变劣较低的数字信号变换方法及装置、变换矩阵产生方法和装置及提供介质。
为了解决上述问题，根据本发明，产生用于逆正交变换的逆正交变换矩阵Ts-1和用于正交变换的正交变换矩阵Td，并且使用所产生的逆正交变换矩阵Ts-1和正交变换矩阵Td来产生变换矩阵D。然后，通过使用变换矩阵D，在正交变换域中对正交变换域的输入数字信号进行变换处理，从而获得正交变换域的输出数字信号。
输入数字信号是通过使用对应于逆正交变换矩阵Ts-1的正交变换矩阵Ts对时域的原始信号进行正交变换而获得的数字信号，而通过使用对应于正交变换矩阵Td的逆正交变换矩阵Td-1对输出数字信号进行译码，以便变换成时域或空间域的信号。
最好，对其长度为k的每个变换块，通过使用基长度为k的正交变换矩阵Ts(k)而对原始信号进行正交变换，以产生输入数字信号，并且将由输入数字信号的相邻m个块组成的其长度为L(=k×m)的连续信号变换成长度为N的一个块。
变换矩阵D是这样产生的，即，在对角线轴上排列m个逆正交变换矩阵Ts(k) -1的单元，以产生L阶正方矩阵A，然后取出基长度为L的正交变换矩阵Td(L)的N个低频基矢量单元，以产生由N行L列构成的矩阵B，并使用下面的公式：
D=α·B·A
其中，α是用于标量值或矢量值的电平校正的系数。
因此，可在正交变换域内将输入数字信号缩小到N/L。具体地讲，当N=L时，变换矩阵D变成用于对变换基进行变换的变换矩阵。如果正交变换矩阵Ts和Td彼此不同，则进行基于正交变换系统的变换。
此外，通过使用n维数字信号作为输入数字信号，然后对每维使用变换矩阵D而在正交变换域内进行变换处理，可获得n维输出数字信号。在这种情况下，如果变换倍率对各个维有所变化，则可对各个维产生变换矩阵，并且可通过使用这些变换矩阵采用对不同的维有所不同的倍率来进行变换处理。
当在正交变换域内进行分辨率扩展处理时，正交变换输入数字信号的变换块按原样使用，并通过将变换块补充预定值而变换成其长度为原始块长度m倍的块，以便获得正交变换域的输出数字信号。
另外，根据本发明，产生连接矩阵和选择矩阵，其中该连接矩阵用于连接至少一个具有预定数目的正交变换域的输入数字信号样本的块，以形成元块，并用于进行逆正交变换，该选择矩阵用于从该元块中取出一部分作为处理对象。然后，产生用于对所选择的部分进行所需信号处理的处理矩阵，并产生其功能为对所处理的信号进行正交变换并将该信号分割成至少一个块的分割矩阵。通过使用连接矩阵、选择矩阵、处理矩阵和分割矩阵来产生用于对正交变换域的信号进行变换处理的变换矩阵。该变换矩阵应用于每个元块的正交变换输入数字信号，以获得输出数字信号。
附图简述
图1是用于解释本发明第一实施例的数字信号变换方法的示意图；
图2是表示本发明第一实施例中输入/输出信号示例的示意图；
图3是表示在本发明第一实施例应用于二维数字信号情况下在变换之前和之后的信号示例的示意图；
图4是用于解释将输入数字信号与变换矩阵相乘的操作的示意图；
图5是用于解释通过将变换矩阵D作用于二维输入数字信号两次而获得二维输出数字信号的处理的示意图；
图6是用于解释产生分辨率变换矩阵的处理过程示例的流程图；
图7是用于解释采用分辨率变换矩阵在频域中进行分辨率变换的处理过程示例的流程图；
图8是解释频域中扩展处理的示意图；
图9是解释具有包括亮度信号和色差信号的不同分量信号采样率的两个格式之间的变换的示意图；
图10是用于解释在收缩比随维的变化而变化的情况下产生分辨率变换矩阵的处理过程示例的流程图；
图11是用于解释在收缩比随维的变化而变化的情况下通过使用分辨率变换矩阵而在频域中进行分辨率变换的处理过程示例的流程图；
图12是解释作为本发明第二实施例的数字信号变换方法的示意图；
图13是表示本发明第二实施例中输入/输出信号示例的示意图；
图14是解释连接矩阵A、选择矩阵W、处理矩阵X和分割矩阵B的功能的示意图；
图15是用于解释在将输入信号分割成多个元块(meta-blocks)以便仅选择和处理所必需的部分的情况的示意图；
图16是用于解释产生连接矩阵A的过程的流程图；
图17是用于解释对各参数进行初始化的过程的流程图；
图18是用于解释产生选择矩阵W的过程的流程图；
图19是用于解释产生处理矩阵X的过程的流程图；
图20是用于解释产生分割矩阵B的过程的流程图；
图21是用于解释DV(数字视频)标准色差信号的正交变换的示意图；
图22是用于解释对DV(数字视频)标准色差信号进行分辨率变换处理的示意图；
图23是表示用于本发明实施例中的硬件示意结构的框图；
图24是表示根据本发明实施例将DV标准变换到MPEG 1标准的系统示例的示意图；及
图25是表示根据本发明实施例将DV标准变换到MPEG 1标准的信号变换装置示例的框图。
实现本发明的最佳模式
本发明的数字信号变换方法和装置适用于诸如正交变换数字信号的分辨率变换和基变换等变换处理，而无需再次进行逆正交变换和正交变换。此外，本发明的变换矩阵产生方法适用于产生一变换矩阵，该变换矩阵可在正交变换域如频域或压缩域中直接用于进行分辨率变换和基变换。
包括正交变换编码的图像编码的具体例子为所谓的MPEG编码标准。MPEG是ISO/IEC JTCl/SC29(国际标准化组织/国际电工技术委员会，联合技术委员会1/29分委会)的运动图像专家组(Movmg Picture Experts Group)的缩写。ISO11172标准为MPEG 1标准，而ISO13818标准则为MPEG 2标准。在这些国际标准中，ISO11172-1和ISO13818-1是针对多媒体复用项目所做出的标准，ISO11172-2和ISO13818-2是针对视频项目所做出的标准，而ISO11172-3和ISO13818-3是针对音频项目所做出的标准。
根据作为图像压缩编码标准的ISO11172-2和ISO13818-2，在时间和空间方向采用图像的相关性逐图像(帧或场)来对图像信号进行压缩编码，而空间方向上的相关性的使用是通过采用DCT(离散余弦变换)编码来实现的。
此外，这种诸如DCT的正交变换广泛应用于各种图像信息压缩编码如JPEG(联合图片编码专家组)中。一般来讲，通过将时域或空间域的原始信号变换到诸如频域的正交变换域，正交变换可以以高压缩效率和卓越的再现性进行压缩编码。
下面将参照附图来描述数字信号变换方法和装置、变换矩阵产生方法和装置、及提供介质的优选实施例。
图1是用于解释本发明第一实施例的数字信号变换方法和变换矩阵产生方法的示意图。
图1中，输入正交变换矩阵产生部分11产生表示事先已经在输入数字信号中进行正交变换的正交变换矩阵Ts(k)的逆矩阵Ts(k) -1，并将该逆矩阵发送到变换矩阵产生部分13。输出正交变换矩阵产生部分12产生对应于表示将在输出数字信号上进行逆正交变换的逆变换矩阵Td(L) -1的正交变换矩阵Td(L)，并将该正交变换矩阵发送到变换矩阵产生部分13。变换矩阵产生部分13产生用于在频域中进行诸如分辨率变换的变换处理的变换矩阵D，并将该变换矩阵发送到信号变换部分14。信号变换部分14对已经通过正交变换变换到频域的输入数字信号15进行变换处理，同时保持正交变换的域如频域，并产生输出数字信号16。
具体地讲，如图2所示，采用正交变换矩阵Ts(k)将原始时域(或空间域)的信号(原始信号)A变换到频域，以产生频率信号B1(对应于输入数字信号15)。这个频率信号B1由信号变换部分14收缩(或扩展)到N/L，以产生频率信号B2(对应于输出数字信号16)。通过采用逆变换矩阵Td(L) -1对该频率信号B2进行逆正交变换，以产生时域信号C。
在图2的示例中，对于每个长度为k的变换块，一维原始信号A被正交变换，所得到的频域的变换块的m个相邻块单元，即长度为L(=k×m)的连续频率信号变换成长度为N(N＜L)的一个块，即整体收缩到N/L。
在下面的描述中，其中长度为n的各正交变换基向量<e1,e2,…,en>以各个行排列的矩阵(正交变换矩阵)表示为T(n)，而其逆矩阵表示为T(n) -1。在该描述中，x为x的向量表示形式。在这种情况下，当n=8时的一维DCT变换矩阵T(8)由如下的式(1)表示。
Figure A9880113300121
图1中，当正交变换块相对于已通过使用正交变换矩阵Ts(k)正交变换到频域的输入数字信号15的尺寸为k时，即当基长度等于k时，输入正交变换矩阵产生部分11产生逆正交变换矩阵Ts(k) -1，而输出正交变换矩阵产生部分12产生基长度为L(=k×m)的正交变换矩阵Td(L)。
此时，由输入正交变换矩阵产生部分11产生的逆正交变换矩阵Ts(k) -1对应于产生输入数字信号15时的正交变换处理的逆处理，而正交变换矩阵Td(L)对应于对信号变换部分14变换过的输出数字信号进行译码时(即，将信号变换到时域时)的逆正交变换处理的逆处理。这两个正交变换矩阵产生部分11和12均产生长度任意的基向量。
正交变换矩阵产生部分11和12可以是相同的正交变换矩阵产生部分。在这种情况下，正交变换矩阵Ts(k)和Td(L)就变成类型相同但其基长度彼此不同的正交变换矩阵。每个不同的正交变换系统中均有正交变换矩阵产生部分。
接下来，通过在对角线方向排列由输入正交变换矩阵产生部分11产生的m个单元的逆正交变换矩阵Ts(k) -1，如由公式(2)所示，变换矩阵产生部分13产生L阶正方矩阵A。当输出数字信号16的基长度等于N时，变换矩阵产生部分13取出N个单元的正交变换矩阵Td(L)的低频基向量，并产生由N行L列构成的矩阵B。
Figure A9880113300132
在上述表达式中，e1、e2、…、eN是当以如下基向量表示Td(L)时的N个低频基向量单元。然后，计算公式(5)以产生由N行L列构成的矩阵D。该矩阵D是用于以N/L的收缩率(或扩展率)变换分辨率的变换矩阵。在该公式中，α是标量或矢量，是用于电平校正的系数。
D=α·B·A                    …(5)
图1的信号变换部分14将m个频域输入数字信号B1块收集成一组，并将该信号分成尺寸为L的元块(其中一个元块由m个块构成)。如果输入数字信号B1的长度不是L的倍数，则对该信号进行增补，填充诸如0等填充数据，使之变成L的倍数。由此产生的元块由Mi(其中i=0,1,2,…)表示。
图1的信号变换部分14将每个元块Mi与变换矩阵D相乘。
Ci=D·Mi                      …(6)所得到的长度为N的向量Ci是通过将每个元块压缩到N/L而获得的频率向量信号。通过对所有元块进行这种处理，可获得整体上压缩到N/L的信号B2。
通过使用基长度为N的逆正交变换矩阵Td(N) -1，可将所得到的输出数字信号B2变换成时基信号(图2的C)。
如果N不等于k，则由式(5)表示的变换矩阵D就变成用于以N/L的倍率进行分辨率变换和基长度变换的变换矩阵。特别是当N等于L时，该变换矩阵就变成用于进行变换基变换的矩阵。如果正交变换矩阵Ts(k)和Td(L)彼此不同，则执行正交变换方式的变换。
具体地讲，如果正交变换矩阵Ts(k)和Td(L)彼此相同并且N等于k，则对频域内的输出数字信号，可采用与输入数字信号的译码器相同的译码器，即，可使用相同的逆正交变换矩阵。在这种情况下，该变换矩阵D就变成用于将分辨率压缩到1/m而不必变换基的分辨率变换矩阵。
可根据原始信号的维数来分解前述操作，并且，在采用而或更多维的情况下容易地进行扩展。因此，可将前述操作应用于音频、静态图像、动态图像等各种媒体上。例如，对于二维信号，可首先在每行中进行上述变换，然后对每列进行类似变换。
图3是表示在本发明第一实施例应用于诸如图像信号的二维数字信号情况下在变换之前和之后的时域和频域信号示例的示意图。在图3的示例中，诸如图像信号的作为二维数字信号的原始信号21在纵向和横向方向上分别压缩到1/2，并被变换成二维数字信号22。
在图3中，原始信号21被分割成纵向和横向像素为8×8的多个块，并通过使用基长度为8的DCT(离散余弦变换)等正交变换矩阵Ts(8)，以8×8的块为单位，而被变换成频域信号23。该信号23用作频域输入数字信号。对于其中一个块由8×8个频域数据构成的二维输入数字信号23，可通过使用上述基变换矩阵T来进行诸如从长度为8的基变换到长度为16的基的基变换，由此产生其中一个块由16×16个数据构成的频率基数字信号24。然后，从每个块中仅取出由16×16个数据构成的该一个块的低频部分(图3中阴影表示)的8×8数据，并且将各个块的这种8×8数据收集成组，由此得到频域的输出数字信号25。通过使用基长度为8的逆正交变换矩阵Td(8) -1而将该输出数字信号25变换(译码)成时域数字信号22，获得一信号，该信号是通过进行分辨率变换而将时域原始信号21压缩到1/4来获得的。
在图3中，通过直接采用变换矩阵D，可进行从通过将长度为8的基变换到长度为16的基的变换而获得的数字信号中求出8×8低频向量的计算。但是，为了将该变换矩阵D纵向或横向地应用到二维频率信号上，需要应用D两次。下面将参照图4和5描述应用该变换矩阵D的示例。
在该特定示例中，频域输入数字信号的基长度k为8，由于m=2，因此元块的长度L为L=8×2=16。频域输出数字信号的基长度N为8。因此，根据前述公式(5)，变换矩阵D由8×16构成。通过将由频域输入数字信号23的两个纵向块构成的一列(16×1或图4中的阴影部分)与8×16的该变换矩阵D相乘，如图4所示，可获得纵向上压缩到1/2的信号26的阴影部分(8×1)。然后，对整个输入数字信号23进行该处理，即，将输入数字信号23的每列的每两个块乘以矩阵D，由此获得其纵向长度为原始纵向长度1/2而其横向长度等于原始横向长度的信号26。
具体地讲，如图5所示，将变换矩阵D应用于输入数字信号23，以获得其纵向长度为原始纵向长度1/2的信号(矩阵数据)26。该信号26被转置，即行和列置换，以获得转置信号26t。通过将变换矩阵D再次应用到转置信号26t，获得其纵向长度为1/2(对应于原始输入数字信号23的横向长度)的信号(矩阵数据)27。然后，如果对该信号27进行转置以恢复原始纵向和横向方向，则所得到的信号27t就变成其纵向和横向长度分别为输入数字信号23的纵向和横向长度的1/2的输出数字信号25。
下面将上述本发明实施例的处理应用到对一维或多维输入数字信号的所有维将分辨率压缩到1/2的情况。下面将参照图6或7的流程图进行描述。
图6是表示产生上述分辨率变换、特别是对于每个维压缩到1/m的的变换矩阵D的过程的流程图。在图6的流程图的第一步骤S31，将用于输入信号的基长度设定为k，并在随后的步骤S32确定压缩率m(压缩到1/m)。在下一步骤S33，通过计算L=k×m来求出如后所述的L阶正方矩阵A的阶数L。在随后的步骤S34，产生其中将其长度为k的正交变换基向量<e1,e2,…,ek>排列在各行中的矩阵(正交变换矩阵)T(k)的逆变换矩阵T(k) -1。在下一步骤S35，在对角线上排列逆变换矩阵T(k) -1的m个单元，以产生L阶正方矩阵A，如式(2)所示。然后，在步骤S36，产生将作为上述输出正交变换矩阵的基长度为L的矩阵T(L)。在下一步骤S37，取出矩阵T(L)的k个单元的低频基向量，以产生由k行L列构成的矩阵B。在最后步骤S38，从公式(5)求出变换矩阵D(=αBA)。
图7是在通过采用由图6的过程产生的变换矩阵D进行分辨率变换情况下的处理过程。在图7的第一步骤S41，判别是否已对输入数字信号的所有维进行了变换。如果已对所有维进行了变换，则分辨率变换处理结束。在下一步骤S42，将下一维设定为当前维。在分辨率变换开始之后，理所当然地立即将第一维设定为当前维。
在随后的步骤S43，判别输入信号的尺寸是否等于L的倍数。如果不等于L的倍数，则流程进到步骤S44，此时，用填充数据对输入信号进行增补，使之变成L的倍数。因此，在步骤S45，将其原始尺寸等于L的倍数或增补其为L的倍数的输入信号分割成长度为L的多个元块。
在后面的步骤S46，判别是否已对当前维的所有元块进行变换。如果已对所有元块进行变换，流程则返回到步骤S41。如果尚未对所有元块进行变换，则流程进到步骤S47。在步骤S47，将下一个元块设定为当前元块向量M。在步骤S48，将当前元块乘以变换矩阵D，即计算C=DM。在步骤S49，输出这个C，并且流程返回到步骤S46。
根据图6和7中示出的处理过程，对于一维或多维输入数字信号，所有维上的分辨率压缩到1/2而不改变基。实际上，一旦根据图6的过程求出变换矩阵D，则可在图7的分辨率变换处理中重复使用。
尽管前面主要进行了分辨率压缩变换，但也可进行分辨率扩展变换。即，一般来讲，通过向频域输入数字信号添加高频分量，可以任意倍率扩展分辨率。
图8表示增补0作为高频分量的扩展方法的示例。在图8中，对时域原始信号A进行诸如上述DCT的正交变换，以产生频域输入数字信号B1。在针对每个块将该输入数字信号B1扩展m倍时，将原始块原样使用，而向扩展块的剩余部分填充0，由此获得频域输出数字信号B2。或者，可将扩展数字信号用作上述实施例中的输入数字信号，以便进行N/L压缩变换。将0作为高频分量进行增补的情况仅是一例，可另外使用更恰当的值。
同时，通过产生具有不同倍率和压缩率的多个变换矩阵，可将本发明实施例应用到对应原始信号以不同采样率产生的多个分量信号，例如二维数字信号的亮度信号和色差信号。
图9表示的是对于诸如亮度信号或色差信号的每个分量具有不同采样率的两个格式之间的变换示例。在图9中，每个色差信号52、53的一个块(8×8)对应于一组横向收集的4个块，其每个由8×8个变换前信号的亮度信号51构成。此外，每个色差信号57、58的一个块(8×8)对应于一组纵向收集的2个块和横向收集的2个块，即，变换后信号的亮度信号56的总共4个块(每个由8×8组成)。
因此，在图9的变换处理中，格式被变换，并且分辨率在纵向和横向两个方向上压缩到1/2。在这种情况下，通过该实施例的上述分辨率变换处理，得出其基不发生变化的为1/2和1/4的两种分辨率变换矩阵。通过将信号在纵向和横向两个方向上均压缩到1/2，可将输入亮度信号51变换成输出亮度信号56，并仅在纵向方向上将输入色差信号压缩到1/4。
接下来，将参照图10和11来描述在收缩比随维的变化而变化的情况下，即在对各个维通常使用任意倍率和压缩率的情况下进行分辨率变换的过程。
图10是表示以任意压缩率在每个维上产生用于压缩的变换矩阵的处理过程的流程图。具体地讲，图10表示以任意压缩率mj(j=1,2,…,n)在n个维的每个维上产生用于压缩的变换矩阵Dj的处理过程。在这种情况下，每个维上输入数字信号的元块长度表示为Lj(j=1,2,…,n)，变换矩阵表示为dj(j=1,2,…,n)。
在图10的流程图的第一步骤S61，判别是否已在所有维上完成变换矩阵的产生。如果已在所有维上完成变换矩阵的产生，则产生分辨率变换矩阵的处理结束。在随后的步骤S62，将新维设定为当前维(j)。理所当然，在产生分辨率变换矩阵的处理开始之后，立即将第一维(j=1)设定为当前维。
在下面的步骤S63，将用于当前维的输入信号的基的长度设定为k，在随后的步骤S64确定压缩率mj(压缩到1/mj)。在随后的步骤S65，通过计算Lj=k×mj来求出如后所述的Lj阶正方矩阵A的阶数Lj。在随后的步骤S66，产生上述正交变换矩阵T(k)的逆变换矩阵T(k) -1。在随后的步骤S67，在对角线上排列逆变换矩阵T(k) -1的mj个单元，以产生Lj阶正方矩阵A。然后，在步骤S68，产生基长度为Lj的矩阵T(Lj)，其将作为上述输出正交变换矩阵。在下一步骤S69，取出矩阵T(Lj)的k个单元的低频基向量，以产生由k行Lj列构成的矩阵B。在最后步骤S70，由公式(5)求出变换矩阵Dj(=αjBA)。在这种情况下，αj是用于在第j维上进行校正的标量值或向量值。
图11是表示在使用根据图10的过程产生的矩阵Dj而对每个维进行分辨率变换的情况下的处理过程的流程图。
在图11的第一步骤S81，判别是否已在输入数字信号的所有维上进行分辨率变换。如果已在所有维上完成分辨率变换，则结束分辨率变换处理。在下一步骤S82，将新维(j)设定为当前维。
在随后的步骤S83，判别输入信号的尺寸是否等于Lj的倍数。如果不等于Lj的倍数，则流程进到步骤S84，此时，用填充数据来增补输入信号，使之成为Lj的倍数。因此，在步骤S85，将其原始尺寸等于Lj的倍数或增补其为Lj的倍数的输入信号分割成其长度为Lj的元块。
在随后的步骤S86，判别是否已对当前维变换所有的元块。如果已完成所有元块的变换，则流程返回到步骤S81，如果尚未完成所有元块的变换，则流程进到步骤S87。在步骤S87，将下一个元块设定为当前元块向量M。在步骤S88，将当前元块乘以变换矩阵Dj，即计算C=DjM。在步骤S89，输出这个C，并且流程返回到步骤S86。
根据图10和11中所示的处理过程，对于n维输入数字信号，可在第j维上将分辨率压缩到1/mj而不改变其基。一旦根据图10的处理过程求出变换矩阵Dj，则可以在图11的分辨率变换处理期间重复使用。
根据本发明的上述第一实施例，对于采用诸如DCT的正交变换而变换到频域的输入数字信号，可任意改变变换基，并可通过调整基长度和输出数字信号的总体长度而以任意倍率压缩分辨率。此外，通过应用其中输出数字信号的正交变换方式和总体长度与输入数字信号的正交变换方式和总体长度相同的本实施例，可获得具有不同基长度的输出数字信号。此外，通过应用其中正交变换方式与输入数字信号的正交变换方式不同的第一实施例，可获得具有不同正交变换方式、基长度和分辨率的输出数字信号。此外，通过应用其中输出数字信号的正交变换方式和总体长度与输入数字信号的正交变换方式和总体长度相同的本实施例，可原样使用输入数字信号的译码器，并且可以仅改变分辨率。再有，通过扩展和压缩的组合，可实现任意倍率的分辨率变换。这不仅可以应用到一维频域信号中，同时也可应用到多维频域信号中。此外，由于可进行任意倍率的变换，因此，即使是在变换块的尺寸和结构随各分量的不同而有所不同的情况下，仍可在保持各分量之间的相应关系的情况下进行分辨率变换。此外，由于变换计算不是很复杂，因此不太可能出现计算误差，可实现高质量的变换。再者，由于对于变换而言仅需少量计算，因此不需特别的硬件，并且可使用软件来实现足够高速的变换。此外，在正交变换之后，可根据第一实施例仅通过扩展压缩的数字信号来进行各种变换。
与此同时，在上述本发明第一实施例中，将由一组几个块构成的元块用作处理单元。仅在倍率为1/n(n=1,2,3,…)的情况下进行分辨率变换而不改变块尺寸，并且不能对各元块的一部分或横跨各元块的边界的部分进行处理。但是，通过如下扩展，可以任意倍率进行分辨率变换，并且也可对横跨各块边界的具有任意尺寸的部分信号进行处理。
具体地讲，图12是用于解释作为本发明第二实施例的数字信号变换方法和变换矩阵产生方法的示意图。
在图12中，设有：从图1的输入正交变换矩阵产生部分11扩展的连接矩阵产生部分111；从图1的输出正交变换矩阵产生部分12扩展的分割矩阵产生部分112；选择矩阵产生部分117，用于产生取出各元块的一部分或横跨各元块边界的任意部分的选择矩阵；处理矩阵产生部分118，用于产生进行诸如分辨率变换处理的所需信号处理的处理矩阵；及变换矩阵产生部分113，用于从这4个矩阵中求出所必需的矩阵。来自变换矩阵产生部分113的变换矩阵D发送到信号变换部分114，并且当其处于正交变换状态时对正交变换的输入数字信号115进行变换。然后，将所得到的信号作为输出数字信号116输出。
在这种情况下，输入数字信号115是正交变换信号(例如频域信号)，其中每个元块由一组mI个长度为kI的块构成，每个元块的长度为L(=kI×mI)，如图13A所示。这个输入数字信号115通过使用来自变换矩阵产生部分113的变换矩阵D来变换，同时它还是正交变换信号。因此，如图13B所示，取出其中每个元块由一组长度为kO的mO个块组成的长度为N(kO×mO)的正交变换信号作为输出数字信号116。
下面将参照图14来描述来自图12的连接矩阵产生部分111的连接矩阵A、来自选择矩阵产生部分117的选择矩阵W、来自处理矩阵产生部分118的处理矩阵X、及来自分割矩阵产生部分112的分割矩阵的功能。
图14A对应于输入数字信号115的上述一个元块。图14A中示出的该输入数字信号是诸如由DCT等编码的频域或压缩域的正交变换域的信号。连接矩阵A的功能是将压缩域中其每个长度为kI的mI个单元的块连接成长度为L(=kI×mI)的元块，并进行逆正交变换，以产生图14B中所示的时域或空间域的信号。选择矩阵W的功能是从图14B中所示的时域或空间域的信号中取出任意部分作为处理对象。在图14的例子中，取出图14C所示的长度为M的信号，该信号为从图14B所示长度为L的时域或空间域信号的第p个分量到第q个分量。处理矩阵X可用来在时域或空间域中进行诸如分辨率变换或压缩/扩展的上述实际信号变换处理，并且，用户可指定所需处理矩阵作为处理矩阵X。在图14的例子中，图14C中所示长度为M的信号变换成图14D所示长度为N的信号。分割矩阵B可用于将图14D所示长度为N(=kO×mO)的时域或空间域信号分割成其每个块长度为kO的mO个块，并可用于对每个块进行正交变换，以产生图14E中所示的正交变换域的信号。图14E中所示的信号对应于输出数字信号116。
下面详细描述矩阵A、W、X及B的产生。
首先，连接矩阵产生部分111产生表示已经事先对输入数字信号115进行正交变换的正交变换矩阵Ts(kI)的逆矩阵Ts(kI) -1，并将逆矩阵Ts(kI) -1的mI个单元按如下公式(7)所示的方式排列在对角线上，以产生由L行L列(L=kI×mI)构成的L阶正方矩阵。该矩阵就是连接矩阵A。这个公式(7)对应于第一实施例的公式(2)。
Figure A9880113300201
接下来，分割矩阵产生部分112产生对应于表示将对输出数字信号进行逆正交变换的逆变换矩阵Td(kO) -1的正交变换矩阵Td(kO)，并将矩阵Td(kO)的mO个单元按如下公式(8)所示的方式排列在对角线上，以产生由N行N列(L=kO×mO)构成的N阶正方矩阵。该矩阵是分割矩阵B。
选择矩阵产生部分117产生用于从上述元块中选择要作为处理对象的部分的选择矩阵W。该选择矩阵W是其中每列仅有一个等于1的元素而其余元素为0的矩阵。例如，由公式(9)来表示由M行L列构成、用于从长度为L的元块中取出具有从第p个分量到第q个分量的长度M的信号作为处理对象的矩阵，如图14中的选择矩阵W所示。这个公式(9)表示M阶正方矩阵(包括M行M列)，其中在L个列的列p到列q的M个列部分中的对角线上排列元素1，而其他元素为0。
Figure A9880113300212
接下来，处理矩阵产生部分118产生处理矩阵X，用于进行诸如分辨率变换的实际信号处理。对于该处理矩阵X，用户不必考虑正交变换域中的处理，并可任意决定用于以时域或空间域的原始信号电平来进行处理的矩阵。在图14的例子中，处理矩阵X是N行M列的矩阵。但是，将在后面描述其具体实例。
图12的变换矩阵产生部分113根据由矩阵产生部分111、117、118和112产生的各矩阵通过计算下述公式(10)来产生N行L列的变换矩阵D。
D=B·X·W·A              …(10)
图12的信号变换部分114如图15所示地将输入信号分成各元块Mi(i=0,1,2,…)，并将变换矩阵D应用到每个元块Mi，如下面的公式表示：
Ci=D·Mi                  …(11)
图15中各元块Mi的间隔是根据选择矩阵Wi选择的范围。由此获得的信号Ci被顺序连接以产生最终输出信号。信号Ci是上述长度为N的元块，它被分成其每个长度为kO的mO块。
可使用作为处理矩阵X的用于对时域或空间域的原始信号进行处理的矩阵，而不必考虑要作为处理对象的信号是否正交变换。因此，可使用各种信号处理。这种处理的例子有以任意倍率进行的分辨率变换处理、用于变换正交变换基的处理、对根据JPEG或MPEG压缩的图像的效果处理和滤波处理、从数字视频信号到MPEG的格式变换处理等。
下面将描述作为具体示例的以任意倍率对信号进行分辨率变换处理而不改变输入和输出的块长度kI、KO(即kI=kO=k)的情况。
首先，将分辨率变换的倍率α定义为α=a/b(a,b是既约的)。此时，设定L=bk和N=ak，以产生连接矩阵和分割矩阵。选择矩阵W是L阶单元矩阵，其中L=M。处理矩阵X可以是可对原始信号进行分辨率变换的任意矩阵。在该例子中，将由如下公式(12)表示的矩阵用作处理矩阵X。在该公式(12)中，α是电平校正系数。
采用这些矩阵，如上所述地产生变换矩阵D，并进行信号变换处理，从而在正交变换域中以任意倍率进行分辨率变换而不恢复原始信号。
下面将参照图16至20的流程图来描述在进行作为具体示例的分辨率变换情况下在图12的矩阵产生部分111、117、118和112中产生各矩阵的处理过程。为了简化描述，使输入块长度kI和输出块长度kO相等，即kI=kO=k。
图16是解释在连接矩阵产生部分111中产生连接矩阵A的处理过程的流程图。
在图16的第一步骤S121，对产生矩阵的各参数进行初始化。将在后面参照图17来描述参数的初始化。在下一步骤S122，产生逆正交变换矩阵Ts(k) -1。接下来，在步骤S123，产生L行L列的任意矩阵A′，而在步骤S124，将矩阵A′的所有元素初始化为0。在步骤S125，在其元素为0的矩阵A′的对角线上排列逆正交变换矩阵Ts(k) -1的mI个单元，从而产生上述连接矩阵A。实际上，如果输入块长度kI和输出块长度kO不同，则在步骤S122产生的逆正交变换矩阵为Ts(kI) -1。
图17的流程图表示在图16的步骤S121对参数进行初始化的过程示例。在图17的步骤S161，输入/输出块长度表示为k，而在步骤S162和S163，设定上述分辨率变换的倍率的分子a和分母b。在步骤S164，设定L=b×k，而在步骤S165，设定N=a×k。在图18至20的产生各矩阵的处理过程中类似地使用这种各参数的初始化，如将后述。
图18是解释在选择矩阵产生部分117中产生选择矩阵W的处理过程的流程图。在图18的第一步骤S131，进行参照图17所述的参数的初始化。在下一步骤S132，产生L行L列的单元矩阵I。在接下来的步骤S133，将选择矩阵W设定为单元矩阵I。
图19是解释在处理矩阵产生部分118中产生处理矩阵X的处理过程的流程图。在图19的第一步骤S141，进行参照图17所述的参数的初始化。在下一步骤S142，求出N行N列的逆余弦变换矩阵IDCT。在步骤S143，求出L行L列的余弦变换矩阵DCT。在接下来的步骤S144，产生N行L列的矩阵Y。在步骤S145，求出分辨率倍率α=a/b。在下面的步骤S146，根据对应于上述公式(12)的公式求出处理矩阵X。
图20是解释在分割矩阵产生部分112中产生分割矩阵B的处理过程的流程图。在图20的第一步骤S151，进行参照图17所述的参数的初始化。在步骤S152，产生逆正交变换矩阵Td(k) -1。在步骤S153，求出N行N列的任意矩阵B′。在步骤S154，将矩阵B′的所有元素初始化为0。在步骤S155，在矩阵B′的对角线上排列逆正交变换矩阵Td(k) -1的mO个单元，从而产生分割矩阵B。
作为进行分辨率变换的另一方法，可通过使用选择矩阵来从各元块Mi(i=0,1,2,…)中仅提取所必需的部分，如图15所示，然后进行压缩/扩展。与前述方法相比，该方法在倍率的自由度方面受到限制。但是，采用这种方法，由于可在倍率的分子和分母的值较大的情况下将变换矩阵的大小限制在小尺寸，因此可以高速地进行变换。
接下来，将描述第二实施例对多维信号的应用。在这种情况下，通过选择与信号的维无关的处理矩阵X，可与每个维无关地进行整个变换操作。因此，可容易地将第二实施例扩展到多维信号的信号处理中。例如，在处理诸如图像信号的二维信号时，可首先在纵向方向上进行处理，然后在横向方向上进行处理。实际上，每个上述分辨率变换处理可扩展到多维信号处理中，并可用于对所谓的JPEG或MPEG压缩图像信息的分辨率变换。
接下来，将描述第二实施例对格式变换的应用。根据格式，由于各种因素而以不规则格式部分地保存数据。例如，根据所谓的DV(数字视频)标准的格式，在如图21所示的色差信号的右端产生4×8像素的不完整块。因此，组合上下两个块，以虚拟地产生用于译码的8×8像素块。
具体地讲，由于DV(数字视频标准)的色差信号具有180×480的信号串，通过180=(22×8)+4对DCT分割成其每个由8×8像素构成的各元块后水平余数为4，因此在右端产生4×8的块，如图21所示。因此，根据DV标准，当对色差信号进行编码时，对在垂直方向上相邻的如图21所示在右端产生的2个4×8的块进行组合，以产生8×8的块，然后进行DCT编码。
因此，为了对DV标准信号进行类似于分辨率变换的处理，有必要组合垂直相邻的图22A中所示的右端的4×8的块A、B，产生如图22B所示的8×8的块的代码，然后仅对图22C中所示的阴影部分(即设有有关该部分的信息的部分)作为处理对象进行信号处理。
即使对于这种不规则格式，可以通过适当地选择选择矩阵W来令人满意地进行处理。
例如，在对上述DV标准色差信号进行处理时，根据块的y坐标值来适当地使用由如下公式(13)表示的选择矩阵W1和由如下公式(14)表示的选择矩阵W2，从而对图22C的阴影部分进行有效处理。
Figure A9880113300241
Figure A9880113300242
接下来，将描述第二实施例应用于动态图像编辑的情况。
例如，当对所谓的MPEG压缩图像进行编辑时，为了进行剪辑部分(cut)切换，需要以重叠方式连接后续剪辑部分而淘出(panning out)前面的剪辑部分的效果功能。为了进行这种处理，需要提取正交变换图像一部分的处理。但是，采用该第二实施例，有可能提取和处理任意部分而不用恢复原始图像并且不受由块边界的限制。
图23是表示用于进行上述处理尤其是在处理数字图像信号情况下的硬件示意结构的示例框图。在图23中，将其中存储有程序和数据的ROM(只读存储器)102、作为可读写存储装置的RAM(随机存取存储器)、图像输入接口104、图像输出接口106、诸如硬盘的记录介质与总线相连，而该总线与用于数据计算和信号处理的CPU(中央处理器)101相连。数字图像信号通过图像输入接口104从端子105输入，而数字图像信号通过端子107从图像输出接口106输出。
用于进行本发明实施例的处理的程序记录在ROM 102或诸如硬盘的记录介质108中，并由其输出。也可通过通信网络从诸如CD-ROM的盘输出。
下面将参照图24来描述将上述本发明实施例应用到将所谓的DV标准变换到MPEG 1标准的系统的示例。
在图24所示的系统中，首先，由DV标准的家用数字摄像机201记录的视频信息通过IEEE 1394接口以数字信号形式直接取入个人计算机202中。在这种情况下，DV标准信号具有大数据量，不适于在个人计算机202中进行处理。因此，采用本发明的实施例，将DV标准的视频数据变换成MPEG 1标准的视频数据。这样，明显减少数据量，使之有可能通过个人计算机202中的软件进行非线性编辑，或通过所谓的因特网(Intenet)203将视频数据提供给其他设备204。
可通过图25的变换处理部分210来实现在个人计算机202中从DV标准到MPEG 1标准的格式变换。
在图25中，所提供的DV视频数据由变换处理部分210中的可变长度译码部分211进行可变长度译码，然后由逆量化部分212进行逆量化。然后，当视频数据仍旧为正交变换域或压缩域数据时，将该视频数据发送到分辨率变换部分213，并且进行分辨率变换。通过上述实施例来实现分辨率变换部分213的变换处理。此外，当视频数据仍旧为正交变换域或压缩域数据时由运动预测部分214进行运动预测处理之后，将所得到的数据发送到量化部分215，并由量化部分215进行量化。该量化视频数据由可变长度编码部分216进行可变长度编码，然后将其取出作为MPEG 1标准的视频数据。
与此同时，根据传统的格式变换，在将逆量化部分212逆量化的信号通过逆DCT部分221逆正交变换成时域或空间域的信号后，顺序地进行数据格式变换部分222的数据格式变换、分辨率变换部分223的分辨率变换、和运动预测部分224的运动预测变换。然后，在由DCT部分225进行正交变换以将该信号变换成正交变换域或压缩域的信号之后，需要将所得到的信号发送到量化部分215。因此，在传统方法中，由于需要有将正交变换域或压缩域的信号变换成时域或空间域的信号、然后进行所必要的信号处理、然后再次进行正交变换的处理步骤，因此，整个处理复杂，并且降低了处理速度。但是，采用本发明的实施例，可明显地简化该处理步骤，并可实现软件高速处理。
根据上述本发明的第二实施例，由于不必恢复原始信号，因此可进行高速处理。此外，可在降低由计算误差引起的信号劣化的同时进行任意倍率的分辨率变换及信号尺寸变化到任意尺寸的块变换。另外，可使用选择矩阵而有选择地仅处理信号中的一部分，这种情况下，不必考虑输入信号各块之间的边界。再者，可确定处理矩阵而不受该信号的正交变换基的影响。设计中，矩阵得到简化，并且应用到各种信号处理中。
由上述描述可明白的是，根据本发明，产生用于逆正交变换的逆正交变换矩阵Ts-1和用于正交变换的正交变换矩阵Td，并且通过使用产生的逆正交变换矩阵TS-1和正交变换矩阵Td来产生变换矩阵D。然后，对于正交变换域的输入数字信号，使用该变换矩阵D在正交变换域进行变换处理，从而获得正交变换域的输出数字信号。因此，可在正交变换域中直接进行分辨率和变换基的变换，而译码到时域或空间域(逆正交变换)则变得不必要了。因此，简化了计算，从而以较小的计算误差来进行高品质变换，并且降低了硬件负担，以通过软件来进行足够高速的变换处理。
输入信号是通过使用对应于逆正交变换矩阵Ts-1的正交变换矩阵Ts来对时域或空间域的原始信号进行正交变换而获得的数字信号，而输出数字信号通过使用对应于正交变换矩阵Td的逆正交变换矩阵Td-1而进行译码，以将该信号变换成时域或空间域信号。此外，通过使用每个变换块的长度为k的基长度为k的正交变换矩阵TS(k)对原始信号进行正交变换，以产生输入数字信号，而将由输入数字信号的相邻m个块构成的长度为L(=k×m)的连续信号变换成长度为N的一个块。变换矩阵D是这样产生的：在对角线轴上排列正交变换矩阵TS(k)的m个单元以产生L阶正方矩阵，然后取出基长度为L的正交变换矩阵Td(L)的低频基向量的N个单元，以产生N行L列的矩阵B，并使用如下公式：
D=α·B·A
其中α是标量值或向量值的电平校正系数。
因此，可在正交变换域中将输入数字信号压缩到N/L。特别是，当N=L时，变换矩阵D就变成用于变换该变换基的矩阵。如果正交变换矩阵TS和Td两者彼此不同，则使用正交变换系统来进行变换。
此外，通过使用n维数字信号作为输入数字信号，然后对每个维使用变换矩阵D在正交变换域中进行变换处理，则可得到n维输出数字信号。在这种情况下，如果变换倍率随维的不同而有所变化，则对各个维产生各变换矩阵，并用来使用随维的不同而有所不同的倍率进行变换处理。因此，即使在变换块的尺寸或结构根据诸如亮度信号或色差信号的分量而有所不同时，也可在各分量之间保持相应关系的同时进行分辨率变换。
此外，正交变换输入数字信号的变换块被原样使用，并通过向该变换块填充预定值而被变换成其长度为原始块长度的m倍的块，以便得到正交变换域的输出数字信号。因此，可在正交变换域中进行分辨率扩展处理。将该扩展和上述压缩处理相组合，可以以任意倍率来进行分辨率变换。
另外，产生连接矩阵，该连接矩阵用于连接至少一个具有预定数量的正交变换域输入数字信号样本来形成元块，并用于进行逆正交变换，还产生选择矩阵，该选择矩阵用于从各元块中选择和取出待作为处理对象的部分。然后，产生处理矩阵，该处理矩阵用于对所选择的部分进行所需信号处理，并且产生分割矩阵，该分割矩阵的功能是对所处理的信号进行正交变换，并将该信号分成至少一个块。采用该连接矩阵、选择矩阵、处理矩阵和分割矩阵，可产生用于对正交变换域信号进行变换处理的变换矩阵。该变换矩阵被应用到每个元块的正交变换的输入数字信号上，以得到输出数字信号。因此，由于不必恢复原始信号，因此可进行高速处理。此外，可以实现任意倍率的分辨率变换和将信号的块尺寸变换到任意尺寸的变换，而同时由计算误差引起的信号劣化则较小。另外，通过选择矩阵来有选择地仅处理信号的一部分，在这种情况下，不必考虑输入信号各块之间的边界。再者，可确定处理矩阵，而不受信号正交变换基的影响。该矩阵比较简单，并且可应用到各种信号处理中。
本发明并不局限于上述实施例。例如，尽管在实施例中主要描述了正交变换图像信号的分辨率变换，但实际上，本发明也可应用到诸如正交变换音频信号的各种频域的数字信号。正交变换信号并不局限于频域信号，也可将时域或空间域信号用作原始信号。
权利要求书
按照条约第19条的修改
30．一种用于对数字信号进行预定变换处理的数字信号变换方法，所述方法包括：
输入正交变换域数字信号的步骤；
通过使用变换矩阵D对正交变换域内的输入数字信号进行算术处理的步骤；及
输出作为算术处理结果的数字信号的步骤；
所述变换矩阵D是通过使用用于逆正交变换的逆正交变换矩阵Ts-1和用于正交变换的正交变换矩阵Td而产生的矩阵。
31．一种用于对数字信号进行预定变换处理的数字信号变换装置，所述装置包括：
输入装置，用于输入正交变换域数字信号；
操作装置，用于通过使用变换矩阵D对正交变换域内的输入数字信号进行算术处理；及
输出装置，用于输出作为算术处理结果的数字信号；
所述变换矩阵D是通过使用用于逆正交变换的逆正交变换矩阵Ts-1和用于正交变换的正交变换矩阵Td而产生的矩阵。
32．一种用于提供对数字信号进行预定变换处理的处理指令的提供介质，所述提供介质包括：
用于输入正交变换域数字信号的处理指令；
用于通过使用变换矩阵D对正交变换域内的输入数字信号进行算术处理的处理指令；及
用于输出作为算术处理结果的数字信号的处理指令；
所述变换矩阵D是通过使用用于逆正交变换的逆正交变换矩阵Ts-1和用于正交变换的正交变换矩阵Td而产生的矩阵。
33．一种用于对数字信号进行预定变换处理的数字信号变换方法，所述方法包括：
以由预定数个样本构成的每个块为单元输入正交变换域数字信号的步骤；
使用变换矩阵在正交变换域中以由至少一个块构成的每个元块为单元对所述输入数字信号进行算术处理的步骤；及
输出作为算术处理结果的数字信号的步骤；
所述变换矩阵是通过使用下述矩阵而产生的矩阵：
连接矩阵，用于连接至少一个块以形成元块，并用于进行逆正交变换；
选择矩阵，用于从所述元块选择和取出要作为处理对象的部分；
处理矩阵，用于对所选部分进行所需信号处理；及
分割矩阵，用于对所处理信号进行正交变换，并将所述信号分成至少一个块。
34一种用于对数字信号进行预定变换处理的数字信号变换装置，所述装置包括：
输入装置，用于以由预定数个样本构成的每个块为单元输入正交变换域数字信号；
操作装置，用于使用变换矩阵在正交变换域中以由至少一个块构成的每个元块为单元对所述输入数字信号进行算术处理；及
输出装置，用于输出作为算术处理结果的数字信号；
所述变换矩阵是通过使用下述矩阵而产生的矩阵：
连接矩阵，用于连接至少一个块以形成元块，并用于进行逆正交变换；
选择矩阵，用于从所述元块选择和取出要作为处理对象的部分；
处理矩阵，用于对所选部分进行所需信号处理；及
分割矩阵，用于对所处理信号进行正交变换，并将所述信号分成至少一个块。
35．一种用于提供对数字信号进行预定变换处理的处理指令的提供介质，所述提供介质包括：
用于以由预定数个样本构成的每个块为单元输入正交变换域数字信号的处理指令；
用于使用变换矩阵在正交变换域中以由至少一个块构成的每个元块为单元对所述输入数字信号进行算术处理的处理指令；及
用于输出作为算术处理结果的数字信号的处理指令；
所述变换矩阵是通过使用下述矩阵而产生的矩阵：
连接矩阵，用于连接至少一个块以形成元块，并用于进行逆正交变换；
选择矩阵，用于从所述元块选择和取出要作为处理对象的部分；
处理矩阵，用于对所选部分进行所需信号处理；及
分割矩阵，用于对所处理信号进行正交变换处理，并将所述信号分成至少一个块。

Claims (29)

1．一种数字信号变换方法，包括：
产生用于逆正交变换的逆正交变换矩阵Ts-1和用于正交变换的正交变换矩阵Td的步骤；
使用产生的逆正交变换矩阵Ts-1和正交变换矩阵Td来产生变换矩阵D的步骤；及
在正交变换域中通过使用变换矩阵D对正交变换域的输入数字信号进行信号处理、以得到正交变换域的输出数字信号的步骤。
2．如权利要求1所述的数字信号变换方法，其中所述输入数字信号是通过使用对应于逆正交变换矩阵Ts-1的正交变换矩阵Ts对时域原始信号进行正交变换而得到的数字信号；及
其中使用对应于正交变换矩阵Td的逆正交变换矩阵Td-1对所述输出数字信号进行译码，以将所述输出数字信号变换成时域信号。
3．如权利要求2所述的数字信号变换方法，其中通过对每个长度为k的变换块使用基长度为k的正交变换矩阵Ts(k)，来对所述原始信号进行正交变换以产生输入数字信号，并且其中使用变换矩阵D将由输入数字信号的相邻m个块构成的长度为L(=k×m)的连续信号变换成长度为N的一个块。
4．如权利要求3所述的数字信号变换方法，其中通过将对应于正交变换矩阵Ts(k)的逆正交变换矩阵Ts(k) -1的m个单元排列在对角线轴上而产生L阶正方矩阵A，同时通过取出基长度为L的正交变换矩阵Td(L)的N个单元的低频基向量来产生N行L列的矩阵B，并通过如下公式来产生变换矩阵D：
D=α·B·A
其中，α是标量值或向量值。
5．如权利要求3所述的数字信号变换方法，其中块长度N等于长度L。
6．如权利要求1所述的数字信号变换方法，其中所述输入数字信号是n维数字信号；及
其中通过对每个维使用变换矩阵D来在正交变换域中进行信号处理，以得到n维输出数字信号。
7．如权利要求1所述的数字信号变换方法，其中所述输入数字信号是n维数字信号；及
其中产生用于以随每个维变化的倍率来进行变换的变换矩阵，
从而，使用所述变换矩阵以随每个维变化的倍率来进行变换处理，以得到n维输出数字信号。
8．如权利要求1所述的数字信号变换方法，其中正交变换输入数字信号的变换块原样使用，并且将所述变换块填充预定值而将所述变换块变换成其长度为原始块长度的m倍的块，以得到频域的输出数字信号。
9．一种数字信号变换装置，包括：
正交变换矩阵产生装置，产生用于逆正交变换的逆正交变换矩阵Ts-1和用于正交变换的正交变换矩阵Td；
变换矩阵产生装置，使用产生的逆正交变换矩阵Ts-1和正交变换矩阵Td来产生变换矩阵D；及
信号变换装置，在正交变换域中通过使用变换矩阵D对正交变换域的输入数字信号进行信号处理，以得到正交变换域的输出数字信号。
10．如权利要求9所述的数字信号变换装置，其中所述输入数字信号是通过使用对应于逆正交变换矩阵Ts-1的正交变换矩阵Ts对时域原始信号进行正交变换而得到的数字信号；及
其中使用对应于正交变换矩阵Td的逆正交变换矩阵Td-1对所述输出数字信号进行译码，以将所述输出数字信号变换成时域信号。
11．如权利要求10所述的数字信号变换装置，其中通过对长度为k的每个变换块使用基长度为k的正交变换矩阵Ts(k)，来对所述原始信号进行正交变换以产生输入数字信号，
所述信号变换装置使用变换矩阵D将由输入数字信号的相邻m个块构成的长度为L(=k×m)的连续信号变换成长度为N的一个块。
12．如权利要求11所述的数字信号变换装置，其中所述变换矩阵产生装置通过将对应于正交变换矩阵Ts(k)的逆正交变换矩阵Ts(k) -1的m个单元排列在对角线轴上而产生L阶正方矩阵A，然后通过取出基长度为L的正交变换矩阵Td(L)的N个单元的低频基向量来产生N行L列的矩阵B，并通过如下公式来产生变换矩阵D：
D=α·B·A
其中，α是标量值或向量值。
13．如权利要求11所述的数字信号变换装置，其中块长度N等于长度L。
14．如权利要求9所述的数字信号变换装置，其中输入n维数字信号作为所述输入数字信号；及
所述信号变换装置对每个维使用变换矩阵D来在正交变换域中进行信号处理，以得到n维输出数字信号。
15．如权利要求9所述的数字信号变换装置，其中所述输入数字信号是n维数字信号；及
所述变换矩阵产生装置产生用于以随每个维变化的倍率来进行变换的变换矩阵，
所述信号变换装置使用所述变换矩阵以随每个维变化的倍率来进行变换处理，以得到n维输出数字信号。
16．如权利要求9所述的数字信号变换方法，其中所述信号变换装置原样使用正交变换输入数字信号的变换块，并且通过将所述变换块填充预定值而将所述变换块变换成其长度为原始块长度的m倍的块，以得到频域的输出数字信号。
17．一种用于提供处理信息的提供介质，包括：
产生用于逆正交变换的逆正交变换矩阵Ts-1和用于正交变换的正交变换矩阵Td的步骤；
使用产生的逆正交变换矩阵Ts-1和正交变换矩阵Td来产生变换矩阵D的步骤；及
在正交变换域中通过使用变换矩阵D对正交变换域的输入数字信号进行信号处理、以得到正交变换域的输出数字信号的步骤。
18．如权利要求17所述的提供介质，其中所述输入数字信号是通过使用对应于逆正交变换矩阵Ts-1的正交变换矩阵Ts对时域原始信号进行正交变换而得到的数字信号；及
其中使用对应于正交变换矩阵Td的逆正交变换矩阵Td-1对所述输出数字信号进行译码，以将所述输出数字信号变换成时域信号。
19．一种变换矩阵产生方法，包括：
输入正交变换矩阵产生步骤，产生对应于正交变换矩阵Ts的逆正交变换矩阵Ts-1，该正交变换矩阵Ts表示对频域输入数字信号进行的正交变换；
输出正交变换矩阵产生步骤，产生对应于逆正交变换矩阵Td-1的正交变换矩阵Td，该逆正交变换矩阵Td-1表示要作为译码处理而对频域输出数字信号进行的逆正交变换；及
变换矩阵产生步骤，根据逆正交变换矩阵Ts-1和正交变换矩阵Td来产生变换矩阵D。
20．一种变换矩阵产生装置，包括：
输入正交变换矩阵产生装置，产生对应于正交变换矩阵Ts的逆正交变换矩阵Ts-1，该正交变换矩阵Ts表示对频域输入数字信号进行的正交变换；
输出正交变换矩阵产生装置，产生对应于逆正交变换矩阵Td-1的正交变换矩阵Td，该逆正交变换矩阵Td-1表示要作为译码处理而对频域输出数字信号进行的逆正交变换；及
变换矩阵产生装置，根据逆正交变换矩阵Ts-1和正交变换矩阵Td来产生变换矩阵D。
21．一种数字信号变换方法，包括：
连接矩阵产生步骤，该连接矩阵用于连接至少一个具有预定数个正交变换域输入数字信号样本的块，以形成元块(meta-block)，并用于进行逆正交变换；
选择矩阵产生步骤，该选择矩阵用于从所述元块中选择和取出要作为处理对象的部分；
处理矩阵产生步骤，该处理矩阵用于对所选部分进行所需信号处理；
分割矩阵产生步骤，该分割矩阵的功能是对所处理信号进行正交变换，并将所述信号分成至少一个块；
变换矩阵产生步骤，该变换矩阵用于通过使用所述连接矩阵、选择矩阵、处理矩阵和分割矩阵来对正交变换域信号进行变换处理；及
变换矩阵施加步骤，用于将所述变换矩阵施加到每个元块的正交变换输入数字信号以得到输出数字信号。
22．如权利要求21所述的数字信号变换方法，其中所述输入数字信号是通过使用正交变换矩阵Ts对时域原始信号进行正交变换而得到的数字信号；
所述元块由彼此相连的长度为kI的mI个单元的块构成；及
所述连接矩阵由排列在对角线上的、对应于正交变换矩阵Ts的逆正交变换矩阵Ts-1的mI个单元构成。
23．如权利要求21所述的数字信号变换方法，其中所述输出数字信号是通过使用逆正交变换矩阵Td-1来译码以被变换到时域信号的信号；及
其中通过将所述输入数字信号变换成一个元块而得到的输出数字信号由彼此相连的长度为kO的mO个单元的块构成。
所述分割矩阵由排列在对角线上的、对应于正交变换矩阵Td的逆正交变换矩阵Td-1的mO个单元构成。
24．一种数字信号变换装置，包括：
连接矩阵产生装置，用于产生连接矩阵，该连接矩阵用于连接至少一个具有预定数个正交变换域输入数字信号样本的块，以形成元块，并用于进行逆正交变换；
选择矩阵产生装置，用于产生选择矩阵，该选择矩阵用于从所述元块中选择和取出要作为处理对象的部分；
处理矩阵产生装置，用于产生处理矩阵，该处理矩阵用于对所选部分进行所需信号处理；
分割矩阵产生装置，用于产生分割矩阵，该分割矩阵的功能是对所处理信号进行正交变换，并将所述信号分成至少一个块；
变换矩阵产生装置，用于产生变换矩阵，该变换矩阵用于通过使用所述连接矩阵、选择矩阵、处理矩阵和分割矩阵来对正交变换域信号进行变换处理；及
信号变换装置，用于将所述变换矩阵施加到每个元块的正交变换输入数字信号以得到输出数字信号。
25．如权利要求24所述的数字信号变换装置，其中所述输入数字信号是通过使用正交变换矩阵Ts对时域原始信号进行正交变换而得到的数字信号；
所述元块由彼此相连的长度为kI的mI个单元的块构成；及
所述连接矩阵由排列在对角线上的、对应于正交变换矩阵Ts的逆正交变换矩阵Ts-1的mI个单元构成。
26．如权利要求24所述的数字信号变换装置，其中所述输出数字信号是通过使用逆正交变换矩阵Td-1来译码以被变换到时域信号的信号；及
其中通过将所述输入数字信号变换成一个元块而得到的输出数字信号由彼此相连的长度为kO的mO个单元的块构成。
所述分割矩阵由排列在对角线上的、对应于正交变换矩阵Td的逆正交变换矩阵Td-1的mO个单元构成。
27．一种用于提供处理信息的提供介质，包括：
连接矩阵产生步骤，该连接矩阵用于连接至少一个具有预定数个正交变换域输入数字信号样本的块，以形成元块，并用于进行逆正交变换；
选择矩阵产生步骤，该选择矩阵用于从所述元块中选择和取出要作为处理对象的部分；
处理矩阵产生步骤，该处理矩阵用于对所选部分进行所需信号处理；
分割矩阵产生步骤，该分割矩阵的功能是对所处理信号进行正交变换，并将所述信号分成至少一个块；
变换矩阵产生步骤，该变换矩阵用于通过使用所述连接矩阵、选择矩阵、处理矩阵和分割矩阵来对正交变换域信号进行变换处理；及
信号变换步骤，用于将所述变换矩阵加到每个元块的正交变换输入数字信号以得到输出数字信号。
28．一种变换矩阵产生方法，包括：
连接矩阵产生步骤，该连接矩阵用于连接至少一个具有预定数个正交变换域输入数字信号样本的块，以形成元块，并用于进行逆正交变换；
选择矩阵产生步骤，该选择矩阵用于从所述元块中选择和取出要作为处理对象的部分；
处理矩阵产生步骤，该处理矩阵用于对所选部分进行所需信号处理；
分割矩阵产生步骤，该分割矩阵的功能是对所处理信号进行正交变换，并将所述信号分成至少一个块；及
变换矩阵产生步骤，该变换矩阵用于通过使用所述连接矩阵、选择矩阵、处理矩阵和分割矩阵来对正交变换域信号进行变换处理。
29．一种变换矩阵产生装置，包括：
连接矩阵产生装置，用于产生连接矩阵，该连接矩阵用于连接至少一个具有预定数个正交变换域输入数字信号样本的块，以形成元块，并用于进行逆正交变换；
选择矩阵产生装置，用于产生选择矩阵，该选择矩阵用于从所述元块中选择和取出要作为处理对象的部分；
处理矩阵产生装置，用于产生处理矩阵，该处理矩阵用于对所选部分进行所需信号处理；
分割矩阵产生装置，用于产生分割矩阵，该分割矩阵的功能是对所处理信号进行正交变换，并将所述信号分成至少一个块；及
变换矩阵产生装置，用于产生变换矩阵，该变换矩阵用于通过使用所述连接矩阵、选择矩阵、处理矩阵和分割矩阵来对正交变换域信号进行变换处理。
CN98801133A 1997-06-16 1998-06-16 数字信号变换方法和装置、变换矩阵产生方法和装置及提供介质 Pending CN1236456A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP15904097 1997-06-16
JP159040/97 1997-06-16
JP9238678A JPH1173410A (ja) 1997-06-16 1997-09-03 ディジタル信号変換方法及び装置並びに変換行列作成方法
JP238678/97 1997-09-03

Publications (1)

Publication Number Publication Date
CN1236456A true CN1236456A (zh) 1999-11-24

Family

ID=26485961

Family Applications (1)

Application Number Title Priority Date Filing Date
CN98801133A Pending CN1236456A (zh) 1997-06-16 1998-06-16 数字信号变换方法和装置、变换矩阵产生方法和装置及提供介质

Country Status (6)

Country Link
EP (1) EP0932106A1 (zh)
JP (1) JPH1173410A (zh)
KR (1) KR20000068164A (zh)
CN (1) CN1236456A (zh)
CA (1) CA2263454A1 (zh)
WO (1) WO1998058328A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100563756B1 (ko) 1997-11-05 2006-03-24 소니 가부시끼 가이샤 디지탈 신호 변환 방법 및 디지탈 신호 변환 장치
EP1211896A3 (en) * 2000-11-22 2006-04-19 Matsushita Electric Industrial Co., Ltd. System and method of providing data in one of a plurality of digital formats using an active disk
JP4277987B2 (ja) 2003-06-18 2009-06-10 Ｋｄｄｉ株式会社 変換符号化係数のサンプリング変換・解像度変換装置
US8447121B2 (en) 2005-09-14 2013-05-21 Microsoft Corporation Efficient integrated digital video transcoding
WO2011009196A1 (en) 2009-07-20 2011-01-27 Valorbec, Societe En Commandite Finite dataset interpolation method
JP2013098730A (ja) * 2011-10-31 2013-05-20 Toshiba Corp 解像度変換装置、解像度変換方法及び動画像復号化装置
JP2015061143A (ja) * 2013-09-18 2015-03-30 沖電気工業株式会社 映像符号化装置、および、映像符号化プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0447860A (ja) * 1990-06-15 1992-02-18 Nippon Telegr & Teleph Corp <Ntt> 解像度変換処理方法
JPH04229382A (ja) * 1990-12-27 1992-08-18 Ricoh Co Ltd ディジタル画像データの解像度交換装置
JPH05316357A (ja) * 1992-05-14 1993-11-26 Nippon Telegr & Teleph Corp <Ntt> 解像度変換方法
JPH0898173A (ja) * 1994-09-21 1996-04-12 Hitachi Ltd 解像度変換装置およびそれを用いた解像度変換システム

Also Published As

Publication number Publication date
WO1998058328A1 (en) 1998-12-23
KR20000068164A (ko) 2000-11-25
EP0932106A1 (en) 1999-07-28
JPH1173410A (ja) 1999-03-16
CA2263454A1 (en) 1998-12-23

Similar Documents

Publication Publication Date Title
US20240121454A1 (en) Transmission of reconstruction data in a tiered signal quality hierarchy
US10798389B2 (en) Method and apparatus for content-aware point cloud compression using HEVC tiles
CN1056717C (zh) 利用通用存贮器对压缩的数字视频信号解码和2-3下降变换的解码器
US8948248B2 (en) Tiered signal decoding and signal reconstruction
CN1230790C (zh) 处理dvd视频的方法和装置
CN1136518C (zh) 图像处理装置和方法
US20240007680A1 (en) Techniques and apparatus for automatic roi chunking for content-aware point cloud compression using hevc tiles
CN1072051A (zh) 具有多分辨率特征的运动视频信号压缩系统
EP1549054A3 (en) Motion compensated frame rate conversion
CN1197251A (zh) 图象信号的填补方法、编码装置及译码装置
CN1697328A (zh) 快速视频编解码变换实现
CN1742488A (zh) 用于编码和解码立体视频的方法和装置
CN1296869C (zh) 用于动态图像转换、传输的设备、方法及程序
JP2011091822A (ja) 符号化ビデオに於いてフィルム粒子をシミュレートする技術
CN1925617A (zh) 提高的运动估计、视频编码方法及使用所述方法的设备
CN1181679C (zh) 图象解码装置和方法以及图象重放装置
CN1320830C (zh) 噪声估计方法和设备、以及利用其编码视频的方法和设备
CN1246242A (zh) 用于从压缩图像数据恢复高频成分的改进的估算器
CN1236456A (zh) 数字信号变换方法和装置、变换矩阵产生方法和装置及提供介质
CN1216495C (zh) 视频图像亚像素插值的方法和装置
CN1157071C (zh) 一个数字化图象编码和解码的方法和装置
CN1771515A (zh) 空间图像变换
CN1266947C (zh) 活动图象压缩编码装置及运动矢量检测方法
CN1264255A (zh) 对移动图象进行编码的方法和装置及记录相应程序的介质
JP2007288779A (ja) リンギング欠陥を減少した解凍

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C01 Deemed withdrawal of patent application (patent law 1993)
WD01 Invention patent application deemed withdrawn after publication