CN1578158A - 数据处理装置和方法以及记录介质 - Google Patents

数据处理装置和方法以及记录介质 Download PDF

Info

Publication number
CN1578158A
CN1578158A CNA2004100558103A CN200410055810A CN1578158A CN 1578158 A CN1578158 A CN 1578158A CN A2004100558103 A CNA2004100558103 A CN A2004100558103A CN 200410055810 A CN200410055810 A CN 200410055810A CN 1578158 A CN1578158 A CN 1578158A
Authority
CN
China
Prior art keywords
data
teacher
circuit
coefficient
student
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2004100558103A
Other languages
English (en)
Other versions
CN100568739C (zh
Inventor
近藤哲二郎
浜松俊彦
中屋秀雄
西片丈晴
大塚秀树
国弘威
森藤孝文
内田真史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2000135357A external-priority patent/JP4752088B2/ja
Priority claimed from JP2000135356A external-priority patent/JP4517448B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1578158A publication Critical patent/CN1578158A/zh
Application granted granted Critical
Publication of CN100568739C publication Critical patent/CN100568739C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41Bandwidth or redundancy reduction
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98Adaptive-dynamic-range coding [ADRC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)

Abstract

JPEG编码数据经过熵解码,成为提供给预测抽头提取电路(41)和类抽头提取电路(42)的量化DCT系数。预测抽头提取电路(41)和类抽头提取电路(42)从这些量化DCT系数中提取所需的量化DCT系数,以产生预测抽头和类抽头。分类电路(43)根据类抽头执行分类。系数表存储单元(44)将与通过分类确定的类对应的抽头系数提供给乘积和操作电路(45)。乘积和操作电路(45)通过使用抽头系数和类抽头执行线性预测操作,以产生解码图像数据。

Description

数据处理装置和方法以及记录介质
本申请为以下专利申请的分案申请:申请日为2001年5月9日,申请号为01801987.0,发明名称为《(数据处理装置和方法以及记录介质》。
技术领域
本发明涉及一种数据处理方法和装置以及记录介质,特别涉及一种可以用来对例如不可还原压缩图像进行解码的数据处理方法和装置以及记录介质。
背景技术
例如,数字图像数据的数据量非常庞大,从而,如果直接记录或传输该数据,将需要极其庞大容量的记录介质或传输介质。因此,一般,图像数据在记录或传输之前,都要经过压缩编码,以减小数据量。
在用于对图像进行压缩编码的系统中,有用作静止图像压缩编码系统的JPEG(Joint Photographic Experts Group,联合图像专家组)系统,和用作活动图像压缩编码系统的MPEG(Moving Picture Experts Group,活动图像专家组)系统。
例如,如图1所示,根据JPEG系统执行图像数据的编码和解码。
图1A示出传统JPEG编码设备的说明性结构。
要编码的图像数据输入到分块电路1,然后分块电路1将所输入图像数据划分为多个块,每块由8×8=64像素组成。在分块电路1中获得的块发送到离散余弦变换(discrete cosine transform,DCT)电路2。DCT电路2对来自分块电路1的每个块应用DCT处理,以将块变换为由单个DC(directcurrent,直流)分量和63个频率(AC(alternating current,交流))分量组成的总共64个DCT系数。基于块的64个DCT系数从DCT电路2发送到量化电路3。
量化电路3根据预设的量化表对DCT系数进行量化,以将量化结果,下面称作量化DCT系数,与用于量化的量化表一起发送到熵编码电路4。
图1B示出一个在量化电路3中使用的量化表的例子。在量化表中,一般考虑人类视觉系统的特征来设置量化步长,从而对更关键的低频DCT系数进行精细的量化,而对次关键的高频DCT系数只作粗略的量化。这将减轻图像的图像质量的恶化,以保证有效的压缩。
熵编码电路4对来自量化电路3的量化DCT系数应用熵编码处理,如哈夫曼编码,并且添加来自量化电路3的量化表,以输出作为JPEG编码数据的结果编码数据。
图1C示出一个用来对由图1A的JPEG编码设备5输出的编码数据进行解码的传统JPEG解码设备10的例子的结构。
编码数据输入到熵解码电路11,然后熵解码电路11将所编码的数据分离为熵编码量化DCT系数和量化表。熵解码电路11对量化熵编码DCT系数进行熵解码,以将结果量化DCT系数与量化表一起发送到逆量化电路12。逆量化电路12根据来自熵解码电路11的量化表对来自熵解码电路11的量化DCT系数进行逆量化,以将结果DCT系数发送到反向DCT电路13。反向DCT电路13对来自逆量化电路12的DCT系数应用反向DCT处理,以将结果8×8像素解码块发送到解块电路14。解块电路14对来自反向DCT电路13的解码块进行解块,以获得输出解码图像。
使用图1A所示的JPEG编码设备5,通过增大在对块进行量化时使用的量化表的量化步长,可以减小编码数据的数据量,从而实现高压缩。
然而,如果增大量化步长,也将增大所谓的量化误差,导致在图1C的JPEG解码设备10中获得的解码图像的图像质量的恶化。也就是,在解码图像中产生可以感觉到的模糊、块变形或马赛克噪声等。
因此,如果要减小编码数据的数据量,而不恶化解码图像质量,或者如果当改善编码图像的图像质量时保持编码数据的数据量,在JPEG解码之后需要执行用于改善图像质量的某些处理。
然而,如果要在JPEG解码之后执行用于改善图像质量的处理,将复杂化该处理,而延长直到最终产生解码图像的时间。
发明内容
考虑到本技术领域的上述情况,本发明用来从例如JPEG编码图像有效地产生高图像质量的解码图像。
根据本发明,获取通过学习得到的抽头系数,并且与所转换数据一起使用所获取的抽头系数,执行预设计算,以将所转换数据解码为原始数据。
也就是,本发明提供一种数据处理装置,包括:获取装置,用于获取通过学习得到的抽头系数;和解码装置,用于通过使用抽头系数和所转换数据的预设预测计算,将所转换的数据解码为原始数据。
本发明还提供一种数据处理方法,包括如下步骤:获取通过学习得到的抽头系数;和通过使用抽头系数和所转换数据的预设预测计算,将所转换的数据解码为原始数据。
本发明还提供一种记录介质,其中记录有一个程序,包括如下步骤:获取通过学习得到的抽头系数;和通过使用抽头系数和所转换数据的预设预测计算,将所转换的数据解码为原始数据。
根据本发明,通过至少对作为老师的老师数据进行正交或频率变换,生成作为学生的学生数据,并且通过实现学习得到抽头系数,从而通过使用抽头系数和学生数据的预测计算获得的对老师数据的预测值的预测误差将在统计上最小。
也就是,本发明还提供一种数据处理装置,包括生成装置,用于通过至少对作为老师的老师数据进行正交或频率变换,生成作为学生的学生数据;和学习装置,用于实现学习,从而通过使用抽头系数和学生数据的预测计算获得的对老师数据的预测值的预测误差将在统计上最小,以得到抽头系数。
本发明还提供一种数据处理方法,包括如下步骤:通过至少对作为老师的老师数据进行正交或频率变换,生成作为学生的学生数据;和实现学习,从而通过使用抽头系数和学生数据的预测计算获得的对老师数据的预测值的预测误差将在统计上最小,以得到抽头系数。
本发明还提供一种记录介质,其中记录有一个程序,包括如下步骤:通过至少对作为老师的老师数据进行正交或频率变换,生成作为学生的学生数据;和实现学习,从而通过使用抽头系数和学生数据的预测计算获得的对老师数据的预测值的预测误差将在统计上最小,以得到抽头系数。
根据本发明,获得通过学习得到的抽头系数,并且使用抽头系数和所转换数据,执行预设预测计算,以将所转换数据解码为原始数据,该原始数据以预设方式进行处理,以产生处理数据。
也就是,本发明还提供一种数据处理装置,包括:获取装置,用于获取通过学习得到的抽头系数;和计算装置,用于使用抽头系数和所转换数据,执行预设预测计算,以将所转换的数据解码为原始数据,并且产生原始数据经过预设处理的处理数据。
本发明还提供一种数据处理方法,包括如下步骤:获取通过学习得到的抽头系数;和使用抽头系数和所转换数据,执行预设预测计算,以将所转换的数据解码为原始数据,并且产生原始数据经过预设处理的处理数据。
本发明还提供一种记录介质,其中记录有一个程序,包括如下步骤:获取通过学习得到的抽头系数;和使用抽头系数和所转换数据,执行预设预测计算,以将所转换的数据解码为原始数据,并且产生原始数据经过预设处理的处理数据。
根据本发明,以预设方式处理作为老师的老师数据,并且至少对结果准老师数据进行正交或频率变换,以生成作为学生的学生数据。然后通过实现学习生成抽头系数,从而通过使用抽头系数和学生数据的预测计算获得的对老师数据的预测值的预测误差将在统计上最小。
也就是,本发明还提供一种数据处理装置,包括准老师数据生成装置,用于根据预设处理对作为老师的老师数据进行处理,以产生准老师数据;学生数据生成装置,用于通过至少对准老师数据进行正交或频率变换,生成作为学生的学生数据;和学习装置,用于实现学习,以在统计上最小化通过使用抽头系数和学生数据的预测计算获得的对老师数据的预测值的预测误差,得到抽头系数。
本发明还提供一种数据处理方法,包括如下步骤:根据预设处理对作为老师的老师数据进行处理,以产生准老师数据;通过至少对准老师数据进行正交或频率变换,生成作为学生的学生数据;和实现学习,以在统计上最小化通过使用抽头系数和学生数据的预测计算获得的对老师数据的预测值的预测误差,得到抽头系数。
本发明还提供一种记录介质,其中记录有一个程序,包括如下步骤:根据预设处理对作为老师的老师数据进行处理,以产生准老师数据;通过至少对准老师数据进行正交或频率变换,生成作为学生的学生数据;和实现学习,以在统计上最小化通过使用抽头系数和学生数据的预测计算获得的对老师数据的预测值的预测误差,得到抽头系数。
根据本发明,根据辅助信息,将原始数据中的感兴趣数据分配给多个类中的一个,并且获得通过学习得到的、基于类的抽头系数中与感兴趣数据的类对应的抽头系数。然后使用所转换数据和与感兴趣数据的类对应的抽头系数,执行预设预测计算,以将所转换数据解码为原始数据。
也就是,本发明还提供一种数据处理装置,包括:分类装置,用于通过分类,根据辅助信息将原始数据中的感兴趣数据分配给多个类中的一个;获取装置,用于在通过学习得到的、基于类的抽头系数中获取与感兴趣数据的类相关联的抽头系数;和解码装置,用于使用所转换数据和与感兴趣数据的类相关联的抽头系数,执行预设预测计算,以将所转换数据解码为原始数据。
本发明还提供一种数据处理方法,包括如下步骤:通过分类,根据辅助信息,将原始数据中的感兴趣数据分配给多个类中的一个;在通过学习得到的、基于类的抽头系数中获取与感兴趣数据的类相关联的抽头系数;和使用所转换数据和与感兴趣数据的类相关联的抽头系数,执行预设预测计算,以将所转换数据解码为原始数据。
本发明还提供一种记录介质,其中记录有一个程序,包括如下步骤:通过分类,根据辅助信息,将原始数据中的感兴趣数据分配给多个类中的一个;在通过学习得到的、基于类的抽头系数中获取与感兴趣数据的类相关联的抽头系数;和使用所转换数据和与感兴趣数据的类相关联的抽头系数,执行预设预测计算,以将所转换数据解码为原始数据。
根据本发明,通过至少对作为老师的老师数据进行正交或频率变换,生成作为学生的学生数据。使用生成学生数据时所使用的预设辅助信息,将老师数据中的感兴趣老师数据分配给多个类中的一个。然后通过实现学习得到基于类的抽头系数,从而通过使用与感兴趣老师数据的类对应的抽头系数和学生数据的预测计算获得的对老师数据的预测值的预测误差将在统计上最小。
也就是,本发明还提供一种数据处理装置,包括:生成装置,用于通过至少对作为老师的老师数据进行正交或频率变换,生成作为学生的学生数据;分类装置,用于根据在生成装置中生成学生数据时使用的预设辅助信息,将老师数据中的感兴趣老师数据分配给多个类中的一个;和学习装置,用于实现学习,从而通过使用与感兴趣老师数据的类对应的抽头系数和学生数据的预测计算获得的对老师数据的预测值的预测误差将在统计上最小,以得到基于类的抽头系数。
本发明还提供一种数据处理方法,包括如下步骤:通过至少对作为老师的老师数据进行正交或频率变换,生成作为学生的学生数据;根据在生成装置中生成学生数据时使用的预设辅助信息,将老师数据中的感兴趣老师数据分配给多个类中的一个;和实现学习,从而通过使用与感兴趣老师数据的类对应的抽头系数和学生数据的预测计算获得的对老师数据的预测值的预测误差将在统计上最小,以得到基于类的抽头系数。
本发明还提供一种记录介质,其中记录有一个程序,包括如下步骤:通过至少对作为老师的老师数据进行正交或频率变换,生成作为学生的学生数据;根据在生成装置中生成学生数据时使用的预设辅助信息,将老师数据中的感兴趣老师数据分配给多个类中的一个;和实现学习,从而通过使用与感兴趣老师数据的类对应的抽头系数和学生数据的预测计算获得的对老师数据的预测值的预测误差将在统计上最小,以得到基于类的抽头系数。
根据本发明,至少从与对应于感兴趣的所处理数据的块不同的块,提取将感兴趣的所处理数据分配给多个类中的一个时使用的所转换数据,以用作类抽头。根据由此得到的类抽头,通过分类得到感兴趣的所处理数据的类。使用感兴趣的所处理数据的类的抽头系数,执行预设计算,以得到感兴趣的所处理数据的预测值。
也就是,本发明还提供一种处理装置,包括:获取装置,用于获取通过学习得到的抽头系数;类抽头提取装置,用于通过分类,至少从不同于与感兴趣的所处理数据相关联的块的块,提取用于将感兴趣的所处理数据分配给多个类中的一个的所转换数据,并且作为类抽头输出所提取的数据;分类装置,用于根据类抽头得到感兴趣的所处理数据的类;和计算装置,用于使用感兴趣的所处理数据的类的抽头系数和所转换数据,执行预设预测计算,以得到感兴趣的所处理数据的预测值。
本发明还提供一种数据处理方法,包括如下步骤:获取通过学习得到的抽头系数;通过分类,至少从不同于与感兴趣的所处理数据相关联的块的块,提取用于将感兴趣的所处理数据分配给多个类中的一个的所转换数据,并且作为类抽头输出所提取的数据;根据类抽头得到感兴趣的所处理数据的类;和使用感兴趣的所处理数据的类的抽头系数,执行预设预测计算,以得到感兴趣的所处理数据的预测值。
本发明还提供一种记录介质,包括如下步骤:获取通过学习得到的抽头系数;通过分类,至少从不同于与感兴趣的所处理数据相关联的块的块,提取用于将感兴趣的所处理数据分配给多个类中的一个的所转换数据,并且作为类抽头输出所提取的数据;根据类抽头得到感兴趣的所处理数据的类;和使用感兴趣的所处理数据的类的抽头系数,执行预设预测计算,以得到感兴趣的所处理数据的预测值。
根据本发明,至少从与对应于感兴趣的老师数据的块不同的块,提取用于将感兴趣的老师数据分配给多个类中的一个的学生数据,以用作类抽头。根据这些类抽头,通过分类得到感兴趣老师数据的类。根据基于类的抽头系数和学生数据,执行预测计算,然后执行学习,从而通过使用基于类的抽头系数和学生数据的预测计算获得的对老师数据的预测值的预测误差将在统计上最小,以逐类得到抽头系数。
也就是,本发明还提供一种数据处理装置,包括:生成装置,用于生成作为学习时作为学生的学生数据的基于块的所转换数据;类抽头提取装置,用于,以所处理数据作为学习时当老师的老师数据,至少从与对应于感兴趣的老师数据的块不同的块,提取用于将感兴趣的老师数据分配给多个类中的一个的学生数据,并且作为类抽头输出所提取数据;分类装置,用于根据类抽头得到感兴趣的老师数据的类;和学习装置,用于实现学习,从而通过使用基于类的抽头系数和学生数据的预测计算获得的对老师数据的预测值的预测误差将在统计上最小,以逐类得到抽头系数。
本发明还提供一种数据处理方法,包括如下步骤:生成作为学习时作为学生的学生数据的基于块的所转换数据;以所处理数据作为学习时当老师的老师数据,至少从与对应于感兴趣的老师数据的块不同的块,提取用于将感兴趣的老师数据分配给多个类中的一个的学生数据,并且作为类抽头输出所提取数据;根据类抽头得到感兴趣的老师数据的类;和实现学习,从而通过使用基于类的抽头系数和学生数据的预测计算获得的对老师数据的预测值的预测误差将在统计上最小,以逐类得到抽头系数。
本发明还提供一种记录介质,其中记录有一个程序,包括如下步骤:生成作为学习时当作学生的学生数据的基于块的所转换数据;以所处理数据作为学习时当作老师的老师数据,至少从与对应于感兴趣的老师数据的块不同的块,提取用于将感兴趣的老师数据分配给多个类中的一个的学生数据,并且作为类抽头输出所提取数据;根据类抽头得到感兴趣的老师数据的类;和实现学习,从而通过使用基于类的抽头系数和学生数据的预测计算获得的对老师数据的预测值的预测误差将在统计上最小,以逐类得到抽头系数。
根据本发明,至少从与不同于感兴趣数据块的数据块对应的所转换块,提取用于对数据块中的感兴趣数据块的数据进行解码的预测计算中所使用的所转换数据,以用作预测抽头。使用抽头系数和预测抽头,执行预设预测计算,以将所转换数据解码为原始数据。
也就是,本发明还提供一种数据处理装置,包括:获取装置,用于获取通过学习得到的抽头系数;预测抽头提取装置,用于至少从与不同于感兴趣数据块的数据块对应的作为所转换数据块的所转换块,提取预测计算中所使用的所转换数据,以输出作为预测抽头的所提取数据,其中所述预测计算用于对其中每个块为一个数据块的数据块中感兴趣数据块的数据进行解码;和计算装置,用于使用抽头系数和预测抽头,执行预设预测计算,以将所转换数据解码为原始数据。
本发明还提供一种数据处理方法,包括如下步骤:获取通过学习得到的抽头系数;至少从与不同于感兴趣数据块的数据块对应的作为所转换数据块的所转换块,提取预测计算中所使用的所转换数据,以输出作为预测抽头的所提取数据,其中所述预测计算用于对其中每个块为一个数据块的数据块中感兴趣数据块的数据进行解码;和使用抽头系数和预测抽头,执行预设预测计算,以将所转换数据解码为原始数据。
本发明还提供一种记录介质,其中记录有一个程序,包括如下步骤:获取通过学习得到的抽头系数;至少从与不同于感兴趣数据块的数据块对应的作为所转换数据块的所转换块,提取用于对其中每个块为一个数据块的数据块中感兴趣数据块的数据进行解码的预测计算中所使用的所转换数据,以输出作为预测抽头的所提取数据;和使用抽头系数和预测抽头,执行预设预测计算,以将所转换数据解码为原始数据。
根据本发明,至少通过对作为老师的老师数据进行正交或频率变换,生成作为学生的学生数据,并且至少从与不同于感兴趣老师块的老师块对应的学生块,提取用于对老师块中的感兴趣老师块的老师数据进行解码的预测计算中所使用的学生数据,以用作预测抽头。然后通过实现学习,得到抽头系数,从而通过使用抽头系数和预测抽头执行预测计算获得的对老师数据的预测值的预测误差将在统计上最小。
也就是,本发明还提供一种数据处理装置,包括:生成装置,用于通过至少对作为老师的老师数据应用正交或频率变换,生成作为学生的学生数据;预测抽头提取装置,用于至少从与不同于感兴趣老师块的老师块对应的作为学生数据块的学生块,提取用于对其中每个块为一个老师块的老师块中的感兴趣老师块的老师数据进行解码的预测计算中所使用的学生数据,以输出作为预测抽头的所提取数据;和学习装置,用于实现学习,从而通过使用抽头系数和预测抽头执行预测计算获得的对老师数据的预测值的预测误差将在统计上最小。
本发明还提供一种数据处理方法,包括如下步骤:通过至少对作为老师的老师数据应用正交或频率变换,生成作为学生的学生数据;至少从与不同于感兴趣老师块的老师块对应的作为学生数据块的学生块,提取用于对其中每个块为一个老师块的老师块中的感兴趣老师块的老师数据进行解码的预测计算中所使用的学生数据,以输出作为预测抽头的所提取数据;和实现学习,从而通过使用抽头系数和预测抽头执行预测计算获得的对老师数据的预测值的预测误差将在统计上最小,以得到抽头系数。
本发明还提供一种记录介质,其中记录有一个程序,包括如下步骤:通过至少对作为老师的老师数据应用正交或频率变换,生成作为学生的学生数据;至少从与不同于感兴趣老师块的老师块对应的作为学生数据块的学生块,提取用于对其中每个块为一个老师块的老师块中的感兴趣老师块的老师数据进行解码的预测计算中所使用的学生数据,以输出作为预测抽头的所提取数据;和实现学习,从而通过使用抽头系数和预测抽头执行预测计算获得的对老师数据的预测值的预测误差将在统计上最小,以得到抽头系数。
根据本发明,使用用于学习提取模式的第一数据和第二数据,逐预设位置关系地得到与在预设位置的第二数据有预设位置关系的第一数据的相关。根据所得到的相关,设置要用作用于为获得第二数据所执行的预测计算的预测抽头的第一数据的提取模式。
也就是,本发明还提供一种数据处理装置,包括:相关计算装置,用于使用用于学习提取模式的第一和第二数据,逐预设位置关系地得到与在预设位置的第二数据有预设位置关系的第一数据的相关;和设置装置,用于根据相关,设置第一数据的提取模式,以用作用于为获得第二数据所执行的预测计算的预测抽头。
本发明还提供一种数据处理方法,包括如下步骤:使用用于学习提取模式的第一和第二数据,逐预设位置关系地得到与在预设位置的第二数据有预设位置关系的第一数据的相关;和根据相关,设置第一数据的提取模式,以用作用于为获得第二数据所执行的预测计算的预测抽头。
本发明还提供一种记录介质,其中记录有一个程序,包括如下步骤:使用用于学习提取模式的第一和第二数据,逐预设位置关系地得到与在预设位置的第二数据有预设位置关系的第一数据的相关;和根据相关,设置第一数据的提取模式,以用作用于为获得第二数据所执行的预测计算的预测抽头。
附图说明
图1A、1B和1C示出传统JPEG编码/解码;
图2示出实施本发明的图像传输系统的说明性结构;
图3是示出图像传输系统中解码器的说明性结构的方框图;
图4是示出解码器中的处理的流程图;
图5是示出解码器中系数转换电路的说明性结构的方框图;
图6示出解码器中预测抽头和类抽头的例子;
图7是示出系数转换电路中分类电路的说明性结构的方框图;
图8示出系数转换电路中功率(power)计算电路的处理;
图9是示出系数转换电路中的处理的流程图;
图10是更详细示出系数转换电路中的处理的流程图;
图11是示出用于学习系数转换电路中的抽头系数的学习设备的说明性结构的方框图;
图12是示出学习设备的处理的流程图;
图13是示出系数转换电路的说明性结构的方框图;
图14是示出学习设备的说明性结构的方框图;
图15是示出系数转换电路的另一说明性结构的方框图;
图16是示出学习设备的另一说明性结构的方框图;
图17是示出系数转换电路的另一说明性结构的方框图;
图18是示出学习设备的另一说明性结构的方框图;
图19是示出图像传输系统中编码器的说明性结构的方框图;
图20是示出MPEG解码器的说明性结构的方框图;
图21是示出系数转换电路的另一说明性结构的方框图;
图22是示出学习设备的另一说明性结构的方框图;
图23是示出其中图像传输系统应用本发明的另一实施例中解码器的说明性结构的方框图;
图24示出在解码器中8×8DCT系数如何解码为16×16像素;
图25是示出解码器中的处理的流程图;
图26是示出解码器中系数转换电路的说明性结构的方框图;
图27是示出系数转换电路中分类电路的说明性结构的方框图;
图28是示出系数转换电路中的处理的流程图;
图29是更详细示出系数转换电路中的处理的流程图;
图30是示出负责系数转换电路的抽头系数的学习处理的学习设备的说明性结构的方框图;
图31是示出学习设备中的处理的流程图;
图32是示出系数转换电路的另一说明性结构的方框图;
图33是示出学习设备的另一说明性结构的方框图;
图34是示出系数转换电路的另一说明性结构的方框图;
图35是示出学习设备的另一说明性结构的方框图;
图36是示出系数转换电路的另一说明性结构的方框图;
图37是示出学习设备的另一说明性结构的方框图;
图38是示出编码器的说明性结构的方框图;
图39是示出系数转换电路的另一说明性结构的方框图;
图40是示出学习设备的另一说明性结构的方框图;
图41A和41B示出时域分辨率经过改善的图像;
图42A和42B示出时域分辨率经过改善的图像;
图43示出从两个或多个帧的DCT系数构造类抽头和预测抽头;
图44是示出其中图像传输系统应用本发明的实施例中解码器的说明性结构的方框图;
图45是示出解码器的处理的流程图;
图46是示出解码器中系数转换电路的说明性结构的方框图;
图47是示出系数转换电路中分类电路的说明性结构的方框图;
图48是示出系数转换电路的处理的流程图;
图49是更详细示出系数转换电路的处理的流程图;
图50是示出用于学习系数转换电路的抽头系数的学习设备的说明性结构的方框图;
图51是示出学习设备的处理的流程图;
图52是示出系数转换电路的另一说明性结构的方框图;
图53是示出学习设备的说明性结构的方框图;
图54是示出系数转换电路的另一说明性结构的方框图;
图55是示出实施本发明的学习设备的说明性结构的方框图;
图56是示出系数转换电路的另一说明性结构的方框图;
图57是示出学习设备的另一说明性结构的方框图;
图58是示出图像传输系统中编码器的说明性结构的方框图;
图59是示出图像传输系统中MPEG解码器的说明性结构的方框图;
图60是示出系数转换电路的另一说明性结构的方框图;
图61是示出学习设备的另一说明性结构的方框图;
图62是示出其中图像传输系统应用本发明的实施例中解码器的说明性结构的方框图;
图63是示出解码器的处理的流程图;
图64是示出解码器中系数转换电路的说明性结构的方框图;
图65A和65B示出系数转换电路中群抽头的例子
图66是示出系数转换电路中分类电路的说明性结构的方框图;
图67是示出系数转换电路的处理的流程图;
图68是更详细示出系数转换电路的处理的流程图;
图69示出分类方法;
图70是示出分类电路的处理的流程图;
图71示出另一分类方法;
图72是示出分类电路的另一说明性结构的方框图;
图73是示出分类电路的处理的流程图;
图74是示出系数转换电路的另一说明性结构的方框图;
图75是示出负责系数转换电路的抽头系数的学习处理的学习设备的说明性结构的方框图;
图76是示出系数转换电路的说明性结构的方框图;
图77是示出学习设备的另一说明性结构的方框图;
图78是示出其中图像传输系统应用本发明的解码器的实施例的说明性结构的方框图;
图79是示出解码器的处理的流程图;
图80是示出解码器中系数转换电路的说明性结构的方框图;
图81是示出系数转换电路中分类电路的说明性结构的方框图;
图82是示出系数转换电路的处理的流程图;
图83是更详细示出系数转换电路的处理的流程图;
图84是示出负责抽头系数的学习处理的抽头系数学习设备的说明性结构的方框图;
图85是示出抽头系数学习设备的处理的流程图;
图86是示出负责模式信息的学习处理的模式学习设备的说明性结构的方框图;
图87A、87B和87C示出模式学习设备中的加法器电路的处理;
图88是示出模式学习设备的处理的流程图;
图89是示出系数转换电路的说明性结构的方框图;
图90是示出抽头系数学习设备的另一说明性结构的方框图;
图91是示出模式学习设备的另一说明性结构的方框图;
图92是示出系数转换电路的另一说明性结构的方框图;
图93是示出抽头系数学习设备的另一说明性结构的方框图;
图94是示出模式学习设备的另一说明性结构的方框图;
图95A、95B和95C示出模式学习设备中的加法器电路的处理;
图96是示出系数转换电路的另一说明性结构的方框图;
图97是示出抽头系数学习设备的另一说明性结构的方框图;
图98是示出模式学习设备的另一说明性结构的方框图;
图99是示出系数转换电路的另一说明性结构的方框图;
图100是示出抽头系数学习设备的另一说明性结构的方框图;
图101是示出模式学习设备的另一说明性结构的方框图;
图102是示出实施本发明的计算机的实施例的说明性结构的方框图。
具体实施方式
参照附图,对本发明的最佳实施模式进行详细说明。
本发明应用于例如图2配置的图像传输系统20。
在该图像传输系统20中,要传输的图像数据提供给编码器21。编码器21通过例如JPEG编码对向其传输的图像数据进行编码,以形成编码数据。也就是,编码器21被配置为类似于图1A所示的JPEG编码设备5,并且通过JPEG编码对图像数据进行编码。由编码器21进行JPEG编码获得的编码数据记录在记录介质23中,如半导体存储器、光磁盘、磁盘、光盘、磁带或相变盘,或者通过传输介质24,如地面波、卫星网络、CATV(cable television,有线电视)网络、因特网或公共网络进行传输。
解码器22接收从记录介质23或通过传输介质24传输的编码数据,以对原始图像数据进行解码。所解码图像数据提供给监视器(没有示出),用于例如显示。
如图3所示,解码器22包括熵解码电路31、系数转换电路32和解块电路33。
编码数据发送到熵解码电路31,然后熵解码电路31对编码数据进行熵解码,以将作为结果的基于块的量化DCT系数Q发送到系数转换电路32。如结合图1C的熵解码电路11所述,不仅熵编码量化DCT系数,而且量化表包含在编码数据中。该量化表在必要时可以用于对量化DCT系数进行解码,后面将对此进行说明。
使用来自熵解码电路31的量化DCT系数Q和通过学习(后面将进行说明)得到的抽头系数,系数转换电路32执行预设预测计算,以将基于块的量化DCT系数解码为8×8像素的原始块。
解块电路33对在系数转换电路32中获得的解码块进行解块,以产生输出解码图像。
参照图4的流程图,说明图3解码器22的处理。
编码数据顺序提供给熵解码电路31。在步骤S1,熵解码电路31对编码数据进行熵解码,以将基于块的量化DCT系数Q发送到系数转换电路32。系数转换电路使用抽头系数执行预测计算,以将来自熵解码电路31的量化DCT系数Q解码为基于块的像素值,然后这些像素值发送到解块电路33。解块电路33在步骤S3执行对来自系数转换电路32的像素值的解块,以输出结果解码图像,来完成处理。
系数转换电路32采用分类处理,将量化DCT系数解码为像素值。
分类自适应处理包括分类处理和自适应处理。通过分类处理,根据数据属性对数据进行分类,并且逐类地执行自适应处理。该自适应处理使用如下技术:
也就是,自适应处理通过例如量化DCT系数和预设抽头系数的线性组合得到原始像素的估计值,以将量化DCT系数解码为原始像素值。
具体地说,现在设想,特定图像是老师数据,并且另一类似图像基于块进行DCT处理和量化,以给出量化DCT系数作为学生数据,并且通过一组多个量化DCT系数x1,x2,...和预设抽头系数w1,w2,...的线性组合所规定的线性组合模型得到作为老师数据的图像像素的像素值y的估计值E[y]。
在这种情况下,估计值E[y]可以用如下方程(1)进行表示:
E[y]=w1x1+w2x2+...
                                                         ...(1)
如果,推广方程(1),由一组抽头系数wj组成的矩阵W,由一组学生数据xij组成的矩阵X,和由一组估计值E[yj]组成的矩阵Y’定义为
X = x 11 x 12 . . . x 1 J x 21 x 22 . . . x 2 J . . . . . . . . . . . . x I 1 x I 2 . . . x IJ
W = w 1 w 2 . . . w J
Y ′ = E [ y 1 ] E [ y 2 ] . . . E [ y J ]
如下观察方程(2)成立:
XW=Y’                                               ...(2)
其中,矩阵X的xij项表示第i个学生数据集(用于估计第i个老师数据yi的一组学生数据)的第j个学生数据,并且矩阵W的wj项是与学生数据集中第j个学生数据相乘的抽头系数。另一方面,yi表示第i个老师数据,从而E[yi]表示第i个老师数据的估计值。其中,在方程(1)左边的y中,省略矩阵Y的yi项中的后缀i,而在方程(1)右边的x1,x2,...中,省略矩阵X的xij项中的后缀i。
现在设想,将最小二乘法应用到该观察方程,以得到近似于原始像素值y的估计值E[y]。如果由一组作为老师数据的真像素值y组成的矩阵Y和由相对于像素值y的一组估计值E[y]的剩余值e组成的矩阵E定义为
E = e 1 e 2 . . . e I
Y = y 1 y 2 . . . y I
从方程(2),如下剩余方程(3)成立:
XW=Y+E                                              ...(3)
在这种情况下,通过最小化平方差可以得到用于找到近似于原始像素y的估计值E[y]的抽头系数wj
因此,上述平方差对抽头系数wj求偏导为0的抽头系数wj,也就是满足下面方程(4)的抽头系数wj
e 1 ∂ e i ∂ w 1 + e 1 ∂ e 2 ∂ w j + . . . + e 1 ∂ e i ∂ w j = 0 , ( j = 1,2 , . . . , J ) . . . ( 4 )
表示用于求得近似于原始像素值y的估计值E的最优值。
因此,通过将方程对抽头系数wj求偏导,获得下面方程(5):
∂ e 1 ∂ w 1 = xil , ∂ e 1 ∂ w 2 = x i 2 , . . . , ∂ e i ∂ w j = x ij , ( i = 1,2 , · · · , I ) . . . ( 5 )
从方程(4)和(5),获得下面方程(6):
Σ i = 1 I e i x il = 0 , Σ i = 1 I e i x i 2 = 0 , . . . , Σ i = 1 I e 1 x ij = 0 , . . . ( 6 )
如果进一步考虑剩余方程(3)中的学生数据xij、抽头系数wj、老师数据yI和剩余值ei,获得下面正则方程(7):
( Σ i = 1 I x il x il ) w 1 + ( Σ i = 1 I x i 1 x i 2 ) w 2 + . . . .
· · · + ( Σ i = 1 I x i 1 x iJ ) w J = ( Σ i = 1 I x i 1 y i )
( Σ i = 1 I x i 2 x il ) w 1 + ( Σ i = 1 I x i 2 x i 2 ) w 2 + . . .
· · · + ( Σ i = 1 I x i 2 x iJ ) w J = ( Σ i = 1 I x i 2 y i )
( Σ i = 1 I x iJ x i 1 ) w 1 + ( Σ i = 1 I x iJ x i 2 ) w 2 + . . .
· · · + ( Σ i = 1 I x iJ x iJ ) = w J = ( Σ i = 1 I x iJ y i ) . . . ( 7 )
其中,如果矩阵(协方差矩阵)A和向量v分别定义为:
A = Σ i = 1 I x i 1 x i 2 Σ i = 1 I x i 1 x i 2 · · · Σ i = 1 I x i 1 x iJ Σ i = 1 I x i 2 x i 1 Σ i = 1 I x i 2 x i 2 · · · Σ i = 1 I x i 2 x iJ Σ i = 1 I x iJ x i 1 Σ i = 1 I x iJ x i 2 · · · Σ i = 1 I x iJ x iJ
v = Σ i = 1 I x il y i Σ i = 1 I x i 2 y i . . . Σ i = 1 I x iJ y i
并且向量W如同方程1所示进行定义,方程(7)所示的正则方程可以由下面方程(8)表示:
AW=v
                                                       ...(8)
通过提供特定多个学生数据Xij集和老师数据Yi集,可以建立一组个数为要得到的抽头系数wj的数目J的正则方程(7)。因此,通过解向量W的方程(8),可以得到抽头系数(在此,最小化平方差的抽头系数)的wj的最优数。注意,要解方程(8),方程(8)中的矩阵A需要为正则方程。其中,例如可以使用消元法(Gauss-Jordan消元法)。
得到如上所述的最优抽头系数wj,并且使用抽头系数wj通过方程(1)得到近似于原始像素值y的估计值E[y]表示自适应处理。
其中,如果具有要用JPEG编码的图像的图像质量的图像用作老师数据,并且通过对老师数据进行DCT处理和量化获得的量化DCT系数用作学生数据,获得给出统计上最小预测误差的抽头系数,以将JPEG编码图像数据解码为原始图像数据。
因此,甚至提高执行JPEG编码时的压缩率,也就是,粗略化用于量化的量化步长,也可以通过自适应处理实现统计上最小化预测误差的解码处理,从而,本质上,可以同时执行JPEG编码图像的解码处理,和改善用于图像质量的处理。结果,甚至提高压缩率,也可以保持解码图像的图像质量。
例如,如果比要进行JPEG编码的图像更高质量的图像用作老师数据,并且通过将老师数据的图像质量恶化到与要进行JPEG编码的图像相同的图像质量,随后进行DCT和量化处理获得的量化DCT系数用作学生数据,获得将JPEG编码图像数据解码为高图像质量的图像数据时在统计上最小化预测误差的抽头系数。
因此,使用本自适应处理,在这种情况下,可以同时执行JPEG编码图像的解码处理和用于改善图像质量的处理。同时,从上可以看到,通过改变老师或学生数据图像的图像质量,产生将解码图像的图像质量提高到任意级别的抽头系数是可能的。
图5示出图3系数转换电路32的说明性结构,它通过上述分类自适应处理将量化DCT系数解码为像素值。
在图5所示的系数转换电路32A中,由熵解码电路31(图3)输出的基于块的量化DCT系数发送到预测抽头提取电路41和类抽头提取电路42。
预测抽头提取电路41顺序使与向其提供的量化DCT系数块(下面偶尔称作DCT块)对应的像素值块变为感兴趣的像素块。注意,在本阶段没有出现,但事实上预先假定的像素值块在下面偶尔称作像素块。预测抽头提取电路41还以例如光栅扫描顺序使组成感兴趣的像素块的各个像素顺序变为各个感兴趣的像素。
也就是,预测抽头提取电路41提取与感兴趣的像素所属的像素块对应的DCT块的全部量化DCT系数,即8×8=64个量化DCT系数,作为预测抽头,如图6所示。因此,在本实施例中,为给定像素块的所有像素构成相同的预测抽头。注意,还可以对感兴趣的像素逐个地用不同的量化DCT系数形成预测抽头。
在预测抽头提取电路41中获得的,形成像素块的各个像素的预测抽头,即对应于64像素中每个像素的64组预测抽头,发送到乘积和电路45。然而,在本实施例中,由于为一个像素块的所有像素形成相同的预测抽头,因此如果对一个像素块将一组预测抽头提供给乘积和电路45,是足够的。
类抽头提取电路42提取用于将感兴趣的像素划分为多个类中的一个的量化DCT系数,以用作类抽头。
其中,在JPEG编码时,由于逐像素块地对图像进行编码(DCT和量化),因此属于一个像素块的像素全部划分为同一类。因此,类抽头提取电路42为给定像素块的各个像素形成相同的类抽头。也就是,类抽头提取电路42以例如预测抽头提取电路41中相同的方式,提取与感兴趣的像素所属的像素块对应的DCT块的全部8×8量化DCT系数,作为类抽头。
注意,将属于一个像素块的各个像素划分为同一类相当于对像素块进行分类。因此,如果类抽头提取电路42不是形成用于对构成感兴趣的像素块的64个像素中的每个进行分类的64组类抽头,而是形成对感兴趣的像素块进行分类的一组类抽头,是足够的。因此,为了逐像素块地对像素块进行分类,类抽头提取电路42提取与像素块相关联的DCT块的64个量化DCT系数,用作类抽头。
其中,形成预测抽头或类抽头的量化DCT系数不限于这些上述模式。
在类抽头提取电路42中获得的感兴趣像素块的类抽头提供给分类电路43。分类电路根据来自类抽头提取电路42的类抽头对感兴趣的像素块进行分类,以输出与如此获得的类对应的类代码。
例如,可以使用ADRC(adaptive dynamic range coding,自适应动态范围编码)作为分类方法。
使用采用ADRC的方法,形成类抽头的量化DCT系数用ADRC进行处理。根据结果ADRC码确定感兴趣像素块的类。
其中,在K-位ADRC中,检测形成类抽头的量化DCT系数的最大值MAX和最小值MIN,并且DR=MAX-MIN被指定为集合的局部动态范围。根据该动态范围DR,形成类抽头的量化DCT系数重新量化到K位。也就是,从形成类抽头的量化DCT系数减去最小值MIN,然后通过减法得到的值除以DR/2K(量化)。通过以预设次序排列各个形成类抽头的量化K-位DCT系数获得的位序列,作为ADRC码输出。因此,如果类抽头例如用1位ADRC进行处理,从形成类抽头的各个量化DCT系数减去最小值MIN,然后结果差值除以最大值MAX和最小值MIN的中值,由此各个量化DCT系数转化为1位形式,即二进制编码形式。这些1位量化DCT系数以预定次序进行排列,以形成作为ADRC码输出的位序列。
分类电路43可以输出形成例如类抽头的量化DCT系数的级分布模式,直接作为类代码。如果在这种情况下,类抽头由N个量化DCT系数形成,并且K位分配给各个量化DCT系数,那么由分类电路4 3输出的类代码数为(2N)K,这是随量化DCT系数的位数K成指数增长的庞大数字。
因此,在分类电路43中,通过上述ADRC处理或向量量化执行类抽头信息的压缩,然后进行分类是理想的。
其中,在本实施例中,如上所述,类抽头由64个量化DCT系数形成。因此,如果通过类抽头的1位ADRC处理执行分类,类代码的数目为264这一大数字。
其中,在本实施例中,分类电路43从形成类抽头的量化DCT系数提取高关键度的特征值,并且根据这些特征值进行分类,以减少类的数目。
也就是,图7示出图5的分类电路43的说明性结构。
类抽头用来提供给功率计算电路51。功率计算电路将形成类抽头的量化DCT系数分裂为多个空域频段,并且计算各个频段的功率值。
也就是,功率计算电路51将形成类抽头的8×8量化DCT系数分裂为四个空域频段S0、S1、S2和S3,例如图8所示。
如果现在构成类抽头的8×8量化DCT系数以光栅扫描顺序用从0的序列数进行表示,如图6所示,空域频段S0由4个量化DCT系数x0、x1、x8、x9构成,空域频段S1由12个量化DCT系数x2、x3、x4、x5、x6、x7、x10、x11、x12、x13、x14、x15构成,空域频段S2由12个量化DCT系数x16、x17、x24、x25、x32、x33、x40、x41、x48、x49、x56、x57构成,并且空域频段S3由36个量化DCT系数x18、x19、x20、x21、x22、x23、x26、x27、x28、x29、x30、x31、x34、x35、x36、x37、x38、x39、x42、x43、x44、x45、x46、x47、x50、x51、x52、x53、x54、x55、x58、x59、x60、x61、x62、x63构成。
而且,功率计算电路51计算空域频段S0到S3的量化DCT系数的AC分量的功率值P0、P1、P2和P3,以输出如此计算的P0、P1、P2和P3到类代码生成电路52。
也就是,功率计算电路51得到4个量化DCT系数x0、x1、x8、x9的AC分量x1、x8、x9的平方和值x1 2+x8 2+x9 2,以将结果平方和作为功率P0输出到类代码生成电路52。功率计算电路51还得到空域频段S1的12个量化DCT系数的AC分量的平方和(即全部12个量化DCT系数),以将结果平方和作为功率P1输出到类代码生成电路52。功率计算电路51,还如同如上所述的空域频段S1的情况,得到空域频段S2和S3的功率值P2和P3,以将结果功率值输出到类代码生成电路52。
类代码生成电路52将来自功率计算电路51的功率值P0、P1、P2和P3与存储在阀值存储单元53中的对应阀值TH0、TH1、TH2和TH3进行比较,以根据其大小关系输出类代码。也就是,类代码生成电路52将功率P0与阀值TH0进行比较,以产生表示大小关系的1位代码。采用类似的方式,类代码生成电路52将功率P1与阀值TH1、功率P2与阀值TH2、和功率P3与阀值TH3进行比较,以为每个功率-阀值组合产生一个1位代码。类代码生成电路52以例如预设顺序将如上所述获得的4个1位代码(从而为从0到15的任意值)作为表示感兴趣像素块的类的类代码输出。因此,在本实施例中,感兴趣的像素块划分为24=16个类。
阀值存储单元53存储阀值TH0到TH3,以将其与空域频段S0到S3的功率值P0到P3进行比较。
在上述情况下,量化DCT系数的DC分量x0没有用来分类。然而,DC分量x0也可以用来分类。
回到图5,如上所述由分类电路43输出的类代码作为地址提供给系数表存储单元44。
系数表存储单元44存储其中登记有通过学习处理获得的抽头系数的系数表,随后将对此进行说明,并且将在与由分类电路43输出的类代码相关联的地址中存储的抽头系数输出到乘积和电路45。
在本实施例中,由于对像素块进行分类,因此,为感兴趣的像素块获得一个类代码。另一方面,由于本实施例中的像素块由8×8=64个像素组成,因此对构成感兴趣像素块的64个像素进行解码需要64组抽头系数。因此,系数表存储单元44为对应于一个类代码的地址存储64组抽头系数。
乘积和电路45获得由预测抽头系数提取电路41输出的预测抽头和由系数表存储单元44输出的抽头系数,并且使用预测抽头和抽头系数执行方程(1)所示的线性预测处理(乘积和处理),以将感兴趣像素块的8×8像素的像素值作为对应DCT块的解码结果输出到解块电路33(图3)。
在预测抽头系数提取电路41中,感兴趣像素块的每个像素顺序变为感兴趣的像素。乘积和电路45然后执行与感兴趣像素块的当前感兴趣像素的像素位置相关联的操作模式下的操作。该操作模式在下面偶尔称作像素位置模式。
也就是,如果Pi表示以光栅扫描顺序的感兴趣像素块的像素的第i个像素,Pi为感兴趣像素,乘积和电路45执行像素位置模式#1的处理。
具体地说,系数表存储单元44输出64组抽头系数,以对构成感兴趣像素块的64个像素中的每个像素进行解码。如果Wi表示用于对像素pi进行解码的一组抽头系数,并且操作模式是像素位置模式#1,乘积和电路45使用预测抽头和64组抽头系数中的组Wi执行方程(1)的乘积和处理,并且使乘积和的结果为像素pi的解码结果。
参照图9的流程图,说明图5的系数转换电路32A的处理。
由熵解码电路31输出的基于块的DCT系数由预测抽头系数提取电路41和类抽头提取电路42进行顺序接收。预测抽头系数提取电路41顺序使与向其提供的量化DCT系数块(DCT块)对应的像素块成为感兴趣的像素块。
在步骤S11,类抽头提取电路42提取接收并且用来对感兴趣像素块进行分类的量化DCT系数,以形成类抽头,然后类抽头输出到分类电路43。
在步骤S12,使用来自类抽头提取电路42的类抽头,分类电路43对感兴趣的像素块进行分类,以将结果类代码输出到系数表存储单元44。
也就是,在图10流程图中的步骤S12,分类电路43的功率计算电路51(图7),首先在步骤S21,将构成类抽头的8×8量化DCT系数分裂为四个空域频段S0到S3,以计算各个功率值P0到P3。这些功率值P0到P3从功率计算电路51输出到类代码生成电路52。
类代码生成电路52在步骤S22读出阀值TH0到TH3,以将来自功率计算电路51的功率值P0到P3与阀值TH0到TH3进行比较,以根据大小关系生成类代码。然后执行程序返回。
回到图9,如上所述在步骤S12获得的类代码作为地址从分类电路43输出到系数表存储单元44。
一接收到作为地址的来自分类电路43的类代码,系数表存储单元44在步骤S13读出存储在地址中的64组抽头系数,以将如此读出的抽头系数输出到乘积和电路45。
程序然后移到步骤S14,其中,预测抽头系数提取电路41提取量化DCT系数,其用来预测以光栅扫描顺序尚未变为感兴趣像素的感兴趣像素块的感兴趣像素之像素值,以形成预测抽头。这些预测抽头从预测抽头系数提取电路41发送到乘积和电路45。
在本实施例中,由于逐像素块地为像素块的全部像素形成相同的预测抽头,因此如果仅为初始成为感兴趣像素的像素执行步骤S14的处理,就已足够,而没有必要对剩余63个像素执行处理。
在步骤S15,乘积和电路45从在步骤S13从系数表存储单元44输出的64组抽头系数中,获得与感兴趣像素的像素位置模式对应的一组抽头系数,并且使用该组抽头系数和从预测抽头系数提取电路41提供的预测抽头,乘积和电路45执行方程(1)所示的乘积和处理,以获得感兴趣像素的解码值。
程序然后移到步骤S16,其中,预测抽头系数提取电路41验证对于感兴趣像素块的像素是否已全部作为感兴趣像素执行处理。如果在步骤S16证实,对于感兴趣像素块的像素尚未全部作为感兴趣像素进行处理,程序返回到步骤S14,其中,预测抽头系数提取电路41将以光栅扫描顺序尚未变为感兴趣像素的感兴趣像素块的像素作为感兴趣像素重复类似的处理。
如果在步骤S16证实,对感兴趣像素块的全部像素已作为感兴趣像素执行处理,也就是,如果已获得感兴趣像素块的全部像素的解码值,乘积和电路45将由解码值构成的像素块(解码块)输出到解块电路33(图3),以完成处理。
其中,每次预测抽头系数提取电路41设置新的感兴趣像素块,重复执行遵循图9流程图的处理。
图11示出为要存储在图5系数表存储单元44中的抽头系数执行学习处理的学习设备60A的说明性结构。
分块电路61输入在学习时充当老师的作为老师数据的一个或多个学习图像数据的图像。分块电路61如同JPEG编码的情况,将作为老师数据的图像分块为每个由8×8像素组成的像素块。
DCT电路62顺序读出由分块电路61形成的像素块作为感兴趣的像素块,并且对感兴趣像素块应用DCT处理,以使感兴趣像素块变为DCT系数块。该DCT系数块发送到量化电路63。
量化电路63根据与在JPEG编码中使用的相同的量化表对来自DCT电路62的DCT系数块进行量化,并且顺序将结果量化DCT系数块(DCT块)发送到预测抽头系数提取电路64和类抽头提取电路65。
预测抽头系数提取电路64通过从量化电路63的输出提取所需量化DCT系数,为以光栅扫描顺序尚未变为感兴趣像素的感兴趣像素块的像素中的感兴趣像素形成与图5的预测抽头系数提取电路41形成的相同的预测抽头。这些预测抽头作为学习学生的学生数据从预测抽头系数提取电路64发送到正则方程求和电路67。
类抽头提取电路65通过从量化电路63的输出提取所需量化DCT系数,形成与图5的类抽头提取电路42形成的相同的类抽头。该类抽头从类抽头提取电路65发送到分类电路66。
使用来自类抽头提取电路65的类抽头,分类电路66执行与图5的分类电路43相同的处理,以对感兴趣像素块进行分类,将结果类代码发送到正则方程求和电路67。
正则方程求和电路67从预测抽头系数提取电路64读出作为老师数据的感兴趣像素的像素值,并且实现对作为学生数据形成预测抽头的量化DCT系数和感兴趣像素的求和处理。
也就是,正则方程求和电路67,对与从分类电路66提供的类代码对应的类逐个地使用预测抽头(学生数据),执行学生数据与学生数据的相乘(xinxim)与求和∑的计算,作为方程(8)的矩阵A的各个项。
正则方程求和电路67,对与从分类电路66提供的类代码对应的类逐个地使用预测抽头(学生数据)和感兴趣像素(老师数据),执行预测抽头(学生数据)和感兴趣像素(老师数据)的相乘(xinyi)与求和∑的计算,作为方程(8)的向量v的项。
为每个类对感兴趣像素的像素位置模式逐个地执行正则方程求和电路67中的前述求和。
正则方程求和电路67对构成提供给分块电路61的老师图像的全部像素作为感兴趣像素执行上述求和,从而为每个类的每个像素位置模式建立方程(8)所示的正则方程。
抽头系数确定电路68对在正则方程求和电路67中逐像素位置模式为每个类生成的正则方程进行求解,逐类地得到64组抽头系数,以将由此得到的抽头系数发送到与系数表存储单元69的各个类对应的地址。
根据所提供作为学习图像的图像数目,或图像内容,可能出现产生一个其中不能获得得到抽头系数所需的正则方程数目的类。对于这种类,抽头系数确定电路68输出例如缺省抽头系数。
系数表存储单元69存储从抽头系数确定电路68向其提供的,每个类的64组抽头系数。
现在参照图12的流程图,说明图11的学习设备60A的处理(学习处理)。
输入作为老师数据的学习图像数据的分块电路61,如同JPEG编码的情况,将作为老师数据的图像数据分块为8×8像素块。程序然后移到步骤S32,其中,DCT电路62顺序读出由分块电路61形成的像素块,并且对感兴趣的像素块应用DCT处理,以使该像素块变为DCT系数块。程序然后移到步骤S33,其中,量化电路63顺序读出JPEG编码所获得的DCT系数块,以形成每个由量化DCT系数构成的块(DCT块)。
程序然后移到步骤S34,其中,类抽头提取电路65将由分块电路61分块并且尚未变为感兴趣像素块的像素块变为感兴趣的像素块。类抽头提取电路65还从在量化电路63中获得的DCT块提取用来对感兴趣像素块进行分类的量化DCT系数,以形成发送到分类电路66的类抽头。如同参照图10流程图说明的情况,分类电路66在步骤S35,使用来自类抽头提取电路65的类抽头对感兴趣的像素块进行分类,并且将结果类代码发送到正则方程求和电路67。程序然后移到步骤S36。
在步骤S36,预测抽头系数提取电路64以光栅扫描顺序将尚未变为感兴趣像素的感兴趣像素块的像素变为感兴趣的像素,并且从量化电路63的输出提取所需量化DCT系数,以形成与由图5的预测抽头系数提取电路41形成的相同的预测抽头。预测抽头系数提取电路64将感兴趣像素的预测抽头作为学生数据发送到正则方程求和电路67。程序然后移到步骤S37。
在步骤S37,正则方程求和电路67从分块电路61读出作为老师数据的感兴趣像素,并且对形成作为学生数据的预测抽头的量化DCT系数和作为老师数据的感兴趣像素执行如上所述的方程(8)的矩阵A和向量v的求和处理。为与来自分类电路66的类代码对应的每个类对感兴趣像素的每个像素位置模式执行该求和。
程序然后移到步骤S38,其中,预测抽头系数提取电路64验证是否感兴趣像素块的全部像素已作为感兴趣像素完成求和。如果感兴趣像素块的全部像素尚未作为感兴趣像素完成求和,程序然后移到步骤S36,其中,预测抽头系数提取电路64以光栅扫描顺序使尚未变为感兴趣像素的感兴趣像素块的像素成为新的感兴趣像素。重复上述处理。
如果在步骤S38证实感兴趣像素块的全部像素已作为感兴趣像素完成求和,程序然后移到步骤S39,其中,分块电路61验证是否从作为老师数据的图像获得的全部像素块已作为感兴趣像素块完成处理。如果在步骤S39证实从作为老师数据的图像获得的像素块尚未全部作为感兴趣像素块完成处理,程序回到步骤S34,其中,使由分块电路61形成并且尚未变为感兴趣像素块的像素块变为新的感兴趣像素块。然后,重复执行类似处理。
如果在步骤S39证实,从作为老师数据的图像获得的全部像素块已作为感兴趣像素块完成处理,也就是,如果为每个类在正则方程求和电路67中已获得每个像素位置模式的正则方程,程序然后移到步骤S40,其中,抽头系数确定电路68对为每个类的像素位置模式逐个生成的正则方程进行求解,得到每个类的各个64个像素位置模式中的每个模式的64组抽头系数,以将由此得到的抽头系数发送到系数表存储单元69的每个类的地址,以在其中进行存储。然后程序结束。
如上所述,存储在系数表存储单元69中的各个类的抽头系数存储在图5的系数表存储单元44中。
因此,通过实现学习已获得存储在系数表存储单元44中的抽头系数,从而通过线性预测计算获得的原始像素值的预测值的预测误差(在此为平方差)将在统计上最小。结果是通过图5的系数转换电路32A,JPEG编码图像可以解码为无限近似于原始图像的图像。
而且,由于同时执行对JPEG编码图像进行解码的处理和用于改善图像质量的处理,因此从JPEG编码图像可以有效产生高质量的解码图像。
图13示出图3的系数转换电路32的另一说明性结构。其中,用相同的参考号描述类似于图5所示的部件或组件。也就是,图13所示的系数转换电路32B除了新提供逆量化电路71之外,基本上类似于图5所示的电路进行构造。
在图13所示的系数转换电路32B中,逆量化电路71输入通过在熵解码电路31(图3)中对编码数据进行熵解码获得的基于块的量化DCT系数。
其中,在熵解码电路31中,从编码数据不仅获得量化DCT系数,而且获得量化表。在图13的熵解码电路31中,该量化表从熵解码电路31提供到逆量化电路71。
逆量化电路71对来自熵解码电路31的量化DCT系数进行逆量化,以将结果DCT系数发送到预测抽头系数提取电路41和类抽头提取电路42。
因此,在预测抽头系数提取电路41和类抽头提取电路42中,对DCT系数,而不是量化DCT系数形成预测抽头和类抽头。随后对DCT系数执行类似于图5所示的处理。
因此,图13的系数转换电路32B不是对量化DCT系数而是对DCT系数执行处理,从而,存储在系数表存储单元44中的抽头系数不同于图5所示的抽头系数是必要的。
图14示出适用于学习存储在图13的系数表存储单元44中的抽头系数的学习设备60B的另一说明性结构。用相同的参考号表示与图11所示对应的图14的部件或组件,并且为简洁起见,有时省略对应的说明。也就是,图14所示的学习设备60B除了在量化电路63的后面新提供逆量化电路81之外,基本上类似于图11所示的电路进行构造。
在图14所示的学习设备60B中,类似于图13的逆量化电路71,逆量化电路81对由量化电路63输出的量化DCT系数进行逆量化。结果DCT系数发送到预测抽头系数提取电路64和类抽头提取电路65中。
因此,在预测抽头系数提取电路64和类抽头提取电路65中,对DCT系数,而不是量化DCT系数形成预测抽头和类抽头。随后对DCT系数执行类似于图11所示的处理。
结果是,产生减小由于DCT系数的量化和逆量化导致的量化误差效果的抽头系数。
图15示出图3的系数转换电路32的变型说明性结构。用相同的参考号表示与图5所示对应的图15的部件或组件,并且为简洁起见,有时省略对应的说明。也就是,图15所示的系数转换电路32C除了缺少类抽头提取电路42和分类电路43之外,基本上类似于图5所示的电路进行构造。
因此,图15所示的系数转换电路32C缺少类的概念,也可以说,相当于类的数目为1。因此,只有一个类的抽头系数存储在系数表存储单元44中,从而使用该一个类的抽头系数执行处理。
也就是,在图15的系数转换电路32C中,存储在系数表存储单元44中的抽头系数不同于图5所示的抽头系数。
图16示出适用于学习要存储在图15的系数表存储单元44中的抽头系数的学习设备60C的说明性结构。其中,用相同的参考号表示与图11所示对应的图16的部件或组件,并且为简洁起见,有时省略对应的说明。也就是,图16所示的学习设备60C除了缺少类抽头提取电路65和分类电路66之外,基本上类似于图11所示的电路进行构造。
因此,在图16的学习设备60C中,不依赖于类,在正则方程求和电路67中执行上述求和。抽头系数确定电路68对逐像素位置模式生成的正则方程进行求解,以得到抽头系数。
图17示出图3系数转换电路32的另一说明性结构。其中,用相同的参考号表示与图5或13所示对应的图17的部件或组件,并且为简洁起见,有时省略对应的说明。也就是,图17所示的系数转换电路32D除了缺少类抽头提取电路42和分类电路43,并且新提供逆量化电路71之外,基本上类似于图5所示的电路进行构造。
因此,类似于图15的系数转换电路32C,图17的系数转换电路32D只存储一个类的类系数,并且使用这些一个类的抽头系数执行处理。
而且,在图17的系数转换电路32D中,如同在图13的系数转换电路32B中,不是对量化DCT系数,而是对由逆量化电路71输出的DCT系数形成预测抽头。随后,对DCT系数执行进一步的处理。
因此,在图17所示的系数转换电路32D中,存储在系数表存储单元44中的抽头系数不同于图5所示的抽头系数。
因此,图18示出执行要存储在图17的系数表存储单元44中的抽头系数的学习处理的学习设备60D的说明性结构。其中,用相同的参考号表示与图11或图14所示对应的图18的部件或组件,并且为简洁起见,有时省略对应的说明。也就是,图18所示的学习设备60C除了缺少类抽头提取电路65和分类电路66,并且新提供逆量化电路81之外,基本上类似于图18所示的学习设备进行构造。
因此,在图18所示的学习设备60D中,在预测抽头系数提取电路64中对DCT系数而不是量化DCT系数形成预测抽头。随后,对DCT系数执行进一步的处理。而且,正则方程求和电路67不依赖于类,执行前述求和。从而抽头系数确定电路68对不依赖于类生成的正则方程进行求解,以得到抽头系数。
虽然前面描述是结合通过设计用于对静止图像进行压缩编码的JPEG编码产生的图像进行的,处理例如通过MPEG编码获得的图像也是可能的。
也就是,图19示出当执行MPEG编码时,编码器21的说明性结构。
在图19所示的编码器21中,构成要用MPEG编码的运动图像的帧或域顺序发送到运动检测电路91和计算单元92。
运动检测电路91根据宏块检测向其提供的帧的运动向量,以将所检测的运动向量发送到熵编码电路96和运动补偿电路100。
如果向计算单元92提供的图像是I-图像(intra-picture,内图像),计算单元92根据宏块直接将它发送到分块电路93。如果向计算单元92提供的图像是P-图像(predictive coded picture,预测编码图像)或B-图像(bidirectionally predicted picture,双向预测图像),计算单元92计算与从运动补偿电路100提供的基准图像的差,以将差值发送到分块电路93。
分块电路93将计算单元92的输出分块为向DCT电路94提供的8×8像素。DCT电路94对来自分块电路93的像素块应用DCT处理,以将结果DCT系数发送到量化电路95。量化电路95以预设量化步长对作为结果的基于块的DCT系数进行量化,以将结果量化DCT系数发送到熵编码电路96。熵编码电路96对来自量化电路95的量化DCT系数进行熵编码,以添加来自运动检测电路91的运动向量和其他类似所需信息,以输出作为MPEG编码数据的结果编码数据。
对于由量化电路95输出的量化DCT系数,I-图像和P-图像需要进行局部解码,以用作随后的编码P-图像和B-图像的基准图像。因此,这些图像不仅发送到熵编码电路96,而且发送到逆量化电路97。
逆量化电路97将来自量化电路95的量化DCT系数逆量化为发送到反向DCT电路98的DCT系数。反向DCT电路98对来自逆量化电路97的DCT系数应用反向DCT,以输出结果到计算单元99。该计算单元99不仅输入反向DCT电路98的输出,而且输入由运动补偿电路100输出的基准图像。如果反向DCT电路98的输出为P-图像,计算单元99将该输出加到运动补偿电路100的输出,以对提供给运动补偿电路100的原始图像进行解码。如果反向DCT电路98的输出为I-图像,输出为解码I-图像,它直接提供给运动补偿电路100。
运动补偿电路100根据来自运动检测电路91的运动向量对从计算单元99提供的局部解码图像进行运动补偿,以将经过运动补偿的图像作为基准图像发送到计算单元92和计算单元99。
图20示出用于对通过上述MPEG编码获得的编码数据进行解码的MPEG解码器110的说明性结构。
在该MPEG解码器110中,编码数据发送到熵解码电路111。该熵解码电路111对编码数据进行熵解码,以产生量化DCT系数、运动向量和其他信息。量化DCT系数发送到逆量化电路112,而运动向量发送到运动补偿电路116。
逆量化电路112对来自熵解码电路111的量化DCT系数进行逆量化,以形成向反向DCT电路113提供的DCT系数。
反向DCT电路113对来自逆量化电路112的量化DCT系数应用反向DCT,然后将其发送到计算单元114。计算单元114不仅输入反向DCT电路113的输出,而且输入作为基准图像的运动补偿电路116的输出,它是用来自熵解码电路111的运动向量补偿过的已经经过解码的I-图像或P-图像。如果反向DCT电路113的输出为P-图像或B-图像,计算单元114将该输出加到运动补偿电路100的输出,以对发送到解块电路115的原始图像进行解码。如果反向DCT电路113的输出为I-图像,输出为解码I-图像,它直接发送到解块电路115。
解块电路115根据像素块对向其提供的解码图像进行解块,以产生并输出解码图像。
另一方面,运动补偿电路116在从计算单元114输出的解码图像中接收I-图像和P-图像,以根据来自熵解码电路111的运动向量用运动补偿处理这些图像。运动补偿电路116将经过运动补偿的图像作为基准图像发送到计算单元114。
图3的解码器22能够将MPEG编码数据有效地解码为高图像质量的图像。
也就是,编码数据发送到熵解码电路31,然后熵解码电路31对编码数据进行熵解码。通过该熵解码获得的量化DCT系数、运动向量和其他信息从熵解码电路31发送到系数转换电路32。
使用来自熵解码电路31的量化DCT系数Q和通过学习得到的抽头系数,系数转换电路32执行预设预测计算,同时它根据来自熵解码电路31的运动向量执行运动补偿,以将量化DCT系数解码为发送到解块电路33的原始像素值。
解块电路33对来自系数转换电路32的解码像素的像素块进行解块,以产生并输出解码图像。
图21示出在用解码器22对MPEG编码数据进行解码的情况下,系数转换电路32的说明性结构。其中,用相同的参考号表示与图17或20所示对应的部件或组件,并且不作具体说明。也就是,图21所示的系数转换电路32E除了如图20所示在乘积和电路45的下游提供有计算单元114和运动补偿电路116之外,基本上类似于图17进行构造。
因此,在图21所示的系数转换电路32E中,代替图20所示的反向DCT电路113的反向DCT处理,执行采用抽头系数的预测计算。随后,采用如同图20的方式,获得解码图像。
图22示出适用于学习要存储在图21的系数表存储单元44中的抽头系数的学习设备60E的说明性结构。其中,用相同的参考号表示与图18所示对应的部件或组件,并且不作具体说明。
在图22所示的学习设备60E中,运动向量检测电路121和计算单元122输入作为老师数据的学习图像。运动检测电路121、计算单元122、分块电路123、DCT电路124、量化电路125、逆量化电路127、反向DCT电路128、计算单元129或运动补偿电路130分别执行类似于由图19的运动检测电路91、计算单元92、分块电路93、DCT电路94、量化电路95、逆量化电路97、反向DCT电路98、计算单元99或运动补偿电路100执行的处理,从而类似于由图19的量化电路95输出的量化DCT系数从量化电路125输出。
由量化电路125输出的量化DCT系数,发送到逆量化电路81,然后逆量化电路81将来自量化电路125的量化DCT系数逆量化为提供给预测抽头系数提取电路64的DCT系数。该预测抽头系数提取电路64从来自逆量化电路81的DCT系数形成预测抽头,以将结果预测抽头发送到正则方程求和电路67。
正则方程求和电路67对作为老师数据的计算单元122的输出和作为学生数据的来自逆量化电路81的预测抽头执行前述求和,以生成正则方程。
抽头系数确定电路68对由正则方程求和电路67生成的正则方程进行求解,以得到抽头系数,然后这些抽头系数发送并存储在系数表存储单元69中。
由于使用由此得到的抽头系数对MPEG编码数据进行解码,在乘积和电路45中,可以同时执行对MPEG编码数据的解码和用于改善图像质量的处理,从而可以从MPEG编码数据获得高图像质量的解码图像。
其中,可以不采用逆量化电路71形成系数转换电路32E。在这种情况下,可以不提供逆量化电路81形成学习设备60E。
也可以如同图5所示的情况,使用类抽头提取电路42和分类电路43设计图21的系数转换电路32E。在这种情况下,如同图11的情况,学习设备60E可以设计为带类抽头提取电路65和分类电路66。
根据本发明,如上所述,其中,随同所转换的数据一起获得并使用通过学习得到的抽头系数,执行预设计算以将所转换的数据解码为原始数据,可以有效地对所转换的数据进行解码。
而且,根据本发明,其中,作为老师的老师数据至少进行正交变换或变换到频域,以生成作为学生的学生数据,并且其中,为了得到抽头系数,执行学习,以在统计上最小化通过使用抽头系数和学生数据的预测计算获得的老师数据的预测值的预测误差,经过正交或频率变换的数据可以使用这些抽头系数进行有效的解码。
下面对本发明的一个变型实施例进行说明。
在现在说明的变型中,如图23所示,由熵解码电路231、系数解码电路232和解块电路233组成的解码器222用作图2所示的解码器22,以对编码数据进行解码。
编码数据输入到熵解码电路231,然后熵解码电路231对编码数据进行熵解码,以将基于块的量化DCT系数Q发送到系数解码电路232。其中,虽然不仅熵编码量化DCT系数,而且量化表包含在编码数据中,但是该量化表在必要时可以用于对量化DCT系数进行解码。
使用来自熵解码电路231的量化DCT系数Q和通过学习得到的抽头系数,系数解码电路232执行预设预测计算,以获得对应于解码为原始8×8像素块的基于块的量化DCT系数,并且用改善原始块的图像质量的方式进行过处理的数据。也就是,虽然原始块由8×8像素构成,系数转换电路232产生由16×16像素组成的块,加倍8×8像素的水平和垂直空域分辨率,作为采用抽头系数的预测计算结果。在此,系数解码电路232将由8×8量化DCT系数组成的块解码为由16×16像素组成的块,并且输出后面的块。
解块电路233对在系数解码电路232中获得的16×16像素块进行解块,以改善空域分辨率,输出结果解码图像。
参照图25的流程图,说明图23解码器222的处理。
编码数据顺序提供给熵解码电路231。在步骤S101,熵解码电路231对编码数据进行熵解码,并且将基于块的量化DCT系数Q发送到系数解码电路232,在步骤102,系数解码电路使用抽头系数和执行预测计算,以生成高分辨率的块,它经过对来自熵解码电路231的基于块的量化DCT系数Q进行解码,并且块空域分辨率被改变。由此产生的高分辨率块发送到解块电路233。解块电路233在步骤S103执行对来自系数解码电路232的经过改善空域分辨率的块的解块,以输出结果高分辨率编码图像,来结束处理。
图23的系数解码电路232采用上述分类自适应处理,将量化的DCT系数解码为像素值,以产生经过空域分辨率改善的图像。
图26示出适用于将量化DCT系数解码为像素值的图23的系数解码电路232的说明性结构。
在图26所示的系数解码电路232A中,由熵解码电路231(图23)输出的基于块的量化DCT系数发送到基于块的预测抽头提取电路241和类抽头提取电路242。
预测抽头提取电路241将与向其提供的8×8量化DCT系数块(下面偶尔称作DCT块)对应的高图像质量的像素值块顺序设置为感兴趣的高图像质量块。这些高图像质量的像素值块在本阶段没有出现,但事实上是预先假定的,并且在下面偶尔称作高图像质量块。而且构成感兴趣高图像质量块的像素以光栅扫描顺序依次变为感兴趣的像素。总言之,预测抽头提取电路241提取用来预测感兴趣像素的像素值的量化DCT系数,以用作预测抽头。
也就是,预测抽头提取电路241提取与感兴趣的像素所属的高图像质量块对应的DCT块的全部量化DCT系数,即8×8=64个量化DCT系数,作为预测抽头,如图6所示。因此,在本实施例中,为特定高图像质量块的所有像素形成相同的预测抽头。作为替换,还可以对感兴趣的像素逐个地用不同的量化DCT系数形成预测抽头。
在预测抽头提取电路241中获得的,构成高图像质量块的各个像素的预测抽头,即对应于16×16=256像素集的每个像素的256组预测抽头,发送到乘积和电路45。然而,由于为一个高图像质量块的所有像素形成相同的预测抽头,因此如果对一个高图像质量块将一组预测抽头提供给乘积和电路245,实际上是足够的。
类抽头提取电路242提取用于将感兴趣的像素划分为多个类中的一个的量化DCT系数,以用作类抽头。
在JPEG编码时,对8×8像素块逐个地对图像进行编码,即DCT和量化。该8×8像素块在下面偶尔称作像素块。因此改善到高图像质量的,属于对应于像素块的高图像质量块的像素例如划分为同一类。也就是,类似于预测抽头提取电路241,类抽头提取电路242提取图6所示的与感兴趣的像素所属的高图像质量块对应的DCT块的全部8×8量化DCT系数,作为类抽头。
注意,将属于一个高图像质量块的各个像素分配为同一类相当于对像素块进行分类。因此,如果类抽头提取电路242不是形成用于对构成感兴趣的高图像质量像素块的16×16=256个像素中的每个进行分类的256组类抽头,而是形成用于对感兴趣的高图像质量像素块进行分类的一组类抽头,是足够的。因此,为了逐个高图像质量像素块地对高图像质量像素块进行分类,类抽头提取电路242提取与高图像质量像素块相关联的DCT块的64个量化DCT系数,用作类抽头。
其中,形成预测抽头或类抽头的量化DCT系数不限于这些上述模式。
在类抽头提取电路242中获得的感兴趣高图像质量像素块的类抽头提供给分类电路243。分类电路根据来自类抽头提取电路242的类抽头对感兴趣的高图像质量像素块进行分类,以输出与如此获得的类对应的类代码。
例如,可以使用ADRC作为分类方法。使用采用ADRC的方法,形成类抽头的量化DCT系数用ADRC进行处理。根据结果ADRC码确定感兴趣像素块的类。
其中,在本实施例中,分类电路243从形成类抽头的量化DCT系数提取高关键度的特征值,并且根据这些特征值进行分类,以减少类的数目。
图27示出图26的分类电路243的说明性结构。
类抽头适用于提供给功率计算电路251。功率计算电路251将形成类抽头的量化DCT系数分裂为多个空域频段,并且计算各个频段的功率值。
也就是,功率计算电路51将形成类抽头的8×8量化DCT系数分裂为四个空域频段S0、S1、S2和S3,例如图6所示。空域频段S0由4个量化DCT系数x0、x1、x8、x9构成,空域频段S1由12个量化DCT系数x2、x3、x4、x5、x6、x7、x10、x11、x12、x13、x14、x15构成,空域频段S2由12个量化DCT系数x16、x17、x24、x25、x32、x33、x40、x41、x48、x49、x56、x57构成,并且空域频段S3由36个量化DCT系数x18、x19、x20、x21、x22、x23、x26、x27、x28、x29、x30、x31、x34、x35、x36、x37、x38、x39、x42、x43、x44、x45、x46、x47、x50、x51、x52、x52、x54、x55、x58、x59、x60、x61、x62、x63构成。
而且,功率计算电路251为空域频段S0到S3中的每个频段计算量化DCT系数的AC分量的功率值P0、P1、P2和P3,以将如此计算的P0、P1、P2和P3输出到类代码生成电路252。
也就是,功率计算电路251得到4个量化DCT系数x0、x1、x8、x9的AC分量x1、x8、x9的平方和值x1 2+x8 2+x9 2,以将该结果平方和作为功率P0输出到类代码生成电路252。功率计算电路251还得到空域频段S1的12个量化DCT系数的AC分量的平方和(即全部12个量化DCT系数),以将该结果平方和作为功率P1输出到类代码生成电路252。功率计算电路251,还如同如上所述的空域频段S1的情况,分别得到空域频段S2和S3的功率值P2和P3,以将结果功率值输出到类代码生成电路252。
类代码生成电路252将来自功率计算电路251的功率值P0、P1、P2和P3与存储在阀值存储单元253中的对应阀值TH0、TH1、TH2和TH3进行比较,以根据其大小关系输出类代码。也就是,类代码生成电路252将功率P0与阀值TH0进行比较,以产生表示大小关系的1位代码。采用类似的方式,类代码生成电路252将功率P0与阀值TH0进行比较,以产生表示其大小关系的1位代码。同样地,类代码生成电路252将功率P1与阀值TH1、功率P2与阀值TH2、和功率P3与阀值TH3进行比较,以为每个功率-阀值组合产生一个1位代码。类代码生成电路252以例如预设顺序将如上所述获得的4个1位代码(从而为从0到15的任意值)作为表示感兴趣像素块的类的类代码。因此,在本实施例中,感兴趣的像素块划分为24=16个类。
阀值存储单元253存储阀值TH0到TH3,以将其与空域频段S0到S3的功率值P0到P3进行比较。
回到图26,如上所述由分类电路243输出的类代码作为地址提供给系数表存储单元244。
系数表存储单元44存储其中登记有通过学习处理(随后将对此进行说明)获得的抽头系数的系数表,并且将与由分类电路243输出的类代码相关联的地址中存储的抽头系数输出到乘积和电路245。
在本实施例中,为感兴趣的像素块获得一个类代码。另一方面,由于本实施例中的高图像质量像素块由16×16=256个像素组成,因此对构成感兴趣像素块的256个像素进行解码需要256组抽头系数。因此,系数表存储单元244为对应于一个类代码的地址存储256组抽头系数。
乘积和电路245获得由预测抽头系数提取电路241输出的预测抽头和由系数表存储单元244输出的抽头系数,并且使用预测抽头和抽头系数执行方程(1)所示的线性预测处理(乘积和处理),以将感兴趣像素块的16×16像素的像素值的预测值作为对应DCT块的解码结果输出到解块电路233(图23)。
在预测抽头系数提取电路241中,感兴趣像素块的每个像素顺序变为感兴趣的像素。乘积和电路245然后执行与感兴趣像素块的当前感兴趣像素的像素位置相关联的操作模式下的处理。该操作模式在下面偶尔称作像素位置模式。
也就是,如果Pi表示以光栅扫描顺序的感兴趣像素块的像素的第i个像素,像素Pi为感兴趣像素,乘积和电路245执行像素位置模式#1的处理。
具体地说,系数表存储单元244输出256组抽头系数,以对构成感兴趣像素块的256个像素中的每个像素进行解码。如果Wi表示用于对像素pi进行解码的一组抽头系数,并且操作模式是像素位置模式#1,乘积和电路245使用预测抽头和64组抽头系数中的Wi组执行方程(1)的乘积和处理,并且使乘积和的结果为像素pi的解码结果。
参照图28的流程图,说明图28的系数转换电路232A的处理。
由熵解码电路231(图23)输出的基于块的DCT系数由预测抽头系数提取电路241和类抽头提取电路242进行顺序接收。预测抽头系数提取电路241顺序使与向其提供的量化DCT系数块(DCT块)对应的像素块成为感兴趣的像素块。
在步骤S111,类抽头提取电路242提取接收并且用来对感兴趣像素块进行分类的量化DCT系数,以形成类抽头,然后类抽头输出到分类电路243。
在步骤S112,使用来自类抽头提取电路242的类抽头,分类电路243对感兴趣的高图像质量像素块进行分类,以将结果类代码输出到系数表存储单元244。
也就是,在图29流程图中的步骤S112,分类电路243的功率计算电路251(图27),首先在步骤S121,将构成类抽头的8×8量化DCT系数分裂为四个空域频段S0到S3,以计算各个功率值P0到P3。这些功率值P0到P3从功率计算电路251输出到类代码生成电路252。
类代码生成电路252在步骤S122从功率计算电路251读出阀值TH0到TH3,以将来自功率计算电路251的功率值P0到P3与阀值TH0到TH3进行比较,以根据各个大小关系生成类代码。然后执行程序返回。
回到图28,如上所述在步骤S112获得的类代码作为地址从分类电路243输出到系数表存储单元244。
一接收到作为地址的来自分类电路243的类代码,系数表存储单元244在步骤S113读出存储在地址中的256组抽头系数(与类代码的类对应的256组抽头系数),以将如此读出的抽头系数输出到乘积和电路245。
程序然后移到步骤S114,其中,预测抽头系数提取电路241以光栅扫描顺序使尚未变为感兴趣像素的感兴趣像素块的像素变为感兴趣像素,提取用来预测感兴趣像素的像素值的量化DCT系数,以形成预测抽头。这些预测抽头从预测抽头系数提取电路241发送到乘积和电路245。
在本实施例中,由于逐高图像质量像素块地为高图像质量像素块的全部像素形成相同的预测抽头,因此如果仅为初始变为感兴趣像素的像素执行步骤S14的处理,就已足够,而没有必要对剩余255个像素执行处理。
在步骤S115,乘积和电路245从在步骤S113从系数表存储单元244输出的256组抽头系数中,获得与感兴趣像素的像素位置模式对应的一组抽头系数,并且使用该组抽头系数和从预测抽头系数提取电路241提供的预测抽头,乘积和电路245执行方程(1)所示的乘积和处理,以获得感兴趣像素的解码值。
程序然后移到步骤S116,其中,预测抽头系数提取电路241验证对于感兴趣高图像质量像素块的像素是否已全部作为感兴趣像素执行处理。如果在步骤S116证实,对于感兴趣高图像质量像素块的像素尚未全部作为感兴趣像素执行处理,程序返回到步骤S114,其中,预测抽头系数提取电路241将以光栅扫描顺序尚未变为感兴趣像素的感兴趣高质量像素块的感兴趣像素之像素值作为感兴趣像素重复类似的处理。
如果在步骤S116证实,对于感兴趣高图像质量像素块的全部像素已作为感兴趣像素进行处理,也就是,如果已获得感兴趣高图像质量像素块的全部像素的解码值,即解码为8×8像素,然后通过改善图像质量变为16×16像素的8×8量化DCT系数,乘积和电路245将由解码值构成的高图像质量块输出到解块电路233(图23),以完成处理。
其中,每次预测抽头系数提取电路241设置新的感兴趣高图像质量像素块,重复执行遵循图28流程图的处理。
图30示出为存储在图26的系数表存储单元244中的抽头系数执行学习处理的学习设备270A的说明性结构。
在学习设备270A中,抽取电路260输入一个或多个学习图像数据的图像,作为学习时成为老师的老师数据。抽取电路260通过由图26系数解码电路232A中的乘积和电路245执行的乘积和处理,处理用于改善作为老师数据的图像的图像质量的,作为老师数据的图像。由于该处理在水平和垂直方向上,将8×8像素的空域分辨率转换为16×16像素,双倍化8×8像素的空域分辨率,因此抽取电路260抽取作为老师数据的图像数据的像素,使水平和垂直像素的数目减为一半。该图像数据在下面偶尔称作准老师数据。
作为准老师数据的图像数据具有与要在编码器21(图2)中用JPEG编码进行编码的图像数据相同的图像质量(分辨率)。例如,如果要进行JPEG编码的图像为SD(standard resolution,标准分辨率)图像,使用水平和垂直像素为SD图像的两倍的高密度(high density,HD)图像,作为老师数据的图像,是必要的。
分块电路261如同JPEG编码的情况,将SD图像,作为由抽取电路260生成的,一个或多个准老师数据的图像,分块为8×8像素块。
DCT电路262顺序读出由分块电路261分块的像素块,并且对像素块应用DCT,以形成DCT系数块。该DCT系数块发送到量化电路263。
量化电路263根据与用作在编码器21(图2)中进行JPEG编码的相同的量化表对来自DCT电路262的DCT系数块进行量化,并且顺序将结果量化DCT系数块(DCT块)发送到预测抽头系数提取电路264和类抽头提取电路265。
预测抽头系数提取电路264通过从量化电路263的输出提取所需量化DCT系数,为构成由正则方程求和电路267保留为感兴趣高图像质量块的高图像质量块的16×16像素中作为当前感兴趣像素的像素,形成与由图26的预测抽头系数提取电路241形成的相同的预测抽头。这些预测抽头作为学习时成为学生的学生数据从预测抽头系数提取电路264发送到正则方程求和电路267。
类抽头提取电路265通过从量化电路263的输出提取所需量化DCT系数,为感兴趣的高图像质量块形成与由图26的类抽头提取电路242形成的相同的类抽头。这些类抽头从类抽头提取电路265发送到分类电路266。
分类电路266使用来自类抽头提取电路265的类抽头,执行与分类电路243相同的处理,以将感兴趣高图像质量块进行分类,将结果类代码发送到正则方程求和电路267。
正则方程求和电路267输入与作为老师数据提供给抽取电路260的相同的HD图像。正则方程求和电路267将HD图像分块为顺序变为感兴趣高图像质量块的16×16像素高图像质量块。正则方程求和电路267顺序将尚未变为感兴趣像素的,形成感兴趣高图像质量块的16×16像素中的像素,设置为感兴趣像素,并且对感兴趣像素的像素值和形成来自预测抽头系数提取电路264的预测抽头的量化DCT系数执行求和。
也就是,正则方程求和电路267,对与从分类电路266提供的类代码对应的类逐个地使用预测抽头(学生数据),执行学生数据的相乘(xinxim)与求和∑的计算,作为方程(8)的矩阵A的各个项。
正则方程求和电路267,对与从分类电路266提供的类代码对应的类逐个地使用预测抽头(学生数据)和感兴趣像素(老师数据),执行预测抽头(学生数据)和感兴趣像素(老师数据)的相乘(xinyi)与求和∑的计算,作为方程(8)的向量v的项。
为每个类对感兴趣像素的像素位置模式逐个地执行正则方程求和电路267中的前述求和。
正则方程求和电路267对构成向其提供的老师数据的全部像素作为感兴趣像素执行上述求和,从而为每个类的每个像素位置模式建立方程(8)所示的正则方程。
抽头系数确定电路268对在正则方程求和电路67中逐像素位置模式为每个类生成的正则方程进行求解,逐类地得到256组抽头系数,以将由此得到的抽头系数发送到与系数表存储单元269的各个类对应的地址。
根据所提供作为学习图像的图像数目,或图像内容,可能出现产生一个其中不能实现得到抽头系数所需的正则方程数目的类。对于这种类,抽头系数确定电路268输出例如缺省抽头系数。
系数表存储单元269存储从抽头系数确定电路268向其提供的,每个类的256组抽头系数。
现在参照图31的流程图,说明图30的学习设备270A的处理(学习处理)。
学习设备270A的抽取电路260输入用作学习图像数据的HD图像,作为老师数据。抽取电路260在步骤S130抽取作为老师数据的HD图像的像素,以生成水平方向和垂直方向上的像素数目均减半的SD图像。
分块电路261在步骤S131,如同由编码器21(图2)进行JPEG编码的情况,将在抽取电路260获得的作为准老师数据的SD图像分块为8×8像素的像素块。程序然后移到步骤S132。在步骤S132,DCT电路262顺序读出由分块电路261形成的像素块,并且根据与用作在编码器21中进行JPEG编码的相同的量化表对如此读出的块进行量化,以形成每个由量化DCT系数构成的块(DCT块)。
另一方面,正则方程求和电路267输入作为老师数据的HD图像。正则方程求和电路267将HD图像分块为16×16像素的高图像质量块。在步骤S134,将那些尚未变为感兴趣高图像质量块的那些高图像质量块变为感兴趣高图像质量块。在步骤S134,类抽头提取电路265从在量化电路263中获得的DCT块提取用来对由分块电路261形成的像素块中的感兴趣高图像质量块进行分类的那些量化DCT系数,以形成类抽头,然后这些类抽头发送到分类电路266。如同参照图29流程图说明的情况,分类电路266在步骤S135,使用来自类抽头提取电路265的类抽头对感兴趣的高图像质量块进行分类,以将结果类代码发送到正则方程求和电路267。程序然后移到步骤S136。
在步骤S136,正则方程求和电路267以光栅扫描顺序将尚未变为感兴趣像素的感兴趣高图像质量块的像素变为感兴趣的像素。对于这些感兴趣像素,预测抽头系数提取电路264通过从量化电路263的输出提取必要的量化DCT系数,形成与由图26预测抽头系数提取电路241形成的相同的预测抽头。预测抽头系数提取电路264将感兴趣像素的预测抽头作为学生数据发送到正则方程求和电路267。程序然后移到步骤S137。
在步骤S137,正则方程求和电路267对作为老师数据的感兴趣像素和作为学生数据的预测抽头(或形成预测抽头的量化DCT系数)实现如上所述的方程(8)的矩阵A和向量v的求和。其中,为与来自分类电路266的类代码对应的每个类并且为感兴趣像素的每个像素位置模式执行该求和。
程序然后移到步骤S138,其中,正则方程求和电路267检查是否感兴趣高图像质量块的所有像素已作为感兴趣像素完成求和。如果在步骤S138证实,感兴趣高图像质量块的所有像素尚未作为感兴趣像素完成求和,程序返回到步骤S136,其中,正则方程求和电路267使尚未变为感兴趣像素的感兴趣高图像质量块的像素成为感兴趣像素。随后,重复类似的操作序列。
如果在步骤S138证实,感兴趣高图像质量块的所有像素已作为感兴趣像素完成求和,程序移到步骤S139,其中,正则方程求和电路267验证是否从作为老师数据的图像获得的全部高图像质量块已作为感兴趣高图像质量块进行处理。如果在步骤S139证实,从作为老师数据的图像获得的高图像质量块尚未全部作为感兴趣高图像质量块进行处理,程序返回到步骤S134,其中,使尚未变为感兴趣高图像质量块的高图像质量块变为新的感兴趣高图像质量块。随后,重复类似的操作序列。
如果在步骤S139证实,从作为老师数据的图像获得的全部高图像质量块已作为感兴趣高图像质量块进行处理,也就是,如果为每个类已获得每个像素位置模式的正则方程,程序移到步骤S140,其中,抽头系数确定电路268对为每个类的像素位置模式逐个生成的正则方程进行求解,得到与当前类的256个像素位置模式对应的256组抽头系数,以将由此得到的抽头系数发送到与系数表存储单元269的各个类对应的地址,以在其中进行存储。然后处理结束。
存储在系数表存储单元269中的基于类的抽头系数存储在图26的系数表存储单元244中。
因此,通过学习已得到存储在系数表存储单元244中的抽头系数,从而通过线性预测计算获得的原始像素值的预测值的预测误差(在此为平方差)将在统计上最小。结果是通过图26的系数转换电路232A,JPEG编码图像可以解码为无限近似于使用作为老师数据的JPEG编码图像的HD图像。
此外,利用系数转换电路232A,由于同时执行解码JPEG编码图像的处理和改善图像质量的处理,能够从JPEG编码图像高效地产生高图像质量的解码图像。
图32示出图23的系数转换电路232的另一说明性结构。其中,用相同的参考号描述类似于图26所示的部件或组件。也就是,图32所示的系数转换电路232B除了新提供逆量化电路271之外,基本上类似于图26所示的电路进行构造。
在图32所示的系数转换电路232B中,逆量化电路271输入通过在熵解码电路231(图23)中对编码数据进行熵解码获得的基于块的量化DCT系数。
其中,在熵解码电路231中,从编码数据不仅获得量化DCT系数,而且获得量化表。在图32的系数转换电路232B中,该量化表从熵解码电路231提供到逆量化电路271。
逆量化电路271根据来自熵解码电路231的量化表对来自熵解码电路231的量化DCT系数进行逆量化,以将结果DCT系数发送到预测抽头系数提取电路241和类抽头提取电路242。
因此,在预测抽头系数提取电路241和类抽头提取电路242中,对DCT系数,而不是量化DCT系数形成预测抽头和类抽头。随后对DCT系数执行类似于图5所示的处理。
因此,图32的系数转换电路232B不是对量化DCT系数而是对DCT系数执行处理,从而,存储在系数表存储单元244中的抽头系数不同于图26所示的抽头系数是必要的。
图33示出适用于学习存储在图32的系数表存储单元244中的抽头系数的学习设备270B的另一说明性结构。用相同的参考号表示与图30所示对应的图33的部件或组件,并且为简洁起见,省略对应的说明。也就是,图33所示的学习设备270B除了在量化电路263的后面新提供逆量化电路281之外,基本上类似于图30所示的电路进行构造。
在图33所示的学习设备270B中,类似于图32的逆量化电路271,逆量化电路281对由量化电路263输出的量化DCT系数进行逆量化。结果DCT系数发送到预测抽头系数提取电路264和类抽头提取电路265。
因此,在预测抽头系数提取电路264和类抽头提取电路265中,对DCT系数,而不是量化DCT系数形成预测抽头和类抽头。随后对DCT系数执行类似于图11所示的处理。
结果是,产生减小由于DCT系数的量化和逆量化导致的量化误差效果的抽头系数。
图34示出图23的系数转换电路232的变型说明性结构。用相同的参考号表示与图26所示对应的图34的部件或组件,并且为简洁起见,有时省略对应的说明。也就是,图34所示的系数转换电路232C除了缺少类抽头提取电路242和分类电路243之外,基本上类似于图26所示的电路进行构造。
因此,图34所示的系数转换电路232C缺少类的概念,也可以说,相当于类的数目为1。因此,只有一个类的抽头系数存储在系数表存储单元244中,从而使用该一个类的抽头系数执行处理。
也就是,在图34的系数转换电路232C中,存储在系数表存储单元244中的抽头系数不同于图26所示的抽头系数。
图35示出适用于学习要存储在图34的系数表存储单元244中的抽头系数的学习设备270C的说明性结构。其中,用相同的参考号表示与图30所示对应的图35的部件或组件,并且为简洁起见,有时省略对应的说明。也就是,图35所示的学习设备270C除了缺少类抽头提取电路265和分类电路266之外,基本上类似于图30所示的电路进行构造。
因此,在图35的学习设备270C中,不依赖于类,在正则方程求和电路267中执行上述求和。抽头系数确定电路268对逐像素位置模式生成的正则方程进行求解,以得到抽头系数。
图36示出图23的系数转换电路232的另一说明性结构。其中,用相同的参考号表示与图26或32所示对应的图36的部件或组件,并且为简洁起见,有时省略对应的说明。也就是,图36所示的系数转换电路232D除了缺少类抽头提取电路242和分类电路243,并且新提供逆量化电路271之外,基本上类似于图26所示的电路进行构造。
因此,类似于图34的系数转换电路232C,图36的系数转换电路232D只存储一个类的类系数,并且使用这些一个类的抽头系数执行处理。
而且,在图36的系数转换电路232D中,如同在图32的系数转换电路232C中,不是对量化DCT系数,而是对由逆量化电路271输出的DCT系数形成预测抽头。随后,对DCT系数执行进一步的处理。
因此,在图36所示的系数转换电路232D中,存储在系数表存储单元244中的抽头系数不同于图26所示的抽头系数。
因此,图37示出执行要存储在图36的系数表存储单元244中的抽头系数的学习处理的学习设备270D的说明性结构。其中,用相同的参考号表示与图30或图33所示对应的图37的部件或组件,并且为简洁起见,有时省略对应的说明。也就是,图37所示的学习设备270D除了缺少类抽头提取电路265和分类电路266,并且新提供逆量化电路281之外,基本上类似于图37所示的学习设备进行构造。
因此,在图37所示的学习设备270D中,在预测抽头系数提取电路264中对DCT系数而不是量化DCT系数形成预测抽头。随后,对DCT系数执行进一步的处理。而且,正则方程求和电路267不依赖于类,执行前述求和。从而抽头系数确定电路268对不依赖于类生成的正则方程进行求解,以得到抽头系数。
虽然前面所述是面向通过用于对静止图像进行压缩编码的JPEG编码产生的图像的,面向例如通过MPEG编码获得的图像也是可能的。
也就是,图38示出当执行MPEG编码时,编码器221的说明性结构。
在图38所示的编码器221中,要用MPEG编码的构成运动图像的帧或域顺序发送到运动检测电路291和计算单元292。
运动检测电路291基于宏块检测向其提供的帧的运动向量,以将所检测的运动向量发送到熵编码电路296和运动补偿电路300。
如果向计算单元292提供的图像是I-图像(intra-picture,内部图像),计算单元292根据宏块直接将它发送到分块电路293。如果向计算单元292提供的图像是P-图像(预测编码图像)或B-图像(双向预测图像),计算单元292计算与从运动补偿电路300提供的基准图像的差,以将差值发送到分块电路293。
分块电路293将计算单元292的输出分块为向DCT电路294提供的8×8像素。DCT电路294对来自分块电路293的像素块应用DCT处理,以将结果DCT系数发送到量化电路295。量化电路295以预设量化步长对作为结果的基于块的DCT系数进行量化,以将结果量化DCT系数发送到熵编码电路296。熵编码电路296对来自量化电路295的量化DCT系数进行熵编码,以加入来自运动检测电路291的运动向量和其他类似所需信息,以输出作为MPEG编码数据的结果编码数据。
对于由量化电路295输出的量化DCT系数,I-图像和P-图像需要进行局部解码,以用作随后的编码P-图像和B-图像的基准图像。因此,这些图像不仅发送到熵编码电路296,而且发送到逆量化电路297。
逆量化电路297将来自量化电路295的量化DCT系数逆量化为发送到反向DCT电路298的DCT系数。反向DCT电路298对来自逆量化电路297的DCT系数应用反向DCT,以输出结果到计算单元299。该计算单元299不仅输入反向DCT电路298的输出,而且输入由运动补偿电路300输出的基准图像。如果反向DCT电路298的输出为P-图像,计算单元299将该输出加到运动补偿电路300的输出,以对提供给运动补偿电路300的原始图像进行解码。如果反向DCT电路298的输出为I-图像,输出为解码I-图像,从而计算单元299直接将该图像发送到运动补偿电路300。
运动补偿电路300根据来自运动检测电路291的运动向量对从计算单元299提供的局部解码图像进行运动补偿,以将经过运动补偿的图像作为基准图像发送到计算单元292和计算单元299。
在图23的解码器222中,甚至MPEG编码数据也可以有效地解码为高图像质量的图像。
也就是,编码数据发送到熵解码电路231,然后熵解码电路231对编码数据进行熵解码。通过该熵解码获得的量化DCT系数,运动向量和其他信息从熵解码电路231发送到系数转换电路232D。
系数转换电路232D使用来自熵解码电路231的量化DCT系数Q和通过学习得到的抽头系数,实现预设预测计算,并且在必要时根据来自熵解码电路31的运动向量实现运动补偿,以将量化DCT系数解码为高图像质量的像素值,以将由高图像质量的像素值组成的高图像质量块发送到解块电路233。
解块电路233对在系数转换电路232D中获得的高图像质量块进行解块,以获得并输出水平和垂直像素的数目例如两倍于MPEG编码图像的高图像质量解码图像。
图39示出在用解码器222对MPEG编码数据进行解码的情况下,系数转换电路232的说明性结构。其中,用相同的参考号表示与图36对应的部件或组件,并且不作具体说明。也就是,图39所示的系数转换电路232E除了系数转换电路232E在乘积和电路245的后面提供有计算单元314和运动补偿电路316之外,基本上类似于图36进行构造。
因此,在图39所示的系数转换电路232E中,由逆量化电路271对量化DCT系数进行逆量化,并且使用结果DCT系数,由类抽头提取电路242形成预测抽头。乘积和电路245使用采用预测抽头的抽头系数和存储在系数表存储单元244中的抽头系数,执行预测计算,以输出水平和垂直像素的数目例如两倍于原始图像的高图像质量数据。
计算单元314在必要时对乘积和电路245的输出和运动补偿电路316的输出进行求和,以对水平和垂直像素的数目例如两倍于原始图像的高图像质量的图像进行解码,以将结果高质量图像输出到解块电路233(图23)。
也就是,对于I-图像,乘积和电路245的输出是水平和垂直像素的数目例如两倍于原始图像的高质量图像,从而计算单元314直接将乘积和电路245的输出发送到解块电路233。
对于P-图像或B-图像,乘积和电路245的输出为水平和垂直像素的数目例如两倍于原始图像的高图像质量的图像与高质量基准图像之间的差值。因此,计算单元314对乘积和电路245的输出和从运动补偿电路316提供的高图像质量的基准图像进行求和,以提供水平和垂直像素的数目例如两倍于原始图像的高图像质量的解码图像,以将解码图像输出到解块电路233。
另一方面,运动补偿电路316接收从计算单元314输出的高图像质量解码图像中的I-图像和P-图像,并且对高图像质量解码I-图像和P-图像应用采用来自熵解码电路231(图23)的运动向量的运动补偿,以产生发送到计算单元314的高质量基准图像。
由于水平和垂直像素的数目例如两倍于原始图像,运动补偿电路316根据水平和垂直方向上大小两倍于来自熵解码电路231的运动向量的运动向量,实现运动补偿。
图40示出负责执行要存储在系数表存储单元244中的抽头系数的学习处理的学习设备270E的说明性结构。在该图中,用相同的参考号表示与图37所示对应的部件或组件,并且为简洁起见,省略详细描述。
在图40所示的学习设备270A中,抽取电路320输入用于学习的HD图像,作为老师数据。类似于抽取电路260,抽取电路320抽取作为老师数据的HD图像的像素,以生成作为水平方向和垂直像素的数目均减半的SD图像的准老师数据。作为准老师数据的SD图像发送到运动向量检测电路321和计算单元322。
运动检测电路321、计算单元322、分块电路323、DCT电路324、量化电路325、逆量化电路327、反向DCT电路328、计算单元329或运动补偿电路330分别执行类似于由图38的运动检测电路291、计算单元292、分块电路293、DCT电路294、量化电路295、逆量化电路297、反向DCT电路298、计算单元299或运动补偿电路300执行的处理,从而量化电路325输出类似于由图38的量化电路295输出的量化DCT系数。
由量化电路325输出的量化DCT系数,发送到逆量化电路281,然后逆量化电路281将来自量化电路325的量化DCT系数逆量化为DCT系数。然后这些DCT系数提供给预测抽头系数提取电路264。该预测抽头系数提取电路264从来自逆量化电路281的DCT系数形成预测抽头,以将如此形成的抽头系数作为学生数据发送到正则方程求和电路267。
另一方面,作为老师数据的HD图像不仅发送到抽取电路320,而且发送到计算单元332。该计算单元在必要时从作为老师数据的HD图像减去插值电路331的输出,以将结果差值发送到正则方程求和电路267。
也就是,插值电路331生成水平和垂直方向的像素数目两倍于由运动补偿电路330输出的SD图像的基准图像的高图像质量的基准图像。
如果发送到计算单元332的HD图像为I-图像,该计算单元将I-图像的HD图像直接作为老师数据发送到正则方程求和电路267。如果发送到计算单元332的HD图像为P-图像或B-图像,该计算单元计算P-图像或B-图像的HD图像与由插值电路331输出的高图像质量的基准图像之间的差值,以产生关于由计算单元322输出的SD图像(准老师数据)的差值的高质量版本。该差值的高质量版本作为老师数据发送到正则方程求和电路267。
其中,插值电路331能够通过例如简单的插值法增加像素数目。插值电路331还能够通过例如分类自适应处理增加像素数目。而且,计算单元332能够对作为老师数据的HD图像进行MPEG编码,局部解码和运动补偿,以用作基准图像。
正则方程求和电路267对作为老师数据的计算单元322的输出及作为学生数据的来自逆量化电路281的预测抽头执行前述求和,以生成正则方程。
抽头系数确定电路268对由正则方程求和电路267生成的正则方程进行求解,以得到抽头系数,然后这些抽头系数发送并存储在系数表存储单元269中。
在图39所示的乘积和电路245中,如上所述得到的抽头系数用来对MPEG编码数据进行解码。因此,可以再次同时执行对MPEG编码数据的解码处理和提高解码数据图像质量的处理。结果,在本发明的实施例中,可以有效地获得具有双倍水平和垂直像素数目的,作为高图像质量的HD图像的解码图像。
其中,图39的系数转换电路232E还可以设计为不提供逆量化电路271。在这种情况下,不提供逆量化电路281设计图40的学习设备270E,就已足够。
图39的系数转换电路232E还可以提供有类抽头提取电路242和分类电路243,如图26的情况。在这种情况下,图40的学习设备270E可以提供有类抽头提取电路265和分类电路266,如图30的情况。
在上述情况下,解码器222适用于产生空域分辨率提高到原始图像的两倍的解码图像。然而,解码器222产生相对于原始图像分辨率具有提高了可选倍数因子的空域分辨率的解码图像,或相对于原始图像改善时域分辨率的解码图像,是可能的。
也就是,如果要进行MPEG编码的图像具有低时域分辨率,如图41A所示,解码器222用原始图像的两倍时域分辨率对原始图像进行解码,是可能的,如图41B所示。而且,如果要进行MPEG编码的对象的图像是如用在运动图像中的24帧/秒的图像,如图42A所示,解码器222将对图像进行MPEG编码所获得的编码数据解码为60帧/秒的图像,其中时域分辨率是原始图像的60/24倍,如图42B所示,是可能的。在这种情况下,可以容易地实现所谓的2-3下拉。
如果在解码器222中提高时域分辨率,预测抽头或类抽头可以由两个或更多DCT系数形成,例如图43所示。
解码器222还能够产生不仅提高空域分辨率和时域分辨率中的一个,而且提高两者的解码图像。
根据如上所述的本发明,产生通过学习得到的抽头系数,以使用该抽头系数和所变换数据实现预设预测计算以将所变换数据解码为原始数据,并且产生与以预设方式处理的原始数据对应的处理数据,是可能的。因此,对所变换数据进行有效的解码,以用预设方式对解码数据进行处理,成为可能。
而且,根据本发明,以预设方式对作为老师的老师数据进行处理,结果准老师数据至少经过正交或频率变换,以生成作为学生的学生数据,并且执行学习,从而在统计上最小化通过采用抽头系数和学生数据的预测计算获得的老师数据的预测值的预测误差,以得到抽头系数。使用如此得到的抽头系数,可以对经过正交或频率变换的数据进行有效的解码,其中还可以用预设方式对解码数据进行处理。
现在对本发明的进一步变型进行说明。
在现在说明的实施例中,如图44所示,由熵解码电路431、系数转换电路432和解块电路433组成的解码器422如同图2所示的解码器22,用来对编码数据进行解码。
编码数据发送到熵解码电路431,然后熵解码电路231将编码数据分离为熵编码量化DCT系数和作为向其附加的求和信息的量化表。熵解码电路431对熵编码量化DCT系数进行熵解码,以将作为结果的基于块的DCT系数Q随同作为附加信息的量化表一起发送到系数转换电路432。
使用作为附加信息的量化表,可以说作为辅助工具,并且还使用用量化DCT系数Q进行学习得到的抽头系数,系数转换电路432执行预设预测计算,以将基于块的量化DCT系数解码为8×8像素的原始块。
解块电路433对在系数转换电路432中获得的解码块进行解块,以产生并输出解码图像。
该解码器422根据图45的流程图所示的顺序(步骤S201到S203)执行解码。
也就是,编码数据顺序提供给熵解码电路431。在步骤S201,熵解码电路431对编码数据进行熵解码,并且将基于块的量化DCT系数Q发送到系数转换电路432。熵解码电路431还分离出包含在编码数据中的作为求和信息的量化表,以将该表发送到系数转换电路432。系数转换电路在步骤S202执行采用量化表和抽头系数的预测计算,以将来自熵解码电路431的基于块的量化DCT系数Q解码为基于块的像素值,然后这些像素值发送到解块电路433。解块电路433在步骤S203对来自系数转换电路432的像素值(解码块)进行解块,以输出结果编码图像,来结束处理。
图46示出用于将量化DCT系数解码为像素值的图23的系数转换电路432的说明性结构。
在图46所示的系数转换电路432A中,由熵解码电路431(图44)输出的基于块的量化DCT系数发送到基于块的预测抽头提取电路441和类抽头提取电路442。作为辅助信息的量化表发送到分类电路443。
预测抽头提取电路441顺序将与向其提供的量化DCT系数块(下面偶尔称作DCT块)对应的像素值块设置为感兴趣的高图像质量块。在本阶段没有出现,但事实上预先假定的像素值块在下面偶尔称作像素块。而且,构成感兴趣高图像质量块的像素以光栅扫描顺序依次变为感兴趣的像素。总言之,预测抽头提取电路441提取用来预测感兴趣像素的像素值的量化DCT系数,以用作预测抽头。
也就是,预测抽头提取电路441提取与感兴趣的像素所属的像素块对应的DCT块的全部量化DCT系数,即8×8=64个量化DCT系数,作为预测抽头,如图6所示。因此,在本实施例中,为特定高图像质量块的所有像素形成相同的预测抽头。作为替换,还可以对感兴趣的像素逐个地用不同的量化DCT系数形成预测抽头。
在预测抽头提取电路441中获得的,构成像素块的各个像素的预测抽头,即对应于64个像素中每个像素的64组预测抽头,发送到乘积和电路45。然而,由于为像素块的所有像素形成相同的预测抽头,因此如果对一个像素块将一组预测抽头提供给乘积和电路445,实际上是足够的。
类抽头提取电路442提取用于将感兴趣的像素划分为多个类中的一个的量化DCT系数,以用作类抽头。类似于预测抽头提取电路441,类抽头提取电路442提取图6所示的与感兴趣的像素所属的像素块对应的DCT块的全部8×8量化DCT系数,作为类抽头。
注意,为了逐像素块地对像素块进行分类,类抽头提取电路42提取与当前像素块相关联的DCT块的64个量化DCT系数,用作类抽头。
其中,形成预测抽头或类抽头的量化DCT系数不限于这些上述模式。
在类抽头提取电路442中获得的感兴趣像素块的类抽头提供给分类电路443。分类电路根据来自类抽头提取电路442的类抽头对感兴趣的高图像质量块进行分类,以输出与如此获得的类对应的类代码。
例如,可以使用ADRC作为分类方法。使用采用ADRC的方法,形成类抽头的量化DCT系数用ADRC进行处理。根据结果ADRC码确定感兴趣像素块的类。
其中,在本实施例中,分类电路443从形成类抽头的量化DCT系数提取高关键度的特征值,并且根据这些特征值进行分类,以减少类的数目。
图47示出图46的分类电路443的说明性结构。
在图47所示的分类电路443中,类抽头适用于提供给功率计算电路451。功率计算电路451将形成类抽头的量化DCT系数分裂为多个空域频段,并且计算各个频段的功率值。
功率计算电路451将形成类抽头的8×8量化DCT系数分裂为图6所示的四个空域频段S0、S1、S2和S3
功率计算电路451还得到空域频段S0到S3中每个频段的量化DCT系数的AC分量的功率值P0到P3,以将功率值的计算值输出到类代码生成电路452。
类代码生成电路452将来自功率计算电路451的功率值P0、P1、P2和P3与存储在阀值存储单元453中的对应阀值TH0、TH1、TH2和TH3进行比较,以根据其大小关系输出类代码。也就是,类代码生成电路452将功率P0与阀值TH0进行比较,以产生表示大小关系的1位代码。采用类似的方式,类代码生成电路452将功率P1与阀值TH1进行比较,以产生表示其大小关系的1位代码。同样地,类代码生成电路452将功率P2与阀值TH2、和功率P3与阀值TH3进行比较,以为每个功率-阀值组合产生一个1位代码。类代码生成电路452以例如预设顺序将如上所述获得的4个1位代码(从而为从0到15的任意值)作为表示感兴趣像素块的第一类的类代码。该第一类在下面偶尔称作功率类代码。
类代码生成电路452输入作为辅助信息的量化表。类代码生成电路452根据该辅助信息执行分类,以获得表示感兴趣像素块的第二类的类代码。也就是,如果在JPEG编码中,使用图1B所示的两种量化表中的任意一个执行量化,类代码生成电路452检查两种量化表中的哪一个是作为辅助信息的量化表,并且使表示检查结果的1位代码为表示感兴趣像素块的第二类的类代码。该一位代码在下面偶尔称作辅助信息类代码。
类代码生成电路452将表示第二类的1位辅助信息类代码添加到表示第一类的4位功率类代码,以生成和输出感兴趣像素块的最终类代码。因此,在本实施例中,最终类代码具有5位,从而,感兴趣像素块归类到25(=32)类中的一个类中,例如,由0到31之间的一个值表示的类中。
其中,基于量化表的分类方法不限于上述方法。也就是,在类代码生成电路452中,可以提供多个量化表作为参考模式,与作为辅助信息提供的量化表(在JPEG编码中实际使用的量化表)进行比较,然后检测与作为辅助信息的量化表最接近的,作为参考模式的量化表,以输出与检测结果对应的代码,作为辅助信息类代码。
阀值存储单元453在其中存储有阀值TH0到TH3,以将其与空域频段S0到S3的功率值P0到P3进行比较。
在上述情况下,量化DCT系数的DC分量x0没有用来分类。然而,DC分量x0也可以用来分类。
回到图46,如上所述由分类电路443输出的类代码作为地址提供给系数表存储单元444。
系数表存储单元444存储其中登记有通过学习处理(随后将对此进行说明)获得的抽头系数的系数表,并且将与由分类电路443输出的类代码相关联的地址中存储的抽头系数输出到乘积和电路445。
在本实施例中,其中对像素块进行分类,为感兴趣的像素块获得一个类代码。另一方面,由于本实施例中的像素块由8×8=64个像素组成,因此对构成感兴趣像素块的64个像素进行解码需要64组抽头系数。因此,系数表存储单元444为对应于一个类代码的地址存储64组抽头系数。
乘积和电路445获得由预测抽头系数提取电路441输出的预测抽头和由系数表存储单元444输出的抽头系数,并且使用预测抽头和抽头系数执行方程(1)所示的线性预测处理(乘积和处理),以将感兴趣像素块的8×8像素的像素值作为对应DCT块的解码结果输出到解块电路433(图44)。
在预测抽头系数提取电路441中,感兴趣像素块的每个像素顺序变为感兴趣的像素。乘积和电路445然后执行与感兴趣像素块的当前感兴趣像素的像素位置相关联的操作模式下的操作。该操作模式称作像素位置模式。
也就是,如果Pi表示以光栅扫描顺序的感兴趣像素块的像素的第i个像素,Pi为当前感兴趣像素,乘积和电路445执行像素模式#1的处理。
具体地说,系数表存储单元444输出64组抽头系数,以对构成感兴趣像素块的64个像素中的每个像素进行解码。如果Wi表示用于对像素pi进行解码的一组抽头系数,并且操作模式是像素模式#1,乘积和电路445使用预测抽头和64组抽头系数中的Wi组执行方程(1)的乘积和处理,并且使乘积和的结果为像素pi的解码结果。
参照图48的流程图,说明图46的系数转换电路432A的处理。
由熵解码电路431输出的基于块的DCT系数由预测抽头系数提取电路441和类抽头提取电路442进行顺序接收。预测抽头系数提取电路441顺序使与量化DCT系数块(DCT块)对应的像素块成为感兴趣的像素块。
在步骤S211,类抽头提取电路442提取接收并且用来对感兴趣像素块进行分类的量化DCT系数,以形成类抽头,然后类抽头输出到分类电路443。
分类电路443输入来自类抽头提取电路442的类抽头,同时还输入由熵解码电路431输出的作为辅助信息的量化表。分类电路443使用来自类抽头提取电路442的类抽头和来自熵解码电路431的量化表对感兴趣像素块进行分类,以将结果类代码输出到系数表存储单元444。
也就是,在图49流程图中的步骤S212,分类电路443的功率计算电路451(图7),首先在步骤S221,将构成类抽头的8×8量化DCT系数分裂为四个空域频段S0到S3(如图8所示),以计算各个功率值P0到P3。这些功率值P0到P3从功率计算电路451输出到类代码生成电路452。
类代码生成电路452在步骤S222从阈值表存储单元453读出阀值TH0到TH3,以将来自功率计算电路451的功率值P0到P3与阀值TH0到TH3进行比较,以根据各大小关系生成功率类代码。
类代码生成电路452在步骤S223使用作为辅助信息的量化表,生成辅助信息类代码。然后,类代码生成电路452继续到步骤S224,从功率类代码和辅助信息类代码生成最终类代码。然后执行程序返回。
回到图48,如上所述在步骤S212获得的类代码作为地址从分类电路443输出到系数表存储单元444。
一接收到作为地址的来自分类电路443的类代码,系数表存储单元444在步骤S213读出存储在地址中的64组抽头系数,以将如此读出的抽头系数输出到乘积和电路445。
程序然后移到步骤S214,其中,预测抽头系数提取电路441提取量化DCT系数,以形成预测抽头,该量化DCT系数用来预测以光栅扫描顺序尚未变为感兴趣像素的感兴趣像素块的像素中的感兴趣像素的像素值。该预测抽头从预测抽头系数提取电路441发送到乘积和电路445。
在本实施例中,由于逐像素块地为像素块的全部像素形成相同的预测抽头,因此如果仅为初始变为感兴趣像素的像素执行步骤S214的处理,就已足够,而没有必要对剩余255个像素执行处理。
在步骤S215,乘积和电路445从在步骤S213从系数表存储单元444输出的64组抽头系数中,获得与感兴趣像素的像素位置模式对应的一组抽头系数,并且使用该组抽头系数和在步骤S214从预测抽头系数提取电路441提供的预测抽头,乘积和电路445执行方程(1)所示的乘积和处理,以获得感兴趣像素的解码值。
程序然后移到步骤S216,其中,预测抽头系数提取电路441验证对于感兴趣像素块的全部像素是否已作为感兴趣像素执行处理。如果在步骤S216证实,对于感兴趣像素块的像素尚未全部作为感兴趣像素执行处理,程序返回到步骤S214,其中,预测抽头系数提取电路441使用以光栅扫描顺序尚未变为感兴趣像素的感兴趣像素块的像素作为感兴趣像素重复类似的处理。
如果在步骤S216证实,对于感兴趣像素块的全部像素已作为感兴趣像素执行过处理,也就是,如果已获得感兴趣像素块的全部像素的解码值,乘积和电路445将由解码值构成的像素块(解码块)输出到解块电路433(图44),以完成处理。
其中,每次预测抽头系数提取电路441设置新的感兴趣像素块,重复执行遵循图48流程图的处理。
图50示出为要存储在图46的系数表存储单元444中的抽头系数执行学习处理的学习设备460A的说明性结构。
在图50所示的学习设备460A中,分块电路461输入作为在学习时充当老师的老师数据的一个或多个学习图像数据的图像。如同JPEG编码的情况,分块电路461将作为老师数据的图像分块为由8×8像素组成的像素块。
DCT电路462顺序读出由分块电路461形成的像素块作为感兴趣的像素块,并且对感兴趣的像素块应用DCT,以形成DCT系数块。这些DCT系数块发送到量化电路463。
量化电路463根据与用于JPEG编码的相同的量化表对来自DCT电路462的DCT系数块进行量化,并且顺序将结果量化DCT系数块(DCT块)发送到预测抽头系数提取电路464和类抽头提取电路465。
也就是,量化电路463设置在JPEG编码中所使用的一些常规压缩比率,并且根据与每个压缩比率相关联的量化表对DCT系数进行量化,以将量化DCT系数发送给预测抽头提取电路464和类抽头提取电路465。量化电路463还将用于量化的量化表作为辅助信息发送到分类电路466。其中,与由量化电路463使用的相同的量化表作为参考模式存储在图47的类代码生成电路452中。
预测抽头系数提取电路464使用尚未变为感兴趣像素的感兴趣像素块的像素中的像素,作为感兴趣的像素,并且从量化电路463的输出提取所需量化DCT系数,以形成与由预测抽头系数提取电路441形成的相同的预测抽头。该预测抽头作为学习学生的学生数据从预测抽头系数提取电路464发送到正则方程求和电路467。
类抽头提取电路465为感兴趣的像素块从量化电路463的输出提取所需量化DCT系数,以形成与由图46的类抽头提取电路442形成的相同的类抽头。该类抽头从类抽头提取电路465发送到分类电路466。
使用来自类抽头提取电路465的类抽头和来自量化电路463的作为辅助信息的量化表,分类电路466对感兴趣像素块进行分类,以将结果类代码发送到正则方程求和电路467。
正则方程求和电路467从分块电路461读出作为老师数据的感兴趣像素的像素值,并且执行对来自预测抽头提取电路464的,作为学生数据的,形成预测抽头的量化DCT系数和感兴趣像素的求和。
正则方程求和电路467,对与从分类电路466提供的类代码对应的每个类使用预测抽头(学生数据),执行学生数据的相乘(xinxim)与求和∑的计算,作为方程(8)的矩阵A的各个项。
正则方程求和电路467,还对与从分类电路466提供的类代码对应的类逐个地使用预测抽头(学生数据)和感兴趣像素(老师数据),执行学生数据和老师数据的相乘(xinyi)与求和∑的计算,作为方程(8)的向量v的项。
为每个类对感兴趣像素的像素位置模式逐个地执行正则方程求和电路467中的前述求和。
正则方程求和电路467对构成向其提供的老师图像的全部像素作为感兴趣像素执行上述求和,从而为每个类的每个像素位置模式建立方程(8)所示的正则方程。
抽头系数确定电路468对在正则方程求和电路467中逐像素位置模式为每个类生成的正则方程进行求解,逐类地得到64组抽头系数,以将由此得到的抽头系数发送到与系数表存储单元469的各个类对应的地址。
根据所提供作为学习图像的图像数目,或图像内容,可能出现产生一个其中不能产生得到抽头系数所需的正则方程数目的类。对于这种类,抽头系数确定电路468输出例如缺省抽头系数。
系数表存储单元469存储从抽头系数确定电路468向其提供的,每个类的64组抽头系数。
现在参照图51的流程图,说明图50的学习设备460A的处理(学习处理)。
分块电路461输入学习图像数据作为老师数据。分块电路461如同JPEG编码的情况,在步骤S231将作为老师数据的图像数据分为8×8像素的像素块。程序然后移到步骤S232,其中,DCT电路462顺序读出由分块电路461形成的像素块,并且对感兴趣的像素块应用DCT,以形成DCT系数块。程序然后移到步骤S233。
在步骤S233,量化电路463设置尚未变为感兴趣的量化表的一个预设量化表,并且将如此设置的量化表发送到分类电路466。然后,程序移到步骤S234,其中,量化电路463顺序读出在DCT电路462中获得的DCT系数块,以根据量化表对块进行量化,形成由量化DCT系数组成的块。
然后,程序移到步骤S235,其中,类抽头提取电路465将由分块电路461形成但是尚未设为感兴趣像素块的像素块设为感兴趣的像素块。而且,类抽头提取电路465还从由量化电路463获得的DCT块提取用来对感兴趣像素块进行分类的量化DCT系数,以形成随后发送到分类电路466的类抽头。如图49的流程图所示,分类电路466在步骤S236,使用来自类抽头提取电路465的类抽头和来自量化电路463的感兴趣量化表对感兴趣的像素块进行分类,并且将结果类代码发送到正则方程求和电路467。然后,程序移到步骤S237。
在步骤S237,预测抽头系数提取电路464以光栅扫描顺序将尚未设为感兴趣像素的感兴趣像素块的像素设为感兴趣的像素,并且为感兴趣像素从量化电路463的输出提取所需量化DCT系数,以形成与由预测抽头系数提取电路441形成的相同的预测抽头。预测抽头系数提取电路464将感兴趣像素的预测抽头作为学生数据发送到正则方程求和电路467。程序然后移到步骤S238。
在步骤S238,正则方程求和电路467从分块电路461读出作为老师数据的感兴趣像素,并且对形成作为学生数据的预测抽头的量化DCT系数和作为老师数据的感兴趣像素执行方程(8)的矩阵A和向量v的求和。其中,对与来自分类电路66的类代码对应的每个类并且对感兴趣像素的每个像素位置模式执行该求和。
程序然后移到步骤S239,其中,预测抽头系数提取电路464检查是否感兴趣像素块的全部像素已作为感兴趣像素完成求和。如果在步骤S239证实感兴趣像素块的全部像素尚未作为感兴趣像素完成求和,程序然后移到步骤S237,其中,预测抽头系数提取电路464将尚未变为感兴趣像素的感兴趣像素块的像素设为新的感兴趣像素。随后,重复类似的操作序列。
如果在步骤S239证实感兴趣像素块的全部像素已作为感兴趣像素完成求和,程序移到步骤S240,其中,分块电路461验证是否从作为老师数据的图像获得的全部像素块已作为感兴趣像素块完成处理。如果在步骤S240证实,从作为老师数据的图像获得的像素块尚未全部作为感兴趣像素块完成处理,程序回到步骤S235,其中,使尚未变为感兴趣像素块的像素块变为新的感兴趣像素块。然后,重复执行类似的处理操作序列。
如果在步骤S240证实,从作为老师数据的图像获得的全部像素块已作为感兴趣像素块完成处理,程序移到步骤S241,其中,量化电路463检查是否全部预设量化表已作为感兴趣量化表进行处理。如果在步骤S241证实,预设量化表尚未全部作为感兴趣量化表进行处理,程序返回到步骤S233,以对用于学习的整个图像数据重复从步骤S233的处理。
如果在步骤S241证实,全部预设量化表已作为感兴趣量化表进行处理,程序移到步骤S242,其中,抽头系数确定电路468对在正则方程求和电路467中为每个类的像素位置模式逐个生成的正则方程进行求解,得到与当前类的64个像素位置模式对应的64组抽头系数。由此得到的抽头系数发送并存储在与系数表存储单元469的各个类对应的地址中,以完成处理。
存储在系数表存储单元269中的基于类的抽头系数存储在图26的系数表存储单元244中。
因此,通过学习已得到存储在系数表存储单元444中的抽头系数,从而通过线性预测计算获得的原始像素值的预测值的预测误差(在此为平方差)将在统计上最小。结果是通过图46的系数转换电路432A,JPEG编码图像可以解码为无限近似于使用JPEG编码图像作为老师数据的HD图像。
而且,由于同时执行对JPEG编码图像进行解码的处理和用于改善图像质量的处理,因此从JPEG编码图像可以有效产生高图像质量的解码图像。
在本实施例中,不仅使用类抽头还使用作为辅助信息的量化表在分类电路443、466中执行分类。作为替换,还可以仅使用类抽头执行分类。然而,如果如上所述使用作为辅助信息的量化表执行分类,这可以称为细致分类,能够明显提高解码图像的图像质量。
图52示出图44的系数转换电路432的另一说明性结构。其中,用相同的参考号描述类似于图46所示的部件或组件。也就是,图52所示的系数转换电路432B除了新提供逆量化电路471之外,基本上类似于图46所示的电路进行构造。
在图52所示的系数转换电路432B中,逆量化电路471输入通过在熵解码电路431(图44)中对编码数据进行熵解码获得的基于块的量化DCT系数。而且,解量化电路471输入从熵解码电路431输出的作为辅助信息的量化表。
逆量化电路471根据来自熵解码电路431的量化表对来自熵解码电路431的量化DCT系数进行逆量化,并且将结果DCT系数发送到预测抽头系数提取电路441和类抽头提取电路442。
因此,在预测抽头系数提取电路441和类抽头提取电路442中,不仅对量化DCT系数,而且对DCT系数形成预测抽头和类抽头。随后对DCT系数执行类似于图46所示的处理。
因此,在图52的系数转换电路432B中,不仅对量化DCT系数,而且对DCT系数执行处理,存储在系数表存储单元444中的抽头系数需要不同于图46所示的抽头系数。
图53示出为存储在系数表存储单元444中的抽头系数执行学习处理的学习设备460B的说明性结构。在图53中,用相同的参考号描述类似于图50所示的部件或组件。也就是,图53所示的学习设备460B除了在量化电路463的下游新提供逆量化电路481之外,基本上类似于图50所示的电路进行构造。
在图53所示的学习设备460B中,逆量化电路481输入由量化电路463输出的量化DCT系数,和作为辅助信息的量化表。逆量化电路481根据来自量化电路463的量化表,对类似来自量化电路463的量化DCT系数进行逆量化,以将结果DCT系数发送到预测抽头提取电路464和类抽头提取电路465。
因此,在预测抽头系数提取电路464和类抽头提取电路465中,不仅从量化DCT系数而且从DCT系数形成预测抽头和类抽头。随后对DCT系数执行类似于图50情况的处理。
结果是,所获得的抽头系数遭受由于DCT系数的量化和随后的逆量化而产生的量化误差效果。
图54示出图44所示的系数转换电路432的说明性结构。在图54中,用相同的参考号表示类似于图46所示的部件或组件,并且为简洁起见,省略对应的描述。也就是,图52所示的系数转换电路432C除了系数转换电路432缺少类抽头提取电路442之外,基本上类似于图46所示的电路进行构造。
因此,在图54所示的系数转换电路432C中,分类电路433仅根据向其提供的作为辅助信息的量化表执行分类,并且将结果辅助信息类代码直接发送到系数表存储单元444,作为最终类代码。
在本发明的实施例中,如上所述,辅助信息类代码为一位,因此只有抽头系数的2(=21)类的抽头系数存储在系数表存储单元444中,并且使用这些抽头系数执行处理。
因此,在图54所示的系数转换电路432C中,存储在系数表存储单元中的抽头系数不同于图46中的抽头系数。
图55示出负责存储在图54的系数表存储单元444中的抽头系数的学习处理的学习设备460C的说明性结构。在图55中,用相同的参考号表示类似于图50所示的部件或组件,并且为简洁起见,省略对应的描述。也就是,图55所示的学习设备460C除了缺少类抽头提取电路465之外,基本上类似于图50所示的电路进行构造。
因此,在图55所示的学习设备460C中,对仅根据辅助信息获得的类逐个地在正则方程求和电路467中执行上述求和。在抽头系数确定电路468中,对通过上述求和生成的正则方程进行求解,以得到抽头系数。
图56示出图44的系数转换电路432的说明性结构。在图56中,用相同的参考号表示类似于图46或52所示的部件或组件,并且为简洁起见,省略对应的描述。也就是,图56所示的系数转换电路432D除了系数转换电路432D缺少类抽头提取电路442,并且新提供逆量化电路471之外,基本上类似于图46所示的电路进行构造。
因此,如同在图54的系数转换电路432C中,在图56所示的系数转换电路432D中,只存储仅根据作为辅助信息的量化表执行的分类所获得的类的抽头系数,并且使用这些抽头系数执行处理。
而且,如同图52的系数转换电路432C,在图56所示的系数转换电路432D中,对由解量化电路471输出的DCT系数在预测抽头提取电路41中形成预测抽头。随后,执行对DCT系数的处理。
因此,在图56所示的系数转换电路432D中,存储在系数表存储单元444中的抽头系数不同于图46所示的抽头系数。
图57示出执行存储在系数表存储单元444中的抽头系数的学习处理的学习设备460D的说明性结构。其中,用相同的参考号表示与图50或图53的情况对应的部件,并且为简洁起见,省略对应的说明。也就是,图57所示的学习设备460D除了缺少类抽头提取电路465,并且新提供逆量化电路481之外,基本上等同于图50所示的对应设备进行构造。
因此,使用图57所示的学习设备460D,在预测抽头系数提取电路464中对DCT系数而不是量化DCT系数形成预测抽头。随后,对DCT系数执行处理。在正则方程求和电路467中,对仅仅基于作为辅助信息的量化表的前述求和的分类所获得的每个类执行处理。在抽头系数确定电路468中,对基于类的正则方程进行求解,以得到抽头系数。
前面描述是面向通过设计用于对静止图像进行压缩编码的JPEG编码产生的图像进行的,然而,本发明还适用于设计用于对运动图像进行压缩编码的MPEG编码图像。
图58示出在执行MPEG编码的情况下,图2的编码器42的说明性结构。
在图58所示的编码器421中,构成要用MPEG编码的运动图像的帧或域顺序提供给运动检测电路491和计算单元492。
运动检测电路491基于宏块检测向其提供的帧的运动向量,以将所检测的运动向量发送到熵编码电路496和运动补偿电路500。
如果发送到运动检测电路491的图像是I-图像,它直接将图像发送到分块电路493。如果发送到运动检测电路491的图像是P-图像或B-图像,它计算该图像与从运动补偿电路500提供的基准图像的差,以将该差发送到分块电路493。
分块电路493将计算单元492的输出分块为发送到DCT电路494的8×8像素的像素块。DCT电路494对来自分块电路493的像素块应用DCT,以将结果DCT系数发送到量化电路495。量化电路495根据预设量化表对来自DCT电路494的基于块的DCT系数进行量化,以将结果量化DCT系数和所使用的量化表发送到熵编码电路496。熵编码电路496对来自量化电路495的量化DCT系数进行熵编码,并且添加来自运动检测电路491的运动向量,来自量化电路495的量化表和其他所需信息,以输出作为MPEG编码数据的结果编码数据。
对于由量化电路495输出的量化DCT系数,I-图像和P-图像需要进行局部解码,以用作随后编码的P-图像和B-图像的基准图像。因此,I-图像和P-图像不仅发送到熵编码电路496和逆量化电路497。逆量化电路还输入在量化电路495中使用的量化表。
逆量化电路497根据来自量化电路495的量化表将来自量化电路495的量化DCT系数逆量化为发送到反向DCT电路498的DCT系数。反向DCT电路对来自逆量化电路497的DCT系数应用反向DCT,以输出结果到计算单元499。计算单元499不仅输入反向DCT电路498的输出,而且输入从运动补偿电路500输出的基准图像。如果反向DCT电路498的输出为P-图像,该输出加到运动补偿电路500的输出,以形成解码原始图像。如果反向DCT电路498的输出为I-图像,输出为解码I-图像,从而计算单元499直接将该图像发送到运动补偿电路500。
运动补偿电路500根据来自运动检测电路491的运动向量对来自计算单元499的局部解码图像应用运动补偿,以将经过运动补偿的图像作为基准图像发送到计算单元492和计算单元499。
上述的通过MPEG编码获得的编码数据可以由设计为如图59所示的MPEG解码器510进行解码。
在图59的MPEG解码器510中,编码数据发送到熵解码电路511。然后熵解码电路111对编码数据进行熵解码,以产生量化DCT系数,并且分离出包含在编码数据中的运动向量、量化表和其他所需信息。量化DCT系数和量化表发送到逆量化电路512,而运动向量发送到运动补偿电路516。
逆量化电路512根据从熵解码电路511提供的量化表对来自熵解码电路511的量化DCT系数进行逆量化,以形成发送到反向DCT电路513的DCT系数。该反向DCT电路513对来自逆量化电路512的DCT系数应用反向DCT,以将结果输出到计算单元514。该计算单元不仅输入反向DCT电路513的输出,而且输入从运动补偿电路516输出的,并且根据来自熵解码电路511的运动向量进行运动补偿过的已经经过解码的I-图像或P-图像。如果反向DCT电路513的输出为P-图像或B-图像,计算单元514将该输出与运动补偿电路516的输出一起相加,以形成发送到解块电路515的解码原始图像。如果反向DCT电路513的输出为I-图像,输出为解码I-图像,因此它直接发送到解块电路515。
解块电路515根据像素块对向其提供的解码图像进行解块,以产生并输出解码图像。
运动补偿电路516在从计算单元514输出的解码图像中接收I-图像和P-图像,以根据来自熵解码电路511的运动向量对其应用运动补偿。运动补偿电路516将经过运动补偿的图像作为基准图像发送到计算单元514。
如上所述,使用图44的解码器422,能够将MPEG编码数据有效地解码为高质量的图像。
也就是,编码数据发送到熵解码电路431,然后熵解码电路431对编码数据进行熵解码,以产生量化DCT系数,并且分离出包含在编码数据中的运动向量、量化表和其他所需信息。量化DCT系数从熵解码电路431发送到系数转换电路432D,而量化表和运动向量等也从熵解码电路431作为辅助信息发送到系数转换电路432D。
使用来自熵解码电路431的量化DCT系数Q,辅助信息和通过学习得到的抽头系数,系数转换电路432D执行预设预测计算,同时在必要时还根据来自熵解码电路431的运动向量执行运动补偿,以将量化DCT系数解码为发送到解块电路433的原始像素值。
解块电路433对由系数转换电路432D获得并由解码像素构成的像素块进行解块,以产生并输出解码图像。
图60示出在从解码器22对MPEG编码数据进行解码的情况下,图44的系数转换电路432的说明性结构。在图60中,用相同的参考号表示与图56或59的情况对应的部件,并且为简洁起见,省略对应说明。也就是,图60所示的系数转换电路432E除了在乘积和电路45的下游提供有图59所示的计算单元514和运动补偿电路516之外,基本上等同于图56所示的对应设备进行构造。
因此,在图60所示的系数转换电路432E中,代替图59的MPEG解码器的反向DCT电路513中的反向DCT处理,执行类似于图56所示的处理。随后,执行类似于图59中的处理,以产生解码图像。
其中,在图60所示的系数转换电路432E中,不仅量化表,而且运动向量包含在发送到分类电路443的辅助信息中。因此分类电路443能够不仅根据量化表,而且根据运动向量执行分类。在基于运动向量的分类中,能够使用表示运动向量与预设阀值之间的大小关系的代码或表示运动向量的x和y分量与预设阀值之间的大小关系的代码。
图61示出负责存储在图60的系数表存储单元444中的抽头系数的学习处理的学习设备460E的说明性结构。在图61中,用相同的参考号表示类似于图57所示的部件或组件,并且为简洁起见,省略对应的描述。
也就是,在图61所示的学习设备460E中,运动向量检测电路521和计算单元522输入作为老师数据的学习图像。运动检测电路521、计算单元522、分块电路523、DCT电路524、量化电路525、逆量化电路527、反向DCT电路528、计算单元529或运动补偿电路530分别执行类似于由图58的运动检测电路491、计算单元492、分块电路493、DCT电路494、量化电路495、逆量化电路497、反向DCT电路498、计算单元499或运动补偿电路500执行的处理,从而量化电路525输出类似于由图58的量化电路495输出的量化DCT系数和量化表。
由量化电路525输出的量化DCT系数和量化表,发送到逆量化电路481,然后逆量化电路481根据来自量化电路525的量化步长对来自量化电路525的量化DCT系数进行逆量化,以转换为随后提供给预测抽头系数提取电路464的DCT系数。预测抽头系数提取电路464从来自逆量化电路481的DCT系数形成预测抽头,以将如此形成的预测抽头发送到正则方程求和电路467。
分类电路466根据从量化电路525输出的量化表执行分类。如果图60的分类电路433根据量化表和运动向量执行分类,分类电路466根据由量化电路525输出的量化表和从运动向量检测电路521输出的运动向量执行分类。
通过分类电路466的分类得到的类代码发送到正则方程求和电路467,在其中,以计算单元522的输出为老师数据并且以来自逆量化电路481的预测抽头作为学生数据,逐类地执行前述求和,以生成正则方程。
抽头系数确定电路468对由正则方程求和电路467生成的基于类的正则方程进行求解,以得到基于类的抽头系数,然后这些抽头系数发送并存储在系数表存储单元469中。
使用由此得到的基于类的抽头系数,图60的乘积和电路445对MPEG编码数据进行解码。因此,可以同时执行对MPEG编码数据进行解码的处理和改善图像质量的处理,从而可以从MPEG编码数据获得高图像质量的解码图像。
其中,可以不提供逆量化电路471形成图60的系数转换电路432E。在这种情况下,可以不提供逆量化电路481形成图60的学习设备460E。
注意,系数转换电路432D可以设计为带类抽头提取电路442。在这种情况下,如果图61的学习设备460E设计为带类抽头提取电路465,是足够的。
在上述情况下,使用量化表或运动向量作为辅助信息。然而,作为辅助信息,还可以使用恢复DCT系数非强制的各种信息。例如,在MPEG编码数据中,除了量化表或运动向量之外,可以使用图像类型、宏块类型等作为辅助信息。
根据本发明,如上所述,原始数据中的感兴趣数据分配到多个类中的一个,并且获得通过学习得到的基于类的抽头系数中与感兴趣数据的类对应的的抽头系数。使用与感兴趣数据的类对应的的抽头系数和所转换的数据,执行预设计算以将所转换的数据有效地解码为原始数据。
而且,根据本发明,其中,作为老师的老师数据至少通过正交变换或频率变换进行处理,以生成作为学生的学生数据,并且执行学习,以在统计上最小化通过使用与感兴趣老师数据的类对应的抽头系数和学生数据的预测计算获得的老师数据的预测值的预测误差,以得到抽头系数。使用由此得到的抽头系数,经过正交或频率变换的数据可以进行有效的解码。
现在对本发明的进一步变型进行说明。
在现在说明的实施例中,图62所示的,由熵解码电路631、系数转换电路632和解块电路633组成的解码器622如同图2所示的解码器22,用来对编码数据进行解码。编码数据不仅包含熵编码量化DCT系数,而且包含量化表。
使用来自熵解码电路631的量化DCT系数Q,并且还使用通过学习(后面将进行说明)得到的抽头系数,系数转换电路632执行预设预测计算,以将基于块的量化DCT系数解码为8×8像素的原始块。
解块电路633对在系数转换电路632中获得的解码块进行解块,以产生并输出解码图像。
参照图63的流程图,说明图62的解码器622的处理。
编码数据顺序提供给熵解码电路631。在步骤S301,熵解码电路631对编码数据进行熵解码,以将基于块的量化DCT系数Q发送到系数转换电路632。系数转换电路632在步骤S302使用抽头系数执行预测计算,以对基于块的量化DCT系数Q进行解码,来形成基于块的像素值,然后这些像素值提供给解块电路633。解块电路在步骤S303对来自系数转换电路632的像素值块(解码块)进行解块,以输出结果解码图像,来结束处理。
图62的系数转换电路632使用例如分类自适应处理,将量化DCT系数解码为像素值。
图64示出适用于将量化DCT系数解码为像素值的图62的系数转换电路632的说明性结构。
在图64所示的系数转换电路632A中,由熵解码电路631(图62)输出的基于块的量化DCT系数发送到预测抽头提取电路641和类抽头提取电路642。
预测抽头提取电路641顺序将与向其提供的量化DCT系数块(下面偶尔称作DCT块)对应的像素值块设为感兴趣的像素块。在本阶段没有出现,但事实上预先假定的像素值块在下面偶尔称作像素块。而且构成感兴趣像素块的像素以光栅扫描顺序依次变为感兴趣的像素。总言之,预测抽头提取电路641提取用来预测感兴趣像素的像素值的量化DCT系数,以用作预测抽头。
也就是,本实施例的预测抽头提取电路641提取与感兴趣的像素所属的像素块对应的DCT块的全部量化DCT系数,即8×8=64个量化DCT系数,作为预测抽头,如图65A所示。因此,在本实施例中,为给定像素块的所有像素形成相同的预测抽头。作为替换,还可以对感兴趣的像素逐个地用不同的量化DCT系数形成预测抽头。
其中,形成预测抽头的量化DCT系数不限于前述模式。
在预测抽头提取电路641中获得的,构成像素块的各个像素的预测抽头,即对应于64像素中每个像素的64组预测抽头,发送到乘积和电路645。然而,由于为一个像素块的所有像素形成相同的预测抽头,因此如果对一个像素块将一组预测抽头提供给乘积和电路645,实际上是足够的。
类抽头提取电路642提取用于将感兴趣的像素划分为多个类中的一个的量化DCT系数,以用作类抽头。
其中,在JPEG编码时,由于逐像素块地对图像进行编码(DCT和量化),从而属于给定像素块的像素通过分类分配到同一类。因此,类抽头提取电路642为给定像素块的各个像素形成相同的类抽头。
也就是,在本实施例中,类抽头提取电路642提取与感兴趣的像素所属的像素块对应的DCT块和该块上下左右四个DCT块,共五个DCT块,的量化DCT系数,量化DCT系数的数目为8×8×5=320,作为类抽头。
注意,将属于一个高图像质量像素块的各个像素分配为同一类相当于对像素块进行分类。因此,如果类抽头提取电路242不是形成用于对构成感兴趣的像素块的64个像素中的每个进行分类的64组类抽头,而是形成用于对感兴趣的像素块进行分类的一组类抽头,是足够的。因此,为了逐像素块地对当前像素块进行分类,类抽头提取电路642提取与当前像素块相关联的DCT块的量化DCT系数和位于其上下左右的量化DCT系数,用作类抽头。
其中,形成预测抽头或类抽头的量化DCT系数不限于这些上述模式。
也就是,在JPEG编码时,以由8×8像素构成的像素块为单位执行DCT和量化,以形成由8×8量化DCT系数构成的DCT块。因此,可以设想,在通过分类自适应处理对给定像素块的像素进行解码时,只使用与该像素块相关联的DCT块的量化DCT系数作为类抽头。
然而,如果注意力集中于给定图像的给定像素块,通常当前像素块的像素与邻近像素块的像素之间存在特定不可忽略的关系。因此,通过不仅从与特定像素块对应的DCT块而且从其他DCT块提取量化DCT系数,并且将它们用作类抽头,可以更适当地对感兴趣的像素进行分类,从而,解码图像比如果仅使用与像素块对应的DCT块的量化DCT系数作为类抽头,具有更高的图像质量。
在前面说明中,使用来自与特定像素块对应的DCT块和其相邻上下左右的四个DCT块的量化DCT系数作为类抽头。作为替换,还可以从斜向相邻于与当前像素块对应的DCT块的DCT块,并且从不相邻于与当前像素块对应的DCT块,但位于其附近的DCT块提取量化DCT系数,作为类抽头。也就是,对从中提取用作类抽头的量化DCT系数的DCT块的范围没有特定的限制。
在类抽头提取电路642中获得的感兴趣像素块的类抽头发送到分类电路643。根据从类抽头提取电路642获得的类抽头,分类电路643对感兴趣的像素块进行分类,以输出与如此产生的类对应的类代码。
例如,可以使用ADRC作为分类方法。
在采用ADRC的方法中,形成类抽头的量化DCT系数用ADRC进行处理,并且根据如此产生的ADRC码确定感兴趣像素块的类。
在分类电路643中,通过ADRC处理或向量量化压缩类抽头的信息量,然后进行分类。
其中,在本实施例中,类抽头由320个量化DCT系数形成。因此,如果通过1位ADRC处理执行分类,类代码的数目为2320这一庞大数字。
因此,在本实施例中,分类电路643从形成类抽头的量化DCT系数提取高关键度的特征值,并且根据这些特征值进行分类,以减少类的数目。
也就是,图66示出图64的分类电路643的说明性结构。
在图64所示的分类电路643中,类抽头适用于提供给功率计算电路651。功率计算电路651将形成类抽头的量化DCT系数分裂为多个空域频段,并且计算各个频段的功率值。
也就是,功率计算电路651将形成类抽头的8×8量化DCT系数分裂为四个空域频段S0、S1、S2和S3,例如图8所示。
如果DCT块的8×8量化DCT系数以光栅扫描顺序从0用序列数作为字母x的下标进行表示,如图6所示,空域频段S0由4个量化DCT系数x0、x1、x8、x9构成,空域频段S1由12个量化DCT系数x2、x3、x4、x5、x6、x7、x10、x11、x12、x13、x14、x15构成,空域频段S2由12个量化DCT系数x16、x17、x24、x25、x32、x33、x40、x41、x48、x49、x56、x57构成,并且空域频段S3由36个量化DCT系数x18、x19、x20、x21、x22、x23、x26、x27、x28、x29、x30、x31、x34、x35、x36、x37、x38、x39、x42、x43、x44、x45、x46、x47、x50、x51、x52、x53、x54、x55、x58、x59、x60、x61、x62、x63构成。
而且,功率计算电路651计算量化DCT系数的AC分量的功率值P0、P1、P2和P3,以输出如此计算的功率值P0、P1、P2和P3到类代码生成电路652。
也就是,功率计算电路651得到4个量化DCT系数x0、x1、x8、x9的AC分量x1、x8、x9的平方和值x1 2+x8 2+x9 2,以将结果平方和作为功率P0输出到类代码生成电路652。功率计算电路651还得到空域频段S1的12个量化DCT系数的AC分量的平方和(即全部12个量化DCT系数),以将结果平方和作为功率P1输出到类代码生成电路652。功率计算电路651,还如同如上所述的空域频段S1。的情况,得到空域频段S2和S3的功率值P2和P3,以将结果功率值输出到类代码生成电路652。
类代码生成电路652将来自功率计算电路651的功率值P0、P1、P2和P3与存储在阀值存储单元653中的对应阀值TH0、TH1、TH2和TH3进行比较,以根据其大小关系输出类代码。也就是,类代码生成电路652将功率P0与阀值TH0进行比较,以产生表示大小关系的1位代码。采用类似的方式,类代码生成电路652将功率P1与阀值TH1、功率P2与阀值TH2、和功率P3与阀值TH3进行比较,以为每个功率-阀值组合产生一个1位代码。
因此类代码生成电路652获得用于形成类抽头的五个DCT块的每个块的4个1位代码,即一个20位代码。类代码生成电路652输出该20位代码,作为表示感兴趣像素块的类的类代码。在这种情况下,感兴趣的像素块通过分类分配到220个类中的一个。
阀值存储单元653存储阀值TH0到TH3,以将其与空域频段S0到S3的功率值P0到P3进行比较。
在上述情况下,量化DCT系数的DC分量x0没有用来分类。然而,DC分量x0也可以用来分类。
回到图64,如上所述由分类电路643输出的类代码作为地址提供给系数表存储单元644。
系数表存储单元644存储其中登记有通过学习处理获得的抽头系数的系数表,并且将与由分类电路643输出的类代码相关联的地址中存储的抽头系数输出到乘积和电路645。
在本实施例中,由于对像素块进行分类,因此,为感兴趣的像素块获得一个类代码。另一方面,由于本实施例中的像素块由8×8=64个像素组成,因此对构成感兴趣像素块的64个像素进行解码需要64组抽头系数。因此,系数表存储单元644为对应于一个类代码的地址存储64组抽头系数。
乘积和电路645获得由预测抽头系数提取电路641输出的预测抽头和由系数表存储单元644输出的抽头系数,并且使用预测抽头和抽头系数执行方程(1)所示的线性预测处理(乘积和处理),以将感兴趣像素块的8×8像素的像素值作为对应DCT块的解码结果输出到解块电路633(图62)。
在预测抽头系数提取电路641中,感兴趣像素块的每个像素顺序变为感兴趣的像素。乘积和电路645然后执行与感兴趣像素块的当前感兴趣像素的像素位置相关联的操作模式下的操作。该操作模式在下面偶尔称作像素位置模式。
也就是,如果Pi表示以光栅扫描顺序的感兴趣像素块的像素的第i个像素,Pi为感兴趣像素,乘积和电路45执行像素模式#1的处理。
具体地说,系数表存储单元644输出64组抽头系数,以对构成感兴趣像素块的64个像素中的每个像素进行解码。如果Wi表示用于对像素pi进行解码的一组抽头系数,并且操作模式是像素模式#1,乘积和电路645使用预测抽头和64组抽头系数中的Wi组执行方程(1)的乘积和处理,并且使乘积和的结果为像素pi的解码结果。
参照图67的流程图,说明图64的系数转换电路632A的处理。
由熵解码电路631输出的基于块的DCT系数由预测抽头系数提取电路641和类抽头提取电路642进行顺序接收。预测抽头系数提取电路641顺序使所提供的与量化DCT系数块(DCT块)对应的像素块成为感兴趣的像素块。
在步骤S311,类抽头提取电路642提取接收并且用来对感兴趣像素块进行分类的量化DCT系数,即与感兴趣的像素块对应的DCT块和相邻于其上下左右方的四个DCT块,共五个DCT块的量化DCT系数,以形成类抽头,然后该类抽头输出到分类电路643。
在步骤S312,使用来自类抽头提取电路642的类抽头,分类电路643对感兴趣的像素块进行分类,以将结果类代码输出到系数表存储单元644。
也就是,在图68的流程图中的步骤S312,分类电路643的功率计算电路651(图66),首先在步骤S321,为形成类抽头的五个DCT块中的每个块,计算图8所示的四个空域频段S0到S3的各个功率值P0到P3。这些功率值P0到P3从功率计算电路651输出到类代码生成电路652。
类代码生成电路652在步骤S322从阀值存储单元653读出阀值TH0到TH3,以将来自功率计算电路651的形成类抽头的五个DCT块的功率值P0到P3与阀值TH0到TH3进行比较,以根据各个大小关系生成类代码。然后程序返回。
回到图67,如上所述在步骤S312获得的类代码作为地址从分类电路643输出到系数表存储单元644。
一接收到作为地址的来自分类电路643的类代码,系数表存储单元644在步骤S313读出存储在地址中的64组抽头系数,以将如此读出的抽头系数输出到乘积和电路645。
程序然后移到步骤S314,其中,预测抽头系数提取电路641提取用来预测以光栅扫描顺序尚未变为感兴趣像素的感兴趣像素块的感兴趣像素的像素值的量化DCT系数,以形成预测抽头。该预测抽头从预测抽头系数提取电路641发送到乘积和电路645。
在本实施例中,由于逐像素块地为像素块的全部像素形成相同的预测抽头,因此如果仅为初始成为感兴趣像素的像素执行步骤S314的处理,就是足够的,而没有必要对剩余63个像素执行处理。
在步骤S315,乘积和电路645从在步骤S313从系数表存储单元644输出的64组抽头系数中,获得与感兴趣像素的像素位置模式对应的一组抽头系数,并且使用该组抽头系数和从预测抽头系数提取电路641提供的预测抽头,乘积和电路645执行方程(1)所示的乘积和处理,以获得感兴趣像素的解码值。
程序然后移到步骤S316,其中,预测抽头系数提取电路641验证对于感兴趣像素块的像素是否已全部作为感兴趣像素执行处理。如果在步骤S316证实,对于感兴趣像素块的像素尚未全部作为感兴趣像素进行处理,程序返回到步骤S314,其中,预测抽头系数提取电路641将以光栅扫描顺序尚未变为感兴趣像素的感兴趣像素块的感兴趣像素的像素值作为感兴趣像素重复类似的处理。
如果在步骤S316证实,对感兴趣像素块的全部像素已作为感兴趣像素执行处理,也就是,如果已获得感兴趣像素块的全部像素的解码值,乘积和电路645将由解码值构成的像素块(解码块)输出到解块电路633(图62),以完成处理。
注意,每次预测抽头系数提取电路641设置新的感兴趣像素块,重复执行遵循图67流程图的处理。
在上述实施例中,为构成类抽头的五个DCT块中的每个块计算相同空域频段S0到S3的功率值P0到P3。作为替换,可以根据为构成类抽头的五个DCT块中的每个计算的不同空域频段的功率值执行分类。
也就是,对于形成类抽头的五个DCT块中的与感兴趣像素块对应的DCT块,在下面偶尔称作感兴趣DCT块,相邻于感兴趣DCT块上方的DCT块,相邻于感兴趣DCT块下方的DCT块,相邻于感兴趣DCT块左方的DCT块,和相邻于感兴趣DCT块右方的DCT块,如图69的阴影所示,分别计算垂直和水平方向的高频段功率Pv和Ph,垂直方向的高频段功率Pu,水平方向的高频段功率Pd,水平方向的高频段功率Pl和水平方向的高频段功率Pr。以参照图66和68所说明的方式,根据Pv、Ph、Pu、Pd、Pl和Pr这些功率值执行分类。
在这种情况下,在图67的步骤S312,在分类电路643中执行图70所示的处理。
也就是,在步骤S331,分类电路643的功率计算电路651(图66),计算图69所示的各个频段的功率值Pv、Ph、Pu、Pd、Pl和Pr,以将结果输出到类代码生成电路652。
类代码生成电路652在步骤S322从阀值存储单元653读出阀值。假定与功率值Pv、Ph、Pu、Pd、Pl和Pr分别进行比较的THv、THh、THu、THd、THl和THr存储在阀值存储单元653中。
一从阀值存储单元653读出阀值THv、THh、THu、THd、THl和THr,类代码生成电路652分别将这些阀值与来自功率计算电路651的功率值Pv、Ph、Pu、Pd、Pl和Pr进行比较,以获得与其大小关系对应的6位。类代码生成电路652输出由6个1位代码组成的6位代码。然后程序返回。因此,在这种情况下,感兴趣像素(感兴趣像素块)划分到64=(28)类中的任意一个。
在前面所述中,使用量化DCT系数的AC分量作为类抽头进行分类。作为替换,可以使用量化DCT系数的DC分量执行分类。
也就是,可以使用感兴趣像素块的DC分量C0和相邻于其上下左右方的DCT块的DC分量执行分类,如图71所示。
在这种情况下,分类电路643例如图72所示进行构造。
类抽头提供给差值计算电路751。该差值计算电路751计算形成类抽头的五个DCT块的相邻于感兴趣DCT块的上下左右方的DCT块的DC分量Cu、Cd、Cl和Cr与感兴趣DCT块的DC分量C0之间的差值的绝对值Du、Dd、Dl和Dr,并且将结果发送到类代码生成电路752。也就是,差值计算电路751计算如下方程(9):
Du=|Cu-C0|
Dd=|Cd-C0|
Dl=|Cl-C0|
Dr=|Cr-C0|                                   ...(9)
以将计算结果发送到类代码生成电路752。
类代码生成电路752将由差值计算电路751计算的计算结果(差值绝对值)Du、Dd、Dl和Dr与存储在阀值存储单元753中的对应阀值THu、THd、THl和THr进行比较,以根据各个大小关系输出类代码。也就是,类代码生成电路752将差值绝对值Du与阀值THu进行比较,以生成表示其大小关系的1位代码。类似地,类代码生成电路752分别将差值绝对值Dd、Dl和Dr与阀值THd、THl和THr进行比较,以产生各个1位代码。
类代码生成电路752输出以预设顺序对如上所述获得的4个1位代码进行排列所获得的4位代码(即从0到15的任意值)作为表示感兴趣像素块的类的类代码。因此,感兴趣的像素块划分为24(=16)个类。
阀值存储单元753存储阀值THu、THd、THl和THr,以将其与差值绝对值Du、Dd、Dl和Dr分别进行比较。
如果分类电路643如图72所示进行设计,在图67的步骤S312,执行图73所示的处理。
也就是,在这种情况下,差值计算电路751在步骤S341,使用形成类抽头的五个DCT块的DC分量C0、Cu、Cd、Cl和Cr计算差值绝对值Du、Dd、Dl和Dr,以将差值绝对值Du、Dd、Dl和Dr发送到类代码生成电路752。
类代码生成电路752在步骤S342将存储在阀值存储单元753中的阀值THu、THd、THl和THr与来自差值计算电路751的差值绝对值Du、Dd、Dl和Dr进行比较,以产生四个表示大小关系的1位代码。类代码生成电路752输出由四个1位代码构成的4位代码。然后程序返回。
其中,不仅可以只使用量化DCT系数的AC分量或DC分量,还可以使用AC分量和DC分量两者,执行分类。也就是,分类方法不限于上述技术。
注意,可以由图16或18所示的学习设备60C和60D执行用于学习存储在图64的系数表存储单元644中的抽头系数的学习处理。
图62的系数转换电路632可以如图13所示形成。
图74示出系数转换电路632的说明性结构。在图74中,用相同的参考号表示与图64的情况对应的部件,并且为简洁起见,省略对应的说明。也就是,图74所示的系数转换电路632B除了在乘积和电路645的下游新提供反向DCT电路701之外,基本上等同于图64所示的对应设备进行构造。
反向DCT电路701对乘积和电路645的输出应用反向DCT,以将该输出解码为作为输出的图像。因此,图74的系数转换电路632B执行形成由预测抽头系数提取电路641输出的预测抽头的量化DCT系数和存储在系数表存储单元644中的抽头系数的乘积和,以输出DCT系数。
因此,在图74的系数转换电路632B中,量化DCT系数与抽头系数的乘积和处理不是将量化DCT系数解码为像素值,而是将其解码为DCT系数,该DCT系数在反向DCT电路701中进行反向DCT处理,从而解码为像素值。因此,存储在系数表存储单元644中的抽头系数需要不同于图64的抽头系数。
因此,图75示出负责执行存储在图74的系数表存储单元644中的抽头系数的学习处理的学习设备660B的说明性结构。其中,用在最高有效位的左边加上6的相同参考号表示与图16所示对应的部件或组件,并且为简洁起见,省略对应的说明。也就是,除了不是学习图像的像素值,而是由DCT电路662输出的从学习图像进行DCT处理的DCT系数,作为老师数据发送到正则方程求和电路667之外,图75所示的学习设备660B基本上类似于图16所示的设备进行构造。
因此,图75所示的学习设备660B中的正则方程求和电路667对作为老师数据的由DCT电路662输出的DCT系数和形成由系数表存储单元644输出的预测抽头的量化DCT系数执行上述求和。抽头系数确定电路668对通过这种求和获得的正则方程进行求解,以得到抽头系数。结果是,在图75的学习设备660B中,可以得到将量化DCT系数转换为减小或降低由于量化电路663的量化导致的量化误差的DCT系数的抽头系数。
在图74的系数转换电路632B中,乘积和电路645使用前述抽头系数,执行乘积和处理,输出是转换为减少量化误差的DCT系数的来自预测抽头系数提取电路641的量化DCT系数。这些DCT系数由反向DCT电路701进行反向DCT,以产生由于量化误差导致的图像质量劣化度降低到最低值的解码图像。
图76示出图62所示的系数转换电路632的变型结构。在图76中,用相同的参考号表示与图64或74的情况对应的部件,并且为简洁起见,省略对应的说明。图76所示的系数转换电路632C除了如同图18新提供逆量化电路671,并且还如同图74新提供反向DCT电路701之外,基本上等同于图64所示的对应设备进行构造。
因此,在图76的系数转换电路632C的预测抽头系数提取电路641和类抽头提取电路642中,对DCT系数,而不是量化DCT系数形成预测和类抽头。另外,图76的系数转换电路632C中的乘积和电路645使用形成由预测抽头系数提取电路641输出的预测抽头的DCT系数和存储在系数表存储单元644中的抽头系数执行乘积和处理,以产生减少量化误差的DCT系数。如此产生的DCT系数输出到反向DCT电路701。
图77示出负责执行存储在图76的系数表存储单元644中的抽头系数的学习处理的学习设备660C的说明性结构。在图77中,用相同参考号表示类似于图75所示的部件或组件,并且为简洁起见,省略对应的说明。也就是,除了如同图19新提供逆量化电路681,并且如同图75,不是学习图像的像素值,而是通过对学习图像进行DCT处理获得的,来自DCT电路662的DCT系数,作为老师数据提供给正则方程求和电路667之外,图77所示的学习设备660C基本上类似于图19所示的电路进行构造。
因此,图77的学习设备660C使用由DCT电路662输出的DCT系数,即没有量化误差的DCT系数作为老师数据,并且还使用形成由预测抽头系数提取电路664输出的预测抽头的DCT系数,即经过量化和逆量化的DCT系数作为学生数据,执行上述求和。结果是,在学习设备660C中,可以得到将经过量化和逆量化的DCT系数转换为降低由于量化和逆量化导致的量化误差的DCT系数的抽头系数。
根据本发明,如上所述,至少从不同于与感兴趣的处理数据对应的块的块提取用于将感兴趣的处理数据分配到多个类中的一个的所转换数据,以用作类抽头,然后根据类抽头执行分类,以得到感兴趣处理数据的类,并且使用感兴趣处理数据和所转换数据的类抽头系数执行预设预测计算,以得到感兴趣处理数据的预测值,从而可以从所转换数据有效地得到所需处理数据。
而且,根据本发明,从不同于至少与感兴趣的老师数据对应的块的块提取用于将感兴趣的老师数据分配到多个类中的一个的学生数据,以用作类抽头,然后根据类抽头执行分类,以得到感兴趣老师数据的类。执行学习,从而在统计上最小化通过用于基于类的抽头系数和学生数据的预测计算获得的老师数据的预测值的预测误差,以逐类地得到抽头系数。使用所得到的抽头系数,可以从通过正交或频率变换的数据有效地得到所需数据。
对本发明的进一步变型进行说明。
在现在说明的变型中,使用由熵解码电路831、系数转换电路832和解块电路833组成的解码器822,如同图2所示的解码器22,对编码数据进行解码。
编码数据提供给熵解码电路831。熵解码电路831对编码数据进行熵解码,并且将作为结果的基于块的量化DCT系数Q发送到系数转换电路832。其中,编码数据不仅包含熵编码量化DCT系数,而且包含量化表,而该量化表在必要时可以用于对量化DCT系数进行解码。
使用来自熵解码电路831的量化DCT系数Q,和通过学习得到的抽头系数,系数转换电路832执行预设预测计算,以将基于块的量化DCT系数解码为8×8像素的原始块。
解块电路833对由系数转换电路832获得的解码块进行解块,以产生并输出解码图像。
参照图79的流程图,说明图78的解码器822的处理。
编码数据顺序输入到熵解码电路831。在步骤S401,熵解码电路831对编码数据进行熵解码,以将基于块的量化DCT系数Q发送到系数转换电路832。系数转换电路832在步骤S402使用抽头系数执行预测计算,以将基于块的量化DCT系数Q解码为基于块的像素值,然后这些像素值发送到解块电路833。解块电路833对来自系数转换电路832的像素值块(解码块)进行解块,以输出结果解码图像,来结束处理。
图78的系数转换电路832采用分类自适应处理,将量化DCT系数解码为像素值。
图80示出用于将量化DCT系数解码为像素值的图78的系数转换电路832的说明性结构。
在图80所示的系数转换电路832A中,从熵解码电路831(图78)输出的基于块的量化DCT系数发送到预测抽头提取电路841和类抽头提取电路842。
预测抽头提取电路841顺序将与向其提供的量化DCT系数块(下面偶尔称作DCT块)对应的像素值块设为感兴趣的像素块。这些像素值块在本阶段没有出现,但事实上是预先假定的,并且在下面偶尔称作像素块。而且,构成感兴趣像素块的像素以光栅扫描顺序依次变为感兴趣的像素。总言之,预测抽头提取电路841引用模式表存储单元846的模式表,以用作预测抽头。
也就是,模式表存储单元846存储其中登记有表示提取作为感兴趣像素的预测抽头的量化DCT系数的位置关系的模式信息的模式表。根据模式信息,预测抽头系数提取电路841提取量化DCT系数,以形成感兴趣像素的预测抽头。
如上所述,预测抽头提取电路841形成构成8×8=64像素的像素块中的各个像素的预测抽头,即对应于64像素中每个像素的64组预测抽头,以将由此形成的预测抽头发送到乘积和电路845。
类抽头提取电路842提取用于将感兴趣的像素划分为多个类中的任意一个的量化DCT系数,以用作类抽头。在JPEG编码中,逐像素块地对图像进行编码(DCT和量化),属于给定像素块的所有像素通过分类分配到同一类。因此,类抽头提取电路842为给定像素块的各个像素形成相同的类抽头。也就是,类抽头提取电路842提取与感兴趣的像素所属的像素块对应的DCT块的全部量化DCT系数,即8×8=64个量化DCT系数,作为类抽头,如图6所示。然而,对各个感兴趣像素从不同的量化DCT系数形成类抽头是可能的。
注意,将属于给定像素块的各个像素分配到同一类相当于对像素块进行分类。因此,如果类抽头提取电路842不是形成用于对构成感兴趣的像素块的64个像素中的每个进行分类的64组类抽头,而是形成对感兴趣的像素块进行分类的一组类抽头,是足够的。因此,为了逐像素块地对当前像素块进行分类,类抽头提取电路842提取与当前像素块相关联的DCT块的64个量化DCT系数,用作类抽头。
其中,形成预测抽头或类抽头的量化DCT系数不限于这些上述模式。
在类抽头提取电路842中获得的感兴趣像素块的类抽头发送到分类电路843。分类电路843根据来自类抽头提取电路842的类抽头对感兴趣的像素块进行分类,以输出与结果类对应的类代码。
例如,可以使用ADRC作为分类方法。
在采用ADRC的方法中,形成类抽头的量化DCT系数用ADRC进行处理,并且根据所产生的ADRC码确定感兴趣像素块的类。
在分类电路843中,最好通过ADRC处理或向量量化压缩类抽头的信息量,然后进行分类。
因此,在本实施例中,分类电路843从形成类抽头的量化DCT系数提取高关键度的特征值,并且根据这些特征值进行分类,以减少类的数目。
图81示出图80所示的分类电路843的说明性结构。
类抽头发送到功率计算电路851,然后功率计算电路851将形成类抽头的量化DCT系数分裂为多个空域频段,以计算各个频段的功率。
也就是,功率计算电路851将形成类抽头的8×8量化DCT系数分裂为四个空域频段S0、S1、S2和S3,例如图6所示。空域频段S0由4个量化DCT系数x0、x1、x8、x9构成,空域频段S1由12个量化DCT系数x2、x3、x4、x5、x6、x7、x10、x11、x12、x13、x14、x15构成,空域频段S2由12个量化DCT系数x16、x17、x24、x25、x32、x33、x40、x41、x48、x49、x56、x57构成,并且空域频段S3由36个量化DCT系数x18、x19、x20、x21、x22、x23、x26、x27、x28、x29、x30、x31、x34、x35、x36、x37、x38、x39、x42、x43、x44、x45、x46、x47、x50、x51、x52、x53、x54、x55、x58、x59、x60、x61、x62、x63构成。
而且,功率计算电路851计算空域频段S0、S1、S2、S3中的每个频段的量化DCT系数的AC分量的功率值P0、P1、P2和P3,以输出如此计算的功率值P0、P1、P2和P3到类代码生成电路852。
也就是,功率计算电路851得到4个量化DCT系数x0、x1、x8、x9的AC分量x1、x8、x9的平方和值x1 2+x8 2+x9 2,以将结果平方和作为功率P0输出到类代码生成电路852。功率计算电路851还得到空域频段S1的12个量化DCT系数的AC分量的平方和(即全部12个量化DCT系数),以将结果平方和作为功率P1输出到类代码生成电路852。功率计算电路851,还如同如上所述的空域频段S1的情况,分别得到空域频段S2和S3的功率值P2和P3,以将结果功率值输出到类代码生成电路852。
类代码生成电路852将来自功率计算电路851的功率值P0、P1、P2和P3与存储在阀值存储单元853中的对应阀值TH0、TH1、TH2和TH3进行比较,以根据其大小关系输出类代码。也就是,类代码生成电路852将功率P0与阀值TH0进行比较,以产生表示大小关系的1位代码。采用类似的方式,类代码生成电路852将功率P1与阀值TH1进行比较,以产生表示其大小关系的1位代码。同样地,类代码生成电路852将功率P2与阀值TH2、和功率P3与阀值TH3分别进行比较,以为每个功率-阀值组合产生一个1位代码。类代码生成电路852以例如预设顺序将如上所述获得的4个1位代码(从而为从0到15的任意值)作为表示感兴趣像素块的类的类代码。因此,在本实施例中,感兴趣的像素块划分为24=16个类。
阀值存储单元853存储阀值TH0到TH3,以将它们与空域频段S0到S3的功率值P0到P3分别进行比较。
在上述情况下,量化DCT系数的DC分量x0没有用来分类。作为替换,该DC分量x0也可以用来分类。
回到图80,如上所述由分类电路843输出的类代码作为地址提供给系数表存储单元844和模式表存储单元846。
系数表存储单元844存储其中登记有通过学习处理(随后将进行说明)获得的抽头系数的系数表,并且将与由分类电路843输出的类代码相关联的地址中存储的抽头系数输出到乘积和电路845。
在对像素块进行分类的本实施例中,为感兴趣的像素块获得一个类代码。另一方面,由于本实施例中的像素块由8×8=64个像素组成,因此对构成给定感兴趣像素块的64个像素进行解码需要64组抽头系数。因此,系数表存储单元844为对应于一个类代码的地址存储64组抽头系数。
乘积和电路845获得由预测抽头系数提取电路841输出的预测抽头和由系数表存储单元844输出的抽头系数,并且使用预测抽头和抽头系数执行方程(1)所示的线性预测处理(乘积和处理),以将感兴趣像素块的8×8像素的像素值作为对应DCT块的解码结果输出到解块电路833(图78)。
在预测抽头系数提取电路841中,感兴趣像素块的每个像素顺序变为感兴趣的像素。乘积和电路845然后执行与感兴趣像素块的当前感兴趣像素的像素位置相关联的操作模式下的操作。该操作模式在下面偶尔称作像素位置模式。
也就是,如果Pi表示以光栅扫描顺序的感兴趣像素块的像素的第i个像素,Pi为感兴趣像素,乘积和电路845执行像素模式#1的处理。
具体地说,系数表存储单元844输出64组抽头系数,以对构成感兴趣像素块的64个像素中的每个像素进行解码。如果Wi表示用于对像素pi进行解码的一组抽头系数,并且操作模式是像素模式#1,乘积和电路845使用预测抽头和64组抽头系数中的组Wi执行方程(1)的乘积和处理,并且使乘积和的结果为像素pi的解码结果。
模式表存储单元846其中存储有一个模式表,在该模式表中登记有通过学习模式信息所获得的表示量化DCT信息的提取模式的模式信息,后面将对此进行说明。模式表存储单元846将与由分类电路843输出的类代码相关联的地址中所存储的模式信息输出到预测抽头提取电路841。
在模式表存储单元846中,为与一个类代码相关联的地址存储有64组模式信息(每个像素位置模式的模式信息)。
参照图82的流程图,说明图80的系数转换电路832A的处理。
由熵解码电路831输出的基于块的DCT系数由预测抽头系数提取电路841和类抽头提取电路842进行顺序接收。预测抽头系数提取电路841顺序使与量化DCT系数块(DCT块)对应的像素块成为感兴趣的像素块。
在步骤S411,类抽头提取电路842提取接收并且用来对感兴趣像素块进行分类的量化DCT系数,以形成类抽头,然后类抽头输出到分类电路243。
在步骤S412,使用来自类抽头提取电路842的类抽头,分类电路843对感兴趣的像素块进行分类,以将结果类代码输出到系数表存储单元844和模式表存储单元846。
也就是,在图83的流程图中的步骤S412,分类电路843的功率计算电路851(图81),首先在步骤S421,将构成类抽头的8×8量化DCT系数分裂为四个空域频段S0到S3,以计算各个功率值P0到P3。这些功率值P0到P3从功率计算电路851输出到类代码生成电路852。
类代码生成电路852在步骤S422读出阀值TH0到TH3,以将来自功率计算电路851的功率值P0到P3与阀值TH0到TH3进行比较,以根据大小关系生成类代码。然后程序返回。
回到图82,如上所述在步骤S412获得的类代码作为地址从分类电路843输出到系数表存储单元844和模式表存储单元846。
一接收到作为地址的来自分类电路843的类代码,系数表存储单元844在步骤S413读出作为地址所存储的64组抽头系数,以将如此读出的抽头系数输出到乘积和电路845。
程序然后移到步骤S414,其中,预测抽头系数提取电路841提取用来预测以光栅扫描顺序尚未变为感兴趣像素的感兴趣像素块的感兴趣像素的像素值的量化DCT系数,以形成预测抽头。这些预测抽头从预测抽头系数提取电路841发送到乘积和电路845。
在步骤S415,乘积和电路845从在步骤S413从系数表存储单元844输出的64组抽头系数中,获得与感兴趣像素的像素位置模式对应的一组抽头系数。然后,使用该组抽头系数和从预测抽头系数提取电路841提供的预测抽头,乘积和电路845执行方程(1)所示的乘积和处理,以获得感兴趣像素的解码值。
程序然后移到步骤S416,其中,预测抽头系数提取电路841验证对于感兴趣像素块的像素是否已全部作为感兴趣像素执行处理。如果在步骤S416证实,对于感兴趣像素块的像素尚未全部作为感兴趣像素进行处理,程序返回到步骤S414,其中,预测抽头系数提取电路841将以光栅扫描顺序尚未变为感兴趣像素的感兴趣像素块的感兴趣像素像素值作为感兴趣像素重复类似的处理。
如果在步骤S416证实,对感兴趣像素块的全部像素已作为感兴趣像素执行处理,也就是,如果已获得感兴趣像素块的全部像素的解码值,乘积和电路845将由解码值构成的像素块(解码块)输出到解块电路833(图78),以完成处理。
其中,每次预测抽头系数提取电路841设置新的感兴趣像素块,重复执行遵循图82的流程图的处理。
图84示出为存储在图80的系数表存储单元844中的抽头系数执行学习处理的学习设备860A的说明性结构。
分块电路861输入在学习时充当老师的作为老师数据的一个或多个学习图像数据的图像。分块电路861如同JPEG编码的情况,将作为老师数据的图像分块为每个由8×8像素组成的像素块。
DCT电路862顺序读出由分块电路861形成的像素块,并且对感兴趣像素块应用DCT处理,以形成DCT系数块。这些DCT系数块发送到量化电路863。
量化电路863根据如同在JPEG编码中使用的相同的量化表对来自DCT电路862的DCT系数块进行量化,并且顺序将结果量化DCT系数块(DCT块)发送到预测抽头系数提取电路864和类抽头提取电路865。
将以光栅扫描顺序尚未变为感兴趣像素的感兴趣像素块的像素作为感兴趣像素,预测抽头提取电路864通过从量化电路863的输出中提取所需量化DCT系数,为感兴趣像素引用从模式表存储单元870读出的模式信息,以形成与图80的预测抽头系数提取电路841所形成的相同的预测抽头。这些预测抽头从预测抽头系数提取电路864发送到正则方程求和电路867。
类抽头提取电路865从量化电路863的输出中提取所需量化DCT系数,以形成与图80的类抽头提取电路842形成的相同的类抽头。该类抽头从类抽头提取电路865发送到分类电路866。
使用来自类抽头提取电路865的类抽头,分类电路866执行与图80的分类电路843所执行的相同的处理,以对感兴趣像素块进行分类,并且将结果类代码发送到正则方程求和电路867和模式表存储单元870。
正则方程求和电路867从分块电路861读出作为老师数据的感兴趣像素的像素值,以对来自预测抽头系数提取电路864的作为学生数据形成预测抽头的量化DCT系数和感兴趣像素执行求和。
也就是,正则方程求和电路867,对与从分类电路866提供的类代码对应的类逐个地使用预测抽头(学生数据),执行学生数据的相乘(xinxim)与求和∑的计算,作为方程(8)的矩阵A的各个项。
正则方程求和电路867,对与从分类电路866提供的类代码对应的类逐个地使用预测抽头(学生数据)和感兴趣像素(老师数据),执行预测抽头(学生数据)和感兴趣像素(老师数据)的相乘(xinyi)与求和∑的计算,作为方程(8)的向量v的项。
为每个类对感兴趣像素的像素位置模式逐个地执行正则方程求和电路867中的前述求和。
正则方程求和电路867对构成向其提供的老师图像的全部像素作为感兴趣像素执行上述求和,从而为每个类的每个像素位置模式建立方程(8)所示的正则方程。
抽头系数确定电路868对在正则方程求和电路867中逐像素位置模式为每个类生成的正则方程进行求解,逐类地得到64组抽头系数,以将由此得到的抽头系数发送到与系数表存储单元869的各个类对应的地址。
根据所提供作为学习图像的图像数目,或图像内容,可能出现产生一个其中不能产生得到抽头系数所需的正则方程数目的类。对于这种类,抽头系数确定电路68输出例如缺省抽头系数。
系数表存储单元869存储从抽头系数确定电路868向其提供的,每个类的64组抽头系数。
模式表存储单元870存储与模式表存储单元846所存储的相同的模式表。存储在与来自分类电路866的类代码相关联的地址中的该64组模式信息读出并发送到预测抽头提取电路864。
现在参照图85的流程图,说明图84的学习设备860A的处理(学习处理)。
输入作为老师数据的学习图像数据的分块电路861,如同JPEG编码的情况,在步骤S431,将作为老师数据的图像数据分块为8×8像素的像素块。程序然后移到步骤S432,其中,DCT电路862顺序读出由分块电路861形成的像素块,并且对感兴趣的像素块应用DCT处理,以形成DCT系数块。程序然后移到步骤S433,其中,量化电路863顺序读出在DCT电路862中所获得的DCT系数块,并且使用与在JPEG编码中使用的相同的量化表,对如此读出的块进行量化,以形成每个由量化DCT系数构成的块(DCT块)。
程序然后移到步骤S434,其中,类抽头提取电路865将由分块电路861分块并且尚未变为感兴趣像素块的像素块变为感兴趣的像素块。而且,类抽头提取电路865从在量化电路863中获得的DCT块提取用来对感兴趣像素块进行分类的量化DCT系数,以形成随后发送到分类电路866的类抽头。如同参照图83流程图所述,分类电路866在步骤S435,使用来自类抽头提取电路865的类抽头对感兴趣的像素块进行分类,以将结果类代码发送到正则方程求和电路867和模式表存储单元870。程序然后移到步骤S436。
因此,模式表存储单元870读出存储在与来自分类代码866的类代码相关联的地址中的64组模式信息,以将所读出的模式信息发送到预测抽头提取电路864。
将以光栅扫描顺序尚未变为感兴趣像素的感兴趣像素块的像素作为感兴趣像素,预测抽头提取电路864通过从量化电路863的输出中提取所需量化DCT系数,使用来自模式表存储单元870的64组模式信息中与感兴趣像素的像素位置模式对应的模式信息,形成与图80的预测抽头系数提取电路841所形成的相同的预测抽头。使用感兴趣像素的预测抽头作为学生数据,预测抽头系数提取电路864将学生数据发送到正则方程求和电路867。程序然后移到步骤S437。
在步骤S437,正则方程求和电路867从分块电路861读出作为老师数据的感兴趣像素,并且在方程(8)的矩阵A和向量v中对形成作为学生数据的预测抽头的量化DCT系数和作为老师数据的感兴趣像素执行前述求和。注意,为与来自分类电路866的类代码对应的每个类并且对感兴趣像素的每个像素位置模式执行该求和。
程序然后移到步骤S438,其中,预测抽头系数提取电路864验证是否感兴趣像素块的全部像素已作为感兴趣像素完成求和。如果在步骤S438发现,感兴趣像素块的全部像素尚未作为感兴趣像素完成求和,程序然后移到步骤S436,其中,预测抽头系数提取电路864以光栅扫描顺序使尚未变为感兴趣像素的感兴趣像素块的像素成为新的感兴趣像素。随后,重复类似的操作序列。
如果在步骤S438发现,感兴趣像素块的全部像素已作为感兴趣像素完成求和,程序然后移到步骤S439,其中,分块电路861验证是否从作为老师数据的图像获得的全部像素块已作为感兴趣像素块完成处理。如果在步骤S439证实,从作为老师数据的图像获得的所有像素块尚未全部作为感兴趣像素块完成处理,程序回到步骤S434,其中,使由分块电路861形成并且尚未变为感兴趣像素块的像素块变为新的感兴趣像素块。随后,重复类似的操作序列。
如果相反在步骤S439证实,从作为老师数据的图像获得的全部像素块已作为感兴趣像素块完成处理,也就是,如果为每个类获得正则方程,程序然后移到步骤S440,其中,抽头系数确定电路868对为每个类的像素位置模式逐个生成的正则方程进行求解,得到与每个类的64个像素位置模式相关联的64组抽头系数,以将由此得到的抽头系数发送并存储在系数表存储单元869的各个类相关联的地址中。然后处理结束。
因此,存储在系数表存储单元869中的各个类的抽头系数存储在图80的系数表存储单元844中。
因此,通过学习已得到存储在系数表存储单元844中的抽头系数,从而通过线性预测计算获得的原始像素值的预测值的预测误差(在此为平方差)将在统计上最小。结果是通过图80的系数转换电路832A,JPEG编码图像可以解码为无限近似于原始图像的图像。
而且,由于同时执行对JPEG编码图像进行解码的处理和用于改善图像质量的处理,因此从JPEG编码图像可以有效产生高图像质量的解码图像。
图86示出负责要存储在图80的模式表存储单元846和图84的模式表存储单元870中的模式信息的学习处理的模式学习设备950A的说明性结构。
分块电路951输入一个或多个学习图像数据的图像。如同JPEG编码,分块电路951将学习图像形成为8×8像素的像素块。其中,提供给分块电路951的用于学习的图像数据可以相同或不同于提供给图84的抽头系数学习设备860A的分块电路861的用于学习的图像数据。
DCT电路952顺序读出由分块电路951形成的像素块作为感兴趣的像素块,以对像素块应用DCT处理,形成DCT系数块。这些DCT系数块发送到量化电路953。
量化电路953根据与在JPEG编码中使用的相同的量化表对来自DCT电路952的DCT系数块进行量化。由此产生的量化DCT系数块(DCT块)顺序发送到求和电路954和类抽头提取电路955。
将在分块电路951获得的像素块顺序作为感兴趣像素块,并且将以光栅扫描顺序尚未变为感兴趣像素的感兴趣像素块中的像素作为感兴趣像素,求和电路954执行求和处理,以得到感兴趣像素与由量化电路953输出的量化DCT系数之间的相关值(互关值)。
也就是,在对模式信息的学习处理中,以与给定感兴趣像素所属的给定感兴趣像素块对应的DCT块为中心的3×3DCT块的所有量化DCT系数,与感兴趣像素相关联,如图87A所示。对从学习图像获得的所有像素块执行该操作,如图87B所示,以计算给定像素块的各个像素与以与该像素块对应的DCT块为中心的3×3DCT块的各个量化DCT系数之间的相关值。然后,对于像素块的每个像素,与该像素有较大相关值的量化DCT系数的位置模式设为模式信息,用■表示。也就是,在图87C中,用■表示与像素块中从左第三列且从上第一行的像素有较大相关值的量化DCT系数的位置模式,该位置模式为模式信息。
如果从左第(x+1)列且从上第(y+1)行的像素用A(x,y)(在本发明的实施例中,x、y为0到7(=8-1)的整数)表示,并且以与包含该像素的像素块对应的DCT块为中心,并且位于从左第(s+1)列且从上第(t+1)行的3×3DCT块的量化DCT系数用B(s,t)(在本发明的实施例中,s、t为0到23(=8*3-1)的整数)表示。在与像素A(x,y)的预设位置关系中,像素A(x,y)与量化DCT系数B(s,t)的互关值RA(x,y)B(s,t)用如下方程(10)进行表示:
RA(x,y)B(s,t)=∑(A(x,y)-A’(x,y))(B(s,t)-B’(s,t))
/(√(∑(A(x,y)-A’(x,y))2)√(∑(B(s,t)-B’(s,t))2)
                                                       ...(10)
在方程(10)和下面方程(11)到(13)中,求和(∑)表示对从学习图像获得的所有像素块的求和,A’(x,y)表示在从学习图像获得的像素块的位置s(x,y)的像素值的平均值,并且B’(s,t)表示位于与从学习图像获得的像素块对应的3×3DCT块的位置(s,t)的量化DCT系数的平均值。
因此,如果从学习图像获得的像素块的总数用N表示,平均值A’(x,y)和平均值B’(s,t)可以用如下方程(11)表示:
A’(x,y)=(∑A(x,y))/N
B’(s,t)=(∑B(s,t))/N
                                                      ...(11)
将方程(11)代入方程(10)时,导出如下方程(12)。
RA(x,y)B(s,t)=N∑(A(x,y)-B(s,t))-∑(A(x,y)(∑B(s,t))
/(√(N∑A(x,y)2-(A(x,y))2)√(N∑B(s,t)2-(B’(s,t))2))
                                                      ...(12)
为从方程(12)求得相关值RA(x,y)B(s,t),需要进行下列5项的求和计算:
∑A(x,y)
∑B(s,t)
∑A(x,y)2
∑B(s,t)2
∑(A(x,y)(B(s,t))                         ...(13)
因此,求和电路954对该5项一起进行求和。
在此,为简化说明,没有考虑类。在图86的模式学习设备950A中,求和电路954为从分类电路956提供的每个类代码进行求和计算。因此,在上面情况下,求和(∑)表示对从学习图像获得的所有像素块的求和。然而,如果考虑类,方程(13)的求和(∑)表示对从学习图像获得且属于给定类的所有像素块的求和。
回到图86,当为每个类获得用于计算在像素块的各个位置的像素与在以对应于该像素块的DCT块为中心的3×3DCT块的各个位置的量化DCT系数的相关值,求和电路954将求和计算结果输出到相关系数计算电路957。
类抽头提取电路955通过从量化电路953的输出中提取所需量化DCT系数,形成与图80的类抽头提取电路842所形成的相同的类抽头。这些类抽头从类抽头提取电路955提供给分类电路956。
分类电路956使用来自类抽头提取电路955的类抽头,执行与图80的分类电路843相同的处理,以对感兴趣像素进行分类,并将结果类代码发送到求和电路954。
相关系数计算电路957使用求和电路954的输出,根据方程(12)逐类计算用于计算像素块各个位置的像素与以对应于该像素块的DCT块为中心的3×3DCT块各个位置的量化DCT系数之间的相关值,并且将结果相关值发送到模式选择电路958。
根据来自相关系数计算电路957的相关值,模式选择电路958逐类识别在像素块的各个位置的与各个8×8像素有较大相关值的DCT系数的位置。也就是,模式选择电路958逐类识别在像素块的各个位置的与各个8×8像素有比预设阀值更大的绝对相关值的DCT系数的位置。作为替换,模式选择电路958逐类识别在像素块的各个位置的与各个8×8像素有比预设排名值更高的绝对相关值的DCT系数的位置。模式选择电路958为8×8像素中每个像素的每个像素位置模式将逐类识别的64组DCT系数的位置模式作为模式信息发送到模式表存储单元959。
如果模式选择电路958设计为用于识别与像素块中各个位置的像素有比预设排名值更高的绝对相关值的DCT系数的位置,由此识别的DCT系数的位置数目为与预设排名值对应的固定值。另一方面,如果DCT系数的位置与像素块中各个位置的像素的绝对相关值不低于预设阀值,DCT系数的位置数目为可变值。
模式表存储单元959存储由模式选择电路958输出的模式信息。
参照图88的流程图,说明图86的模式学习设备950A的处理(学习处理)。
分块电路951输入用于学习的图像数据。在步骤S451,分块电路861将用于学习的图像数据形成为8×8像素的像素块,如同JPEG编码的情况。程序然后移到步骤S452,其中,DCT电路952顺序读出由分块电路951形成的像素块,并且对该像素块应用DCT处理,以形成DCT系数块。程序然后移到步骤S453,其中,量化电路953顺序读出在DCT电路952获得的DCT系数块,并且根据与在JPEG编码中使用的相同的量化表对DCT系数进行量化,以形成量化DCT系数块(DCT块)。
程序然后移到步骤S454,其中,求和电路954将尚未变为感兴趣像素块的像素块变为感兴趣的像素块。在步骤S454,类抽头提取电路955从在量化电路863中获得的DCT块提取用来对感兴趣像素块进行分类的量化DCT系数,以形成提供给分类电路956的类抽头。采用参照图83的流程图所说明的方式,分类电路956使用来自类抽头提取电路955的类抽头对感兴趣的像素块进行分类,以将结果类代码发送到求和电路954。程序然后移到步骤S456。
在步骤S456,求和电路954将尚未变为感兴趣像素的感兴趣像素块中的像素作为感兴趣像素,使用由分块电路951分块的学习图像和由量化电路953输出的量化DCT系数,逐感兴趣像素位置(像素位置模式)且逐个从类电路956提供的类代码,执行方程(13)的求和处理。然后,程序移到步骤S457。
在步骤S457,求和电路954检查是否将感兴趣像素块中的所有像素作为感兴趣像素进行求和计算。如果在步骤S457发现,尚未将感兴趣像素块的所有像素作为感兴趣像素进行求和,程序返回到步骤S456,其中,求和电路954以光栅扫描顺序将尚未变为感兴趣像素的感兴趣像素块中的像素变为感兴趣像素。随后,重复类似的操作序列。
如果相反在步骤S457发现,已经将从作为老师数据的图像获得的所有像素块作为感兴趣像素块进行处理,程序移到步骤S458,其中,求和电路954检查是否已经将从学习图像获得的感兴趣像素块的所有像素作为感兴趣像素块进行处理。如果在步骤S458发现,没有将从学习图像获得的感兴趣像素块的所有像素作为感兴趣像素块进行处理,程序返回到步骤S454,其中,将由分块电路951形成且尚未变为感兴趣像素块的像素块变为新的感兴趣像素块。随后,重复类似的操作序列。
如果相反在步骤S458发现,已经将从学习图像获得的感兴趣像素块的所有像素作为感兴趣像素块进行处理,程序移到步骤S459,其中,相关系数计算电路957计算给定像素块中各个位置的像素与以与该像素块对应的DCT块为中心的3×3DCT块中各个位置的量化DCT系数之间的相关值,以将计算结果发送到模式选择电路958。
根据来自相关系数计算电路957的相关值,模式选择电路958在步骤S460,逐类识别在像素块的各个位置的表示与8×8像素有较大相关值的位置关系的DCT系数的位置。模式选择电路958在像素块的各个位置为8×8像素中的各个像素逐类识别的64组DCT系数的位置模式作为模式信息发送到模式表存储单元959,以在其中进行存储。然后处理结束。
如上所述,存储在模式表存储单元959中的64组基于类的模式信息存储在图80的模式表存储单元846和图84的模式表存储单元870中。
因此,在图80所示的系数转换电路832A中,提取与感兴趣像素有较大相关值的量化DCT系数作为预测抽头,并且使用这些预测抽头,将量化DCT系数解码为原始像素值。因此,与随机提取用作预测抽头的量化DCT系数相比,可以改善解码图像的图像质量。
在JPEG编码中,以8×8像素的像素块为单位执行DCT和量化,从而形成由8×8量化DCT系数构成的DCT块。因此,可以设想,在通过分类自适应处理对给定像素块的像素进行解码时,只使用与该像素块相关联的DCT块的量化DCT系数作为类抽头。
然而,如果注意力集中于给定图像的给定像素块,通常当前像素块的像素与邻近像素块的像素之间存在特定不可忽略的关系。因此,通过不仅从以与给定像素块相关联的DCT块为中心的3×3DCT块(即,与当前DCT块相关联的多个DCT块),而且从其他DCT块提取表示与感兴趣像素有较高关联的位置关系的量化DCT系数,并且将它们用作预测抽头,解码图像比如果仅使用与像素块对应的DCT块的量化DCT系数作为类抽头,具有更高的图像质量。
由于给定像素块的像素和相邻像素块的像素之间存在不可忽略的关系,与仅采用与给定像素块对应的DCT块的量化DCT系数的情况相比,将以与该像素块对应的DCT块为中心的3×3DCT块的所有量化DCT系数用作预测抽头,改善解码图像的图像质量是可能的。
然而,如果以与给定像素块对应的DCT块为中心的3×3DCT块的所有量化DCT系数用作预测抽头,形成预测抽头的量化DCT系数的数目为576(8×8×3×3),从而增加由乘积和电路845执行的乘积和处理的次数。
因此,如果提取并使用表示与感兴趣像素有较大关联的位置关系的576个量化DCT系数中的量化DCT系数作为预测抽头,能够减小图80的乘积和电路845中的处理量,并且仍然改善解码图像的图像质量。
在上述情况下,提取表示与感兴趣像素有较大关联的位置关系的量化DCT系数作为预测抽头。然而,还可以从以与给定像素块对应的DCT块为中心的例如5×5DCT块的量化DCT系数中提取用作预测抽头的量化DCT系数。也就是,对提取用作预测抽头的量化DCT系数的DCT块范围没有具体限制。
从对应像素块的像素获得给定DCT块的量化DCT系数,从而,在形成感兴趣像素的预测抽头时,可以认为,使用与感兴趣像素的像素块相关联的DCT块的所有量化DCT系数,是最理想的。
因此,模式选择电路958可以设计为生成模式信息,其中与当前像素块相关联的DCT块的量化DCT系数将必要地被提取作为预测抽头。在这种情况下,模式选择电路958从相邻于与当前像素块相关联的DCT块的8个DCT块中选择具有较高相关值的量化DCT系数,从而,这些量化DCT系数的位置模式和与该像素块相关联的所有DCT块的所有量化DCT系数的位置模式,组合在一起,成为最终模式信息。
图89示出图78所示的系数转换电路832的变型。在图89中,用相同的参考号表示与图80的情况对应的部件,并且为简洁起见,省略对应的说明。也就是,图89所示的系数转换电路832B除了新提供逆量化电路871之外,基本上等同于图80所示的对应设备进行构造。
在图89所示的系数转换电路832B中,逆量化电路871输入通过从熵解码电路831(图78)对编码数据进行熵解码获得的基于块的量化DCT系数。
其中,如上所述,在熵解码电路831中,不仅获得量化DCT系数,而且获得量化表。在图89的系数转换电路832B中,该量化表还从熵解码电路831输入到逆量化电路871。
逆量化电路871根据来自熵量化电路831的量化表对来自熵解码电路831的量化DCT系数进行逆量化,以将结果DCT系数发送到预测抽头系数提取电路841和类抽头提取电路842。
因此,预测抽头提取电路841和类抽头提取电路842不仅对量化DCT系数,而且对DCT系数形成预测抽头和类抽头。随后,对DCT系数执行类似于图80所示的处理。
由于图89的系数转换电路832B不仅对量化DCT系数,而且对DCT系数执行处理,因此,存储在系数表存储单元844中的抽头系数需要不同于图80所示的抽头系数。
因此,图90示出负责存储在图89的系数表存储单元844中的抽头系数的学习处理的抽头系数学习设备860B的说明性结构。其中,用与图84中所使用的相同的参考号表示图90中对应的部件或组件,并且为简洁起见,省略对应的说明。也就是,图90所示的抽头系数学习设备860B除了在量化电路863的下游新提供逆量化电路881之外,基本上类似于图84所示的设备进行构造。
图90所示的抽头系数学习设备860B中的逆量化电路881,采用与图89的逆量化电路871相同的方式,对由量化电路863输出的量化DCT系数进行逆量化,并且将结果DCT系数发送到预测抽头系数提取电路864和类抽头提取电路865。
因此,在预测抽头系数提取电路864和类抽头提取电路865中,对DCT系数,而不是量化DCT系数形成预测抽头和类抽头。随后,以图84中相同的方式,执行处理。
结果是,产生减小由于DCT系数的量化和逆量化导致的量化误差效果的抽头系数。
因此,图91示出负责存储在图89的模式表存储单元870中的模式信息的学习处理的学习设备950B的说明性结构。其中,用相同的参考号描述与图86所示对应的部件或组件,并且为简洁起见,省略对应的说明。也就是,图91所示的模式学习设备950B除了在量化电路953的下游新提供逆量化电路891之外,基本上类似于图86所示的设备进行构造。
在模式学习设备950B中,逆量化电路891,采用与图89的逆量化电路871或图90的逆量化电路881相同的方式,对由量化电路953输出的量化DCT系数进行逆量化,并且将结果DCT系数发送到求和电路954和类抽头提取电路955。
因此,求和电路954和类抽头提取电路955对DCT系数,而不是量化DCT系数执行处理。也就是,求和电路954使用由逆量化电路891输出的DCT系数,而不是由量化电路953输出的量化DCT系数执行求和计算,以形成类抽头。类似地,求和电路954使用由逆量化电路891输出的DCT系数,而不是由量化电路953输出的量化DCT系数执行求和计算,以形成类抽头。然后,执行类似于图86的处理,以计算模式信息。
图92示出图78的系数转换电路832的另一结构。其中,用相同的参考号表示对应于图80所示的部件或组件,并且为简洁起见,省略对应的说明。也就是,图91所示的系数转换电路832C除了在乘积和电路845的下游新提供反向DCT电路901之外,基本上类似于图80所示的设备进行构造。
反向DCT电路901对乘积和电路845的输出应用反向DCT,以将该输出解码为输出图像。因此,在图92的系数转换电路832C中,乘积和电路845使用形成由预测抽头系数提取电路841输出的预测抽头的量化DCT系数和存储在系数表存储单元844中的抽头系数,执行乘积和处理,以输出DCT系数。
因此,在图92所示的系数转换电路832C中,将量化DCT系数解码为像素值,不是由量化DCT系数经过与抽头系数的乘积和处理,而是由量化DCT系数转换为DCT系数,然后由反向DCT电路901进行反向DCT处理。因此,存储在系数表存储单元844中的抽头系数需要不同于图80的抽头系数。
因此,图93示出负责存储在图92的系数表存储单元844中的抽头系数的学习处理的抽头系数学习设备860C的说明性结构。其中,用与图84所使用的相同的参考号表示图93中对应的部件或组件,并且为简洁起见,省略对应的说明。也就是,除了不是学习图像的像素值,而是通过对学习图像进行DCT处理获得的来自DCT电路862的DCT系数,作为老师数据发送到正则方程求和电路867之外,图93所示的抽头系数学习设备860C基本上类似于图84所示的设备进行构造。
因此,图93所示的抽头系数学习设备860C中的正则方程求和电路867对作为老师数据的由DCT电路862输出的DCT系数和形成由系数表存储单元844输出的预测抽头的量化DCT系数执行上述求和。抽头系数确定电路868对通过这种求和获得的正则方程进行求解,以得到抽头系数。结果是,在图93的学习设备860C中,可以得到将量化DCT系数转换为减小或降低由于量化电路863的量化导致的量化误差的DCT系数的抽头系数。
在图92的系数转换电路832C中,乘积和电路845使用前述抽头系数,执行乘积和处理,输出是转换为减少量化误差的DCT系数的来自预测抽头系数提取电路841的量化DCT系数。这些DCT系数由反向DCT电路901进行反向DCT,以产生由于量化误差导致的图像质量劣化度降到较低值的解码图像。
图94示出负责存储在图92的模式表存储单元846和图93的模式表存储单元870中的模式信息的学习处理的模式学习设备950C的说明性结构。其中,用相同的参考号表示对应于图86所示的部件或组件,并且为简洁起见,省略对应的说明。也就是,除了不是由分块电路951输出的学习图像的像素,而是由DCT电路952输出的DCT系数,发送到求和电路954之外,图94所示的模式学习设备950C类似于图86所示的设备进行构造。
图86的模式学习设备950A,通过采用量化DCT系数和形成预测抽头的抽头系数的乘积和处理,得到表示与给定像素有较大相关的位置关系的量化DCT系数,以对图像进行解码,并且使量化DCT系数的位置模式成为模式信息。在图94所示的模式学习设备950C中,需要通过采用形成预测抽头的量化DCT系数和抽头系数的乘积和处理,得到与DCT系数有高相关性的量化DCT系数,以产生减少量化误差的DCT系数,得到作为模式信息的量化DCT系数的位置模式。
因此,在图94的模式学习设备950C中,不是在分块电路951中获得的像素块,而是在DCT电路952中对像素块进行DCT处理获得的DCT系数块顺序变为感兴趣像素块,并且在这样一个感兴趣像素块的DCT系数中,以光栅扫描顺序尚未变为感兴趣DCT系数的DCT系数顺序变为感兴趣DCT系数。然后,求和电路954对由分类电路956输出的感兴趣DCT系数的每个类代码执行求和计算,以得到感兴趣的DCT系数和由量化电路953输出的量化DCT系数之间的相关值(互关值)。
也就是,在图94所示的模式学习设备950C的学习处理中,以对应于包含给定感兴趣DCT系数的感兴趣块的量化DCT系数的DCT块为中心的3×3DCT块的所有量化DCT系数,与感兴趣DCT系数相关联,如图95A所示。对从学习图像获得的所有DCT系数块执行该操作,如图95B所示,以计算给定DCT系数块中各个位置的DCT系数与以对应于该块的DCT块为中心的3×3DCT块中各个位置的各个量化DCT系数之间的相关值。然后,对于DCT系数块的每个DCT系数,表示与该DCT系数有较大相关值的位置关系的量化DCT系数的位置模式设为模式信息,用■表示。也就是,在图95C中,表示与DCT系数块中从左第二列且从上第一行的DCT系数有较大相关的位置关系的量化DCT系数的位置模式用■表示,该位置模式为模式信息。
如果从左第(x+1)列且从上第(y+1)行的像素用A(x,y)表示,并且以与包含该像素的像素块对应的DCT块为中心,并且每个位于从左第(s+1)列且从上第(t+1)行的3×3DCT的量化DCT系数用B(s,t)表示。在与DCT系数A(x,y)的预设位置关系中,DCT系数A(x,y)与量化DCT系数B(s,t)的互关值RA(x,y)B(s,t)可以根据方程(10)到(13)求得。
回到图94,相关系数计算电路957使用由求和电路954执行的求和计算结果,得到DCT系数和量化DCT系数之间的相关值。模式选择电路958得到表示增大相关值的位置关系的量化DCT系数的位置模式,以用作模式信息。
图96示出图78所示的系数转换电路832的另一结构。其中,用相同的参考号表示对应于图80、89或92所示的部件或组件,并且为简洁起见,省略对应的说明。也就是,图96所示的系数转换电路832D除了如同图89新提供逆量化电路871,并且还如同图92新提供反向DCT系数901之外,基本上类似于图80所示的对应设备进行构造。
因此,在图96所示的系数转换电路832D的预测抽头系数提取电路841和类抽头提取电路842中,对DCT系数,而不是量化DCT系数形成预测和类抽头。而且,在图96所示的系数转换电路832D中,乘积和电路845使用形成由预测抽头系数提取电路841输出的预测抽头的DCT系数和存储在系数表存储单元844中的抽头系数执行乘积和处理,以产生减少量化误差的DCT系数。这些DCT系数输出到反向DCT电路701。
因此,图97示出负责存储在图96的系数表存储单元844中的抽头系数的抽头系数学习处理的学习设备860D的说明性结构。其中,用与图84、90和93所使用的相同的参考号表示图97中对应的部件或组件,并且为简洁起见,省略对应的说明。也就是,除了如同图90新提供逆量化电路881,并且不是学习图像的像素值,而是通过对学习图像进行DCT处理获得的,来自DCT电路862的DCT系数,作为老师数据提供给正则方程求和电路867之外,图97所示的抽头系数学习设备860D类似于图84所示的电路进行构造。
因此,图97所示的抽头系数学习设备860D中的正则方程求和电路867对作为老师数据的由DCT电路862输出的DCT系数,和作为学生数据的形成由系数表存储单元844输出的预测抽头的量化DCT系数(经过量化和逆量化的数据),执行上述求和。抽头系数确定电路868对通过上述求和获得的正则方程进行求解,以得到抽头系数。结果是,在图97的抽头系数学习设备860D中,可以得到将经过量化和逆量化的DCT系数转换为减小或降低由于量化和逆量化导致的量化误差的DCT系数的抽头系数。
图98示出负责存储在图96的模式表存储单元846和图97的模式表存储单元870中的模式信息的学习处理的模式学习设备950D的说明性结构。其中,用相同的参考号表示对应于图86、91和94所示的部件或组件,并且为简洁起见,省略对应的说明。也就是,除了如同图94,不是由分块电路951输出的学习图像的像素,而是由DCT电路952输出的DCT系数,发送到求和电路954之外,图98所示的模式学习设备950D类似于图86所示的设备进行构造。
因此,在图98的模式学习设备950D的求和电路954中,不是在分块电路951中获得的像素块,而是在DCT电路952中对像素块进行DCT处理获得的DCT系数块顺序变为感兴趣块,并且以光栅扫描顺序尚未变为感兴趣DCT系数的感兴趣像素的DCT系数变为感兴趣DCT系数。然后,求和电路954对由分类电路956输出的感兴趣DCT系数的类代码逐个地执行求和处理,以得到感兴趣的DCT系数和从逆量化电路891输出的经过量化和逆量化的DCT系数之间的相关值(互关值)。使用求和电路954执行的求和计算的结果,相关系数计算电路957求出DCT系数和量化及逆量化DCT系数之间的相关值。模式选择电路958得到表示增大相关值的位置关系的经过量化和逆量化的DCT系数的位置模式。
图99示出图78的系数转换电路832的另一说明性结构。其中,用相同的参考号表示与图80所示对应的图99的部件或组件,并且为简洁起见,有时省略对应的说明。也就是,图99所示的系数转换电路832E除了缺少类抽头提取电路842或分类电路843之外,基本上类似于图80所示的电路进行构造。
因此,图99所示的系数转换电路832E缺少类的概念,也可以说,相当于类的数目为1。因此,只有一个类的抽头系数存储在系数表存储单元844中,从而使用该一个类的抽头系数执行处理。
也就是,在图99的系数转换电路832E中,存储在系数表存储单元844中的抽头系数不同于图80所示的抽头系数。
图100示出用于执行学习要存储在图99的系数表存储单元844中的抽头系数的处理的学习设备860E的说明性结构。其中,用相同的参考号表示与图84所示对应的图100的部件或组件,并且为简洁起见,有时省略对应的说明。也就是,图100所示的学习设备860E除了缺少类抽头提取电路865或分类电路866之外,基本上类似于图84所示的电路进行构造。
因此,在图100的抽头系数学习设备860E中,不依赖于类,在正则方程求和电路867中逐像素位置模式,执行上述求和。抽头系数确定电路868对逐像素位置模式生成的正则方程进行求解,以得到抽头系数。
因此,图99所示的系数转换电路832E只有一个类,从而只有一个类的模式信息存储在图99的模式表存储单元846或图100的模式表存储单元870中。
图101示出用于执行学习要存储在图99的模式表存储单元846和图100的模式表存储单元870中的模式信息的处理的模式学习设备960E的说明性结构。其中,用相同的参考号表示与图86所示对应的图101的部件或组件,并且为简洁起见,有时省略对应的说明。也就是,图101所示的模式学习设备960E除了缺少类抽头提取电路955或分类电路956之外,基本上类似于图86所示的电路进行构造。
因此,在图101的模式学习设备960E中,不依赖于类,在求和电路954中逐像素位置模式,执行上述求和。相关系数计算电路957还逐像素位置模式得到模式信息,以根据在相关系数计算电路957中获得的相关值得到模式信息。
在图80的系数转换电路832A中,基于类的模式信息存储在模式表存储单元846,并且使用与由分类电路843输出的类代码对应的类的模式信息形成预测抽头。作为替换,在图101的学习设备960E中获得的一个类的模式信息可以存储在模式表存储单元846,以使用该模式信息,不依赖于类形成预测抽头。
可以用硬件或软件执行上述操作序列。在后一情况下,形成软件的程序安装在例如通用计算机上。
图102示出其中安装有用来执行上述操作序列的计算机的说明性结构。
该程序可以预记录在作为计算机1000内置的记录介质的硬盘1205或ROM 1203上。
作为替换,程序可以临时或永久地存储(记录)在可移动记录介质1211中,如软盘,CD-ROM(Compact Disc Read Only Memory,光盘只读存储器),MO(Magneto-Optical,光磁)盘,DVD(Digital Versatile Disc,数字多用途盘),磁盘或半导体存储器。该可移动记录介质1211可以作为所谓的包软件进行提供。
其中,该程序不仅可以从可移动记录介质安装到计算机,还可以通过用于数字卫星广播的人造卫星以无线方式从下载站点传输到计算机,或通过网络如LAN(Local Area Network,局域网)或因特网以缆线方式传输到计算机,然后计算机在通信单元1208接收由此传输的程序,以将该程序安装在内置硬盘1205中。
计算机1000具有内置的CPU(Central Processing Unit,中央处理器)1201,输入输出接口通过总线1201与其进行连接。如果用户操作输入单元1207,如键盘,鼠标或麦克风,通过输入输出接口1210将一个命令输入到CPU 1202,运行存储在ROM(Read Only Memory,只读存储器)1203中的程序。作为替换,CPU 1202载入存储在硬盘1205中的程序,由通信单元1208接收且安装在硬盘1205上的从卫星或网络传输的程序,或从载入在驱动器1209中的可移动盘1211读出,并且安装在硬盘1205、RAM(Random AccessMemory,随机存储器)1204上的程序,以执行所载入的程序。处理结果由CPU1202通过输入输出接口1210利用设计为LCD(liquid crystal display,液晶显示器)或扩音器的输出单元1206进行输出,从通信单元1208进行传输,或记录在硬盘1205上。
在本说明书中,说明为计算机执行各种处理操作所设计的程序的处理步骤不一定按流程图中说明的时间顺序进行处理,但是,处理还可以包括以并行或分批方式执行的处理,如并行处理或对象处理。
该程序可以由一台或多台计算机以分布的方式进行处理。该程序还可以传输到远程计算机,由其进行执行。
上述各个实施例是面向图像数据的。然而,本发明可以应用于例如语音数据。
上述各个实施例是面向对静止图像进行压缩编码的JPEG编码图像的。然而,本发明可以应用于根据对运动图像进行压缩编码的MPEG进行编码的图像。
上述实施例面向于对DCT处理的JPEG编码数据进行解码。然而,本发明可以应用于对通过正交变换或频率变换逐块(逐预设单元)变换的数据进行解码或转换。也就是,本发明可以应用于对子带编码或经过傅立叶变换的数据进行解码或者将该数据变换为降低例如量化误差的数据。
在上述实施例中,用来解码的抽头系数预存储在解码器22中。然而,该抽头系数可以包含在编码数据中,并且在该状态下提供给解码器。模式信息也可以这样。
虽然通过采用抽头系数的线性预测算法进行解码和变换,但是还可以根据通过更高次预测计算,如2次预测算法进行解码或变换。
虽然预测抽头包括对应于感兴趣像素块的DCT块和多个相邻像素块的量化DCT系数,但是也可以用类似方式形成群抽头。
根据本发明,如上所述,至少从与不是感兴趣数据块的数据块对应的所转换块,提取对感兴趣数据块的数据进行解码的预测计算中所使用的所转换数据,以用作预测抽头。使用抽头系数和预测抽头,执行预设预测计算,以有效地将所转换数据解码为原始数据。
根据本发明,作为老师的老师数据至少经过正交或频率变换,以形成作为学生的学生数据。从与不是感兴趣老师块的老师块对应的学生块,提取对老师块中感兴趣老师块的老师数据进行解码的预测计算中所使用的学生数据,以用作预测抽头。执行学习,从而在统计上最小化通过采用抽头和预测系数的预测计算获得的老师数据的预测值的预测误差。使用由此得到的抽头系数,可以对经过正交或频率变换的数据进行有效的解码。
而且,根据本发明,使用用于学习提取模式的第一和第二数据,逐位置关系地得到预设位置关系中的第一数据与在预设位置的第二数据之间的相关,以将第一数据的提取模式设置为用作用于对第二数据的预测计算的预测抽头。可以使用根据提取模式所提取的第一数据执行预测计算,以将例如第一数据有效地转换为第二数据。

Claims (53)

1.一种数据处理装置,用于学习用来通过预测计算对至少通过正交或频率变换获得的所转换数据进行解码的抽头系数,包括:
生成装置,用于通过至少对作为老师的老师数据进行正交或频率变换,生成作为学生的学生数据;和
学习装置,用于实现学习,从而通过使用所述抽头系数和学生数据的预测计算获得的对所述老师数据的预测值的预测误差将在统计上最小,以得到所述抽头系数。
2.如权利要求1所述的数据处理装置,其中,所述学习装置执行学习,从而通过使用所述抽头系数和学生数据的线性预测计算获得的对所述老师数据的预测值的预测误差将在统计上最小。
3.如权利要求1所述的数据处理装置,其中,所述生成装置通过首先对老师数据进行正交或频率变换,然后进行量化,生成所述学生数据。
4.如权利要求1所述的数据处理装置,其中,所述生成装置通过首先对老师数据进行正交或频率变换,然后顺序进行量化和逆量化,生成所述学生数据。
5.如权利要求1所述的数据处理装置,其中,所述生成装置至少通过对老师数据进行离散余弦变换,生成所述学生数据。
6.如权利要求1所述的数据处理装置,进一步包括:
预测抽头提取装置,用于提取与所述抽头系数一起用来预测所述老师数据中的感兴趣老师数据的所述学生数据,并且作为预测抽头输出所提取的学生数据;
所述学习装置执行学习,从而通过使用所述预测抽头和抽头系数的线性预测计算获得的所述老师数据的预测值的预测误差将在统计上最小。
7.如权利要求6所述的数据处理装置,进一步包括:
类抽头提取装置,用于提取用来将所述感兴趣老师数据分配给多个类中的一个的所述学生数据,并且作为类抽头输出该数据;和
分类装置,用于根据所述类抽头,得到所述感兴趣老师数据的类;
所述学习装置实现学习,从而通过使用所述预测抽头和所述抽头系数的预测计算获得的所述老师数据的预测值的预测误差将在统计上最小,以得到基于类的所述抽头系数。
8.如权利要求1所述的数据处理装置,其中,所述生成装置逐所述预设单元,至少执行正交变换或频率变换,以生成所述学生数据。
9.如权利要求1所述的数据处理装置,其中,所述老师数据为运动图像或静止图像。
10.一种数据处理方法,用于学习用来通过预测计算对至少通过正交或频率变换获得的所转换数据进行解码的抽头系数,包括如下步骤:
通过至少对作为老师的老师数据进行正交或频率变换,生成作为学生的学生数据;和
实现学习,从而通过使用所述抽头系数和学生数据的预测计算获得的对所述老师数据的预测值的预测误差将在统计上最小,以得到所述抽头系数。
11.一种数据处理装置,用于对至少通过正交或频率变换获得的所转换数据进行解码,并且学习用于以预设方式处理解码结果的预测计算中所使用的抽头系数,包括:
准老师数据生成装置,用于根据所述预设处理对作为老师的老师数据进行处理,以产生准老师数据;
学生数据生成装置,用于通过至少对所述准老师数据进行正交或频率变换,生成作为学生的学生数据;和
学习装置,用于实现学习,以在统计上最小化通过使用所述抽头系数和学生数据的预测计算获得的所述老师数据的预测值的预测误差,得到所述抽头系数。
12.如权利要求11所述的数据处理装置,其中,所述学习装置实现学习,从而通过使用所述抽头系数和学生数据执行线性预测计算获得的对所述老师数据的预测值的预测误差将在统计上最小。
13.如权利要求11所述的数据处理装置,其中,所述学生数据生成装置通过对所述准老师数据进行正交或频率变换,并且进一步进行量化,生成所述学生数据。
14.如权利要求11所述的数据处理装置,其中,所述学习装置通过对所述准老师数据进行正交或频率变换,量化和进一步的逆量化,生成所述学生数据。
15.如权利要求11所述的数据处理装置,其中,所述学生数据生成装置至少通过对所述准老师数据进行离散余弦变换,生成所述学生数据。
16.如权利要求11所述的数据处理装置,进一步包括:
预测抽头提取装置,用于提取与抽头系数一起用来预测所述老师数据中的感兴趣老师数据的所述学生数据,并且作为类抽头输出所提取的数据;
所述学习装置,实现学习,从而通过使用所述预测抽头和抽头系数执行线性预测计算获得的所述老师数据的预测值的预测误差将在统计上最小。
17.如权利要求16所述的数据处理装置,包括:
类抽头提取装置,用于提取用来通过分类将所述感兴趣老师数据分配给多个类中的一个的所述学生数据,并且作为类抽头输出所提取数据;和
分类装置,用于通过分类根据所述类抽头,得到所述感兴趣老师数据的类;
所述学习装置,实现学习,从而通过使用所述预测抽头和与所述感兴趣老师数据的类对应的抽头系数执行预测计算获得的对所述老师数据的预测值的预测误差将在统计上最小,以得到基于类的抽头系数。
18.如权利要求11所述的数据处理装置,其中,所述学生数据生成装置逐预设单元,对所述准老师数据至少进行正交变换或频率变换,以生成所述学生数据。
19.如权利要求11所述的数据处理装置,其中,所述准老师数据生成装置通过以劣化图像质量的方式对所述老师数据进行处理,生成所述准老师数据。
20.如权利要求11所述的数据处理装置,其中,所述老师数据为运动图像或静止图像。
21.如权利要求20所述的数据处理装置,其中,所述准老师数据生成装置通过以劣化图像质量的方式对所述图像数据进行处理,生成所述准老师数据。
22.如权利要求20所述的数据处理装置,其中,所述准老师数据生成装置生成所述准老师数据,它是所述图像数据的时域或空域分辨率被劣化的所述图像数据。
23.一种数据处理方法,用于对至少通过实现正交或频率变换获得的所转换数据进行解码,并且学习用于以预设方式处理解码结果的预测计算中所使用的抽头系数,包括如下步骤:
根据所述预设处理对作为老师的老师数据进行处理,以产生准老师数据;
通过至少对所述准老师数据进行正交或频率变换,生成作为学生的学生数据;和
实现学习,以在统计上最小化通过使用所述抽头系数和学生数据的预测计算获得的所述老师数据的预测值的预测误差,得到所述抽头系数。
24.一种数据处理装置,用于学习用来通过预测计算对至少通过正交或频率变换获得的所转换数据进行解码的抽头系数,包括:
生成装置,用于至少通过对作为老师的老师数据进行正交或频率变换,生成作为学生的学生数据;
分类装置,用于根据在所述生成装置中生成所述学生数据时使用的预设辅助信息,将所述老师数据中的感兴趣老师数据分配给多个类中的一个;和
学习装置,用于实现学习,从而通过使用与所述感兴趣老师数据的类对应的抽头系数和学生数据的预测计算获得的对所述老师数据的预测值的预测误差将在统计上最小,以得到基于类的抽头系数。
25.如权利要求24所述的数据处理装置,其中,所述学习装置实现学习,从而通过使用所述抽头系数和学生数据的线性预测计算获得的对所述老师数据的预测值的预测误差将在统计上最小。
26.如权利要求24所述的数据处理装置,其中,所述生成装置通过对所述老师数据进行正交或频率变换,并且对所转换的老师数据进一步进行量化,生成所述学生数据。
27.如权利要求26所述的数据处理装置,其中,所述辅助信息是对所述老师数据进行量化时所使用的量化表。
28.如权利要求24所述的数据处理装置,其中,所述生成装置通过对所述老师数据进行正交或频率变换,然后对该数据进行进一步的量化和逆量化,生成所述学生数据。
29.如权利要求24所述的数据处理装置,其中,所述生成装置至少通过对所述老师数据进行离散余弦变换,生成所述学生数据。
30.如权利要求24所述的数据处理装置,进一步包括:
预测抽头提取装置,用于提取与所述抽头系数一起用来预测所述感兴趣老师数据的所述学生数据,并且作为预测抽头输出所提取数据;
所述学习装置,实现学习,从而通过使用所述预测抽头和学生数据的线性预测计算获得的所述老师数据的预测值的预测误差将在统计上最小。
31.如权利要求24所述的数据处理装置,进一步包括:
类抽头提取装置,用于提取用来通过分类将所述感兴趣老师数据分配给多个类中的一个的所述学生数据,并且作为类抽头输出所提取数据;
所述分类装置根据所述辅助信息和所述类抽头,得到所述感兴趣老师数据的类。
32.如权利要求24所述的数据处理装置,其中,所述生成装置至少通过逐个预设单元对所述老师数据进行正交变换或频率变换,生成所述学生数据。
33.如权利要求24所述的数据处理装置,其中,所述老师数据为运动图像或静止图像。
34.一种数据处理方法,用于学习用来通过预测计算对至少通过正交或频率变换获得的所转换数据进行解码的抽头系数,包括如下步骤:
至少通过对作为老师的老师数据进行正交或频率变换,生成作为学生的学生数据;
根据在所述生成装置中生成所述学生数据时使用的预设辅助信息,将所述老师数据中的感兴趣老师数据分配给多个类中的一个;和
实现学习,从而通过使用与所述感兴趣老师数据的类对应的抽头系数和学生数据的预测计算获得的对所述老师数据的预测值的预测误差将在统计上最小,以得到基于类的抽头系数。
35.一种数据处理装置,用于从通过以预设块为单位至少对数据进行正交或频率变换获得的以所述预设块为单位的所转换数据,学习用来通过预测计算得到对所述所转换数据以所需方式进行处理的所处理数据的抽头系数,包括:
生成装置,用于生成作为学习时当学生的学生数据的所述基于块的所转换数据;
类抽头提取装置,用于,以所述所处理数据作为学习时当老师的老师数据,至少从与对应于感兴趣老师数据的块不同的块,提取用于将所述感兴趣老师数据分配给多个类中的一个的学生数据,并且作为类抽头输出所提取数据;
分类装置,用于根据所述类抽头得到所述感兴趣老师数据的类;和
学习装置,用于实现学习,从而通过使用所述基于类的抽头系数和学生数据的预测计算获得的对所述老师数据的预测值的预测误差将在统计上最小,以逐类得到所述抽头系数。
36.如权利要求35所述的数据处理装置,其中,所述学习装置实现学习,从而通过使用所述抽头系数和学生数据的线性预测计算获得的所述老师数据的预测值的预测误差将在统计上最小。
37.如权利要求35所述的数据处理装置,其中,所述生成装置至少通过对所述数据进行离散余弦变换,生成所述学生数据。
38.如权利要求37所述的数据处理装置,其中,所述分类装置根据经过离散余弦变换的数据的DC或AC分量的功率,得到所述感兴趣老师数据的类,所述经过离散余弦变换的数据是作为所述类抽头的所述所转换数据。
39.如权利要求35所述的数据处理装置,其中,所述类抽头提取装置从相邻于与感兴趣老师数据相关联的块的块提取所述学生数据作为所述类抽头。
40.如权利要求35所述的数据处理装置,其中,所述类抽头提取装置甚至从对应于感兴趣老师数据的块提取所述学生数据作为所述类抽头。
41.如权利要求35所述的数据处理装置,其中,所述数据为运动图像或静止图像的图像数据。
42.一种数据处理方法,用于从通过以预设块为单位至少对数据进行正交或频率变换获得的以所述预设块为单位的所转换数据,学习用来通过预测计算得到对所述所转换数据以所需方式进行处理的所处理数据的抽头系数,包括如下步骤:
生成作为学习时当学生的学生数据的所述基于块的所转换数据;
以所述所处理数据作为学习时当老师的老师数据,至少从与对应于感兴趣老师数据的块不同的块,提取用于将所述感兴趣老师数据分配给多个类中的一个的学生数据,并且作为类抽头输出所提取数据;
根据所述类抽头得到所述感兴趣老师数据的类;和
实现学习,从而通过使用所述基于类的抽头系数和学生数据的预测计算获得的所述老师数据的预测值的预测误差将在统计上最小,以逐类得到所述抽头系数。
43.一种数据处理装置,用于学习用来通过预测计算对通过以预设块为单位对数据至少应用正交变换或频率变换获得的基于块的所转换数据进行解码的抽头系数,包括:
生成装置,用于通过至少对作为老师的老师数据应用正交或频率变换,生成作为学生的学生数据;
预测抽头提取装置,用于至少从与不同于感兴趣老师块的老师块对应的作为所述学生数据块的学生块,提取用于对其中每个块为所述老师块的老师块中的感兴趣老师块的老师数据进行解码的预测计算中所使用的所述学生数据,以作为预测抽头输出所提取数据;和
学习装置,用于实现学习,从而通过使用抽头系数和预测抽头执行预测计算获得的对所述老师数据的预测值的预测误差将在统计上最小,以得到抽头系数。
44.如权利要求43所述的数据处理装置,其中,所述学习装置实现学习,从而通过使用抽头系数和学生数据的线性预测计算获得的对所述老师数据的预测值的预测误差将在统计上最小。
45.如权利要求43所述的数据处理装置,其中,所述生成装置至少对所述老师数据进行离散余弦变换,以生成所述学生数据。
46.如权利要求43所述的数据处理装置,进一步包括:
类抽头提取装置,用于提取用来将所述感兴趣老师块的所述老师数据中的感兴趣老师数据分配给多个类中的一个的所述学生数据,以作为类抽头输出所提取数据;和
分类装置,用于通过分类,根据所述类抽头,得到所述感兴趣老师数据的类;
所述学习装置,实现学习,从而通过使用与所述感兴趣的老师数据的类对应的抽头系数和预测抽头执行预测计算获得的对所述老师数据的预测值的预测误差将在统计上最小,以得到抽头系数。
47.如权利要求43所述的数据处理装置,其中,所述预测抽头提取装置从与相邻于所述感兴趣老师块的老师块对应的所述学生块,提取所述学生数据,作为所述预测抽头。
48.如权利要求43所述的数据处理装置,其中,所述预测抽头提取装置从与所述感兴趣老师块对应的所述学生块和从与不同于所述感兴趣老师块的老师对应的学生块,提取所述学生数据,作为所述预测抽头。
49.如权利要求43所述的数据处理装置,其中,所述预测抽头提取装置在所述感兴趣老师块的老师数据中提取表示与感兴趣老师数据有较大相关的位置关系的所述学生数据。
50.如权利要求49所述的数据处理装置,其中,所述预测抽头提取装置提取表示与感兴趣老师数据有不低于预设阀值的相关的位置关系的所述学生数据。
51.如权利要求49所述的数据处理装置,其中,所述预测抽头提取装置提取表示与感兴趣老师数据有在预设排名值之内的相关的位置关系的所述学生数据。
52.如权利要求43所述的数据处理装置,其中,所述老师数据为运动图像或静止图像的数据。
53.一种数据处理方法,用于学习用来通过预测计算对通过以预设块为单位对数据至少应用正交变换或频率变换获得的基于块的所转换数据进行解码的抽头系数,包括如下步骤:
通过至少对作为老师的老师数据应用正交或频率变换,生成作为学生的学生数据;
至少从与不同于感兴趣老师块的老师块对应的作为所述学生数据块的学生块,提取用于对其中每个块为所述老师块的老师块中的感兴趣老师块的老师数据进行解码的预测计算中所使用的所述学生数据,以作为预测抽头输出所提取数据;和
实现学习,从而通过使用抽头系数和预测抽头执行预测计算获得的对所述老师数据的预测值的预测误差将在统计上最小,以得到抽头系数。
CNB2004100558103A 2000-05-09 2001-05-09 数据处理装置和方法 Expired - Fee Related CN100568739C (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP135357/2000 2000-05-09
JP2000135357A JP4752088B2 (ja) 2000-05-09 2000-05-09 データ処理装置およびデータ処理方法、並びに記録媒体
JP135356/2000 2000-05-09
JP135357/00 2000-05-09
JP135356/00 2000-05-09
JP2000135356A JP4517448B2 (ja) 2000-05-09 2000-05-09 データ処理装置およびデータ処理方法、並びに記録媒体

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CNB018019870A Division CN1169303C (zh) 2000-05-09 2001-05-09 数据处理装置和方法以及记录介质

Publications (2)

Publication Number Publication Date
CN1578158A true CN1578158A (zh) 2005-02-09
CN100568739C CN100568739C (zh) 2009-12-09

Family

ID=26591513

Family Applications (3)

Application Number Title Priority Date Filing Date
CN2004100558118A Expired - Fee Related CN1578159B (zh) 2000-05-09 2001-05-09 数据处理装置和方法
CNB018019870A Expired - Fee Related CN1169303C (zh) 2000-05-09 2001-05-09 数据处理装置和方法以及记录介质
CNB2004100558103A Expired - Fee Related CN100568739C (zh) 2000-05-09 2001-05-09 数据处理装置和方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN2004100558118A Expired - Fee Related CN1578159B (zh) 2000-05-09 2001-05-09 数据处理装置和方法
CNB018019870A Expired - Fee Related CN1169303C (zh) 2000-05-09 2001-05-09 数据处理装置和方法以及记录介质

Country Status (5)

Country Link
US (5) US7035471B2 (zh)
EP (1) EP1282236B1 (zh)
KR (1) KR100731708B1 (zh)
CN (3) CN1578159B (zh)
WO (1) WO2001086820A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100448261C (zh) * 2005-03-18 2008-12-31 富士施乐株式会社 解码装置和解码方法

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1578159B (zh) * 2000-05-09 2010-05-26 索尼公司 数据处理装置和方法
EP1944759B1 (en) * 2000-08-09 2010-10-20 Sony Corporation Voice data processing device and processing method
US7283961B2 (en) 2000-08-09 2007-10-16 Sony Corporation High-quality speech synthesis device and method by classification and prediction processing of synthesized sound
CN100502510C (zh) * 2002-01-07 2009-06-17 英国电讯有限公司 用于提取像素值的方法和装置
EP2894856A1 (en) 2002-01-31 2015-07-15 Samsung Electronics Co., Ltd Filtering method and apparatus for reducing block artifacts or ringing noise
JP4462823B2 (ja) 2002-11-20 2010-05-12 ソニー株式会社 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム
US7302107B2 (en) * 2003-12-23 2007-11-27 Lexmark International, Inc. JPEG encoding for document images using pixel classification
US7574055B2 (en) * 2004-09-07 2009-08-11 Lexmark International, Inc. Encoding documents using pixel classification-based preprocessing and JPEG encoding
JP4725127B2 (ja) * 2005-02-16 2011-07-13 ソニー株式会社 復号装置および方法、記録媒体、並びにプログラム
JP2007195117A (ja) * 2006-01-23 2007-08-02 Toshiba Corp 動画像復号装置
JP4123299B1 (ja) * 2007-02-21 2008-07-23 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
US8594176B2 (en) * 2007-03-06 2013-11-26 Microsoft Corporation Streaming media codec with transform coefficient bounding
TWI389039B (zh) * 2007-12-14 2013-03-11 Mstar Semiconductor Inc 解調變模組、使用此解調變模組的射頻識別處理模組以及相關方法
JP4656452B2 (ja) * 2008-05-20 2011-03-23 ソニー株式会社 画像信号処理装置および画像信号処理方法、予測係数生成装置および予測係数生成処理方法、並びに各方法をコンピュータに実行させるためのプログラム
US9746923B2 (en) 2009-03-12 2017-08-29 Immersion Corporation Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
US10007340B2 (en) 2009-03-12 2018-06-26 Immersion Corporation Systems and methods for interfaces featuring surface-based haptic effects
US20120114036A1 (en) * 2010-11-10 2012-05-10 Hong Kong Applied Science and Technology Research Institute Company Limited Method and Apparatus for Multiview Video Coding
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
WO2016172394A1 (en) 2015-04-21 2016-10-27 Arris Enterprises Llc Adaptive perceptual mapping and signaling for video coding
KR102174777B1 (ko) * 2018-01-23 2020-11-06 주식회사 날비컴퍼니 이미지의 품질 향상을 위하여 이미지를 처리하는 방법 및 장치
CN114731455A (zh) * 2019-11-20 2022-07-08 三星电子株式会社 使用与图像质量相关的ai元数据的设备和方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03104439A (ja) * 1989-09-19 1991-05-01 Nec Corp データ伝送方式
US5821885A (en) * 1994-07-29 1998-10-13 Discovision Associates Video decompression
JP3104439B2 (ja) 1992-11-13 2000-10-30 ソニー株式会社 高能率符号化及び/又は復号化装置
JP3870428B2 (ja) 1995-05-10 2007-01-17 ソニー株式会社 画像情報変換装置および方法並びに係数データ生成装置および方法
JP3627291B2 (ja) * 1995-05-25 2005-03-09 ソニー株式会社 ブロック歪み除去装置および方法
JP3912558B2 (ja) * 1996-07-17 2007-05-09 ソニー株式会社 画像符号化装置および画像符号化方法、並びに記録媒体
JP3864400B2 (ja) * 1996-10-04 2006-12-27 ソニー株式会社 画像処理装置および画像処理方法
EP0891101B1 (en) * 1996-12-26 2002-05-29 Sony Corporation Picture coding device, picture coding method, picture decoding device, picture decoding method, and recording medium
JP2856185B2 (ja) * 1997-01-21 1999-02-10 日本電気株式会社 音声符号化復号化システム
JPH10336668A (ja) * 1997-06-02 1998-12-18 Sharp Corp 動きベクトル検出装置
KR100601743B1 (ko) * 1997-06-16 2006-07-19 소니 가부시끼 가이샤 영상 처리 장치 및 방법과, 전송 매체, 전송 방법 및 영상 포맷
JP3787823B2 (ja) * 1997-07-31 2006-06-21 ソニー株式会社 画像処理装置および画像処理方法
WO2000016260A1 (fr) * 1998-09-11 2000-03-23 Sony Corporation Processeur de donnees et procede de conversion de sequences de donnees
DE69931597T2 (de) * 1998-09-18 2007-05-24 Sony Corp. Vorrichtung und verfahren zur datenumsetzung sowie entsprechender aufzeichnungsträger
JP4143877B2 (ja) * 1998-10-20 2008-09-03 ソニー株式会社 画像データ変換装置及び画像データ変換方法
US6658155B1 (en) * 1999-03-25 2003-12-02 Sony Corporation Encoding apparatus
JP4224748B2 (ja) * 1999-09-13 2009-02-18 ソニー株式会社 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、記録媒体、並びに画像処理装置
CN1578159B (zh) * 2000-05-09 2010-05-26 索尼公司 数据处理装置和方法
US7082220B2 (en) * 2001-01-25 2006-07-25 Sony Corporation Data processing apparatus
WO2002078355A1 (en) * 2001-03-23 2002-10-03 Nokia Corporation Variable length coding
BR0304545A (pt) * 2002-01-14 2004-11-03 Nokia Corp Método de codificação das imagens em uma sequência de vìdeo digital para fornecer os dados de vìdeo codificados, codificador de vìdeo, método de decodificação dos dados indicativos de uma sequência de vìdeo digital, decodificador de vìdeo, e, sistema de decodificação de vìdeo
US20040076333A1 (en) * 2002-10-22 2004-04-22 Huipin Zhang Adaptive interpolation filter system for motion compensated predictive video coding

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100448261C (zh) * 2005-03-18 2008-12-31 富士施乐株式会社 解码装置和解码方法

Also Published As

Publication number Publication date
KR20020030078A (ko) 2002-04-22
US20070036450A1 (en) 2007-02-15
US20070036449A1 (en) 2007-02-15
CN1578159B (zh) 2010-05-26
WO2001086820A1 (en) 2001-11-15
EP1282236A4 (en) 2009-07-08
KR100731708B1 (ko) 2007-06-25
EP1282236A1 (en) 2003-02-05
US7289671B2 (en) 2007-10-30
US7336829B2 (en) 2008-02-26
CN1169303C (zh) 2004-09-29
US20060126953A1 (en) 2006-06-15
CN1578159A (zh) 2005-02-09
US7283678B2 (en) 2007-10-16
US20020186888A1 (en) 2002-12-12
US7206452B2 (en) 2007-04-17
US7035471B2 (en) 2006-04-25
EP1282236B1 (en) 2012-10-03
CN100568739C (zh) 2009-12-09
CN1389019A (zh) 2003-01-01
US20070058873A1 (en) 2007-03-15

Similar Documents

Publication Publication Date Title
CN1169303C (zh) 数据处理装置和方法以及记录介质
CN1196342C (zh) 图象解码装置和图象解码方法
CN1172532C (zh) 图像预测编码/解码装置和方法以及记录媒体
CN1320809C (zh) 图像处理装置与方法
CN1315331C (zh) 图像信号转换方法和设备以及图像提供系统
CN1260958C (zh) 数据处理设备、数据处理方法和数据处理系统
CN1213935A (zh) 分层图像编码解码、数字广播信号记录及图像音频的解码
CN1545813A (zh) 图象编码装置、图象译码装置、图象编码方法、图象译码方法、图象编码程序和图象译码程序
CN1857001A (zh) 混合视频压缩方法
CN1200571C (zh) 正交变换、逆正交变换方法及装置、编码、解码方法及装置
CN1204753C (zh) 基于相邻像素预测的帧内预测方法
CN1271862C (zh) 动画图象编码方法和动画图象译码方法
CN1655607A (zh) 系数种类数据生成装置及系数种类数据生成方法
CN1229758C (zh) 正交变换图像的分辨率变换装置和方法
CN1662037A (zh) 信号处理设备和方法,命令序列数据结构
CN1669329A (zh) 信息信号处理设备、信息信号处理方法、图像信号处理设备、图像显示设备、生成用在其中的校正数据的设备和方法、生成系数数据的设备和方法、执行这些方法的程序以及存储程序的计算机可读媒体
CN1893656A (zh) 图像预测编码/解码装置和方法以及记录媒体
CN1265647C (zh) 块组编码结构及基于块组结构的自适应分阶段预测编码方法
CN1276679A (zh) 图象信号混洗、编码、译码装置及其程序记录媒体
CN101064852A (zh) 动画图象译码方法和动画图象译码装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20091209

Termination date: 20150509

EXPY Termination of patent right or utility model