CN101466015B - 信号处理设备、信号处理方法和学习设备 - Google Patents

信号处理设备、信号处理方法和学习设备 Download PDF

Info

Publication number
CN101466015B
CN101466015B CN2008101885026A CN200810188502A CN101466015B CN 101466015 B CN101466015 B CN 101466015B CN 2008101885026 A CN2008101885026 A CN 2008101885026A CN 200810188502 A CN200810188502 A CN 200810188502A CN 101466015 B CN101466015 B CN 101466015B
Authority
CN
China
Prior art keywords
data
classification
coefficient
focused
study
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008101885026A
Other languages
English (en)
Other versions
CN101466015A (zh
Inventor
永野隆浩
近藤哲二郎
白木寿一
周藤泰広
高桥纪晃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101466015A publication Critical patent/CN101466015A/zh
Application granted granted Critical
Publication of CN101466015B publication Critical patent/CN101466015B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • H04N5/205Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0145Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being class adaptive, i.e. it uses the information of class which is determined for a pixel based upon certain characteristics of the neighbouring pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及信号处理设备、信号处理方法、信号处理程序和学习设备。在此公开了一种信号处理设备,用于执行将输入数据转换为质量比输入数据的质量高的输出数据的信号处理,该信号处理设备包括:第一数据提取部、非线性特征量计算部、处理系数产生部、第二数据提取部和数据预测部。

Description

信号处理设备、信号处理方法和学习设备
相关申请的交叉引用 
本发明包含的与于2007年12月21日在日本专利局提交的日本专利申请JP2007-330456相关的主题,通过引用将该申请的全部内容包含于此。 
技术领域
一般地讲,本发明涉及一种信号处理设备、信号处理方法、信号处理程序和学习设备。具体地讲,本发明涉及一种能够从输入数据产生质量高于输入数据的质量的输出数据的信号处理设备、由该信号处理设备采用的信号处理方法、执行该信号处理方法的信号处理程序以及学习设备。 
背景技术
本发明的发明人之前已经提出过从SD(标准清晰度)图像产生像素数比SD图像的像素数大的HD(高清晰度)图像的分辨率创建处理。对于关于所提出的分辨率创建处理的更多信息,建议读者参考第Hei 8-317346号的日本特开。在分辨率创建处理中,根据存在于与HD图像中的关注像素(其是要从SD图像求得的HD图像的像素)的位置和该关注像素的位置周围的周边位置对应的位置处的SD图像周边像素的特征,将关注像素分类为图案。然后,通过对预先与图案关联地存储在存储器中的预测系数以及对SD图像执行线性处理,从SD图像产生HD图像。因此,分辨率创建处理是基于所谓的自适应处理的处理,该自适应处理适于由关注像素的分类得到的并用作关注像素所属类别的类别(或上文引用的图案)。 
要指出的是,适于由关注像素的分类得到的并用作关注像素所属类别的类别的所谓自适应处理不仅被用作分辨率创建处理的基础,还被用作用于消除图像的劣化的劣化消除处理的基础。 
发明内容
另外,在适于由关注像素的分类得到的并用作关注像素所属类别的类别的现有自适应处理中,预测系数对于每个类别是唯一确定的。因此,如图1的图中所示,被分类为属于同一类别的关注像素的关注像素无法基于作为该类别特有的系数的对该类别唯一确定的预测系数进行相互区分。结果,类别变成离散的类别,使得难以产生HD图像。 
为了解决上面描述的问题,例如,与在图1的图中所示的单类别中得到的1比特ADRC(自适应动态范围编码)处理相对,如图2的图所示,通过执行将类别分为子类别的2比特ADRC处理或3比特ADRC处理求得一类别。也就是说,通过执行2比特ADRC处理或3比特ADRC处理,通过执行1比特ADRC处理而求得的被分类为属于同一类别的关注像素的关注像素,能够基于针对子类别唯一确定的作为划分类别的结果获得的子类别特有的系数的预测系数而令人信服地相互区分。 
然而,在这种情况下,类别(或者严格地讲,子类别)的数量大幅增加。因此,作为在学习预测系数的学习处理中使用的样本的在每个类别中包括的样本的数量减少,不期望地易于达到下限。结果,通过执行学习处理获得的预测系数的精度变差,从而无法有效地改善图像的质量。 
还可以通过使用针对与具体类别相邻的类别而确定的预测系数执行内插处理来确定该具体类别的预测系数,并基于通过执行如图3的图所示的内插处理而确定的预测系数,识别被分类为属于该具体类别的关注像素的关注像素。然而,在这种情况下,在识别关注像素的处理中涉及到与该具体类别不同的相邻类别(其是假定的类别)的预测系数。因此,在得到的HD图像上产生了模糊点。结果,通过执行 适于由关注像素的分类得到的并用作关注像素所属类别的类别的现有自适应处理,难以从SD图像产生质量比用作输入数据的SD图像的质量高的HD图像。 
考虑到上面描述的问题,本发明的发明人创造了一种能够从输入数据产生质量比输入数据的质量高的输出数据的信号处理设备。 
根据本发明的第一实施例,提供了一种信号处理设备,该信号处理设备用于执行将输入数据转换为质量比所述输入数据的质量高的输出数据的信号处理。该数据处理设备采用:第一数据提取部,被配置为从所述输入数据中提取包括在所述输入数据中的多个数据,所述多个数据是位于与所述输出数据中包括的关注数据的位置以及所述关注数据的所述位置周围的周边位置对应的位置处的数据;非线性特征量计算部,被配置为从通过所述第一数据提取部提取的所述数据求得所述关注数据的非线性特征量;处理系数产生部,被配置为通过对所述非线性特征量和第一处理系数执行计算处理来产生第二处理系数,所述第一处理系数已预先根据基于一关系式的正态方程在学习处理中从与所述输入数据对应的学生数据和与所述输出数据对应的教师数据中学习得到,所述关系式用于通过对所述学生数据以及根据所述学生数据的非线性特征量和第一处理系数获得的第二处理系数执行计算处理来产生所述教师数据;第二数据提取部,被配置为从所述输入数据中提取包括在所述输入数据中的多个数据,所述多个数据是位于与所述关注数据的所述位置以及所述关注数据的所述位置周围的所述周边位置对应的位置处的数据;和数据预测部,被配置为通过对由所述第二数据提取部提取的所述数据和所述第二处理系数执行计算处理来预测所述关注数据。 
在根据本发明第一实施例的信号处理设备中,第一处理系数可以具有用作基准的起点系数以及与所述非线性特征量共同表示所述起点系数与所述第二处理系数之间的偏差的偏差系数。 
根据本发明第一实施例的信号处理设备还设置有类别分类部,所述类别分类部被构造成根据类别抽头的特征来产生所述关注数据的 类别,所述类别抽头代表包括在所述输入数据中的作为位于与所述关注数据的所述位置以及所述关注数据的所述位置周围的周边位置对应的位置处的数据的数据。在根据本发明第一实施例的信号处理设备中,所述处理系数产生部通过对所述非线性特征量和所述第一处理系数执行所述第一计算处理来产生所述第二处理系数,所述第一处理系数是从均根据针对所述类别中的任一具体类别提供的正态方程在所述学习处理中针对所述具体类别预先学习的所述第一处理系数中选择的,以用作由所述类别分类部产生的类别的第一处理系数。 
此外,根据本发明的第一实施例,还提供了一种信号处理方法,用于执行将输入数据转换成质量比所述输入数据的质量高的输出数据的信号处理。该信号处理方法包括以下步骤:第一提取步骤,从所述输入数据中提取包括在所述输入数据中的多个数据,所述多个数据是位于与所述输出数据中包括的关注数据的位置以及所述关注数据的所述位置周围的周边位置对应的位置处的数据;非线性特征量计算步骤,从提取自所述输入数据的所述数据求得所述关注数据的非线性特征量;处理系数产生步骤,通过对所述非线性特征量和第一处理系数执行计算处理来产生第二处理系数,已预先根据基于一关系式的正态方程在学习处理中从与所述输入数据对应的学生数据和与所述输出数据对应的教师数据中学习了所述第一处理系数,所述关系式用于通过对所述学生数据以及根据所述学生数据的非线性特征量和第一处理系数获得的第二处理系数执行计算处理来产生所述教师数据;第二数据提取步骤,从所述输入数据中提取包括在所述输入数据中的多个数据,所述多个数据是位于与所述关注数据的所述位置以及所述关注数据的所述位置周围的所述周边位置对应的位置处的数据;以及数据预测步骤,通过对在所述第二数据提取步骤中提取的所述数据和所述第二处理系数执行计算处理来预测所述关注数据。 
基于此,根据本发明的第一实施例,还提供了一种执行信号处理方法的程序,所述信号处理方法用来执行将输入数据转换成质量比所述输入数据的质量高的输出数据的信号处理。实现所述数据处理方法 的程序被计算机运行以执行包括以下步骤的信号处理:第一提取步骤,从所述输入数据中提取包括在所述输入数据中的多个数据,所述多个数据是位于与所述输出数据中包括的关注数据的位置以及所述关注数据的所述位置周围的周边位置对应的位置处的数据;非线性特征量计算步骤,从提取自所述输入数据的所述数据求得所述关注数据的非线性特征量;处理系数产生步骤,通过对所述非线性特征量和第一处理系数执行计算处理来产生第二处理系数,已预先根据基于一关系式的正态方程在学习处理中从与所述输入数据对应的学生数据和与所述输出数据对应的教师数据中学习了所述第一处理系数,所述关系式用于通过对所述学生数据以及根据所述学生数据的非线性特征量和第一处理系数获得的第二处理系数执行计算处理来产生所述教师数据;第二数据提取步骤,从所述输入数据中提取包括在所述输入数据中的多个数据,所述多个数据是位于与所述关注数据的所述位置以及所述关注数据的所述位置周围的所述周边位置对应的位置处的数据;以及数据预测步骤,通过对在所述第二数据提取步骤中提取的所述数据和所述第二处理系数执行计算处理来预测所述关注数据。 
此外,根据本发明的第二实施例,提供了一种学习设备,用于执行从学生数据和教师数据学习第一处理系数的学习处理。该学习设备采用:正态方程产生部,被配置为利用作为所述学生数据的输入数据和针对所述输入数据已知的作为所述教师数据的输出数据来产生正态方程,所述正态方程是通过求解关系式而构建的方程;和系数产生部,被配置为通过求解所述正态方程来产生所述第一处理系数。 
所述关系式是在通过对从所述输入数据提取的多个数据以及第二处理系数执行计算处理而产生质量比输入数据的质量高的输出数据的信号处理中使用的方程,所述第二处理系数是通过对在所述信号处理中从提取自所述输入数据的多个数据求得的非线性特征量以及由所述系数产生部预先产生的所述第一处理系数执行第一计算处理而获得的。 
在根据本发明第二实施例的学习设备中:所述第一处理系数可具 有用作基准的起点系数以及与所述非线性特征量共同表示所述起点系数与所述第二处理系数之间的偏差的偏差系数;并且所述系数产生部通过求解所述正态方程产生所述起点系数和所述偏差系数。 
根据本发明第二实施例的学习设备还设置有类别分类部,所述类别分类部被配置为根据类别抽头的特征来产生所述关注数据的类别,所述类别抽头代表包括在所述输入数据中的作为位于与所述关注数据的所述位置以及所述关注数据的所述位置周围的所述周边位置对应的位置处的数据的数据。在根据本发明第二实施例的学习设备中,正态方程产生部能够针对由所述类别分类部产生的每个类别,利用所述输入数据和所述关注数据产生所述正态方程。 
根据本发明的第一实施例,将输入数据转换为质量比输入数据的质量高的输出数据的信号处理通过执行以下步骤来执行:第一提取步骤,从所述输入数据中提取包括在所述输入数据中的多个数据,所述多个数据是位于与所述输出数据中包括的关注数据的位置以及所述关注数据的所述位置周围的周边位置对应的位置处的数据;非线性特征量计算步骤,从提取自所述输入数据的数据求得关注数据的非线性特征量;处理系数产生步骤,通过对所述非线性特征量和第一处理系数执行计算处理来产生第二处理系数,已预先根据一正态方程在学习处理中从与所述输入数据对应的学生数据和与所述输出数据对应的教师数据中学习了所述第一处理系数;第二数据提取步骤,从所述输入数据中提取包括在所述输入数据中的多个数据,所述多个数据是位于与所述关注数据的所述位置以及所述关注数据的所述位置周围的所述周边位置对应的位置处的数据;以及数据预测步骤,通过对在该步骤中提取的数据和第二处理系数执行第二计算处理来预测关注数据。 
根据本发明的第二实施例,从学生数据和教师数据学习第一处理系数的学习处理通过执行以下步骤来执行:利用作为学生数据的输入数据和作为教师数据的已知的输出数据来产生正态方程;以及通过求解所述正态方程来产生第一处理系数。 
所述关系式是在通过对从所述输入数据提取的多个数据以及第二处理系数执行计算处理而产生质量比输入数据的质量高的输出数据的信号处理中使用的方程,所述第二处理系数是通过对在所述信号处理中从提取自所述输入数据的多个数据求得的非线性特征量以及由所述系数产生部预先产生的所述第一处理系数执行计算处理而获得的。 
如上所述,根据本发明的第一实施例,能够在信号处理中从输入数据产生质量比输入数据的质量高的输出数据。 
根据本发明的第二实施例,在信号处理之前预先执行的学习处理中,能够产生处理系数,该处理系数用于在信号处理中从输入数据产生质量比输入数据的质量高的输出数据。 
附图说明
通过以下参照附图给出的对优选实施例的描述,本发明的这些和其它创新和特点将变得清楚,在附图中: 
图1是在描述现有的类别自适应处理中的预测系数中参照的说明图; 
图2是在描述另一现有的类别自适应处理中的预测系数中参照的说明图; 
图3是在描述又一现有的类别自适应处理中的预测系数中参照的说明图; 
图4是在描述本发明的原理中参照的图; 
图5是示出了根据本发明第一实施例的信号处理设备的典型构造的框图; 
图6示出了在解释由图5的框图中示出的信号处理设备执行的信号处理时参照的流程图; 
图7是示出了用于从学生数据和教师数据学习起点系数和偏差系数的学习处理中使用的行列式的图; 
图8是示出了用于学习图5的框图中示出的信号处理设备用来计 算预测系数的起点系数和偏差系数的学习设备的典型构造的框图; 
图9示出了在解释由图8的框图中示出的学习设备执行的学习处理时参照的流程图; 
图10是示出了根据本发明第二实施例的信号处理设备的典型构造的框图; 
图11示出了在解释由图10的框图中示出的信号处理设备执行的信号处理时参照的流程图; 
图12是示出了用于学习图10的图中示出的信号处理设备用来计算预测系数的起点系数和偏差系数的学习设备的典型构造的框图; 
图13示出了在解释由图12的框图中示出的学习设备执行的学习处理时参照的流程图; 
图14是在解释作为实验结果获得的S/N(信噪)比差时参照的直方图; 
图15是示出了根据本发明第三实施例的信号处理设备的典型构造的框图; 
图16示出了在解释由图15的框图中示出的信号处理设备执行的信号处理时所参照的流程图; 
图17是示出了用于学习图15的图中的信号处理设备用来计算预测系数的起点系数和偏差系数的学习设备的典型构造的框图; 
图18示出了在解释由图17的框图中示出的学习设备执行的学习处理时参照的流程图;以及 
图19是示出了组成计算机的硬件的典型构造的框图。 
具体实施方式
图4是在描述本发明的原理时参照的图。 
如图4的图所示,在本发明的实施例提供的作为类别自适应处理的处理中,以起点系数W0为基准,利用根据输入数据中的距离矢量d的连续函数,求得被分类为与其它关注数据属于同一类别的关注数据的关注数据的预测系数W。要指出的是,输入数据中的距离矢量d 代表输入数据中的预测系数W的显著变化,是输入数据的非线性特征量,该非线性特征量是通过对输入数据的数据线性求和所不能求得的量。 
具体地讲,基于起点系数W0,针对距离矢量d将预测系数W的系数空间展开到下面给出的作为表示预测系数W的方程的方程(1)中。 
W ≅ Σ r = 0 p 1 r ! ( d · ∂ ∂ d ) r W 0
= Σ r = 0 p 1 r ! ( d 0 ∂ ∂ d 0 + d 1 ∂ ∂ d 1 + · · · + d m - 1 ∂ ∂ d m - 1 ) r W 0
= W 0 + Σ r = 1 p { 1 r ! Σ i 0 = 0 m - 1 Σ i 1 = 0 m - 1 · · · Σ i ( r - 1 ) = 0 m - 1 d i 0 d i 1 · · · d i ( r - 1 ) ( ∂ r W 0 ∂ d i 0 ∂ d i 1 · · · ∂ d i ( r - 1 ) ) } …方程(1) 
要指出的是,在方程(1)中,预测系数W作为包括n个预测系数的n维矢量(W(=w0、w1、…、wn-1))被处理。另一方面,距离矢量d作为代表m个类型的非线性特征量的m维矢量(d(=d0、d1、…、dm-1))被处理。符号p表示展开的最大次数。 
此外,以使起点系数W0经过高次微分展开运算的格式表示方程(1),假设高次微分展开运算的结果具有不随着类别中的距离矢量d变化的值。下面给出的方程(2)中出现的新系数W0、d10、di1、…、di(r-1)被定义为高次微分展开运算的结果和常量因子1/r!的积。此外,从方程(1)删除重复项以使方程(1)简洁,并得到如下的由新系数表示的方程(2)。 
W ≅ W 0 + Σ r = 1 p { Σ i 0 = 0 m - 1 Σ i 1 = 0 i 0 · · · Σ i ( r - 1 ) = 0 i ( r - 2 ) d i 0 d i 1 · · · d i ( r - 1 ) W 0 , d i 0 d i 1 · · · d i ( r - 1 ) }
= W 0
+ Σ i 0 = 0 m - 1 d i 0 W 0 , d i 0
+ Σ i 0 = 0 m - 1 Σ i 1 = 0 i 0 d i 0 d i 1 W 0 , d i 0 d i 1
+ · · ·
+ Σ i 0 = 0 m - 1 Σ i 1 = 0 i 0 · · · Σ i ( p - 1 ) = 0 i ( p - 2 ) d i 0 d i 1 · · · d i ( p - 1 ) W 0 , d i 0 d i 1 · · · d i ( p - 1 ) …方程(2) 
要指出的是,在方程(2)中, W 0 , d i 0 , W 0 , d i 0 d i 1 , · · · , W 0 , d i 0 d i 1 · · · d i ( r - 1 ) 是与距离矢量d结合地表示预测系数W和起点系数W0之间的偏差的系数。在下面的描述中,为了简单起见,在下面的描述中,代表预测系数W与起点系数W0之间的偏差的这些系数 
Figure G2008101885026D00102
、…、 
Figure G2008101885026D00103
被统称为偏差系数,用符号Wd表示。 
在方程(2)中,对于次数r,项数Sr由下面的方程(3)表示。 
s r = 1 r ! Π j = 0 r - 1 ( m + j ) …方程(3) 
因此,预测系数W的所有变量的数目S由下面的方程(4)表示。 
S = Σ r = 0 p s r = { Σ r = 1 p 1 r ! Π j = 0 r - 1 ( m + j ) + 1 } × n …方程(4) 
要指出的是,在方程(4)中,对于p=0,假设S=n。 
从上面的描述显而易见的是,在根据本发明实施例的类别自适应处理中,可以根据方程(2)利用起点系数W0、偏差系数Wd和距离矢量d来求得均用来预测分类为同一类别的关注数据之一的每个预测系数W。因此,可以基于分类为同一类别的关注数据的预测系数W将这些关注数据相互区分。结果,可以从输入数据产生质量高于输入数据的质量的输出数据。 
此外,在根据本发明实施例的类别自适应处理中,为了使分类为同一类别的关注数据基于它们的预测系数W被相互区分,不必将类别分为子类别。因此,类别的数目不会增多。结果,学习预测系数的处理的精度也没有变差。基于此,在根据本发明实施例的类别自适应处理中,通过以正确类别的起点预测系数W0作为基准,求得预测系数W。因此,可以防止输出数据由于混合了与正确类别不同的类别的预测系数而劣化。 
图5是示出了根据本发明第一实施例的信号处理设备10的典型构造的框图。 
如图5的框图所示,信号处理设备10的典型构造包括类别抽头提取部11、类别分类部12、系数存储部13、距离矢量抽头提取部14、 距离矢量计算部15、预测系数产生部16、预测抽头提取部17和数据预测部18。 
信号处理设备10通过从输入数据产生将要从现在起产生为数据的输出数据中的关注数据的类别,然后通过利用将该类别的起点系数W0作为基准求得的预测系数W并利用输入数据,产生包括在输出数据中的每个关注数据的预测值,从而执行类别自适应处理。因此,在类别自适应处理中,输入数据被转换成输出数据,该输出数据的质量高于输入数据的质量。 
详细地讲,信号处理设备10中采用的类别抽头提取部11顺序地确定将要包括在从现在起要从输入数据产生的输出数据中的多个数据中的每个数据,以用作后面描述的要预测的关注数据。对于每个关注数据,类别抽头提取部11从输入数据提取输入数据中包括的多个数据作为类别抽头。为了用在由类别分类部12执行的用来将关注数据分类为属于一个类别的关注数据的处理中,从输入数据提取的作为类别抽头的数据是下述数据,该数据位于与输出数据中的关注数据的位置以及该关注数据的位置周围的周边位置对应的位置。然后,类别抽头提取部11将该类别抽头提供给类别分类部12。 
类别分类部12根据从类别抽头提取部11接收的类别抽头的特征,执行将关注数据分类为属于某一类别的关注数据的处理。然后,作为将关注数据分类的处理的结果,类别分类部12产生关注数据的类别。作为将关注数据分为一个类别的典型方法,可以采用ADRC(自适应动态范围编码)技术。根据采用ADRC技术将关注数据分类为属于一个类别的关注数据的方法,对输入数据中包括的作为要用作类别抽头的数据的数据进行ADRC处理,根据如下的作为ADRC处理的结果而获得的ADRC码来确定关注数据的类别。 
要指出的是,在K比特ADRC处理中,在将要用作类别抽头的多个数据中检测最大值MAX和最小值MIN。最大值MAX和最小值MIN之差DR(即,DR=MAX-MIN)用作包括用作类别抽头的数据的集合的局部动态范围DR。基于该动态范围DR,用作类别抽头的 每个数据被重新量化成K比特。也就是说,从用作类别抽头的每个数据减去最小值MIN,作为减法运算结果而获得的每个值被DR/2K除(或再量化),从而生成K比特数据。然后,通过按预先确定的顺序排列由再量化运算生成的作为用作类别抽头的数据的K比特数据的操作得到一比特序列,该比特序列用作ADRC码。最后,类别分类部12根据该ADRC码确定关注数据的类别。 
因此,在例如对类别抽头执行的1比特ADRC处理的情况下,从用作类别抽头的每个数据减去最小值MIN,作为减法运算结果而获得的每个值被DR/2除(或再量化),从而生成均具有二进制值的1比特数据,其中,该二进制值是通过截去除法运算结果的小数点和小数点后的分数部分而获得的,其中符号DR表示最小值MIN与最大值MAX之差。也就是说,在二进制转换处理中,每个数据被转换成1比特数据。然后,通过按预先确定的顺序排列1比特数据的操作得到的比特序列被用作ADRC码。最后,类别分类部12根据该ADRC码确定关注数据的类别,并将该类别提供给系数存储部13。 
系数存储部13是用于存储每个类别的起点系数W0和偏差系数Wd的存储器。系数存储部13从类别分类部12接收类别,向预测系数产生部16提供与该类别相关联的起点系数W0和偏差系数Wd。 
按照与类别抽头提取部11相同的方式,距离矢量抽头提取部14顺序地确定将要包括在输出数据中的多个数据中的每个数据,以用作后面描述的要预测的关注数据。对于每个关注数据,距离矢量抽头提取部14从输入数据提取输入数据中包括的多个数据作为距离矢量抽头。为了用来计算与关注数据对应的距离矢量d,从输入数据提取的作为距离矢量抽头的数据是下述数据,该数据位于与输出数据中的关注数据的位置以及该关注数据的位置周围的周边位置对应的位置。然后,距离矢量抽头提取部14将距离矢量抽头提供给距离矢量计算部15。 
距离矢量计算部15根据从距离矢量抽头提取部14接收的距离矢量抽头计算与关注数据对应的距离矢量d,并将该距离矢量d提供给 预测系数产生部16。 
基于从系数存储部13接收的起点系数W0和偏差系数Wd以及从距离矢量计算部15接收的距离矢量d,预测系数产生部16通过执行根据方程(2)的计算处理来产生预测系数W。预测系数产生部16将预测系数W提供给数据预测部18。 
按照与类别抽头提取部11和距离矢量抽头提取部14相同的方式,预测抽头提取部17顺序地确定将要包括在输出数据中的多个数据中的每个数据,以用作关注数据。对于每个关注数据,预测抽头提取部17从输入数据提取输入数据中包括的多个数据作为预测抽头。为了用来预测关注数据,从输入数据提取的作为预测抽头的数据是下述的数据,该数据位于与输出数据中的关注数据的位置以及该关注数据的位置周围的周边位置对应的位置。然后,预测提取部17将预测抽头提供给数据预测部18。 
数据预测部18通过利用从预测系数产生部16接收的预测系数W和从预测抽头提取部17接收的预测抽头,执行预测关注数据的预测处理,产生关注数据的预测值作为将要包括在正产生的输出数据中的关注数据之一。然后,数据预测部18输出由均具有通过预测处理生成的预测值的数据组成的输出数据。 
通过参照图6中示出的流程图,下面的描述解释了由图5的框图示出的信号处理设备10执行的信号处理。 
该流程图从步骤S11开始,在步骤S11,类别抽头提取部11、距离矢量抽头提取部14和预测抽头提取部17中的每个从将要包括在正在产生的输出数据中的多个数据中选择至今尚未被确定为关注数据的数据,并将所选择的数据确定为关注数据。然后,在下一步骤S12,类别抽头提取部11从输入数据提取与关注数据对应的类别抽头,并将该类别抽头提供给类别分类部12。 
随后,在下一步骤S13,根据从类别抽头提取部11接收的类别抽头的特征,类别分类部12将关注数据分为一个类别,并产生关注数据的类别。然后,类别分类部12向系数存储部13提供关注数据所 属的类别。 
随后,在下一步骤S14,距离矢量抽头提取部14从输入数据提取与关注数据对应的距离矢量抽头,并将距离矢量抽头提供给距离矢量计算部15。然后,在下一步骤S15,距离矢量计算部15根据接收自距离矢量抽头提取部14的距离矢量抽头计算距离矢量d,并将距离矢量d提供给预测系数产生部16。 
随后,在下一步骤S16,系数存储部13向预测系数产生部16提供与从类别分类部12接收的类别对应的起点系数W0和偏差系数Wd。 
随后,在下一步骤S17,基于从系数存储部13接收的起点系数W0和偏差系数Wd以及从距离矢量计算部15接收的距离矢量d,预测系数产生部16通过执行根据方程(2)的计算处理来产生预测系数W。随后,预测系数产生部16将预测系数W提供给数据预测部18。 
然后,在下一步骤S18,预测抽头提取部17从输入数据提取与关注数据对应的预测抽头,并将预测抽头提供给数据预测部18。 
随后,在下一步骤S19,数据预测部18通过利用从预测系数产生部16接收的预测系数W和从预测抽头提取部17接收的预测抽头,执行预测关注数据的预测处理,产生关注数据的预测值作为将要包括在输出数据中的关注数据之一。然后,在下一步骤S20,类别抽头提取部11、距离矢量抽头提取部14和预测抽头提取部17中的每个针对是否已把要包括在正产生的输出数据中的每个数据确定为关注数据,生成确定结果。 
如果在步骤S20生成的确定结果指示尚未把要包括在输出数据中的任一数据确定为关注数据,则信号处理的流程返回至步骤S11,以重复上述的信号处理。 
另一方面,如果在步骤S20生成的确定结果指示要包括在输出数据中的每个数据已经被确定为关注数据,则信号处理的流程进行到步骤S21,在该步骤S21,数据预测部18输出由均通过执行步骤S19中的预测处理而产生的关注数据组成的输出数据。最后,信号处理结束。 
如上所述,信号处理设备10通过利用与被确定为包括关注数据的类别的类别相关联的起点系数W0和偏差系数Wd产生预测系数W。因此,被分类为属于同一类别的关注数据可以基于它们的预测系数W相互区分。 
要指出的是,在采用如下所述的最小二乘法的学习处理中,通常预先从与输入数据对应的学生数据(student data)和与对于该输入数据已知的输出数据对应的教师数据(teacher data)学习起点系数W0和偏差系数Wd。 
作为预定的预测处理,采用线性预测处理作为预测关注数据的处理。在这种情况下,根据下面给出的线性方程求得输出数据的关注数据y: 
y=WX...方程(5) 
在本专利说明书中,方程(5)也被称作以前引用的关系式。在上面给出的方程(5)中,符号X表示包括n个数据的n维矢量(X=(x0,x1,…,xn)),所述n个数据包括在输入数据中作为用于正产生的输出数据的关注数据y的预测抽头。因此,包括在预测抽头中的输入数据的数目等于构成预测系数W的预测系数的数目。 
要指出的是,也可以使用更高次的方程中的二次方程,而不利用线性方程即方程(5)作为用于求得将要包括在输出数据中的关注数据y的方程。 
令符号yk表示输出数据的第k样本(或第k关注数据)的真值,在这种情况下输出数据是教师数据;而符号Xk(Xk=(xk0,xk1,…,xkn))指表示预测抽头的n维矢量,所述预测抽头代表输入数据(在这种情况下是学生数据)中包括的n个数据,所述n个数据是位于与输出数据中的第k关注数据的位置以及第k样本的位置周围的周边位置对应的位置的数据。另外,采用最小二乘法作为一典型标准,用来确定用于根据方程(5)求得输出数据的预测值y的预测系数W的值为最佳。由于预测系数W是从起点系数W0和偏差系数Wd求得的,所以最小二乘法必须提供下面将描述的起点系数W0和偏差系数Wd 的最佳值。在最小二乘法的情况下,由下面给出的方程(6)表示典型的评价函数Q。 
Q = Σ k = 1 N t k · { y k - W · X k T } 2
= Σ k = 1 N t k · { y k - [ W 0 + Σ r = 1 p { Σ i 0 = 0 m - 1 Σ i 1 = 0 i 0 · · · Σ i ( r - 1 ) = 0 i ( r - 2 ) d i 0 d i 1 · · · d i ( r - 1 ) W 0 , d i 0 , d i 1 · · · d i ( r - 1 ) } ] · X k T } 2 ......方程(6) 
要指出的是,在上面给出的方程(6)中,符号N表示在集合学习处理中均用作样本(或学习样本)的关注数据yk的数目。在这种情况下,故意使用技术术语“集合学习处理”,以指出技术术语“集合学习处理”中的词语“集合”包括用作输出数据的教师数据的关注数据yk和表示预测抽头的n维矢量Xk,所述预测抽头代表作为学生数据的输入数据中包括的n个数据,所述n个数据是位于与输出数据中的关注数据yk以及关注数据yk的位置周围的周边位置对应的位置的数据。符号tk表示分配给第k样本(或关注数据yk)的权重。通常,权重tk是根据距离矢量d的大小确定的常数。 
通过方程(6)的右侧的表达式将评价函数Q表示为取决于权重tk、用于关注数据的教师数据的真值yk、起点系数W0、距离矢量d、偏差系数Wd和n维矢量Xk的函数。基于最小二乘法,通过将每个偏微分设置为0求得的起点系数W0和偏差系数Wd给出由方程(6)表示的评价函数Q的最小值,所述偏微分是针对起点系数W0和偏差系数Wd求导出的评价函数Q的偏微分。也就是说,首先,针对起点系数W0和偏差系数Wd对由方程(6)表示的评价函数Q进行偏微分,然后,将作为偏微分运算的结果获得的每个偏微分设置为0,以得出图7的图中示出的联立方程作为下文简称为行列式的行列式。然后,在所谓的学习处理中,对联立方程求解,以求得起点系数W0和偏差系数Wd。 
图7的图中示出的行列式的每个矩阵被分成小块。更具体地讲,行列式的左侧的最左矩阵被分成小块,所述小块均是图7的图的左上角处示出的n行×n列矩阵。行列式的左侧的中间矩阵和行列式的右侧的最右矩阵中的每个被分为小块,所述小块均是图7的图的右上角 处示出的n行×1列矩阵。行列式的左侧的最左矩阵的每个小块和行列式的右侧的最右矩阵的每个小块是通过将与现有类别自适应处理中的线性预测处理对应的矩阵的对应元素与根据小块的位置的距离矢量d的值相乘而获得的。要指出的是,图7的图中示出的符号i和j(二者满足关系0≤i,j≤n)分别表示预测抽头中的数据的列位置和行位置。 
要指出的是,这个行列式是针对每个类别产生的,用以求得该类别的最佳起点系数W0和最佳偏差系数Wd。 
在由信号处理设备10执行的类别自适应处理中,由预测系数产生部16使用根据如上所述的图7的图中示出的正态方程在学习处理中求得的最佳起点系数W0和最佳偏差系数Wd,以在根据方程(2)的计算处理中计算预测系数W。然后,在根据方程(5)(也称作关系式)利用预测系数W的预测处理中由数据预测部18使用预测系数W,从而将输入数据转换为输出数据。 
图8是示出了用于执行学习由图5的框图中示出的信号处理设备10使用的起点系数W0和偏差系数Wd的学习处理的学习设备30的典型构造的框图。 
如图8的框图中所示,学习设备30采用学习对(learning-pair)存储部31、类别抽头提取部32、类别分类部33、距离矢量抽头提取部34、距离矢量计算部35、预测抽头提取部36、正态方程产生部37、系数产生部38和系数存储部39。 
学习设备30中采用的学习对存储部31是用来存储包括学生数据和教师数据的学习对数据的存储器,其中,学生数据和教师数据形成学习对。学习对中的学生数据是在学习起点系数W0和偏差系数Wd的处理中使用的数据之一。学生数据对应于信号处理设备10中的输入数据。学习处理使用的学习对中的另一数据是教师数据。教师数据是与对于学生数据已知的理想输出数据对应的数据。 
学习对存储部31将学习对中的学生数据输出到类别抽头提取部32、距离矢量抽头提取部34和预测抽头提取部36,但将教师数据输 出到正态方程产生部37。 
按照与图5的图中示出的信号处理设备10中采用的类别抽头提取部11相同的方式,类别抽头提取部32顺序地确定包括在教师数据中的多个数据中的每个数据,以用作关注数据。对于每个关注数据,类别抽头提取部32从学生数据提取包括在学生数据中的多个数据作为类别抽头。为了用来将关注数据分类为关注数据,从学生数据提取的作为类别抽头的数据是位于与教师数据中的关注数据的位置以及该关注数据的位置周围的周边位置对应的位置的数据。然后,类别抽头提取部32将类别抽头提供给类别分类部33。 
按照与图5的图中示出的信号处理设备10中采用的类别分类部12相同的方式,根据作为由类别抽头提取部32提取的用于关注数据的类别抽头的从类别抽头提取部32接收的类别抽头的特征,类别分类部33执行将关注数据分类到某一类别的处理。然后,类别分类部33产生关注数据的类别,作为将关注数据分类的处理的结果。类别分类部33将该类别提供给正态方程产生部37。 
按照与图5的图中示出的信号处理设备10中采用的距离矢量抽头提取部14及上文描述的类别抽头提取部32相同的方式,距离矢量抽头提取部34顺序地确定包括在教师数据中的多个数据中的每个数据作为关注数据。对于每个关注数据,距离矢量抽头提取部34从学生数据提取包括在学生数据中的多个数据作为距离矢量抽头。为了用来计算与关注数据对应的距离矢量d,从学生数据提取的作为距离矢量抽头的数据是位于与教师数据中的关注数据的位置以及关注数据的位置周围的周边位置对应的位置的数据。然后,距离矢量抽头提取部34将距离矢量抽头提供给距离矢量计算部35。 
按照与图5的图中示出的信号处理设备10中采用的距离矢量计算部15相同的方式,距离矢量计算部35从接收自距离矢量抽头提取部34的距离矢量抽头计算与关注数据对应的距离矢量d,并将距离矢量d提供给正态方程产生部37。 
按照与图5的图中示出的信号处理设备10中采用的预测抽头提 取部17以及上文已经描述的类别抽头提取部32和距离矢量抽头提取部34相同的方式,预测抽头提取部36顺序地确定包括在教师数据中的多个数据中的每个数据作为关注数据。对于每个关注数据,预测抽头提取部36从学生数据提取包括在学生数据中的多个数据作为用于求得关注数据的正态方程的预测抽头。从学生数据提取的作为预测抽头的数据是位于与教师数据中的关注数据的位置以及关注数据的位置周围的周边位置对应的位置的数据。然后,预测抽头提取部36将预测抽头提供给正态方程产生部37。 
对于从类别分类部33接收的每个类别,正态方程产生部37产生一个正态方程,该正态方程是图7的图中示出的行列式表示的方程。实际上,正态方程产生部37利用从距离矢量计算部35接收的距离矢量d来计算用作图7的图中示出的行列式的矩阵中的元素的权重tk的值。然后,正态方程产生部37基于权重tk、距离矢量d、从预测抽头提取部36接收的作为表示学生数据的抽头的预测抽头Xk和从学习对存储部31接收的作为教师数据的值的真值yk,创建正产生的正态方程的参数。如前面描述的,预测抽头Xk表示从学生数据提取的作为用于第k关注数据的预测抽头的数据。 
具体地讲,正态方程产生部37利用作为由符号Xk(Xk=(Xk0,Xk1,…,Xkn))表示的参数(用来表示从学生数据提取的数据的n维矢量)的预测抽头Xk,利用作为由正态方程中的符号yk表示的参数(用来表示用于第k关注数据的教师数据)的真值yk,并利用用来表示针对第k关注数据的距离矢量的距离矢量d,来创建正态方程的参数。 
如上所述,正态方程是由图7的图中示出的行列式表示的方程。图7的图中示出的方程是通过对方程(6)的微分方程求导,并将由微分方程表示的表达式的值设置为0而获得的。因此,图7的图中示出的方程是表示如下条件的方程:使由方程(6)表示的评价函数的值最小化;或者给出提供与真值yk最接近的预测值y的最佳起点系数W0和最佳偏差系数Wd。另外,通过对方程(5)表示的关系式求解 来构造由方程(6)表示的评价函数,方程(5)是用于通过执行将从输入数据提取的作为预测抽头X的多个数据与第二预测系数W相乘的第二计算处理来产生质量高于输入数据的质量的输出数据的关注数据y的方程。如早先所描述的,输出数据与输入数据分别对应于教师数据和学生数据。第二预测系数W是通过对从输入数据提取的作为距离矢量d的多个数据求得的非线性特征量以及包括起点系数W0和偏差系数Wd的第一预测系数执行第一计算处理而产生的系数。因此,由正态方程产生部37产生的正态方程可以说是用来求得如上所述的最佳起点系数W0和最佳偏差系数Wd的方程。正态方程产生部37向系数产生部38提供正态方程的参数。 
系数产生部38利用正态方程的参数,来计算起点系数W0和偏差系数Wd。也就是说,系数产生部38通过利用从正态方程产生部37接收的参数作为正态方程的参数对正态方程求解,从而求得起点系数W0和偏差系数Wd。系数产生部38将起点系数W0和偏差系数Wd存储在系数存储部39中,系数存储部39是在图5的框图中示出的信号处理设备10中采用的系数存储部13。因此,信号处理设备10能够利用已经如上所述预先由学习设备30从学生数据和教师数据学习到的起点系数W0和偏差系数Wd。 
通过参照图9中示出的流程图,下面的描述解释了由图8的框图中示出的学习设备30执行的学习处理。 
流程图从步骤S30开始,在步骤S30,学习对存储部31在多条存储的学习对数据中选择作为至今尚未选择的学习对数据的一个学习对数据,并输出所选择的一个学习对数据。具体地讲,学习对存储部31将所选择的一个学习对数据中的学生数据输出到类别抽头提取部32、距离矢量抽头提取部34和预测抽头提取部36,而将所选择的一个学习对数据中的教师数据输出到正态方程产生部37。 
然后,在下一步骤S31,按照与图5中示出的类别抽头提取部11相同的方式,类别抽头提取部32、距离矢量抽头提取部34和预测抽头提取部36中的每个从包括在教师数据中的多个数据选择尚未被选 择为关注数据的数据,并将所选择的数据确定为关注数据。 
随后,在下一步骤S32,类别抽头提取部32从学生数据提取与关注数据对应的类别抽头,并将类别抽头提供给类别分类部33。 
然后,在下一步骤S33,按照与图5中示出的类别分类部12相同的方式,根据从类别抽头提取部32提供的类别抽头的特征,类别分类部33将关注数据分类到一个类别,并产生关注数据的类别。然后,类别分类部33向正态方程产生部37提供该类别。 
随后,在下一步骤S34,按照与图5中示出的距离矢量抽头提取部14相同的方式,距离矢量抽头提取部34从学生数据提取与关注数据对应的距离矢量抽头,并将距离矢量抽头提供给距离矢量计算部35。 
然后,在下一步骤S35,按照与图5中示出的距离矢量计算部15相同的方式,距离矢量计算部35从接收自距离矢量抽头提取部34的距离矢量抽头计算距离矢量d,并将距离矢量d提供给正态方程产生部37。 
随后,在下一步骤S36,按照与图5中示出的预测抽头提取部17相同的方式,预测抽头提取部36从学生数据提取与关注数据对应的预测抽头,并将预测抽头提供给正态方程产生部37。 
然后,在下一步骤S37,对于从类别分类部33接收的类别,正态方程产生部37产生正态方程,该正态方程是由图7的图中示出的行列式表示的方程。实际上,正态方程产生部37通过利用从距离矢量计算部35接收的距离矢量d来计算用作图7的图中示出的行列式的矩阵中的元素的权重tk的值。然后,基于权重tk、距离矢量d、从预测抽头提取部36接收的作为代表学生数据的抽头的预测抽头Xk以及从学习对存储部31接收的作为教师数据的值的真值yk,正态方程产生部37创建正产生的正态方程的参数。 
然后,在下一步骤S38,类别抽头提取部32、距离矢量抽头提取部34和预测抽头提取部36中的每个针对在属于当前学习对的教师数据中包括的每个数据是否已被确定为关注数据,生成确定结果。如果 在步骤S38生成的确定结果指示尚未将包括在属于当前学习对的教师数据中的任一数据确定为关注数据,则学习处理的流程返回至步骤S31,以重复上文描述的学习处理。 
另一方面,如果在步骤S38生成的确定结果指示包括在教师数据中的每个数据已经被确定为关注数据,则信号处理的流程进行到步骤S39,从而针对是否已对存储在学习对存储部31中的所有学习对数据执行了步骤S30至步骤S38的处理,即,是否已经处理了存储在学习对存储部31中的所有学习对数据,生成确定结果。如果在步骤S39生成的确定结果指示尚未对存储在学习对存储部31中的任一学习对数据执行步骤S30至步骤S38的处理,则学习处理的流程返回至步骤S30,以重复上文描述的学习处理。 
另一方面,如果在步骤S39生成的确定结果指示已经对存储在学习对存储部31中的所有学习对数据执行了步骤S30至步骤S38的处理,则正态方程产生部37向系数产生部38提供在步骤S37创建的参数。 
然后,在下一步骤S40,系数产生部38利用从正态方程产生部37接收的参数求解方程,从而求得起点系数W0和偏差系数Wd,将起点系数W0和偏差系数Wd存储在系数存储部39中。 
如上所述,学习设备30从学习对数据中学习属于一个类别的每个关注数据的起点系数W0和偏差系数Wd。因此,信号处理设备10能够利用每个关注数据的已经预先学习的起点系数W0和偏差系数Wd以及距离矢量d,产生预测系数W。结果,被分类为属于同一类别的关注数据能够基于它们的预测系数W相互区分。因此,信号处理设备10能够产生质量比输入数据的质量还要高的输出数据。 
要指出的是,由信号处理设备10和学习设备30处理的数据可以是任何数据。下面的描述解释了图像数据被用作由信号处理设备10和学习设备30处理的典型数据的情况。 
图10是示出了根据本发明第二实施例的信号处理设备110的典型构造的框图。 
如图10的框图中所示,信号处理设备110采用类别抽头提取部111、类别分类部112、系数存储部113、归一化级抽头提取部114、归一化级矢量计算部115、预测系数产生部116、预测抽头提取部117和数据预测部118。 
信号处理设备110执行将输入数据转换为输出数据的类别自适应处理,其中,输入数据是SD(标准清晰度)图像的SD图像数据,输出数据是HD(高清晰度)图像的HD图像数据。详细地讲,信号处理设备110通过确定包括在从现在起产生的HD(高清晰度)图像中的每个关注像素的类别,并计算包括在HD图像中的每个关注像素的预测像素值以产生HD图像,来执行类别自适应处理。HD图像数据由包括在HD图像中的每个关注像素的像素值组成。根据方程(5),利用预测系数W和SD(标准清晰度)图像数据X来计算每个关注像素的预测像素值y。预测系数W是以该类别的起点系数W0为基准而计算出的系数。SD像素数据由构成SD图像的每个像素的像素值构成。因此,在类别自适应处理中,SD图像数据被转换成分辨率高于SD图像数据的分辨率的HD图像。 
详细地讲,在信号处理设备110中,类别抽头提取部111顺序地确定构成由从现在起要从代表SD图像的SD图像数据产生的HD图像数据表示的HD图像的多个像素中的每个像素,以用作关注像素。对于每个关注像素,类别抽头提取部111从SD图像数据提取构成SD图像的多个像素的值作为类别抽头。为了在由类别分类部112执行的处理中用来将关注像素分类为属于一个类别的关注像素,从SD图像数据提取的作为类别抽头的像素值是位于与HD图像中的关注像素的位置以及关注像素的位置周围的周边位置对应的位置的像素的值。然后,类别抽头提取部111将类别抽头提供给类别分类部112。 
类别分类部112根据从类别抽头提取部111接收的类别抽头的特征,执行将关注像素分类到某一类别的处理。然后,类别分类部112产生关注像素的类别。类别分类部112将该类别提供给系数存储部113。 
系数存储部113是用于存储每一类别的起点系数W0和偏差系数Wd的存储器。已经通过后面描述的图12的框图中示出的学习设备130预先学习了起点系数W0和偏差系数Wd。系数存储部113从类别分类部112接收类别,向预测系数产生部116提供与该类别相关联的起点系数W0和偏差系数Wd。 
按照与类别抽头提取部111相同的方式,归一化级抽头提取部114顺序地确定构成由HD图像数据代表的HD图像的多个像素中的每个像素,以用作关注像素。对于每个关注像素,归一化级抽头提取部114从SD图像数据提取构成SD图像的多个图像的值作为归一化级抽头。为了在由归一化级矢量计算部115执行的用来计算作为关注像素的值的归一化级别的矢量的归一化级矢量的处理中使用,从SD图像数据提取的作为归一化级抽头的像素值是位于与HD图像中的关注像素的位置以及关注像素的位置周围的周边位置对应的位置的像素的值。然后,归一化级抽头提取部114将归一化级抽头提供给归一化级矢量计算部115。 
归一化级矢量计算部115将构成从归一化级抽头提取部114接收的归一化级抽头的像素值归一化。具体地讲,对于构成归一化级抽头的每个像素值L,首先,归一化级矢量计算部115通常从每个像素值L减去像素值L的最小值Lmin,从而得到差(L-Lmin)。然后,归一化级矢量计算部115将该差除以(Lmax-Lmin),从而给出归一化像素值Ilevel,其中符号Lmax指像素值L的最大值。 
归一化级矢量计算部115将归一化级矢量提供给预测系数产生部116。归一化级矢量是表示从SD图像数据提取的作为归一化级抽头的像素值L的归一化像素值Ilevel的一维距离矢量。 
基于从系数存储部113接收的起点系数W0和偏差系数Wd以及从归一化级矢量计算部115接收的归一化级矢量,预测系数产生部116通过执行根据方程(2)的计算处理来产生预测系数W。具体地讲,为了计算预测系数W,预测系数产生部116将方程(2)中的m设置为1(即,m=1)。然后,预测系数产生部116将起点系数W0和偏 差系数Wd代入方程(2)。预测系数产生部116还将归一化级矢量作为距离矢量d0的替代项代入方程(2)。预测系数产生部116将预测系数W提供给数据预测部118。 
按照与类别抽头提取部111和归一化级抽头提取部114相同的方式,预测抽头提取部117顺序地确定构成由HD图像数据表示的HD图像的多个像素中的每个像素,以用作关注像素。对于每个关注像素,类别抽头提取部117从SD图像数据提取构成SD图像的多个像素的值作为预测抽头。为了用来预测关注像素的值,从SD图像数据提取的作为预测抽头的像素值是位于与HD图像中的关注像素的位置以及关注像素的位置周围的周边位置对应的位置的像素的值。然后,预测抽头提取部117将类别抽头提供给数据预测部118。 
数据预测部118根据方程(5)利用从预测系数产生部116接收的预测系数W和从预测抽头提取部117接收的预测抽头X,执行预测关注像素的值的预测处理,产生选自于构成HD图像的关注像素的关注像素的预测值y。然后,数据预测部118输出由关注像素的预测值构成的HD图像数据,其中,每个关注像素具有通过该预测处理生成的预测值。 
通过参照图11中示出的流程图,以下的描述解释了由图10的框图中示出的信号处理设备110执行的图像处理。 
流程图从步骤S111开始,在步骤S111,类别抽头提取部111、归一化级抽头提取部114和预测抽头提取部117中的每个从构成HD图像的多个像素选择迄今尚未被确定为关注像素的像素,并将所选择的像素确定为关注像素。然后,在下一步骤S112,类别抽头提取部111从SD图像数据提取与关注像素对应的类别抽头,并将该类别抽头提供给类别分类部112。 
随后,在下一步骤S113,根据从类别抽头提取部111接收的类别抽头的特征,类别分类部112将关注像素分类为属于一类别的关注像素,并产生该关注像素的类别。然后,类别分类部112向系数存储部113提供关注像素所属的类别。 
随后,在下一步骤S114,归一化级抽头提取部114从SD图像数据提取与关注像素对应的归一化级抽头,并将归一化级抽头提供给归一化级矢量计算部115。 
然后,在下一步骤S115,归一化级矢量计算部115从接收自归一化级抽头提取部114的归一化级抽头计算归一化级矢量。具体地讲,归一化级矢量计算部115将构成归一化级抽头的像素值归一化,并求得代表归一化像素值的一维矢量作为归一化级矢量。然后,归一化级矢量计算部115将归一化级矢量提供给预测系数产生部116。 
随后,在下一步骤S116,系数存储部113将与接收自类别分类部112的类别对应的起点系数W0和偏差系数Wd输出到预测系数产生部116。然后,在下一步骤S117,基于从系数存储部113接收的起点系数W0和偏差系数Wd以及从归一化级矢量计算部115接收的归一化级矢量,预测系数产生部116执行根据方程(2)的计算处理来产生预测系数W。随后,预测系数产生部116将预测系数W提供给数据预测部118。 
然后,在下一步骤S118,预测抽头提取部117从SD图像数据提取与关注像素对应的预测抽头,并将预测抽头提供给数据预测部118。 
随后,在下一步骤S119,根据方程(5),数据预测部118利用从预测系数产生部116接收的预测系数W和从预测抽头提取部117接收的预测抽头X,执行预测关注像素的值的预测处理,产生关注像素的预测值y作为构成HD图像的关注像素之一的预测值。然后,在下一步骤S120,类别抽头提取部111、归一化级抽头提取部114和预测抽头提取部117中的每个针对构成由HD图像数据代表的HD图像的每个像素是否已经被确定为关注像素,生成确定结果。 
如果在步骤S120生成的确定结果指示构成HD图像的任一像素尚未被确定为关注像素,则图像处理的流程返回到步骤S111,以重复上面描述的图像处理。 
另一方面,如果在步骤S120生成的确定结果指示构成HD图像的每个像素已经被确定为关注像素,则图像处理的流程进行到步骤 S121,在步骤S121,数据预测部118输出由预测值组成的HD图像数据,其中,每个预测值均是通过执行预测处理、作为关注像素的预测值而产生的。最后,图像处理结束。 
图12是示出了用于执行学习由图10的图中示出的信号处理设备110使用的起点系数W0和偏差系数Wd的学习处理的学习设备130的典型构造的框图。 
如图12的框图所示,学习设备130采用学习对存储部131、类别抽头提取部132、类别分类部133、归一化级抽头提取部134、归一化级矢量计算部135、预测抽头提取部136、正态方程产生部137、系数产生部138和系数存储部139。 
学习设备130中采用的学习对存储部131是用来存储包括学生图像数据和教师图像数据的学习对数据的存储器,其中,学生图像数据和教师图像数据形成学习对。学习对中的学生图像数据是在学习起点系数W0和偏差系数Wd的处理中使用的数据之一。学习对中的学生图像数据对应于信号处理设备110中使用的SD图像数据。学习处理使用的学习对中的另一数据是教师图像数据。学习对中的教师图像数据是与对于学生图像数据已知的理想教师图像数据对应的数据。教师图像数据对应于信号处理设备110中使用的HD图像数据。 
学习对存储部131将学习对中的学生图像数据输出到类别抽头提取部132、归一化级抽头提取部134和预测抽头提取部136,但将教师图像数据输出到正态方程产生部137。要指出的是,在以下的描述中,由学生图像数据代表的SD图像也被称为学生图像,而由教师图像数据代表的HD图像也被称为教师图像。 
按照与图10中示出的类别抽头提取部111相同的方式,类别抽头提取部132顺序地确定构成由教师图像数据代表的教师图像的多个像素中的每个作为关注像素。对于每个关注数据,类别抽头提取部132从学生图像数据提取构成学生图像的多个像素的值作为类别抽头。为了用来将关注数据分类为属于一类别的关注像素,从学生图像数据提取的作为类别抽头的像素的值是位于与教师图像中的关注像素的位 置以及关注像素的位置周围的周边位置对应的位置的像素的值。然后,类别抽头提取部132将类别抽头提供给类别分类部133。 
按照与图10中示出的类别分类部112相同的方式,类别分类部133根据从类别抽头提取部132接收的类别抽头的特征,执行将关注数据分类为属于某一类别的关注像素的处理。然后,类别分类部133产生关注数据的类别。类别分类部133将该类别提供给正态方程产生部137。 
按照与图10中示出的归一化级抽头提取部114以及上文描述的类别抽头提取部132相同的方式,归一化级抽头提取部134顺序地确定构成由教师图像数据代表的教师图像的多个像素中的每个像素作为关注像素。对于每个关注像素,归一化级抽头提取部134从学生图像数据提取构成学生图像的多个像素的值作为归一化级抽头。为了用来计算与关注像素对应的归一化级矢量,从学生图像数据提取的作为归一化级抽头的像素的值是位于与教师图像中的关注数据的位置以及关注像素的位置周围的周边位置对应的位置的像素的值。然后,归一化级抽头提取部134将归一化级抽头提供给归一化级矢量计算部135。 
按照与图10中示出的归一化级矢量计算部115相同的方式,通过将构成归一化级抽头的像素值归一化,归一化级矢量计算部135从接收自归一化级抽头提取部134的归一化级抽头计算与关注像素对应的归一化级矢量。归一化级矢量计算部135将归一化级矢量提供给正态方程产生部137。 
按照与图10中示出的预测抽头提取部117以及上文描述的类别抽头提取部132和归一化级抽头提取部134相同的方式,预测抽头提取部136顺序地确定构成由教师图像数据代表的教师图像的多个像素中的每个作为关注像素。对于每个关注像素,预测抽头提取部136从学生图像数据提取构成学生图像的多个像素的值作为用于求得关注像素的正态方程的预测抽头。从学生图像数据提取的作为预测抽头的像素的值是位于与教师图像中的关注像素的位置以及关注像素的位 置周围的周边位置对应的位置的像素的值。然后,预测抽头提取部136将预测抽头提供给正态方程产生部137。 
对于从类别分类部133接收的每个类别,正态方程产生部137产生一个正态方程,该正态方程是图7的图中示出的行列式表示的方程。实际上,正态方程产生部137针对m=1计算用作图7的图中示出的行列式的矩阵中的元素的权重tk的值。然后,正态方程产生部137基于权重tk、从归一化级矢量计算部135接收的归一化级矢量、从预测抽头提取部136接收的作为代表学生图像数据的抽头的预测抽头Xk以及从学习对存储部131接收的作为教师图像数据的值的真值yk,创建正态方程的参数。如前面描述的,预测抽头Xk代表从学生图像数据提取的作为第k关注像素的预测抽头的像素值。 
具体地讲,对于从类别分类部133接收的每个类别,正态方程产生部137利用作为由正态方程中使用的符号tk表示的参数的、表示第k样本(或包括在教师图像中的第k关注像素)的权重的权重tk,利用作为由正态方程中使用的符号Xk(Xk=(Xk0,Xk1,…,Xkn))表示的参数的、表示从学生图像提取的像素的n维矢量的预测抽头Xk,利用作为由正态方程中的符号yk表示的参数的、表示第k关注像素的教师图像数据的真值yk,以及利用作为由正态方程中的符号d0表示的参数的归一化级矢量,来创建正态方程的参数。然后,正态方程产生部137将正态方程的参数提供给系数产生部138。 
系数产生部138利用从正态方程产生部137接收的参数对方程求解,从而求得起点系数W0和偏差系数Wd。系数产生部138将起点系数W0和偏差系数Wd存储在系数存储部139中。因此,信号处理设备110能够利用已经预先通过学习设备130从如上所述的学生图像数据和教师图像数据学习到的起点系数W0和偏差系数Wd。 
通过参照图13中示出的流程图,下面的描述解释了由图12的框图中示出的学习设备130执行的学习处理。 
流程图从步骤S130开始,在步骤S130,学习对存储部131在多个存储的学习对数据中选择作为迄今尚未被选择的学习对数据的一 个学习对数据,并将所选择的一个学习对数据中的学生图像数据输出到类别抽头提取部132、归一化级抽头提取部134和预测抽头提取部136,但将所选择的一个学习对数据中的教师图像数据输出到正态方程产生部137。 
然后,在下一步骤S131,按照与图10中示出的类别抽头提取部111相同的方式,类别抽头提取部132、归一化级抽头提取部134和预测抽头提取部136中的每个从构成教师图像的多个像素选择尚未被选择为关注像素的像素,并将所选择的像素确定为关注像素。 
随后,在下一步骤S132,类别抽头提取部132从学生图像数据提取与关注像素对应的类别抽头,并将类别抽头提供给类别分类部133。 
然后,在下一步骤S133,按照与图10中示出的类别分类部112相同的方式,根据从类别抽头提取部132接收的类别抽头的特征,类别分类部133将关注像素分类为属于一类别的关注像素,并产生关注像素的类别。然后,类别分类部133向正态方程产生部137提供该类别。 
随后,在下一步骤S134,按照与图10中示出的归一化级抽头提取部114相同的方式,归一化级抽头提取部134从学生图像数据提取与关注像素对应的归一化级抽头,并将归一化级抽头提供给归一化级矢量计算部135。 
然后,在下一步骤S135,按照与图10中示出的归一化级矢量计算部115相同的方式,归一化级矢量计算部135从接收自归一化级抽头提取部134的归一化级抽头计算归一化级矢量,并将归一化级矢量提供给正态方程产生部137。 
随后,在下一步骤S136,按照与图10中示出的预测抽头提取部117相同的方式,预测抽头提取部136从学生图像数据提取与关注像素对应的预测抽头,并将预测抽头提供给正态方程产生部137。 
然后,在下一步骤S137,对于从类别分类部133接收的类别,正态方程产生部137利用从归一化级矢量计算部135接收的归一化级 矢量、从预测抽头提取部136接收的预测抽头和从学习对存储部131接收的教师图像数据,产生正态方程,该正态方程是针对m=1的由图7的图中示出的行列式表示的方程。 
然后,在下一步骤S138,类别抽头提取部132、归一化级抽头提取部134和预测抽头提取部136中的每个针对构成由属于当前学习对的教师图像数据代表的教师图像的每个像素是否已经被确定为关注像素,生成确定结果。如果在步骤S138生成的确定结果指示构成由属于当前学习对的教师图像数据代表的教师图像的任一像素尚未被确定为关注像素,则学习处理的流程返回至步骤S131,以重复上文描述的学习处理。 
另一方面,如果在步骤S138生成的确定结果指示构成由属于当前学习对的教师图像数据代表的教师图像的每个像素已经被确定为关注像素,则信号处理的流程进行到步骤S139,从而针对是否已对存储在学习对存储部131中的所有学习对数据执行了步骤S130至步骤S138的处理,即,是否已经处理了存储在学习对存储部131中的所有学习对数据,生成确定结果。如果在步骤S139生成的确定结果指示尚未对任一学习对数据执行步骤S130至步骤S138的处理,则学习处理的流程返回至步骤S130,以重复上文描述的学习处理。 
另一方面,如果在步骤S139生成的确定结果指示已经对所有学习对数据执行了步骤S130至步骤S138的处理,则正态方程产生部137向系数产生部138提供在步骤S137创建的作为正态方程参数的参数。 
然后,在下一步骤S140,系数产生部138利用从正态方程产生部137接收的参数作为正态方程的参数对方程求解,从而求得起点系数W0和偏差系数Wd,将起点系数W0和偏差系数Wd存储在系数存储部139中。 
通过参照图14的直方图,以下的描述解释了代表作为由图10的图中示出的信号处理设备110执行的类别自适应处理的结果而获得的HD图像数据与作为现有的类别自适应处理的结果而获得的HD图像数据之间的S/N比之差的实验结果。在以下的描述中,由图10的 图中示出的信号处理设备110产生的HD图像数据被称作本发明HD图像数据,作为现有的类别自适应处理的结果而获得的HD图像数据被称作现有HD图像数据,并且S/N比之差被称作S/N比差。 
要指出的是,在得到图14的直方图中示出的S/N比差的实验中,使用112个SD图像的数据作为实验的对象。此外,在信号处理设备110执行的类别自适应处理中,使用归一化级抽头中的任一具体像素与归一化级抽头的中心像素之间的归一化化距离作为归一化级。归一化距离等于差|LC-L|,其中,符号LC表示中心像素的值,而符号L表示该具体像素的值。基于此,采用1比特ADRC技术作为将关注像素分类为属于一类别的像素的方法,而展开的最大次数p被设置为1。 
另一方面,在现有类别自适应处理中,采用2比特ADRC技术作为将关注像素分类为属于一类别的像素的方法。此外,在由信号处理设备110执行的类别自适应处理和现有的类别自适应处理中,其值用于类别抽头和预测抽头中的每个中的像素的数目为9。 
因此,在得到图14的直方图中示出的S/N比差的实验中,由信号处理设备110执行的类别自适应处理中计算的预测系数W的总数为46080(=512×9×10)。另一方面,假设理论上不存在的类别不包括关注像素,则现有的类别自适应处理中计算的预测系数W的总数为147456(=512×9×32)。 
图14的直方图示出了S/N比差出现的频率。S/N比差是通过从在上面描述的条件下执行的实验中产生的常规HD图像数据的S/N比减去在该实验中产生的本发明HD图像数据的S/N比而获得的差。要指出的是,在图14的直方图中,水平轴表示S/N比差,而垂直轴表示S/N比差出现的频率。 
如上所述,在得到图14的直方图中示出的S/N比差的实验中,在由信号处理设备110执行的类别自适应处理中计算的预测系数W的总数为46080,这与代表在现有的类别自适应处理中计算的预测系数W的总数的整数147456相比要小。然而,如图14的直方图所示,实验的结果表明大于0的S/N比差出现的频率增加。也就是说,在大 多数输入图像数据中,本发明HD图像数据的S/N比大于现有HD图像数据的S/N比。 
因此,从实验的结果显而易见的是,与执行现有的类别自适应处理产生的现有HD图像数据所代表的HD图像相比,信号处理设备110能够产生具有高质量的HD图像的本发明HD图像数据。换言之,信号处理设备110利用已经预先在学习处理中学习的最佳起点系数W0和最佳偏差系数Wd以及归一化级矢量,计算预测系数W。因此,显而易见,以这种方式,信号处理设备110能够产生更佳的预测系数W。 
图15是示出了根据本发明第三实施例的信号处理设备210的典型构造的框图。 
除了图10的框图中示出的根据第二实施例的信号处理设备110中采用的部件之外,图15的框图中示出的信号处理设备210还采用了亮度级抽头提取部211和亮度级矢量计算部212。基于此,信号处理设备210还包括预测系数产生部213,预测系数产生部213用作在信号处理设备110中采用的预测系数产生部116的替代物。此外,作为距离矢量d,信号处理设备210利用由归一化级矢量和亮度级矢量构成的二维矢量,其中,亮度级矢量是表示亮度的等级的矢量。 
按照与类别抽头提取部111相同的方式,信号处理设备210中采用的亮度级抽头提取部211顺序地确定构成由HD图像数据代表的HD图像的多个像素中的每个,以用作关注像素。对于每个关注像素,亮度级抽头提取部211从SD图像数据提取构成SD图像的多个像素的值作为亮度级抽头。为了用来计算与关注像素对应的亮度级矢量,从SD图像数据提取的作为亮度级抽头的像素值是位于与HD图像中的关注像素的位置以及关注像素的位置周围的周边位置对应的位置的像素的值。然后,亮度级抽头提取部211将亮度级抽头提供给亮度级矢量计算部212。 
亮度级矢量计算部212计算代表亮度等级的亮度级矢量,亮度等级均是像素值构成从亮度级抽头提取部211接收的亮度级抽头的像素之一的值。然后,亮度级矢量计算部212将亮度级矢量提供给预测系 数产生部213。 
基于从系数存储部113接收的起点系数W0和偏差系数Wd、以及从归一化级矢量计算部115接收的归一化级矢量和从亮度级矢量计算部212接收的亮度级矢量,预测系数产生部213通过执行根据方程(2)的计算处理来产生预测系数W。具体地讲,为了计算预测系数W,预测系数产生部213将方程(2)中的m设置为2(即,m=2)。然后,预测系数产生部213将起点系数W0和偏差系数Wd代入方程(2)中。预测系数产生部213还将归一化级矢量作为距离矢量d0的代替项代入方程(2),并将亮度级矢量作为距离矢量d1的代替项代入同一方程。预测系数产生部213将预测系数W提供给数据预测部118。 
通过参照图16中示出的流程图,以下的描述解释了由图15的框图中示出的信号处理设备210执行的图像处理。 
由于图16示出的流程图中的步骤S211至步骤S215分别与图11示出的流程图中的步骤S111至步骤S115相同,所以为了避免重复描述,不再解释步骤S211至步骤S215。然而,步骤S211的处理不仅通过类别抽头提取部111、归一化级抽头提取部114和预测抽头提取部117执行,还通过亮度级抽头提取部211执行,亮度级抽头提取部211也同样确定关注像素。 
在图16示出的流程图的下一步骤S216,亮度级抽头提取部211从SD图像数据提取与关注像素对应的亮度级抽头,并将亮度级抽头提供给亮度级矢量计算部212。 
然后,在下一步骤S217,亮度级矢量计算部212从接收自亮度级抽头提取部211的亮度级抽头计算亮度级矢量。随后,亮度级矢量计算部212将归一化级矢量提供给预测系数产生部213。 
然后,在下一步骤S218,按照与在图11示出的流程图中的步骤S116执行的处理相同的方式,系数存储部113将与接收自类别分类部112的类别对应的起点系数W0和偏差系数Wd输出到预测系数产生部213。 
随后,在下一步骤S219,基于从系数存储部113接收的起点系数W0和偏差系数Wd以及从归一化级矢量计算部115接收的归一化级矢量和从亮度级矢量计算部212接收的亮度级矢量,预测系数产生部213执行根据方程(2)的计算处理来产生预测系数W。随后,预测系数产生部213将预测系数W提供给数据预测部118。 
由于图16示出的流程图中的步骤S220至步骤S223分别与图11示出的流程图中的步骤S118至步骤S121相同,所以为了避免重复描述,不再解释步骤S220至步骤S223。然而,步骤S222的处理不仅通过类别抽头提取部111、归一化级抽头提取部114和预测抽头提取部117来执行,还通过亮度级抽头提取部211来执行,亮度级抽头提取部211也生成与类别抽头提取部111、归一化级抽头提取部114和预测质量关提取部117相同的确定的结果。 
图17是示出了用于学习图15的图示出的信号处理设备210使用的起点系数W0和偏差系数Wd以计算预测系数W的学习设备230的典型构造的框图。 
除了图12的框图中示出的学习设备130中采用的部件之外,图17的框图示出的学习设备230还采用亮度级抽头提取部231和亮度级矢量计算部232。基于此,学习设备230还包括正态方程产生部233,正态方程产生部233用作正态方程产生部137的代替物。 
按照与类别抽头提取部132相同的方式,学习设备230中采用的亮度级抽头提取部231顺序地将构成教师图像的多个像素中的每个确定为关注像素。对于每个关注像素,按照与图15中示出的亮度级抽头提取部211相同的方式,亮度级抽头提取部231从学生图像数据提取构成学生图像的多个像素的值作为亮度级抽头。为了用来计算与关注像素对应的亮度级矢量,从学生图像数据提取的作为亮度级抽头的像素的值是位于与教师图像中的关注像素的位置以及关注像素的位置周围的周边位置对应的位置的像素的值。然后,亮度级抽头提取部231将亮度级抽头提供给亮度级矢量计算部232。 
按照与图15中示出的亮度级矢量计算部212相同的方式,亮度 级矢量计算部232计算代表亮度等级的亮度级矢量,亮度等级均是像素值构成接收自亮度级抽头提取部231的亮度级抽头的像素之一的值。然后,亮度级矢量计算部232将亮度级矢量提供给正态方程产生部233。 
对于从类别分类部133接收的每个类别,正态方程产生部233产生一个正态方程,该正态方程是由图7的图示出的行列式表示的方程。实际上,正态方程产生部233针对m=2计算用作图7的图中示出的行列式的矩阵中的元素的权重tk的值。然后,正态方程产生部233基于权重tk、从归一化级矢量计算部135接收的归一化级矢量、从亮度级矢量计算部232接收的亮度级矢量、从预测抽头提取部136接收的作为代表学生图像数据的抽头的预测抽头Xk和从学习对存储部131接收的作为教师图像数据的值的真值yk,创建正产生的正态方程的参数。如前面描述的,预测抽头Xk代表从学生图像数据提取的作为第k关注像素的预测抽头的像素值。 
对于从类别分类部133提取的每个类别,正态方程产生部233通过利用作为由正态方程中使用的符号tk表示的参数的用来表示第k样本(或包括在教师图像中的第k关注像素)的权重的权重tk,利用作为由正态方程中使用的符号Xk(Xk=(Xk0,Xk1,…,Xkn))表示的参数的用来表示从学生图像提取的像素的n维矢量的预测抽头Xk,利用作为由正态方程中的符号yk表示的参数的用来表示第k关注像素的教师图像数据的真值yk,利用作为由正态方程中的符号d0表示的参数的归一化级矢量以及利用作为由符号d1表示的参数的亮度级矢量,来创建正态方程的参数。然后,正态方程产生部233将正态方程的参数提供给系数产生部138。 
通过参照图18示出的流程图,以下的描述解释了由图17的框图示出的学习设备230执行的学习处理。 
由于图18示出的流程图中的步骤S230至步骤S235分别与图13示出的流程图中的步骤S130至步骤S135相同,所以为了避免重复描述,不再解释步骤S230至步骤S235。然而,步骤S231的处理不仅通 过类别抽头提取部132、归一化级抽头提取部134和预测抽头提取部136来执行,还通过亮度级抽头提取部231来执行,亮度级抽头提取部231也同样确定关注像素。 
在图18示出的流程图中的步骤S236,对于关注像素,按照与图15中示出的亮度级抽头提取部211相同的方式,亮度级抽头提取部231从学生图像数据提取构成学生图像的多个像素的值作为亮度级抽头。然后,亮度级抽头提取部231将归一化级抽头提供给亮度级矢量计算部232。 
随后,在下一步骤S237,按照与图15中示出的亮度级矢量计算部212相同的方式,亮度级矢量计算部232计算代表亮度等级的亮度级矢量,亮度等级均是像素值构成接收自亮度级抽头提取部231的亮度级抽头的像素之一的值。然后,亮度级矢量计算部232将亮度级矢量提供给正态方程产生部233。 
随后,在下一步骤S238,按照与图13示出的流程图中的步骤S136相同的方式,预测抽头提取部136从学生图像数据提取与关注像素对应的预测抽头,并将该预测抽头提供给正态方程产生部137。 
然后,在下一步骤S239,对于从类别分类部133接收的类别,正态方程产生部233通过利用从归一化级矢量计算部135接收的归一化级矢量、从亮度级矢量计算部232接收的亮度级矢量、从预测抽头提取部136接收的预测抽头和从学习对存储部131接收的教师图像数据,产生正态方程,该正态方程是对于m=2由图7的图中示出的行列式表示的方程。 
然后,在下一步骤S240,类别抽头提取部132、归一化级抽头提取部134、预测抽头提取部136和亮度级抽头提取部231中的每个针对构成由属于当前学习对的教师图像数据代表的教师图像的每个像素是否已被确定为关注像素,生成确定结果。如果在步骤S240生成的确定结果指示构成教师图像的任一像素尚未被确定为关注像素,则学习处理的流程返回到步骤S231,以重复上面描述的学习处理。 
另一方面,如果在步骤S240生成的确定结果指示构成由属于当 前学习对的教师图像数据代表的教师图像的每个像素都已被确定为关注像素,则信号处理的流程进行到步骤S241。由于步骤S241和步骤S242分别与图13示出的流程图中的步骤S139和步骤S140相同,所以为了避免重复描述,不再解释步骤S241和步骤S242。 
要指出的是,除了归一化级矢量和亮度级矢量之外,还可以使用诸如代表SD图像的动态范围的矢量的矢量作为信号处理设备110和/或信号处理设备210中使用的距离矢量d。 
此外,在信号处理设备110和信号处理设备210中的每个中,输入数据是SD图像数据,而输出数据是HD图像数据,HD图像数据是作为通过信号处理设备110和信号处理设备210中的每个执行的用来转换输入数据的图像处理的结果而获得的。因此,根据如何定义输入数据和输出数据,可以执行图像处理来实现各种处理。 
也就是说,作为一个示例,输入数据是代表含有模糊点的输入图像的数据,要产生代表不再含有模糊点的输出图像的数据作为输出数据。在这种情况下,执行用来将输入数据转换成输出数据的图像处理是用来从输入图像消除模糊点的模糊点去除处理。作为另一示例,输入数据是代表包括噪声的输入图像的数据,要产生代表不再包括噪声的输出图像的数据作为输出数据。在这种情况下,执行用来将输入数据转换成输出数据的图像处理是用来从输入图像消除噪声的噪声去除处理。 
在通过信号处理设备110和/或信号处理设备220执行的模糊点去除处理的情况下,可以利用诸如代表循环(ringing)特征量的矢量和/或代表模糊量推定值的矢量作为距离矢量。要指出的是,循环特征量通常被定义为输入图像中包括的作为与输出图像中的关注像素分开一定距离的位置对应的像素的特定像素的值和与该具体像素相邻的像素的值之差的绝对值。代表循环特征量的矢量因此代表这种针对距离计算的作为含有模糊点的图像的环特征量,所述距离是由用作输入数据的图像数据代表的输入图像的移动的大小。此外,要指出的是,代表模糊量推定值的矢量通常被定义为输入图像中包括的彼此相邻 的多个像素的值之间的差的绝对值,所述多个像素存在于与关注像素的位置以及关注像素的位置周围的周边位置对应的位置。 
此外,在通过信号处理设备110和/或信号处理设备210执行的噪声去除处理的情况下,通常可以利用代表噪声的统计分布推定值的矢量作为距离矢量。统计分布推定值是像素的值。具体地讲,统计分布推定值是输入图像中包括的作为位于与输出图像中的关注像素的位置以及该关注像素的位置周围的周边位置对应的位置处的像素的每个像素的值。 
可以通过硬件和/或软件的运行来执行前面描述的每一系列的处理。如果这些系列的处理是通过软件的运行来执行的,则可以将构成软件的程序从通常的记录介质安装到嵌入于专用硬件中的计算机、通用个人计算机等中。通用个人计算机是通过将各种程序安装到该个人计算机中而能够执行各种功能的个人计算机。 
图19是示出了构成用于通过软件的运行来执行前面描述的每一系列处理的计算机300的硬件的典型构造的框图。 
计算机300采用通过总线304相互连接的CPU(中央处理单元301)、ROM(只读存储器)302和RAM(随机存取存储器)303。 
总线304还连接到输入/输出接口305,输入/输出接口305连接到输入部306、输出部307、存储部308、通信部309和驱动器310。输入部306包括键盘、鼠标、麦克风和/或用于从遥控器接收命令的数据接收单元。输出部307包括显示单元和扬声器,而存储部308包括硬盘和/或非易失性存储器。通信部309具有网络接口。驱动器310是安装可移动记录介质311的部件。可移动记录介质311是封装介质,其可以是诸如软盘的磁盘、诸如CD-ROM(致密盘-只读存储器)或DVD(数字多用盘)的光盘、磁光盘或半导体存储器。 
在具有上面描述的构造的计算机300中,CPU 301通过运行从存储部308经由输入/输出接口305和总线304而加载到RAM 303中的程序来执行前面描述的每一系列处理。 
要由计算机300中的CPU 301执行的程序是已经从可移动记录 介质311安装在存储部308中的程序,或者是经由有线传输介质(例如LAN(局域网)或因特网)或无线传输介质(诸如数字卫星广播)从外部程序提供方下载程序而安装在存储部308中的程序。 
通过将程序从可移动记录介质311经过输入/输出接口305传送到存储部308,而将程序从可移动记录介质311安装在存储部308中。经由有线或无线传输介质从外部程序提供方下载的程序是通过通信部309接收的,并且经由输入/输出接口305安装在存储部308中。如上所述,所述程序还可以是预先存储在ROM 302或存储部308中的程序。 
要指出的,要由计算机300运行的程序可以是在时间轴按与本专利说明书中解释的流程图相符的顺序执行的程序、作为并行处理执行的程序、或者通常按适当定时进行调用而执行的程序。 
本领域技术人员应当明白的是,可以根据设计需要和其它因素来进行各种变型、组合、子组合和变更,只要它们在所附权利要求书或其等同物的范围内。 

Claims (7)

1.一种信号处理设备,用于执行将作为输入数据的标准清晰度SD图像转换为作为输出数据的高清晰度HD图像的信号处理,所述信号处理设备包括:
类别抽头提取装置,用于从所述输入数据中提取包括在所述输入数据中的多个数据,作为位于与所述输出数据中包括的关注数据的位置以及所述关注数据的所述位置周围的周边位置对应的位置处的类别抽头;
非线性特征量计算装置,用于从通过所述类别抽头提取装置提取的所述类别抽头求得所述关注数据的非线性特征量;
处理系数产生装置,用于通过对所述非线性特征量和第一处理系数执行计算处理来产生第二处理系数,所述第一处理系数已预先根据基于一关系式的正态方程在学习处理中从所述输入数据和所述输出数据中学习得到,所述关系式用于通过对所述输入数据以及根据所述输入数据的非线性特征量和第一处理系数获得的第二处理系数执行计算处理来产生所述输出数据;
预测抽头提取装置,用于从所述输入数据中提取包括在所述输入数据中的多个数据,作为位于与所述关注数据的所述位置以及所述关注数据的所述位置周围的所述周边位置对应的位置处的预测抽头;和
数据预测装置,用于通过对由所述预测抽头提取装置提取的所述数据和所述第二处理系数执行计算处理来预测所述关注数据。
2.根据权利要求1所述的信号处理设备,其中,所述第一处理系数具有用作基准的起点系数以及与所述非线性特征量共同表示所述起点系数与所述第二处理系数之间的偏差的偏差系数。
3.根据权利要求1所述的信号处理设备,所述信号处理设备还包括类别分类装置,所述类别分类装置用于根据所述类别抽头的特征来产生所述关注数据的类别,其中,所述处理系数产生装置通过对所述非线性特征量和所述第一处理系数执行所述计算处理来产生所述第二处理系数,所述第一处理系数是从均根据针对所述类别中的任一特定类别提供的所述正态方程在所述学习处理中针对所述特定类别预先学习的所述第一处理系数中选择的,以用作由所述类别分类装置产生的所述类别的所述第一处理系数。
4.一种信号处理方法,用于执行将作为输入数据的标准清晰度SD图像转换成作为输出数据的高清晰度HD图像的信号处理,所述信号处理方法包括以下步骤:
类别抽头提取步骤,从所述输入数据中提取包括在所述输入数据中的多个数据,作为位于与所述输出数据中包括的关注数据的位置以及所述关注数据的所述位置周围的周边位置对应的位置处的类别抽头;
从提取自所述输入数据的所述类别抽头求得所述关注数据的非线性特征量;
通过对所述非线性特征量和第一处理系数执行计算处理来产生第二处理系数,所述第一处理系数已预先根据基于一关系式的正态方程在学习处理中从所述输入数据和所述输出数据中学习得到,所述关系式用于通过对所述输入数据以及根据所述输入数据的非线性特征量和第一处理系数获得的第二处理系数执行计算处理来产生所述输出数据;
预测抽头提取步骤,从所述输入数据中提取包括在所述输入数据中的多个数据,作为位于与所述关注数据的所述位置以及所述关注数据的所述位置周围的所述周边位置对应的位置处的预测抽头;以及
通过对在所述预测抽头提取步骤中提取的所述数据和所述第二处理系数执行计算处理来预测所述关注数据。
5.一种学习设备,用于执行从输入数据和输出数据学习第一处理系数的学习处理,所述学习设备包括:
正态方程产生装置,利用所述输入数据和针对所述输入数据已知的输出数据来产生正态方程,所述正态方程是通过求解关系式而构建的方程,所述输出数据是与对于所述输入数据已知的理想输出数据对应的数据;和
系数产生装置,通过求解所述正态方程来产生所述第一处理系数,
其中,所述关系式是在通过对从所述输入数据提取的多个数据以及第二处理系数执行计算处理而产生质量比作为输入数据的标准清晰度SD图像的质量高的作为输出数据的高清晰度HD图像的信号处理中使用的方程,所述第二处理系数是通过对在所述信号处理中从提取自所述输入数据的多个数据求得的非线性特征量以及由所述系数产生装置预先产生的所述第一处理系数执行第一计算处理而获得的,
其中,所述正态方程是通过对表示评价函数Q的方程的微分方程求导并将由微分方程表示的表达式的值设置为0而获得的,并且表示如下条件:使由所述表示评价函数Q的方程所表示的评价函数的值最小化;或者给出提供与所述输出数据中包括的关注数据最接近的预测值的最佳的第一处理系数。
6.根据权利要求5所述的学习设备,其中:
所述第一处理系数具有用作基准的起点系数以及与所述非线性特征量共同表示所述起点系数与所述第二处理系数之间的偏差的偏差系数;并且
所述系数产生装置通过求解所述正态方程产生所述起点系数和所述偏差系数。
7.根据权利要求5所述的学习设备,所述学习设备还包括类别分类装置,所述类别分类装置用于根据类别抽头的特征来产生所述输出数据中包括的每个关注数据的类别,所述类别抽头代表包括在所述输入数据中的、作为位于与所述关注数据的位置以及所述关注数据的所述位置周围的所述周边位置对应的位置处的数据的数据,其中,所述正态方程产生装置针对由所述类别分类装置产生的每个类别,利用所述输入数据和所述关注数据产生所述正态方程。
CN2008101885026A 2007-12-21 2008-12-19 信号处理设备、信号处理方法和学习设备 Expired - Fee Related CN101466015B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007330456 2007-12-21
JP2007330456A JP5099429B2 (ja) 2007-12-21 2007-12-21 信号処理装置、信号処理方法、およびプログラム、並びに学習装置
JP2007-330456 2007-12-21

Publications (2)

Publication Number Publication Date
CN101466015A CN101466015A (zh) 2009-06-24
CN101466015B true CN101466015B (zh) 2012-11-14

Family

ID=40789784

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008101885026A Expired - Fee Related CN101466015B (zh) 2007-12-21 2008-12-19 信号处理设备、信号处理方法和学习设备

Country Status (4)

Country Link
US (1) US8311963B2 (zh)
JP (1) JP5099429B2 (zh)
KR (1) KR20090068163A (zh)
CN (1) CN101466015B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020027611A1 (en) * 2000-05-24 2002-03-07 Tetsujiro Kondo Image signal processing apparatus and digital signal processing method
CN1406370A (zh) * 2000-12-26 2003-03-26 索尼公司 信息信号处理器、处理信息信号的方法、图像信号处理器和使用该图像信号处理器的图像显示装置和提供信息的介质
JP2004357062A (ja) * 2003-05-29 2004-12-16 Sony Corp 情報信号の処理装置および処理方法、コードブックの生成装置および生成方法、並びに各方法を実行するためのプログラム
CN1802852A (zh) * 2003-06-06 2006-07-12 索尼株式会社 信息信号处理设备和处理方法、系数生成设备和生成方法、查找表生成设备和生成方法、用于执行该方法的程序以及包含该程序的介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3072306B2 (ja) 1996-01-29 2000-07-31 ソニー株式会社 ディジタルビデオ信号変換装置及び変換方法
US6678405B1 (en) * 1999-06-08 2004-01-13 Sony Corporation Data processing apparatus, data processing method, learning apparatus, learning method, and medium
US7149369B2 (en) * 2002-04-23 2006-12-12 Hewlett-Packard Development Company, L.P. Method and system for image scaling
JP4006628B2 (ja) * 2002-07-03 2007-11-14 ソニー株式会社 情報処理装置および情報処理方法、記録媒体、並びにプログラム
JP4349086B2 (ja) * 2003-11-05 2009-10-21 ソニー株式会社 情報信号の処理装置および処理方法、並びにその処理方法を実行するためのプログラム、そのプログラムを記録した媒体
JP2007189589A (ja) * 2006-01-16 2007-07-26 Sony Corp 情報処理装置および情報処理方法、学習装置および学習方法、並びにプログラム
JP5061883B2 (ja) * 2007-12-21 2012-10-31 ソニー株式会社 画像処理装置、画像処理方法、プログラム、および学習装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020027611A1 (en) * 2000-05-24 2002-03-07 Tetsujiro Kondo Image signal processing apparatus and digital signal processing method
CN1406370A (zh) * 2000-12-26 2003-03-26 索尼公司 信息信号处理器、处理信息信号的方法、图像信号处理器和使用该图像信号处理器的图像显示装置和提供信息的介质
JP2004357062A (ja) * 2003-05-29 2004-12-16 Sony Corp 情報信号の処理装置および処理方法、コードブックの生成装置および生成方法、並びに各方法を実行するためのプログラム
CN1802852A (zh) * 2003-06-06 2006-07-12 索尼株式会社 信息信号处理设备和处理方法、系数生成设备和生成方法、查找表生成设备和生成方法、用于执行该方法的程序以及包含该程序的介质

Also Published As

Publication number Publication date
US8311963B2 (en) 2012-11-13
JP5099429B2 (ja) 2012-12-19
CN101466015A (zh) 2009-06-24
US20090164398A1 (en) 2009-06-25
JP2009153006A (ja) 2009-07-09
KR20090068163A (ko) 2009-06-25

Similar Documents

Publication Publication Date Title
US9940548B2 (en) Image recognition method for performing image recognition utilizing convolution filters
Phoa et al. Analysis of supersaturated designs via the Dantzig selector
US7656942B2 (en) Denoising signals containing impulse noise
CN101465943A (zh) 图像处理设备、图像处理方法、程序和学习设备
CN101375597A (zh) 用于视频压缩的时间分类滤波
CN102216953A (zh) 比特分辨率增强
US8504509B1 (en) Decision support systems and methods
CN102982508A (zh) 图像处理设备和方法、程序和记录介质
CN101715097B (zh) 图像处理设备和系数学习设备
CN112416293B (zh) 一种神经网络增强方法、系统及其应用
CN101715098B (zh) 系数学习设备和方法、图像处理设备和方法
CN115080865B (zh) 基于多维数据分析的电商数据运营管理系统
CN112257855A (zh) 一种神经网络的训练方法及装置、电子设备及存储介质
US9036904B2 (en) Image processing device and method, learning device and method, and program
CN1312634C (zh) 数据转换装置、数据转换方法、学习装置和学习方法
CN101466015B (zh) 信号处理设备、信号处理方法和学习设备
US7605868B2 (en) Information processing apparatus and method, recording medium, and program
CN102209224A (zh) 系数学习设备和方法以及图像处理设备和方法
US6831992B2 (en) Data processing apparatus and data processing method, decoding apparatus and method thereof, and recording medium
JP7395396B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN118212041B (zh) 一种金融理财产品推荐方法及系统
CN117312533B (zh) 基于人工智能模型的文案生成方法、装置、设备及介质
CN112711615A (zh) 信息处理装置、信息处理方法和计算机可读存储介质
JP2023094403A (ja) データ解析方法、データ解析装置、及び、データ解析プログラム
CN115512113A (zh) 数据生成方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121114

Termination date: 20131219