CN1925597A - 图像处理设备、图像处理方法及程序 - Google Patents

Abstract

一种图像处理设备，包括下变换器和将第一图像数据变换为更高品质的第二图像数据的图像变换器。该图像变换器包括：从第一图像数据中提取用于预测第二图像数据的目标像素的多个像素作为预测抽头的预测抽头提取单元；从第一图像数据中提取用于将目标像素分为多个分类之一的多个像素作为分类抽头的分类抽头提取单元；基于分类抽头将目标像素分类的分类单元；从预先通过学习确定的对应于多个分类的系数中，输出对应于目标像素分类的系数的系数输出单元；和利用对应于目标像素分类的系数和预测抽头，通过执行预测计算确定目标像素的计算器。

Description

图像处理设备、图像处理方法及程序

相关申请的交叉参考

本发明包含涉及2005年6月27日在日本专利局提交的日本专利申请JP2005-185998的主题，通过参考将其全部内容结合在这里。

技术领域

本发明涉及图像处理设备、图像处理方法及程序，并且尤其涉及一种使用户能够接收高品质图像数据的图像处理设备、图像处理方法和程序。

背景技术

在现有的地面模拟广播中，被广播的是具有4∶3的长宽比的标准清晰度(SD)图像，其对应于与全国电视系统委员会(NTSC)系统相兼容的复合信号。

近年来，除了现有的地面模拟广播之外，还开始使用地面数字广播。在地面数字广播中，以分量信号的形式传播长宽比为16∶9的SD图像，即所谓“D1图像”，或者高清晰度(HD)图像，因此，可以提供比地面模拟广播提供的图像品质更高的图像。

用于捕获长宽比为16∶9的SD图像(下文中称为“D1图像)或HD图像的摄像机之类的广播器材是很昂贵的，所以这种昂贵的广播设备在广播电台中广泛使用还需要很长时间。

因此，在某些广播电台里，将要在地面模拟广播中传播的复合信号图像变换为分量信号图像，然后，通过用内插法增加像素的数量来对分量信号图像进行上变换。通过这种操作，只有得到的图像格式变得与在地面数字广播中广播的D1图像或HD图像的格式相同。

通过将复合信号图像变换为分量信号图像并通过上变换分量信号得到的与D1图像或HD图像格式相同的图像在下文中称为“准-D1图像”或“准-HD图像”。

由于准-D1图像或准-HD图像是通过将复合信号图像变换为分量信号图像生成的图像，因此在这种准-图像中出现了噪声，即所谓“交叉色彩”或“杂色讯”。同样，由于准-D1图像或准-HD图像是通过对从复合信号图像变换来的分量信号图像进行上变换而生成的图像，因此噪声，即所谓“交叉色彩”或“杂色讯”，通过上变换变得更明显。特别地，在准-HD图像中，由于要通过上变换内插的像素的数量比准-D1图像中的大，噪声，即所谓“交叉色彩”或“杂色讯”，变得更明显。

已经提出了一种通过考虑只有复合信号才有的特性，将图像变换为高品质图像的方法，例如，在未审查的日本专利申请号10-056622中。

发明内容

因为只有准-HD图像的格式被变换为与HD图像的格式相同，所以即使通过地面数字广播传播准-HD图像，也难以使用户(观众)通过这种准-HD图像接收到高品质的图像。

因此，用户有接收高品质图像的需求。

根据本发明的一种实施方式，提供了一种用于处理第一图像数据以输出品质高于第一图像数据的第二图像数据的图像处理设备。该图像处理设备包括：用于通过减少输入图像数据的像素数量而下变换输入图像数据的下变换装置；和用于通过把由下变换装置下变换后的输入图像数据作为第一图像数据使用，将第一图像数据变换为第二图像数据的图像变换装置。该图像变换装置包括：用于从第一图像数据中将用于预测第二图像数据目标像素的多个像素作为预测抽头提取的预测抽头提取装置；用于从第一图像数据中将用于把目标像素分为多个分类之一的多个像素作为分类抽头提取的分类抽头提取装置；用于基于分类抽头将目标像素分类的分类装置；用于从对应于多个分类的系数中输出对应于目标像素分类的系数的系数输出装置，该系数预先通过学习来确定；和用于通过使用对应于目标像素分类的系数和预测抽头来执行预测计算以确定目标像素的计算装置。

上述图像处理设备还可以包括用于判断输入图像数据类型的判断装置。如果该判断装置判断输入图像数据的类型是通过增加另一个图像数据的像素数量将该图像数据上变换获得的上变换图像数据，则下变换装置通过减少输入图像数据的像素数量将输入图像数据下变换。

输入图像数据可以是广播图像数据。

上述图像处理设备还可以包括用于基于关于广播图像数据频道的频道信息，从多个与用在上变换中的多个相应上变换技术相关联的系数组中选择系数组的选择装置。系数输出装置可以从由选择装置选择的系数组中输出对应于目标像素分类的系数。

根据本发明的另一种实施方式，提供了一种用于处理第一图像数据以输出品质高于第一图像数据的第二图像数据的图像处理方法。该图像处理方法包括通过减少输入图像数据的像素数量下变换输入图像数据，并通过把变换后的图像数据作为第一图像数据使用，将第一图像数据变换为第二图像数据的步骤。将第一图像数据变换为第二图像数据包括下列步骤：从第一图像数据中提取用于预测第二图像数据目标像素的多个像素作为预测抽头；从第一图像数据中提取用于把目标像素分为多个分类之一的多个像素作为分类抽头；基于分类抽头将目标像素分类；从对应于多个分类的系数中输出对应于目标像素分类的系数，该系数预先通过学习来确定；并且通过使用对应于目标像素分类的系数和预测抽头来执行预测计算以确定目标像素。

根据本发明的另一种实施方式，提供了一种允许计算机执行图像处理，以便输出品质高于第一图像数据的第二图像数据的程序。该程序包括通过减少输入图像数据的像素数量下变换输入图像数据，并通过把变换后的图像数据作为第一图像数据使用，将第一图像数据变换为第二图像数据的步骤。将第一图像数据变换为第二图像数据包括下列步骤：从第一图像数据中提取用于预测第二图像数据目标像素的多个像素作为预测抽头；从第一图像数据中提取用于把目标像素分为多个分类之一的多个像素作为分类抽头；基于分类抽头将目标像素分类；从对应于多个分类的系数中输出对应于目标像素分类的系数，该系数预先通过学习来确定；并且通过使用对应于目标像素分类的系数和预测抽头来执行预测计算以确定目标像素。

根据本发明的另一种实施方式，提供了一种用于处理第一图像数据以输出品质高于第一图像数据的第二图像数据的图像处理设备。该图像处理设备包括：用于通过减少输入图像数据的像素数量下变换输入图像数据的下变换装置；和用于通过把由下变换装置下变换的输入图像数据作为第一图像数据使用，将第一图像数据变换为第二图像数据的图像变换装置。该图像变换装置包括：用于从第一图像数据中将用于预测第二图像数据目标像素的多个像素作为预测抽头提取的预测抽头提取装置；用于从第一图像数据中将用于把目标像素分为多个分类之一的多个像素作为分类抽头提取的分类抽头提取装置；用于基于分类抽头将目标像素分类的分类装置；用于从预定的参数和种子数据中生成对应于多个分类中每个的系数的生成装置，所述种子数据作为系数的种子使用并且预先通过学习来确定；用于从由生成装置生成的对应于多个分类的系数中输出对应于目标像素分类的系数的系数输出装置；和用于通过使用对应于目标像素分类的系数和预测抽头来执行预测计算以确定目标像素的计算装置。

上述图像处理设备还可以包括用于判断输入图像数据类型的判断装置。如果该判断装置判断输入图像数据的类型是通过增加另一个图像数据的像素数量将该图像数据上变换获得的上变换图像数据，则下变换装置通过减少输入图像数据的像素数量可将输入图像数据下变换。

输入图像数据可以是广播图像数据。

生成装置可以通过使用关于广播图像数据频道的频道信息作为预定参数，生成对应于多个分类的每个的系数。

根据本发明的另一种实施方式，提供了一种用于处理第一图像数据以输出品质高于第一图像数据的第二图像数据的图像处理方法。该图像处理方法包括通过减少输入图像数据的像素数量下变换输入图像数据，并通过把下变换后的图像数据作为第一图像数据使用，将第一图像数据变换为第二图像数据的步骤。将第一图像数据变换为第二图像数据包括下列步骤：从第一图像数据中提取用于预测第二图像数据目标像素的多个像素作为预测抽头；从第一图像数据中提取用于把目标像素分为多个分类之一的多个像素作为分类抽头；基于分类抽头将目标像素分类；从预定的参数和种子数据中生成对应于多个分类中每个的系数，所述种子数据作为系数的种子使用并且预先通过学习来确定；从生成的对应于多个分类的系数中输出对应于目标像素分类的系数；并且通过使用对应于目标像素分类的系数和预测抽头来执行预测计算以确定目标像素。

根据本发明的另一种实施方式，提供了一种允许计算机执行图像处理，以便输出品质高于第一图像数据的第二图像数据的程序。该程序包括通过减少输入图像数据的像素数量下变换输入图像数据，并通过把下变换后的图像数据作为第一图像数据使用，将第一图像数据变换为第二图像数据的步骤。将第一图像数据变换为第二图像数据包括下列步骤：从第一图像数据中提取用于预测第二图像数据目标像素的多个像素作为预测抽头；从第一图像数据中提取用于把目标像素分为多个分类之一的多个像素作为分类抽头；基于分类抽头将目标像素分类；从预定的参数和种子数据中生成对应于多个分类中每个的系数，所述种子数据作为系数的种子使用并且预先通过学习来确定；从生成的对应于多个分类的系数中输出对应于目标像素分类的系数；并且通过使用对应于目标像素分类的系数和预测抽头来执行预测计算以确定目标像素。

根据本发明的一种实施方式，用户能够接收高品质的图像数据。

附图说明

图1是说明根据本发明一种实施方式的广播系统配置的框图；

图2说明了一个广播电台的主要部分；

图3是说明一台数字广播接收机配置的框图；

图4是说明由该数字广播接收机执行的操作的流程图；

图5是说明一种图像变换器配置的一个示例的框图；

图6是说明由图像变换器执行的处理的流程图；

图7是说明用于学习抽头系数的一种学习设备配置的一个示例的框图；

图8是说明学习抽头系数的过程的流程图；

图9是说明该图像变换器配置的另一个示例的框图；

图10是说明由该图像变换器执行的处理的流程图；

图11是说明用于学习系数种子数据的一种学习设备配置的另一个示例的框图；

图12是说明学习系数种子数据的处理的流程图；

图13说明了学习系数种子数据的另一种方法；

图14是说明用于学习系数种子数据的该学习设备配置的另一个示例的框图；及

图15是说明根据本发明的一种实施方式的一台计算机配置的框图。

具体实施方式

在说明本发明的实施方式之前，下面首先论述权利要求的特征与本发明的实施方式之间的对应关系。这个说明的意思是，保证在这个说明书中描述支持所要求保护的发明的实施方式。因此，即使下面的实施方式中的一个元件没有描述为涉及本发明的某一特征，也不必然意味着该元件不涉及权利要求的该特征。相反，即使一个元件在这里描述为涉及权利要求的某一特征，也不必然意味着该元件不涉及权利要求的其它特征。

根据本发明一种实施方式的一种图像处理设备(例如，图3中示出的数字广播接收机2)，处理第一图像数据以输出品质高于第一图像数据的第二图像数据。该图像处理设备包括：用于通过减少输入图像数据的系数数量下变换输入图像数据的下变换装置(例如，图3中示出的下变换器45)，和用于通过把被下变换装置下变换的输入图像数据作为第一图像数据使用，将第一图像数据变换为第二图像数据的图像变换装置(例如，图3中示出的图像变换器48)。该图像变换装置包括：用于从第一图像数据中将用于预测第二图像数据目标像素的多个像素作为预测抽头提取的预测抽头提取装置(例如，图5中示出的抽头提取单元161)；用于从第一图像数据中将用于把目标像素分为多个分类之一的多个像素作为分类抽头提取的分类抽头提取装置(例如，图5中示出的抽头提取单元162)；用于基于分类抽头将目标像素分类的分类装置(例如，图5中示出的分类单元163)；用于从对应于多个分类的系数中输出对应于目标像素分类的系数的系数输出装置(例如，图5中示出的系数存储器164)，该系数预先通过学习来确定；和用于通过使用对应于目标像素分类的系数和预测抽头来执行预测计算以确定目标像素的计算装置(例如，图5中示出的预测单元165)。

该图像处理设备还可以包括用于判断输入图像数据类型的判断装置(例如，图3中示出的判断单元44)。如果该判断装置判断输入图像数据的类型是通过增加另一个图像数据的像素数量将该图像数据上变换获得的上变换图像数据，则下变换装置通过减少输入图像数据的像素数量将输入图像数据下变换。

该图像处理设备还可以包括用于基于关于广播图像数据频道的频道信息，从多个与用在上变换中的多个相应上变换技术相关联的系数组中选择系数组的选择装置(例如，图5中示出的系数选择器160)。系数输出装置可以从由该选择装置选择的系数组中输出对应于目标像素分类的系数。

根据本发明一种实施方式的一种用于处理第一图像数据以输出品质高于第一图像数据的第二图像数据的图像处理方法或程序，包括通过减少输入图像数据的像素数量下变换输入图像数据(例如，图4中示出的步骤S6)，并通过把变换后的图像数据作为第一图像数据使用，将第一图像数据变换为第二图像数据(例如，图4中示出的步骤S7)的步骤。将第一图像数据变换为第二图像数据包括下列步骤：从第一图像数据中提取用于预测第二图像数据目标像素的多个像素作为预测抽头(例如，图6中示出的步骤S1111)；从第一图像数据中提取用于把目标像素分为多个分类之一的多个像素作为分类抽头(例如，图6中示出的步骤S1111)；基于分类抽头将目标像素分类(例如，图6中示出的步骤S1112)；从对应于多个分类的系数中输出对应于目标像素分类的系数(例如，图6中示出的步骤S1113)，该系数预先通过学习来确定；并且通过使用对应于目标像素分类的系数和预测抽头来执行预测计算以确定目标像素(例如，图6中示出的步骤S1114)。

根据本发明的另一种实施方式的一种图像处理设备(例如，图3中示出的数字广播接收机2)，处理第一图像数据以输出品质高于第一图像数据的第二图像数据。该图像处理设备包括：用于通过减少输入图像数据的像素数量下变换输入图像数据的下变换装置(例如，图3中示出的下变换器45)；和用于通过把由下变换装置下变换的输入图像数据作为第一图像数据使用，将第一图像数据变换为第二图像数据的图像变换装置(例如，图3中示出的图像变换器48)。该图像变换装置包括：用于从第一图像数据中将用于预测第二图像数据目标像素的多个像素作为预测抽头提取的预测抽头提取装置(例如，图9中示出的抽头提取单元161)；用于从第一图像数据中将用于把目标像素分为多个分类之一的多个像素作为分类抽头提取的分类抽头提取装置(例如，图9中示出的抽头提取单元162)；用于基于分类抽头将目标像素分类的分类装置(例如，图9中示出的分类单元163)；用于从预定的参数和种子数据中生成对应于多个分类中每个的系数的生成装置(例如，图9中示出的系数生成器166)，所述种子数据作为系数的种子使用并且预先通过学习来确定；用于从由生成装置生成的对应于多个分类的系数中输出对应于目标像素分类的系数的系数输出装置(例如，图9中示出的系数存储器164)，该系数预先通过学习来确定；和用于通过使用对应于目标像素分类的系数和预测抽头来执行预测计算以确定目标像素的计算装置(例如，图9中示出的预测单元165)。

该图像处理设备还可以包括用于判断输入图像数据类型的判断装置(例如，图3中示出的判断单元44)。如果该判断装置判断输入图像数据的类型是通过增加另一个图像数据的像素数量将该图像数据上变换获得的上变换图像数据，则下变换装置通过减少输入图像数据的像素数量将输入图像数据下变换。

根据本发明另一种实施方式的一种用于处理第一图像数据以输出品质高于第一图像数据的第二图像数据的图像处理方法或程序，包括通过减少输入图像数据的像素数量下变换输入图像数据(例如，图4中示出的步骤S6)，并通过把下变换后的图像数据作为第一图像数据使用，将第一图像数据变换为第二图像数据的步骤(例如，图4中示出的步骤S7)。将第一图像数据变换为第二图像数据包括下列步骤：从第一图像数据中提取用于预测第二图像数据目标像素的多个像素作为预测抽头(例如，图10中示出的步骤S1215)；从第一图像数据中提取用于把目标像素分为多个分类之一的多个像素作为分类抽头(例如，图10中示出的步骤S1215)；基于分类抽头将目标像素分类(例如，图10中示出的步骤S1216)；从预定的参数和种子数据中生成对应于多个分类中每个的系数，所述种子数据作为系数的种子使用并且预先通过学习来确定(例如，图10中示出的步骤S1213)；从生成的对应于多个分类的系数中输出对应于目标像素分类的系数(例如，图10中示出的步骤S1217)；并且通过使用对应于目标像素分类的系数和预测抽头来执行预测计算以确定目标像素(例如，图10中示出的步骤S1218)。

下面参考附图详细说明本发明的实施方式。

图1是举例说明根据本发明一种实施方式的广播系统的框图。这里，该系统是多个设备的逻辑集合，而不要求设备在同一个机架上。

广播电台1通过地面模拟广播或地面数字广播传播某个节目的图像或声音。其它广播电台也通过地面模拟广播或地面数字广播传播图像或声音。在下文中仅给出了要由广播电台1传播的节目的图像的说明，而省略了相同节目的相关联声音的说明。

数字广播接收机2把图像作为通过地面数字广播从广播电台1发射的节目接收下来，并将接收到的节目显示在监视器(未示出)上。模拟广播接收机3把图像作为通过地面模拟广播从广播电台1发射的节目接收下来并将接收到的节目显示在监视器(未示出)上。

图2是举例说明图1中示出的广播电台1的主要部分的框图。

广播电台1包括一台用于捕获长宽比为4∶3的SD图像的SD摄像机11。在广播电台1中，用一台NTSC编码器21将SD摄像机11捕获到的与复合信号相关联的SD图像变换(编码)为NTSC复合信号，然后由地面模拟广播传播变换后的NTSC复合信号。

如果广播电台1包括一台用于捕获D1图像的SD摄像机12或者一台用于捕获HD图像的HD摄像机13，如图2中用虚线指出的，则SD摄像机12捕获到的分量信号D1图像或HD摄像机13捕获到的分量信号HD图像通过地面数字广播在广播电台1指定的频带中传播。

如果广播电台1不包括SD摄像机12，则NTSC解码器22将从NTSC编码器21中输出的NTSC复合信号变换(解码)为分量信号，并将其提供给上变换器23。然后，上变换器23将分量信号上变换，以致分量信号图像的格式变得与从SD摄像机12中输出的D1图像格式相同，而得到的准-D1图像通过地面数字广播传播。

如果广播电台1不包括HD摄像机13，则NTSC解码器22将从NTSC编码器21中输出的NTSC复合信号变换(解码)为分量信号，并将其提供给上变换器24。然后，上变换器24将分量信号上变换，以致分量信号图像的格式变得与从HD摄像机13中输出的HD图像格式相同，而得到的准-HD图像通过地面数字广播传播。

图3是举例说明图1中示出的数字广播接收机2配置的框图。

调谐器41接收地面数字广播信号，并提取对应于用户通过遥控器(未示出)所选择的频道的信号分量，然后将提取到的信号分量提供给信号分离器42。信号分离器42从调谐器41输出的信号分量中分离出必需的数据包，并将数据包提供给解码器43。然后，解码器43按照MPEG方法将包含在数据包中的MPEG编码图像数据解码，并将得到的图像数据提供给判断单元44。

尽管没有参考图2说明，广播电台1使用MPEG来编码图像数据，并通过地面数字广播传播编码的图像数据。

判断单元44判断从解码器43提供的图像数据的类型，并基于判断结果将图像数据提供给下变换器45、图像变换器46或图像变换器47。

更特别的是，如果发现从解码器43提供的图像数据的类型，是通过将NTSC复合信号变换为分量信号并通过增加像素数量上变换分量信号获得的准-HD图像数据(这是上变换后的图像数据的一种类型)，则判断单元44提供图像数据，即准-HD图像数据，给下变换器45。

如果发现来自解码器43的图像数据的类型，是通过将NTSC复合信号变换为分量信号并通过增加像素数量上变换分量信号获得的准-D1图像数据，这是上变换后的图像数据的另一种类型，或者发现图像数据的类型是D1图像数据，则判断单元44提供图像数据，即准-D1图像数据或D1图像数据，给图像变换器47。

如果发现来自解码器43的图像数据的类型是HD图像数据，则判断单元44提供图像数据，即HD图像数据，给图像变换器46。

可以基于图像数据的格式，也就是形成图像数据一帧的像素数量，来判断从解码器43提供的图像数据是HD图像数据还是准-HD图像数据，或图像数据是D1图像数据还是准-D1图像数据。

可以基于图像数据的活动性来判断从解码器43提供的图像数据是HD图像数据还是准-HD图像数据。更特别的是，HD图像数据的清晰度高，而由于准-HD图像数据不过是通过将NTSC复合信号变换为分量信号而获得的图像数据，所以它的清晰度不是那么高。因此，如果来自解码器43的图像数据表现出确定的阈值的活动性，则可以发现该图像数据是HD图像数据。相反，如果来自解码器43的图像数据表现出的活动性低于确定阈值，则可以发现该图像数据是准-HD图像数据。

HD图像数据和准-HD图像数据的长宽比都是16∶9。然而，实际上，准-HD图像数据是通过将长宽比为4∶3的NTSC复合信号变换为分量信号并通过上变换该分量信号而获得的图像数据，所以长宽比为16∶9。因此，在得到的准-HD图像数据中，在4∶3图像数据的左右边缘加上了黑色。从而，可以通过判断在图像数据的左右边缘是否能够看到黑色，来判断来自解码器43的图像数据是HD图像数据还是准-HD图像数据。

在图3中示出的示例中，由于不管从解码器43提供的图像数据是准-D1图像数据还是D1图像数据，该图像数据都提供给图像变换器47，没有必要判断该图像数据是准-D1图像数据还是D1图像数据。然而，如果不管怎样都做这个判断的话，则可以与判断图像数据是HD图像数据还是准-HD图像数据时一样来进行。

下变换器45把从判断单元44提供的准-HD图像数据的像素数量减少到从图2中示出的NTSC解码器22输出的分量信号图像的像素数量，并且如果需要的话，下变换器45还用低通滤波器(LPS)将其滤波以下变换准-HD图像数据，然后将得到的SD图像数据提供给图像变换器48。

图像变换器46将从判断单元44提供的HD图像数据变换为更高品质的HD图像数据，然后将得到的HD图像数据提供给图像输出单元49。

图像变换器47将从判断单元44提供的准-D1图像数据或D1图像数据变换为更高品质的HD图像数据，然后将得到的HD图像数据提供给图像输出单元49。

图像变换器48将从下变换器45提供的SD图像数据变换为更高品质的HD图像数据，然后将得到的HD图像数据提供给图像输出单元49。

图像输出单元49将从图像变换器46到48之一输出的HD图像数据提供给监视器(未示出)，并在监视器上显示该HD图像数据。

下面参考图4中的流程图说明由图3中示出的数字广播接收机2执行的操作。

在步骤S1中，在数字广播接收机2中，调谐器41接收地面数字广播信号，并提取(选择)对应于用户通过遥控器(未示出)所选择的频道的信号分量，并将提取到的信号分量提供给信号分离器42。然后，信号分离器42从调谐器41提供的信号分量中分离出必需的数据包，并将数据包提供给解码器43。然后，在步骤S2中，解码器43按照MPEG方法将包含在数据包中的MPEG编码图像数据解码，并将得到的图像数据提供给判断单元44。

在步骤S3中，判断单元44判断从解码器43提供的图像数据的类型(格式)，并基于判断结果将该图像数据提供给下变换器45、图像变换器46或者图像变换器47。

如果在步骤S3中发现该图像数据是HD图像数据，则判断单元44将该图像数据，即HD图像数据提供给图像变换器46。

然后，在步骤S4中，图像变换器46将从判断单元44提供的HD图像数据设为第一图像数据，并且还将品质高于第一图像数据的HD图像数据设为第二图像数据。图像变换器46随后将第一图像数据变换为第二图像数据，并将第二图像数据提供给图像输出单元49。图像输出单元49随后将该HD图像数据提供给监视器。

如果在步骤S3中发现来自解码器43的图像数据是D1图像数据或准-D1图像数据，则判断单元44将该图像数据提供给图像变换器47。

然后，在步骤S5中，图像变换器47将从判断单元44提供的D1图像数据或准-D1图像数据设为第一图像数据，并且还将品质高于第一图像数据的HD图像数据设为第二图像数据。图像变换器47随后将第一图像数据变换为第二图像数据，并将得到的高品质HD图像数据提供给图像输出单元49。图像输出单元49随后将该HD图像数据提供给监视器。

如果在步骤S3中发现来自解码器43的图像数据是准-HD图像数据，则判断单元44将该准-HD图像数据提供给下变换器45。

然后，在步骤S6中，下变换器45下变换该准-HD图像数据，以使该准-HD图像数据的像素数量减少到从图2中示出的NTSC解码器22中输出的分量信号图像的像素数量，并将得到的SD图像数据提供给图像变换器48。

然后，在步骤S7中，图像变换器48将从下变换器45提供的SD图像数据设为第一图像数据，并且还将品质高于第一图像数据的HD图像数据设为第二图像数据。图像变换器48随后将第一图像数据变换为第二图像数据，并将得到的高品质HD图像数据提供给图像输出单元49。图像输出单元49随后将该HD图像数据提供给监视器。

图像变换器48接收涉及当前从调谐器41接收到的频道的频道信息，即涉及从下变换器45提供给图像变换器48的SD图像数据上变换后的准-HD图像数据在其中传播的频道的频道信息。基于从SD图像数据上变换后的准-HD图像数据在其中传播的频道的频道信息，图像变换器48将SD图像数据变换为HD图像数据。

由图3中示出的图像变换器48执行的图像变换处理如下。

图像变换器48执行图像变换，以使第一图像数据变换为品质高于第一图像数据的第二图像数据。

如上所述，提供变换器48将从下变换器45提供的SD图像数据设为第一图像数据，并且还将品质高于第一图像数据的HD图像数据设为第二图像数据，然后执行图像变换处理，以使第一图像数据能够变换为第二图像数据。根据这种图像处理，取决于如何定义第一个和第二图像数据，能够实现不同的处理操作。

更特别的是，如果第二图像数据设为高清晰度图像数据，而且，如果第一图像数据设为通过降低第二图像数据的清晰度获得的低清晰度图像数据，则图像变换处理可以成为清晰度增强处理。如果第二图像数据设为高信噪比(S/N)图像数据，并且如果第一图像数据设为通过降低第二图像数据的S/N比获得的低S/N比图像数据，则图像变换处理可以成为降噪处理。如果第二图像数据设为HD图像数据，并且如果第一图像数据是通过减少第二图像数据的像素数量并降低其清晰度获得的SD图像数据，则图像变换处理可以成为从SD图像到HD图像变换的处理。

图5是举例说明执行上述图像变换处理的图像变换器48的功能配置的一个示例的框图。

图像变换器48包括系数选择器160、抽头提取单元161和162、分类单元163、系数存储器164和预测单元165。

图像变换器48接收从图3中示出的下变换器45输出的SD图像数据作为第一图像数据。图像变换器48还从调谐器41(图3)中接收涉及从下变换器45中输出的SD图像数据的频道的频道信息，即，涉及传播被下变换为SD图像数据之前的准-HD图像数据的频道的频道信息。

SD图像数据，即第一图像数据，提供给抽头提取单元161和162，而涉及SD图像数据的频道的频道信息提供给系数选择器160。

系数选择器160基于涉及SD图像数据的频道信息，从存储在稍后说明的系数存储器164中的多组抽头系数中选择一组抽头系数，并通过，例如所谓“存储器存储体切换”使所选择的抽头系数组有效。也就是，系数存储器164读取并输出对应于从分类单元163在多个抽头系数组中提供的信息的抽头系数，而且系数选择器160选择包括由系数存储器164读取的抽头系数的抽头系数组。由系数存储器164读取的该抽头系数组称为“有效抽头系数组”。

抽头提取单元161连续地将一个接一个地形成作为要从第一图像数据变换的第二图像数据使用的HD图像数据的像素设为目标像素，而且还提取一些形成第一图像数据的像素作为用于预测目标像素的像素值的预测抽头。在这种情况下，由于作为第二图像数据的HD图像数据还没有确定，只能以虚拟形式假设它。

更特别的是，抽头提取单元161提取空间或时间接近于目标像素的多个像素(例如，位置与目标像素最接近的像素和空间上在最接近的像素周围的像素)。

抽头提取单元162提取一些形成第一图像数据的像素作为用于给目标像素分类的分类抽头，换句话说，作为用于将目标像素分组为一个分类的分类抽头。

为了简化说明，现在假设预测抽头和分类抽头的抽头结构相同，即，它们是由相同的像素形成的。然而，预测抽头和分类抽头的抽头结构可以相同。

由抽头提取单元161提取的预测抽头提供给预测单元165，而由抽头提取单元162提取的分类抽头提供给分类单元163。

分类单元163基于从抽头提取单元162提供的分类抽头将目标像素分类，并将对应于已确定分类的分类代码提供给系数存储器164。

作为分类方法，例如，可以使用自适应动态范围编码(ADRC)。

用这种方法，组成分类抽头的像素的像素值受ADRC处理的控制，并且依照得到的ADRC代码确定目标像素的分类。

在K位ADRC中，检测到组成分类抽头的像素的像素值的最大值MAX和最小值MIN，然后，设定DR＝MAX-MIN为组成分类抽头的一组像素的本地动态范围。基于该动态范围DR，组成分类抽头的像素的像素值重新量化为K位。更特别的是，从组成分类抽头的每个像素的像素值中减去最小值MIN，并将得到的结果除以(量化)DR/2^K。然后，以预定顺序排列的组成分类抽头的K位像素的位串作为ADRC代码输出。如果分类抽头受1位ADRC处理的控制，从组成分类抽头的每个像素的像素值中减去最小值MIN，并将得到的结果除以(舍去十位)最大值与最小值之间差值的1/2，所以可以二进制化(一位)每个像素的像素值。然后，以预定顺序排列的1位像素值的位串作为ADRC代码输出。

分类单元163可以输出组成分类抽头的像素的像素值的水平分布模式作为分类代码。然而，在这种情况下，如果分类抽头由N个像素组成，并且如果将K位赋值给每个像素的像素值，则从分类单元163输出的分类代码的数量变为庞大的(2^N)^K，与赋值给每个像素的像素值的位的数量K成指数比例。

因此，分类单元163最好是在用上述ADRC处理或矢量量化压缩分类抽头信息的数量之后，将目标像素分类。

系数存储器164为下面说明的已经通过学习确定的每个分类存储一组抽头系数，并从存储的抽头系数组中输出存储在对应于从分类单元163提供的分类代码的地址上抽头系数，即，对应于用从分类单元163提供的分类代码表示的分类的抽头系数。

准-HD图像数据是变换为SD图像数据之前的图像数据，该SD图像数据作为要受图像变换器48中的图像变换处理控制的第一图像数据，(这种准-HD图像数据有时称为“对应于SD图像数据的准-HD图像数据”)。如参考图2论述的，已经通过在广播电台1中将复合信号图像数据变换为分量信号图像数据并将该分量信号图像数据上变换获得了该准-HD图像数据。

在这种情况下，可以使用不同的上变换技术。例如，可以将像素值与要上变换的图像数据的像素值相同的像素内插到分量信号图像数据中。可选择地，可以将具有要上变换的图像数据的多个像素的像素值的加权平均值的像素内插到分量信号图像数据中。

所使用的上变换技术也可能取决于广播电台变化。

因此，在图像变换器48中，系数存储器164存储与不同上变换技术相关联的多组抽头系数，而不管使用那种用于获得准-HD图像数据的上变换技术，以便从准-HD图像数据下变换的SD图像数据能够适宜地变换为HD图像数据。

如上所述，上变换技术取决于广播电台变化，即取决于频道。因此，系数选择器160基于涉及作为第一图像数据使用的SD图像数据的频道的频道信息，从系数存储器164中存储的多组抽头系数中，选择一组抽头系数。也就是说，系数选择器160选择适合于要在SD图像数据上执行的图像变换处理的那组抽头系数，并使所选的抽头系数组有效，该SD图像数据已经从准-HD图像数据下变换得来，而该准-HD图像数据是通过在与用频道信息表示的频道相关联的广播电台中使用的上变换技术获得的。

然后，系数存储器164从生效的抽头系数组中，输出在对应于从分类单元163提供的分类代码的地址上存储的抽头系数，即，对应于目标像素的分类的抽头系数。

因此，从系数存储器164输出的抽头系数是适合于在SD图像数据上执行的图像变换处理的抽头系数，该SD图像数据已经从准-HD图像数据下变换得来，而该准-HD图像数据是通过在对应于用频道信息表示的频道的广播电台中使用的上变换技术获得的。

抽头系数是要与在数字滤波器中所谓“抽头”处的输入数据相乘的系数。

预测单元165接收来自抽头提取单元161的预测抽头和来自系数存储器164的抽头系数，并通过使用预测抽头和抽头系数执行预定的预测计算以确定目标像素真实值的预测值。因此，预测单元165确定了目标像素的像素值(预测值)，即，组成第二图像数据的像素的像素值。

下面参考图6中的流程图说明由图5中示出的图像变换器48执行的图像变换处理。

在步骤S1110中，基于从调谐器41(图3)接收到的频道信息，系数选择器160从系数存储器164中存储的多组抽头系数中，选择适合于要在SD图像数据上执行的图像变换处理的那组抽头系数，并使所选的抽头系数组有效，该SD图像数据已经从准-HD图像数据下变换得来，而该准-HD图像数据是通过在对应于用频道信息表示的频道的广播电台中使用的上变换技术获得的。

与此同时，抽头提取单元161连续地选择组成对应于从下变换器45(图3)提供的SD图像数据的HD图像数据的像素作为目标像素，其中HD图像数据作为第二图像数据使用，而SD图像数据作为第一图像数据使用。然后，在步骤S1111中，抽头提取单元161和162为抽头提取单元161所选的目标像素分别提取预测抽头和分类抽头。抽头提取单元161将预测抽头提供该预测单元165，而抽头提取单元162将分类抽头提供给分类单元163。

在步骤S1112中，通过从抽头提取单元162接收涉及目标像素的分类抽头，分类单元163基于所接收的分类抽头将目标像素分类。分类单元163还将表示目标像素的确定分类的分类代码输出到系数存储器164。

然后，在步骤S1113中，系数存储器164从系数选择器160所选的生效的那个抽头系数组中，读取对应于从分类单元163提供分类代码的抽头系数，即，对应于目标像素的分类的抽头系数。系数存储器164还将该抽头系数输出到预测单元165。

然后，在步骤S1114中，预测单元165通过使用从抽头提取单元161输出的预测抽头和从系数存储器164输出的抽头系数，执行预定的预测计算，以确定目标像素的像素值，并将所确定的目标像素的像素值提供给图像输出单元49(图3)。

在步骤S1115中，抽头提取单元161随后判断第二图像数据中是否有未选像素。如果在步骤S1115中发现了未选像素，则抽头提取单元161将该未选像素设为目标像素，并回到步骤S1110。然后重复步骤S1110及后面的步骤。

如果在步骤S1115中没有发现未选像素，则处理完成。

现在说明由预测单元165执行的预测计算和在系数存储器164中存储的抽头系数的学习。

现在假设，如图像变换处理，将高品质的图像数据设为第二图像数据，而将通过用低通滤波器(LPF)将高品质图像数据滤波而降低其图像品质(清晰度)获得的低品质图像数据设为第一图像数据，然后，从低品质图像数据中提取预测抽头，并且根据预定的预测计算利用预测抽头和抽头系数确定高品质图像像素的像素值。

线性预测计算可以作为预定的预测计算来进行。因此，通过下面的线性方程式能够确定高品质像素的像素值y：

$y=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{WnXn}---\left(1\right)$

其中，x_n表示为相应高品质像素组成预测抽头的低品质像素的第n个像素，而w_n表明与第n个低品质像素相乘的第n个抽头系数。在方程式(1)中，预测抽头由N个低品质像素x₁、x₂、...、和x_n组成。

高品质像素的像素值y可以用比由方程式(1)表示的线性方程更高阶的方程式确定。

在用y_k表示第k个示例高品质像素的像素值的真实值，并用y_k’表示通过方程式(1)获得的真实值y_k的预测值时，可以通过方程式(2)确定预测误差e_k。

e_k＝y_k-y_k’...(2)

由于方程式(2)中的预测值y_k’由方程式(1)确定，将方程式(2)中的y_k’代入方程式(1)，可以得到方程式(3)。

$e_k=y_k-\left(\underset{n=1}{\overset{N}{\mathrm{\Σ}}}\left(\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\β}}_{m,n}{t}_m\right)x_{n,k}\right)---\left(3\right)$

其中，x_n，k表示为第k个示例高品质像素组成预测抽头的第n个低品质像素。

在方程式(3)或(2)中预测误差e_k设为0的抽头系数w_n对预测相应的高品质像素来说是最佳抽头系数。然而，通常，难以为所有高品质像素确定这样的抽头系数w_n。

从而，例如，如果使用最小平方法作为用于表示抽头系数w_n为最佳的标准，则最佳抽头系数w_n可以通过将用方程式(4)表示的方差的总和E最小化来确定：

$E=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{e_k}^2---\left(4\right)$

其中，K表示高品质像素y_k的示例组的数量(学习的示例的数量)以及组成高品质像素y_k的预测抽头的低品质像素x_1，k、x_2，k、...、和x_N，k的数量。

用将总和E对抽头系数w_n的偏微分获得的结果设为0的抽头系数w_n可以确定方程式(4)中方差的总和E的最小值，如方程式(5)所示：

$\frac{\∂E}{{\∂w}_n}=e_1\frac{{\∂e}_1}{{\∂w}_n}+e_2\frac{{\∂e}_2}{{\∂w}_n}+...+e_K\frac{{\∂e}_K}{{\∂w}_n}=0(n=\mathrm{1,2},...,N)---\left(5\right)$

通过求方程式(3)对抽头系数w_n的偏微分，能够获得方程式(6)：

$\frac{{\∂e}_k}{{\∂w}_1}={-x}_{1,k},\frac{{\∂e}_k}{{\∂w}_2}=-x_{2,k},...,\frac{{\∂e}_k}{{\∂w}_N}=-x_{N,k},(k=\mathrm{1,2},...K)---\left(6\right)$

由方程式(5)和方程式(6)能够得到方程式(7)：

$\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{e}_k{X}_{1,k}=0,\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{e}_k{X}_{2,k}=0,...\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{e}_k{X}_{N,k}=0,---\left(7\right)$

将方程式(3)代入方程式(7)中的e_k，可以用方程式(8)表示的标准方程来表示方程式(7)。

利用例如扫除法(Gauss-Jordan排除法)可以解出在方程式(8)的标准方程中的抽头系数w_n。

通过针对每个分类，求解方程式(8)中的标准方程，可以为每个分类确定最佳抽头系数(最小化方差的总和E)Wn。

图5中示出的图像变换器48利用每个分类的抽头系数根据方程式(1)执行计算，以使作为第一图像数据使用的SD图像数据能够变换为作为第二图像数据使用的HD图像数据。

图7是举例说明进行学习，以通过求解方程式(8)中的标准方程来为每个分类确定抽头系数w_n的一种学习设备配置的一个示例的框图。

用于学习抽头系数w_n的学习图像数据输入到学习设备中。作为学习图像数据，例如，可以使用由HD摄像机13(图2)获得的HD图像数据或更高品质的HD图像数据。

在学习设备中，学习图像数据提供给监控数据生成器171和学习者数据生成器173。

监控数据生成器171从学习图像数据生成对应于第二图像数据的监控数据，并将监控数据提供给监控数据存储单元172。也就是说，监控数据生成器171直接将HD图像数据，即学习图像数据，作为监控数据提供给监控数据存储单元172。

监控数据存储单元172将从监控数据生成器171提供的HD图像数据作为监控数据存储。

学习者数据生成器173从学习图像数据生成对应于第一图像数据的学习者数据，并将学习者数据提供给学习者数据存储单元174。

更特别地，学习者数据生成器173以与监控数据生成器171相同的方式从学习图像数据生成监控数据(HD图像数据)，然后，下变换该HD图像数据以生成图像品质相当于从SD摄像机11(图2)输出的SD图像数据的分量信号SD图像数据。学习者数据生成器173随后以与广播电台1(图2)相同的方式将该分量信号SD图像数据变换为复合信号SD图像数据，并通过将其重新变换为分量信号SD图像数据来上变换复合信号SD图像数据，从而生成准-HD图像数据。此后，学习者数据生成器173以与下变换器45(图3)相同的方式下变换准-HD图像数据，并将得到的SD图像数据作为学习者数据提供给学习者数据存储单元174。

学习者数据存储单元174存储从学习者数据生成器173提供的学习者数据。

抽头提取单元175连续地将一个接一个地组成在监控数据存储单元172中存储的、作为监控数据使用的HD图像数据的像素，设为目标像素。抽头提取单元175随后提取组成作为目标像素的学习者数据在学习者数据存储单元174中存储的SD图像数据的预定像素，从而确定抽头结构与通过图5中示出的抽头提取单元161获得的预测抽头相同的预测抽头(由学习者数据的像素组成的预测抽头，与目标像素，即组成通过图5中示出的抽头提取单元161获得的预测抽头的像素，位置相同)。抽头提取单元175随后将所确定的预测抽头提供给加法器190。

抽头提取单元176为目标像素提取在学习者数据存储单元174中存储的SD图像数据，即学习者数据，以确定抽头结构与图5中示出的抽头提取单元162获得的分类抽头相同的分类抽头。抽头提取单元176随后将所确定的分类抽头提供给分类单元177。

分类单元177基于从抽头提取单元176输出的分类抽头，以与图5中示出的分类单元163相同的方式执行分类，并将对应于所确定的分类的分类代码输出到加法器190。

加法器190从监控数据存储单元172中读取目标像素，并为从分类单元177提供的每个分类代码，对目标像素和组成从抽头提取单元175提供的预测抽头的学习者数据的像素执行求和。

也就是说，加法器190接收在监控数据存储单元172中存储的监控数据的目标像素的像素值y_k、组成从抽头提取单元175输出的预测抽头的学习者数据的像素的像素值x_n，k和表示从分类单元177输出的目标像素的分类的分类代码。

然后，加法器190利用对应于从分类单元177提供的分类代码的每个分类的预测抽头(学习者数据)x_n，k执行，比如学习者数据的乘法(x_n，kx_n’，k)计算和方程式(8)中左边矩阵中的求和(∑)计算。

加法器190还利用对应于从分类单元177提供的分类代码的每个分类的预测抽头(学习者数据)x_n，k和监控数据y_k执行，比如学习者数据x_n，k和监控数据y_k的乘法(x_n，k y_k)计算和方程式(8)右边矢量中的求和(∑)计算。

也就是说，加法器190在内建的存储器(未示出)中，存储方程式(8)中左边矩阵中的(∑x_n，kx_n’，k)分量和右边矢量中的(∑x_n，ky_k)分量，这些是针对监控数据的前一个目标像素确定的，然后分别将利用监控数据的当前目标像素的监控数据y_k+1和学习者数据x_n，k+1计算得来的相应x_n，k+1x_n’，k+1分量或x_n，k+1 y_k+1分量加到(用方程式(8)中的求和表示加法)(∑x_n，k x_n’，k)或(∑x_n，k y_k)分量上。

加法器190在监控数据存储单元172中存储的监控数据的所有像素上执行上述加法，以为每个分类建立用方程式(8)表示的标准方程，然后将该标准方程提供给抽头系数计算器191。

抽头系数计算器191为从加法器190提供的每个分类解答标准方程，以确定最佳抽头系数w_n。

下面参考图8中的流程图，说明由图7中示出的学习设备执行的学习过程。

在步骤S1121中，监控数据生成器171和学习者数据生成器173分别从学习图像数据中生成监控数据和学习者数据。

更特别的是，监控数据生成器171生成品质相当于，例如，通过HD摄像机13(图2)获得的HD图像数据的图像数据，并将生成的图像数据作为监控数据输出。而学习者数据生成器173以与监控数据生成器171相同的方式从学习图像数据中生成监控数据(HD图像数据)，然后，将该HD图像数据下变换以生成品质相当于从SD摄像机11(图2)输出的SD图像数据的分量信号SD图像数据。学习者数据生成器173随后以与广播电台1(图2)相同的方式，将分量信号SD图像数据变换为复合信号SD图像数据，并通过将复合信号SD图像数据重新变换为分量信号SD图像数据来将其上变换，从而生成准-HD图像数据。此后，学习者数据生成器173以与下变换器45(图3)相同的方式将准-HD图像数据下变换，并将得到的SD图像数据作为学习者数据提供给学习者数据存储单元174。

从监控数据生成器171输出的监控数据提供给监控数据存储单元172并存储在那里。从学习者数据生成器173输出的学习者数据提供给学习者数据存储单元174并存储在那里。

然后，在步骤S1122中，抽头提取单元175选择一个在监控数据存储单元172中存储的监控数据未被选择的像素。抽头提取单元175还从存储在学习者数据存储单元174中的学习者数据中，确定目标像素的预测抽头，并将该预测抽头提供给加法器190。抽头提取单元176从存储在学习者数据存储单元174中的学习者数据中，确定目标像素的分类抽头，并将该分类抽头提供给分类单元177。

然后，在步骤S1123中，分类单元177基于从抽头提取单元176提供的分类抽头，将目标像素分类，并将与所确定的分类相关联的分类代码输出给加法器190。

在步骤S1124中，加法器190从监控数据存储单元172中读取目标像素，并根据由标准方程组成的方程式(8)，该标准方程是为与分类单元177提供的分类代码相关联的分类建立的，执行目标像素和组成从抽头提取单元175提供的预测抽头的学习者数据的像素的加法。

然后，在步骤S1125中，抽头提取单元175判断在监控数据存储单元172中存储的监控数据中是否有未选像素。如果在步骤S1125中发现了未选像素，则抽头提取单元175将未选像素设为目标像素，并回到步骤S1122。随后重复步骤S1122及后面的步骤。

如果在步骤S1125中确定没有监控数据的未选像素，则加法器190将为每个分类建立的方程式(8)左边的矩阵和右边的矢量提供给抽头系数计算器191。

然后，在步骤S1126中，抽头系数计算器191为从加法器190提供的每个分类解答方程式(8)中的标准方程，以为每个分类确定一组抽头系数w_n。然后过程结束。

由于学习图像数据的数量不足，可能难以为某些分类确定得出一个抽头系数所必需的足够数量的标准方程。对这种分类，抽头系数计算器191输出一个缺省的抽头系数。

在学习设备中，学习者数据生成器173使用多个获得在作为学习者数据使用的SD图像数据生成处理中生成的准-HD图像数据的上变换技术，以获得与多个上变换技术相关联的多个学习者数据。利用多个学习者数据，学习者数据生成器173确定对应于多个上变换技术的多组抽头系数。

在图5中示出的图像变换器48的系数存储器164中，存储如上所述获得的单独分类的多组抽头系数w_m。

图3中示出的图像变换器46或47同样地组成了图5中示出的图像变换器48。然而，用虚线表示的系数选择器160并没有提供给图像变换器46或47，而且在图像变换器46或47的系数存储器164中存储的抽头系数组也与图像变换器48中的不同。

更特别的是，图像变换器46将HD图像数据设为第一图像数据，而将更高品质的HD图像数据设为第二图像数据，然后将第一图像数据变换为第二图像数据。因此，通过将第一图像数据用作学习者数据并将第二图像数据用作监控数据，在图像变换器46的系数存储器164中存储了通过执行图8中示出的学习过程获得的抽头系数组。

图像变换器47将D1图像数据或准-D1图像数据设为第一图像数据，而将HD图像数据设为第二图像数据，然后将第一图像数据变换为第二图像数据。因此，通过将第一图像数据用作学习者数据并将第二图像数据用作监控数据，在图像变换器47的系数存储器164中存储了通过执行图8中示出的学习过程获得的抽头系数组。

在图8示出的学习过程中，在学习者数据生成器173中，通过下变换准-HD图像数据获得的SD图像数据用作学习者数据。可选择地，品质相当于从SD摄像机11(图2)输出的SD图像数据的分量信号SD图像数据，可以通过下变换HD图像数据，即监控数据来生成，而分量信号SD图像数据可以变换为复合信号SD图像数据，然后，该复合信号SD图像数据可以重新变换为品质相当于从图2中示出的NTSC解码器22中输出的图像数据的分量信号SD图像数据。然后，得到的SD图像数据可以用作学习者数据。

图9是举例说明图3中示出的图像变换器48功能配置的另一个示例的框图。在图9中，与图5中元件相对应的元件用相同的参考数字指出，而从而省略其说明。

图9中示出的图像变换器48与图5中示出的图像变换器48的相同之处在于提供了抽头提取单元161和162、分类单元163、系数存储器164和预测单元165的图像变换器48。然而，在图9中示出的图像变换器48中，为图5中示出的图像变换器48提供系数生成器166、系数种子存储器167和参数存储器168来取代系数选择器160。

系数生成器166基于系数种子存储器167中存储的系数种子数据和参数存储器168中存储的参数，为每个分类生成一组抽头系数，然后通过覆盖系数存储器164中存储的前一组抽头系数，将所生成的抽头系数组存储在系数存储器164中。

系数种子存储器167为通过进行系数种子数据的学习获得的每个分类，在其中存储系数种子数据，下面将说明它。系数种子数据作为用于生成抽头系数的所谓“种子”来使用。

参数存储器168通过覆盖参数存储器168中存储的前一个参数，在其中存储从调谐器41(图3)提供的频道信息，作为用于生成抽头系数的参数。

下面参考图10中的流程图，说明图9中的图像变换器48执行的图像变换处理。

抽头提取单元161连续地将组成对应于从下变换器45(图3)提供的SD图像数据的HD图像数据的像素设为目标像素，其中HD图像数据作为第二图像数据使用，而SD图像数据作为第一图像数据使用。然后，在步骤S1211中，参数存储器168判断从调谐器41(图3)中是否已经提供了不同于读取在参数存储器168中作为参数存储的频道信息的新的频道信息。如果在步骤S1211中确定已经提供了新的频道信息，则处理进行到步骤S1212，在其中，参数存储器168通过覆盖前一个频道信息来存储新的频道信息。

如果在步骤S1211中确定没有提供新的频道信息，则处理跳过步骤S1212进行到步骤S1213。

因此，在参数存储器168中，作为参数存储涉及传播在被下变换为SD图像数据之前的准-HD图像数据的频道的频道信息，该SD图像数据，即第一图像数据，是从下变换器45(图3)提供给图像变换器48的。

在步骤S1213中，系数生成器166从系数种子存储器167中读取每个分类的一组系数种子数据，并且还从参数存储器168中读取相应参数，以基于该系数种子数据和参数为每个分类确定一组抽头系数。然后，在步骤S1214中，系数生成器166通过覆盖前一个抽头系数组，将每个分类的一组抽头系数提供给系数存储器164。

在步骤S1215中，抽头提取单元161和162从下变换器45(图3)提供的作为第一图像数据使用的SD图像数据中，分别为目标像素提取预测抽头和分类抽头。抽头提取单元161将预测抽头提供给预测单元165，而抽头提取单元162将分类抽头提供给分类单元163。

在步骤S1216中，通过从抽头提取单元162接收目标像素的分类抽头，分类单元163基于分类抽头将目标像素分类，并且还将表示确定分类的分类代码输出到系数存储器164。

在步骤S1217中，系数存储器164读取并输出在对应于从分类单元163提供的分类代码的地址存储的抽头系数，即，与目标像素的分类相关联的抽头系数。系数存储器164还将该抽头系数输出到预测单元165。

然后，在步骤S1218中，预测单元165利用从抽头提取单元161输出的预测抽头和从系数存储器164获得的抽头系数，执行预定的预测计算，以确定目标像素的像素值。

抽头提取单元161随后在步骤S1219中，判断第二图像数据中是否有未选像素。如果在步骤S1219中发现未选像素，则抽头提取单元161将该未选像素设为目标像素并回到步骤S1211。然后重复步骤S1211及后面的步骤。

如果在步骤S1219中判断第二图像数据中没有未选像素，则处理完成。

在图10的流程图中，可以仅在前一个参数被参数存储器168中的一个新的参数覆盖时执行步骤S1213和S1214，并且如果没有覆盖，则可以省略步骤S1213和S1214。

下面论述预测单元165执行的预测计算、系数生成器166执行的抽头系数的生成和在系数种子存储器167中存储的系数种子数据的学习。

与在图5中示出的图像变换器48中一样，图9中的图像变换器48将从下变换器45(图3)输出的SD图像数据设为第一图像数据，并将HD图像数据设为第二图像数据，然后按照，例如，用方程式(1)表示的线性预测计算，利用每个分类的抽头系数将第一图像数据变换为第二图像数据。

然而，在图9中示出的图像变换器48中，系数生成器166从在系数种子存储器167中存储的系数种子数据和在参数存储器168中存储的相应参数，生成抽头系数w_n。现在假设系数生成器166利用该系数种子数据和参数，按照，例如方程式(9)，生成抽头系数w_n：

$w_n=\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\β}}_{m,n}{z}^{m-1}---\left(9\right)$

其中β_m，n指明用于确定第n个抽头系数w_n的第m个系数种子数据，而z表示参数。在方程式(9)中，抽头系数w_n是利用M个系数种子数据β_1，n，β_2，n，...和β_m，n确定的。

用于从系数种子数据β_m，n和参数z确定抽头系数w_n的方程式并不限于方程式(9)。

引入新的变量t_m通过方程式(10)定义用方程式(9)中的参数z确定的值z_m-1。

t_m＝z^m-1(m＝1，2，...，M)...  (10)

将方程式(10)代入方程式(9)，能够得到方程式(11)。

$w_n=\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\β}}_{m,n}{t}_m---\left(11\right)$

根据方程式(11)，能够通过系数种子数据β_m，n和变量t_m的线性方程得到抽头系数w_n。

在用y_k表示第k个示例高品质像素的像素值的真实值，并用y_k’表示通过方程式(1)获得的真实值y_k的预测值时，可以通过与方程式(2)相同的方程式(12)确定预测误差e_k。

e_k＝y_k-y_k’...(12)

因为方程式(12)中的预测值y_k’是用方程式(1)确定的，所以能够用方程式(12)中的y_k’代入方程式(1)，得到与方程式(3)相同的方程式(13)。

$e_k=y_k-\left(\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{w}_n{x}_{n,k}\right)---\left(13\right)$

其中x_n，k表示形成第k个示例高品质像素的预测抽头的第n个低品质像素。

将方程式(11)代入方程式(13)中的w_n，能够得到方程式(14)。

$e_k=y_k-\left(\underset{n=-1}{\overset{N}{\mathrm{\Σ}}}\left(\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\β}}_{m,n}{t}_m\right)x_{n,k}\right)---\left(14\right)$

将方程式(14)中的预测误差e_k设为0的系数种子数据β_m，n是预测相应高品质像素的最佳系数种子数据。然而，通常难以为所有高品质像素确定这样的系数种子数据β_m，n。

从而，例如，使用最小平方法作为用于表示系数种子数据β_m，n为最佳的标准，则最佳系数种子数据β_m，n可以通过将用方程式(15)表示的方差的总和E最小化来确定：

$E=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{e_k}^2---\left(15\right)$

其中，K表示高品质像素y_k的示例组的数量(学习的示例的数量)以及组成高品质像素y_k的预测抽头的低品质像素x_1，k、x_2，k、...、和x_N，k的数量。

用将总和E和系数种子数据β_m，n的偏微分获得的结果设为0的系数种子数据β_m，n可以确定方程式(15)中方差的总和E的最小值，如方程式(16)所示：

$\frac{\∂E}{{\∂\mathrm{\β}}_{m,n}}=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}2\·\frac{{\∂e}_k}{{\∂\mathrm{\β}}_{m,n}}{\·e}_k=0---\left(16\right)$

将方程式(13)代入方程式(16)，能够获得方程式(17)：

$\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{t}_m{x}_{n,k}{e}_k=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{t}_m{x}_{n,k}(y_k-\left(\underset{n=1}{\overset{N}{\mathrm{\Σ}}}\left(\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\β}}_{m,n}{t}_m\right)x_{n,k}\right))=0---\left(17\right)$

X_{i，p，j，q}和Y_i，p分别用方程式(18)和方程式(19)定义：

$X_{i,p,j,q}=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{x}_{i,k}{t}_p{x}_{j,k}{t}_q$

(i＝1，2，...，N：j＝1，2，...，N：p＝1，2，...，M：q＝1，2，...，M)...  (18)

$Y_{i,p}=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{x}_{i,k}{t}_p{y}_k---\left(19\right)$

在这种情况下，方程式(17)可以用使用X_{i，p，j，q}和Y_i，p的方程式(20)中的标准方程来表达。

利用，例如扫出法，可以解出方程式(20)中的标准方程中的系数种子数据β_m，n。

在图9中示出的图像变换器48中，在系数种子存储器167中存储系数种子数据β_m，n，该系数种子数据β_m，n是利用品质相当于HD图像数据，即第二图像数据的图像的许多高品质像素y₁、y₂、...、和y_k作为监控数据并利用品质相当于从准-HD图像数据下变换得来的SD图像数据，即第一图像数据的许多低品质像素x_1，k、x_2，k、...、和x_N，k作为学习者数据，通过进行解答方程式(20)的学习来确定的。系数生成器166根据方程式(9)从系数种子数据β_m，n和存储在参数存储器168中的参数z示出抽头系数w_n。然后，预测单元165利用抽头系数w_n和形成目标像素预测抽头的第一图像数据的像素x_n来确定形成第二图像数据的目标像素像素值的预测值。

图11是举例说明用于进行通过解答用方程式(20)表示的标准方程来确定系数种子数据β_m，n的学习的学习设备配置的另一个示例的框图。在图11中，与图7中相同的元件用相同的参考数字指明，并因此省略其说明。

将用于系数种子数据β_m，n学习的学习图像数据提供给学习设备，而且更特别地，提供给监控数据生成器171和学习者数据生成器173。

如参考图7所述，监控数据生成器171从学习图像数据中生成品质相当于作为第二图像数据使用的HD图像数据的监控数据，并将所生成的监控数据提供给监控数据存储单元172。

监控数据存储单元172存储该HD图像数据作为从监控数据生成器171生成的监控数据。

如参考图7所述，学习者数据生成器173从学习图像数据中生成品质相当于作为第一图像数据使用的SD图像数据的学习者数据，并将所生成的学习者数据提供给学习者数据存储单元174。

然而，在图11中示出的学习设备中，学习者数据生成器173生成对应于从参数生成器180提供的参数z的学习者数据。

也就是说，学习者数据生成器173不仅从参数生成器180接收学习图像数据，还接收能确定为与图9中的参数存储器168中存储的参数z一样的频道信息的几个值。更特别地，例如，从参数生成器180将z＝0，1，2，...，和z提供给学习者数据生成器173。

如参考图7所述，学习者数据生成器173以与监控数据生成器171相同的方式从学习图像数据生成监控数据，然后，下变换该HD图像数据以生成品质相当于从SD摄像机11(图2)输出的SD图像数据的分量信号SD图像数据。学习者数据生成器173随后以与广播电台1(图2)相同的方式将分量信号SD图像数据变换为复合信号SD图像数据，并通过将该复合信号SD图像数据重新变换为分量信号SD图像数据将其上变换，因此生成了准-HD图像数据。此后，学习者数据生成器173以与下变换器45(图3)相同的方式将准-HD图像数据下变换，并将得到的SD图像数据提供给学习者数据存储单元174作为学习者数据。

作为获得在生成SD图像数据的过程中生成的准-HD图像数据作为学习者数据的上变换技术，学习者数据生成器173使用与从参数生成器180提供的参数z相关联的上变换技术。

也就是说，学习者数据生成器173通过用与获得与作为参数z使用的频道信息表示的频道相关联的广播电台中的准-HD图像数据相同的上变换技术执行上变换来生成准-HD图像数据。

然后，学习者数据生成器173将该准-HD图像数据下变换为SD图像数据，并将其提供给学习者数据存储单元174作为学习者数据。

因此，在学习者数据生成器173中，能够得到品质相当于通过将在用频道信息，即参数z表示的频道中传播的准-HD图像数据下变换获得的SD图像数据的SD图像数据作为学习者数据。

在这种情况下，在学习者数据生成器173中，能够生成(Z+1)个与不同上变换技术相关联的对应于参数z＝0，1，2，...，和Z的学习者数据。

学习者数据存储单元174存储从学习者数据生成器173提供的(Z+1)个SD图像数据作为学习者数据。

抽头提取单元175将组成作为监控数据存储在监控数据存储单元172中的HD图像数据的像素设为目标像素，并提取组成作为学习者数据存储在学习者数据存储单元174中的SD图像数据的预定像素，以确定抽头结构与通过图9中示出的抽头提取单元161获得的预测抽头相同的预测抽头。抽头提取单元175随后将该预测抽头提供给加法器178。

抽头提取单元176提取组成作为学习者数据存储在学习者数据存储单元174中的SD图像数据的预定像素，以确定抽头结构与通过图9中示出的抽头提取单元162获得的分类抽头相同的分类抽头。抽头提取单元176随后将该分类抽头提供给分类单元177。

通过接收由参数生成器180生成的参数z，抽头提取单元175和176利用与从参数生成器180提供的参数z相关联的学习者数据，分别生成预测抽头和分类抽头。

分类单元177基于从抽头提取单元176输出的分类抽头，以与图9中示出的分类单元163相同的方式执行分类，并将对应于所确定分类的分类代码输出到加法器178。

加法器178随后从监控数据存储单元172中读取目标像素，并执行目标像素、组成从抽头提取单元175提供的预测抽头的学习者数据和与从分类单元177提供的每个分类代码的学习者数据相关联的参数z的加法。

也就是说，不仅将监控数据存储单元172中存储的监控数据y_k、从抽头提取单元175输出的预测抽头x_i，k(x_j，k)和从分类单元177输出的分类代码，还将在生成用于预测抽头的学习者数据时从参数生成器180生成的参数z提供给加法器178。

加法器178随后利用预测抽头(学习者数据)x_i，k(x_j，k)与参数z执行，比如学习者数据与参数z的乘法(x_i，kt_px_j，kt_q)计算和用于确定在与从分类单元177提供的分类代码相关联的每个分类的方程式(20)中左边的矩阵中的方程式(18)中定义的X_{i，p，j，q}分量的求和(∑)计算。在方程式(18)中，t_p是根据方程式(10)从参数z计算得来的。方程式(18)中的t_q也一样。

加法器178还利用预测抽头(学习者数据)x_i，k、监控数据y_k与参数z执行，比如学习者数据x_i，k与监控数据y_k与参数z的乘法(x_i，kt_py_k)计算和用于确定在与从分类单元177提供的分类代码相关联的每个分类的方程式(20)中右边的矢量中的方程式(19)中定义的Y_i，p分量的求和(∑)的计算。在方程式(19)中，t_p是根据方程式(10)从参数z计算得来的。

也就是说，加法器178在内建的存储器(未示出)中，存储方程式(20)中左边矩阵中的X_{i，p，j，q}分量和右边矢量中的Y_i，p分量，这些是针对监控数据的前一个目标像素确定的，然后分别将利用监控数据当前目标像素的监控数据y_k和学习者数据x_i，k(x_j，k)和参数z计算得来的相应分量x_i，kt_px_j，kt_q或x_i，kt_py_k加到(用方程式(18)或(19)中的求和表示加法)X_{i，p，j，q}或Y_i，p分量。

加法器178在存储在监控数据存储单元172中的监控数据的所有像素上，关于所有参数z(0，1，...，和z)执行上述加法，以为每个分类建立用方程式(20)表示的标准方程，然后将该标准方程提供给系数种子计算器179。

系数种子计算器179为从加法器178提供的每个分类解答标准方程，以确定每个分类的最佳系数种子数据β_m，n。

参数生成器180生成几个能够确定为提供给图9中示出的参数存储器168的参数z的值，例如，z＝0，1，...，和z，并将生成的参数z提供给学习者数据生成器173。参数生成器180还将所生成的参数z提供给抽头提取单元175和176以及加法器178。

现在参考图12中的流程图，给出由图11中示出的学习设备执行的学习过程的说明。

在步骤S1221中，监控数据生成器171从学习图像数据生成品质相当于HD图像数据，即第二图像数据的监控数据。

学习者数据生成器173执行，比如依照从参数生成器180输出的(z+1)个参数z的每个值(0，1，...，和z)上变换的处理，以从学习者图像数据生成(z+1)个品质相当于SD图像数据，即第一图像数据的学习者数据。

从监控数据生成器171输出的监控数据提供给监控数据存储单元172并存储在那里，而从学习者数据生成器173输出的(z+1)个学习者数据提供给学习者数据存储单元174并存储在那里。

然后，在步骤S1222中，参数生成器180将参数z设为初始值，例如，设为0，并将该参数z提供给抽头提取单元175和176以及加法器178。

在步骤S1223中，抽头提取单元175将在监控数据存储单元172中存储的监控数据的未选像素设为目标像素。抽头提取单元175随后从对应于从参数生成器180输出并在学习者数据存储单元174中存储的参数z的学习者数据中提取像素，以生成预测抽头，并将其提供给加法器178。抽头提取单元176也从对应于从参数生成器180输出并在学习者数据存储单元174中存储的参数z的学习者数据中提取像素，以生成分类抽头，并将其提供给分类单元177。

然后，在步骤S1224中，分类单元177基于分类抽头将目标像素分类，并将与所确定的分类相关联的分类代码输出到加法器178。

在步骤S1225中，加法器从监控数据存储单元172中读取目标像素，并利用该目标像素计算方程式(20)左边矩阵中的x_i，kt_px_j，kt_q分量和右边矢量中的x_i，kt_py_k分量、从抽头提取单元175提供的预测抽头和从参数生成器180输出的参数z。加法器178随后将从目标像素计算得到的矩阵分量x_i，kt_px_j，kt_q和矢量分量x_i，kt_py_k、预测抽头和与从分类单元177输出的分类代码相关联的前一个分量的参数z相加。

在步骤S1226中，参数生成器180判断从参数生成器180输出的参数z是否等于最大值z。如果在步骤S1226中发现参数z不等于最大值z(小于最大值z)，则过程进行到步骤S1227。在步骤S1227中，参数生成器180将该参数z增加1，并将得到的参数作为新的参数z输出到抽头提取单元175和176以及加法器178。然后，过程回到步骤S1223。

如果在步骤S1226中发现参数z等于最大值z，则过程进行到步骤S1228，以判断在监控数据存储单元172中存储的监控数据中是否有未选像素。如果在步骤S1228中发现了未选像素，则抽头提取单元175将未选像素设为目标像素并回到步骤S1222。然后，重复步骤S1222及后面的步骤。

如果在步骤S1228中没有发现监控数据的未选像素，则加法器178将为每个分类获得的方程式(20)左边的矩阵和右边的矢量提供给系数种子计算器179。

然后，在步骤S1229中，系数种子计算器179为每个分类解答方程式(20)中的标准方程，以为相应的分类确定系数种子数据β_m，n。然后，处理完成。

由于学习图像数据的数量不足，可能难以为某些分类确定得出一个系数种子数据所必需的足够数量的标准方程。对这种分类，系数种子计算器179输出一个缺省的系数种子数据。

在图11中示出的学习设备中，为了直接确定系数种子数据β_m，n进行学习，该β_m，n利用HD图像数据作为监控数据并利用对应于从该HD图像数据生成的参数z的SD图像数据作为学习者数据，使要在方程式(1)中的线性预测方程中预测的监控数据的预测值y的方差的和最小化。可选择地，如图13中示出的，可以学习该系数种子数据。

在图13中示出的修改后的示例中，通过将对应于从HD图像数据，即监控数据生成的参数z的SD图像数据用作学习者数据，利用抽头系数w_n和学习者数据x_n为参数z(z＝0，1，...，和z)的每个值，确定使在方程式(1)中的线性预测方程中预测的监控数据的预测值y的方差的和最小化的抽头系数w_n。然后，通过将所确定的w_n用作监控数据并将参数z用作学习者数据，为了确定按照方程(11)使从系数种子数据β_m，n和与参数z相关联的变量t_m预测的抽头系数w_n，即监控数据的预测值的方差的和最小化的系数种子数据β_m，n进行学习。

也就是说，与图7中示出的学习设备中一样，通过解答方程式(8)中的标准方程，能够为每个分类的参数z(z＝0，1，...，和z)的每个值确定最佳抽头系数w_n，即使要由方程式(1)中的线性预测方程预测的监控数据的预测值y的方差的和E最小化的抽头系数w_n。

根据方程式(11)，能够从系数种子数据β_m，n和对应于参数z的变量t_m确定抽头系数。如果由方程式(11)确定的抽头系数是w_n’，则如方程式(21)所示，将方程式(11)中确定的最佳抽头系数w_n和该抽头系数w_n’之间的误差e_n设为0的系数种子数据β_m，n即为确定最佳抽头系数w_n的最佳系数种子数据。然而，难以为所有抽头系数w_n确定这样的系数种子数据β_m，n。

e_n＝w_n-w_n’         ...(21)

将方程式(11)代入方程式(21)中，可以将方程式(21)改为方程式(22)。

$e_n=w_n-\left(\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\β}}_{m,n}{t}_m\right)---\left(22\right)$

如果，例如，使用最小平方法作为用于表示系数种子数据β_m，n为最佳的标准，则最佳系数种子数据β_m，n可以通过使由方程式(23)表示的方差的总和E最小化来确定：

$E=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{e_n}^2---\left(23\right)$

通过将总和E和系数种子数据β_m，n的偏微分获得的结果设为0的系数种子数据β_m，n可以确定方程式(23)中方差的总和E的最小值，如方程式(24)所示：

$\frac{\∂E}{{\∂\mathrm{\β}}_{m,n}}=\underset{m=1}{\overset{M}{\mathrm{\Σ}}}2\frac{{\∂e}_n}{{\∂\mathrm{\β}}_{m,n}}\·e_n=0---\left(24\right)$

将方程式(22)代入方程式(24)，能够获得方程式(25)：

$\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{t}_m(w_n-\left(\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\β}}_{m,n}{t}_m\right))=0---\left(25\right)$

X_i，j和Y_i分别定义为用方程式(26)和(27)表示。

$x_{i,j}=\underset{z=0}{\overset{Z}{\mathrm{\Σ}}}{t}_i{t}_j$ (i＝1，2，...，M：j＝1，2，...，M)...(26)

$Y_i=\underset{z=0}{\overset{Z}{\mathrm{\Σ}}}{t}_i{w}_n---\left(27\right)$

在这种情况下，方程式(25)可以用使用X_i，j和Y_i的方程式(28)中的标准方程表示。

可以利用，例如扫出法，解出方程式(28)表示的标准方程中的系数种子数据β_m，n。

图14是用于进行通过求解方程式(28)中的标准方程来确定系数种子数据β_m，n的学习的学习设备配置的另一个示例。在图14中，对应于图7或11中的元件用相同的参考数字指明，并因此省略其说明。

加法器190接收从分类单元177输出的目标系数的分类代码并接收从参数生成器180输出的参数z。加法器190随后从监控数据存储单元172中读取目标像素，并对该目标像素和从分类单元177提供的每个分类代码以及从参数生成器180输出的参数z的学习者数据执行加法，该学习者数据组成从抽头提取单元175提供的预测抽头。

也就是说，加法器190接收在监控数据存储单元172中存储的监控数据y_k、从抽头提取单元175输出的预测抽头x_n，k、从分类单元177输出的分类代码和从参数生成器180输出的对应于学习者数据并用于确定预测抽头x_n，k的参数z。

加法器190随后利用对应于从分类单元177提供的分类代码的每个分类以及从参数生成器180输出的参数z的每个值的预测抽头(学习者数据)x_n，k执行，比如学习者数据的乘法(x_n，kx_n，k’)计算和方程式(8)左边矩阵的加法(∑)计算。

加法器190还利用对应于从分类单元177提供的分类代码的每个分类以及从参数生成器180输出的参数z的每个值的预测抽头(学习者数据)x_n，k和监控数据y_k执行，比如学习者数据x_n，k和监控数据y_k的乘法(x_n，ky_k)计算和方程式(8)右边矢量的加法(∑)计算。

也就是说，加法器190在内建的存储器(未示出)中，存储方程式(8)中左边矩阵中的(∑x_n，kx_n’，k)分量和右边矢量中的(∑x_n，ky_k)分量，这些是针对监控数据的前一个目标像素确定的，然后分别将利用监控数据的当前目标像素的监控数据y_k+1和学习者数据x_n，k+1计算得来的相应x_n，k+1x_n’，k+1分量或x_n，k+1y_k+1分量加到(用方程式(8)中的求和表示加法)(∑x_n，kx_n’，k)或(∑x_n，ky_k)分量。

加法器190在监控数据存储单元172中存储的监控数据的所有像素上执行上述加法，以为每个分类和参数z的每个值建立用方程式(8)表示的标准方程，然后将该标准方程提供给抽头系数计算器191。

抽头系数计算器191为从加法器190提供的每个分类和参数z的每个值解答标准方程，以确定最佳抽头系数w_n，并将其提供给加法器192。

加法器192执行对应于每个分类的参数z和最佳抽头系数w_n的变量t_m的加法。

也就是说，利用在方程式(10)中从参数z确定的变量t_i(t_j)，加法器192执行，比如对应于参数z的变量t_i(t_j)的乘法(t_it_j)计算和用于为每个分类确定方程式(26)中定义的方程式(28)左边矩阵中的x_i，j分量的求和(∑)计算。

在这种情况下，不管分类，仅由参数z即可确定x_i，j分量。因此，如果只为所有分类计算一次x_i，j分量而无需为每个分类计算x_i，j分量就够了。

利用在方程式(10)中从参数z和最佳抽头系数w_n确定的变量t_i，加法器还执行，比如对应于参数z的变量t_i与最佳抽头系数w_n的乘法(t_iw_n)计算和用于确定方程式(27)中定义的方程式(28)右边矢量中的Y_i分量的每个分类的求和(∑)计算。

加法器192通过确定用方程式(26)表示的x_i，j分量和用方程式(27)表示的Y_i分量，在方程式(28)中为每个分类建立标准方程，然后将该标准方程提供给系数种子计算器193。

系数种子计算器193求解从加法器192提供的每个分类的方程式(28)中的标准方程，以为相应分类确定系数种子数据β_m，n。

在图9中示出的图像变换器48的系数种子存储器167中，存储如上所述确定的每个分类的系数种子数据β_m，n。

如上所述，在图3中示出的数字广播接收机2中，图像数据的类型是由判断单元44确定的，而如果发现图像数据的类型是准-HD图像数据，则用下变换器45减少该准-HD图像数据的像素数量将该准-HD图像数据下变换。然后，在图像变换器48中，通过利用由学习确定的每个分类的抽头系数，或者利用从由学习确定的系数种子数据生成的每个分类的抽头系数和预定的参数，来执行图像变换处理(下文中称为“分类自适应处理”)，以使下变换后的SD图像数据能够变换为高品质HD图像数据。

因此，数字广播接收机2的用户能够接收到高品质图像数据。

如参考图2所述，准-HD图像数据不过是通过将NTSC复合信号图像数据变换为分量信号图像数据，并通过将该分量信号的像素数量增加到用HD摄像机13捕获到的HD图像数据的像素数量来将该分量信号图像数据上变换获得的图像数据。因此，如果从NTSC复合信号图像数据变换来的分量信号图像数据的像素数量是用HD摄像机13捕获到的HD图像数据的像素数量的1/5，则涉及准-HD图像数据5个像素的信息量等于仅涉及从NTSC复合信号图像数据变换来的分量信号图像数据一个像素的信息量。

因此，概括地说，如果将准-HD图像数据用作第一图像数据执行分类自适应处理，则将要用五倍于将从NTSC复合信号图像数据变换来的分量信号图像数据用作第一图像数据的分类自适应处理的像素数量来执行方程式(1)的计算和分类。否则，将难以获得比得上将从NTSC复合信号图像数据变换来的分量信号图像数据用作第一图像数据执行分类自适应处理的性能。使用许多像素执行方程式(1)的计算或分类增加了处理量。

因此，如上所述，通过在下变换器45中减少准-HD图像数据的像素数量将准-HD图像数据下变换为SD图像数据，然后在图像变换器48中，将SD图像数据用作第一图像数据执行分类自适应处理。结果，用小处理量能够得到高品质图像数据。

另外，如图5所示，从对应于多种上变换技术的多组抽头系数中，基于涉及图像数据频道的频道信息选择一组抽头系数，并利用所选的抽头系数组执行分类自适应处理。可选择地，如图9所示，将频道信息用作参数z生成一组抽头系数，然后利用所生成的抽头系数组执行分类自适应处理。用这种配置，能够利用适合于在与图像数据在其中传播的频道相关联的广播电台中使用的上变换技术的抽头系数来执行分类自适应处理。结果，能够获得高品质图像数据。

和准-HD图像数据一样，准-D1图像数据也是通过将NTSC复合信号图像数据变换为分量信号图像数据，并通过增加像素数量将该分量信号图像数据上变换获得的图像数据。然而，由于通过上变换内插的准-D1图像数据的像素数量小于准-HD图像数据，所以D1图像数据和准-D1图像数据一视同仁地用数字广播接收机2的相同图像变换器47来处理。可选择地，与D1图像数据不同，准-D1图像数据可以用与准-HD图像数据相同的方式来处理。更特别地，与准-HD图像数据中一样，准-D1图像数据可以通过将像素数量减少到通过将NTSC复合信号图像数据变换为分量信号图像数据获得的图像数据的像素数量，然后，在下变换后的图像数据上执行分类自适应处理。

在图3中示出的包括判断单元44，下变换器45、图像变换器46、47和48以及图像变换器49的框中，不仅可以在广播的图像数据上，也可以在，例如，从记录介质中回放的图像数据上执行处理。

可以用硬件或软件执行由判断单元44，下变换器45、图像变换器48执行的一系列上述处理操作。如果用软件的话，则将相应的软件程序安装到，例如，一台多用途计算机中。

图15是举例说明在其中安装执行上述系列处理操作的程序的计算机的框图。

该程序是预先记录在用作记录介质的硬盘105或内建在计算机中的只读存储器(ROM)103上的。

可选择地，该程序可以暂时或永久地存储(记录)在可移动记录介质111上，比如软盘、只读存储光盘(CD-ROM)、磁光盘(MO)、数字通用光盘(DVD)、磁盘或者半导体存储器。可以将这种可移动盘111提供为所谓“软件包”。

如上所述，该程序可以从可移动介质111中安装到计算机中。可选择地，可以经数字广播人造卫星从一个下载站点用无线装置，或者经网络，比如本地网络(LAN)或互联网用有线装置将该程序传输到计算机。然后，计算机可以通过通信单元108接收所传输的程序，并将该程序安装到内建的硬盘105中。

该计算机有一个内建的中央处理单元(CPU)102。输入/输出接口110通过总线101与CPU 102连接。通过经输入/输出接口110操作包括键盘、鼠标或麦克风的输入单元107接收来自用户的指令，CPU 102执行在ROM 103中存储的程序。可选择地，CPU 102可以将在硬盘105中存储的程序、从卫星或网络传输并通过通信单元108接收之后安装在硬盘105中的程序、或者从放在驱动器109中的可移动记录介质111中读取之后安装在硬盘105中的程序，载入随机访问存储器(RAM)104中，并执行这个载入的程序。然后，CPU 102可以按照上述流程或由框图中示出的元件执行的过程，执行该处理。然后，如果需要的话，CPU 102从输出单元106输出处理结果，包括液晶显示器(LCD)或扬声器，或者从通信单元108发送处理结果，或者通过输入/输出接口110将其记录在硬盘105中。

在本说明书中，不必按照流程中指出的时间顺序执行组成让计算机执行不同处理操作的程序的步骤。可选择地，可以并行地或单独地执行它们(例如，通过并行处理或对象处理)。

该程序可以由单独的计算机执行，或者可以作为分布式处理由多个计算机执行。

本领域的技术人员应该明白，取决于没计需求和其它因素，可以出现在附加权利要求或其等价物的范围内的不同的修改、组合、子组合和变更。

Claims (14)

1、一种用于处理第一图像数据以输出品质高于第一图像数据的第二图像数据的图像处理设备，包括：

通过减少输入图像数据的像素数量将输入图像数据下变换的下变换装置；和

通过将由下变换装置下变换后的输入图像数据用作第一图像数据，将第一图像数据变换为第二图像数据的图像变换装置，

其中该图像变换装置包括：

从第一图像数据中提取用于预测第二图像数据的目标像素的多个像素作为预测抽头的预测抽头提取装置，

从第一图像数据中提取用于将目标像素分为多个分类之一的多个像素作为分类抽头的分类抽头提取装置，

基于分类抽头将目标像素分类的分类装置，

从对应于多个分类的系数中，输出对应于目标像素分类的系数的系数输出装置，该系数预先通过学习确定，和

利用对应于目标像素分类的系数和预测抽头，通过执行预测计算确定目标像素的计算装置。

2、根据权利要求1的图像处理设备，还包括判断输入图像数据类型的判断装置，

其中，如果该判断装置判断输入图像数据的类型是通过增加另一个图像数据的像素数量将上述另一个图像数据上变换获得的上变换图像数据，则下变换装置通过减少输入图像数据的像素数量将输入图像数据下变换。

3、根据权利要求2的图像处理设备，其中输入图像数据是广播图像数据。

4、根据权利要求3的图像处理设备，还包括基于关于广播图像数据频道的频道信息，从与上变换使用的多种相应上变换技术相关联的多个系数组中，选择系数组的选择装置，

其中系数输出装置从选择装置所选的系数组中，输出对应于目标像素分类的系数。

5、一种用于处理第一图像数据以输出品质高于第一图像数据的第二图像数据的图像处理方法，包括下列步骤：

通过减少输入图像数据的像素数量将输入图像数据下变换；和

通过将下变换后的输入图像数据用作第一图像数据，将第一图像数据变换为第二图像数据，

其中将第一图像数据变换为第二图像数据的步骤包括下列步骤：

从第一图像数据中提取用于预测第二图像数据的目标像素的多个像素作为预测抽头，

从第一图像数据中提取用于将目标像素分为多个分类之一的多个像素作为分类抽头，

基于分类抽头将目标像素分类，

从对应于多个分类的系数中，输出对应于目标像素分类的系数，所述系数预先通过学习确定，和

利用对应于目标像素分类的系数和预测抽头，通过执行预测计算确定目标像素。

6、一种允许计算机执行用于处理第一图像数据以输出品质高于第一图像数据的第二图像数据的图像处理的程序，包括下列步骤：

通过减少输入图像数据的像素数量将输入图像数据下变换；和

通过将下变换后的输入图像数据用作第一图像数据，将第一图像数据变换为第二图像数据，

其中将第一图像数据变换为第二图像数据的步骤包括下列步骤：

从第一图像数据中提取用于预测第二图像数据的目标像素的多个像素作为预测抽头，

从第一图像数据中提取用于将目标像素分为多个分类之一的多个像素作为分类抽头，

基于分类抽头将目标像素分类，

从对应于多个分类的系数中，输出对应于目标像素分类的系数，所述系数预先通过学习确定，和

利用对应于目标像素分类的系数和预测抽头，通过执行预测计算确定目标像素。

7、一种用于处理第一图像数据以输出品质高于第一图像数据的第二图像数据的图像处理设备，包括：

通过减少输入图像数据的像素数量将输入图像数据下变换的下变换装置；和

通过将由下变换装置下变换后的输入图像数据用作第一图像数据，将第一图像数据变换为第二图像数据的图像变换装置，

其中该图像变换装置包括：

从第一图像数据中提取用于预测第二图像数据的目标像素的多个像素作为预测抽头的预测抽头提取装置，

从第一图像数据中提取用于将目标像素分为多个分类之一的多个像素作为分类抽头的分类抽头提取装置，

基于分类抽头将目标像素分类的分类装置，

从预定的参数和种子数据中生成对应于多个分类中的每个的系数的生成装置，所述种子数据作为系数的种子使用并且预先通过学习来确定，

从对应于由生成装置生成的多个分类的系数中，输出对应于目标像素分类的系数的系数输出装置，和

利用对应于目标像素分类的系数和预测抽头，通过执行预测计算确定目标像素的计算装置。

8、根据权利要求7的图像处理设备，还包括判断输入图像数据类型的判断装置，

其中，如果该判断装置判断输入图像数据的类型是通过增加另一个图像数据的像素数量将上述另一个图像数据上变换获得的上变换图像数据，则下变换装置通过减少输入图像数据的像素数量将输入图像数据下变换。

9、根据权利要求8的图像处理设备，其中输入图像数据是广播图像数据。

10、根据权利要求9的图像处理设备，其中通过将关于广播图像数据频道的频道信息用作预定参数，生成装置生成对应于多个分类中的每个的系数。

11、一种用于处理第一图像数据以输出品质高于第一图像数据的第二图像数据的图像处理方法，包括下列步骤：

通过减少输入图像数据的像素数量将输入图像数据下变换；和

通过将下变换后的输入图像数据用作第一图像数据，将第一图像数据变换为第二图像数据，

其中第一图像数据变换为第二图像数据的步骤包括步骤：

从第一图像数据中提取用于预测第二图像数据的目标像素的多个像素作为预测抽头，

从第一图像数据中提取用于将目标像素分为多个分类之一的多个像素作为分类抽头，

基于分类抽头将目标像素分类，

从预定的参数和种子数据中生成对应于多个分类中的每个的系数，所述种子数据作为系数的种子使用并且预先通过学习来确定，

从对应于所生成的对应于多个分类的系数中，输出对应于目标像素分类的系数，和

利用对应于目标像素分类的系数和预测抽头，通过执行预测计算确定目标像素。

12、一种允许计算机执行用于处理第一图像数据以输出品质高于第一图像数据的第二图像数据的图像处理的程序，包括下列步骤：

通过减少输入图像数据的像素数量将输入图像数据下变换；和

通过将下变换后的输入图像数据用作第一图像数据，将第一图像数据变换为第二图像数据，

其中将第一图像数据变换为第二图像数据的步骤包括下列步骤：

从第一图像数据中提取用于预测第二图像数据的目标像素的多个像素作为预测抽头，

从第一图像数据中提取用于将目标像素分为多个分类之一的多个像素作为分类抽头，

基于分类抽头将目标像素分类，

从预定的参数和种子数据中生成对应于多个分类中的每个的系数，所述种子数据作为系数的种子使用并且预先通过学习来确定，

从生成的对应于多个分类的系数中，输出对应于目标像素分类的系数，和

利用对应于目标像素分类的系数和预测抽头，通过执行预测计算确定目标像素。

13、一种用于处理第一图像数据以输出品质高于第一图像数据的第二图像数据的图像处理设备，包括：

配置为通过减少输入图像数据的像素数量将输入图像数据下变换的下变换器；和

配置为通过将由下变换器下变换后的输入图像数据用作第一图像数据，将第一图像数据变换为第二图像数据的图像变换器，

其中该图像变换器包括：

配置为从第一图像数据中提取用于预测第二图像数据的目标像素的多个像素作为预测抽头的预测抽头提取单元，

配置为从第一图像数据中提取用于将目标像素分为多个分类之一的多个像素作为分类抽头的分类抽头提取单元，

配置为基于分类抽头将目标像素分类的分类单元，

配置为从对应于多个分类的系数中，输出对应于目标像素分类的系数的系数输出单元，所述系数预先通过学习确定，和

配置为利用对应于目标像素分类的系数和预测抽头，通过执行预测计算确定目标像素的计算器。

14、一种用于处理第一图像数据以输出品质高于第一图像数据的第二图像数据的图像处理设备，包括：

配置为通过减少输入图像数据的像素数量将输入图像数据下变换的下变换器；和

配置为通过将由下变换器下变换后的输入图像数据用作第一图像数据，将第一图像数据变换为第二图像数据的图像变换器，

其中该图像变换器包括：

配置为从第一图像数据中提取用于预测第二图像数据的目标像素的多个像素作为预测抽头的预测抽头提取单元，

配置为从第一图像数据中提取用于将目标像素分为多个分类之一的多个像素作为分类抽头的分类抽头提取单元，

配置为基于分类抽头将目标像素分类的分类单元，

配置为从预定的参数和种子数据中生成对应于多个分类中的每个的系数的生成器，所述种子数据作为系数的种子使用并且预先通过学习来确定，

配置为从对应于由生成器生成的多个分类的系数中，输出对应于目标像素分类的系数的系数输出单元，和

配置为利用对应于目标像素分类的系数和预测抽头，通过执行预测计算确定目标像素的计算器。

Images