CN100570629C - 图像处理装置和方法 - Google Patents

Abstract

一种图像处理装置和方法，以像素单位将图像分类为人工图像和自然图像。广域特征量抽出部(911)从图像中抽出广域特征量。广域人工图像度算出部(912)根据所抽出的广域特征量相对于作为广域特征量的BEP和BFP在二维空间中的统计分布范围的位置关系，算出广域人工图像度。狭域特征量抽出部(914)从图像中抽出狭域特征量。狭域人工图像度算出部(915)根据所抽出的狭域特征量相对于作为狭域特征量的PNDP和SNDP在二维空间中的统计分布范围的位置关系，算出狭域人工图像度。人工图像度生成部(913)利用广域人工图像度和狭域人工图像度算出人工图像度。本发明可以适用于图像转换装置。

Description

图像处理装置和方法

技术领域

本发明涉及一种图像处理装置和方法、程序记录介质、以及程序，特别涉及可以区分图像中包含的人工图像和自然图像，并利用最适合于各个图像的方法准确地提高图像的质量的图像处理装置和方法、程序记录介质、以及程序。

背景技术

本申请人曾经提出一种类分类适应处理(例如参照专利文献1：日本专利特开平9-167240号公报)。类分类适应处理是这样一种处理，即，根据所输入的第一图像的规定区域的多个像素的像素值，将利用该第一图像求出的第二图像的像素即关注像素分类为类，对与该类对应的通过学习处理对每个类预先求出的预测系数和第一图像的规定区域的多个像素的像素值的线性一次式进行运算，由此从第一图像求出第二图像。

例如，如果第一图像是包含噪声的图像，第二图像是降低了噪声的图像，则该类分类适应处理发挥噪声去除处理的作用，另外，如果第一图像是SD(Standard Definition：标准分辨率)图像，第二图像是分辨率高于SD图像的HD(High Definition：高分辨率)图像，则该类分类适应处理发挥把低分辨率图像转换为高分辨率图像的分辨率转换处理的作用。

另外，在以往的学习处理中，为了能够预测以播放为主的普通动态图像，不使用后述的人工图像，而使用通过直接拍摄自然界存在的物体得到的图像即自然图像作为教师图像和学生图像。因此，在第一图像是自然图像的情况下，使用通过学习处理求出的预测系数进行类分类适应处理，从而可以从第一图像预测高精细的漂亮的第二图像。

发明要解决的问题

此外，第一图像通常多是包含上述的作为人工图像的要素的区域、和包含作为自然图像的要素的区域混合而成的图像。因此，使用通过上述学习处理求出的预测系数，对第一图像中包含作为自然图像的要素的区域进行类分类适应处理，从而可以预测高精细的漂亮的第二图像。

但是，在使用通过利用了自然图像的学习处理求出的预测系数，对第一图像中包含文字、单纯图形等作为人工图像的要素的区域进行类分类适应处理时，本来边缘足够明显的部位的精细感被进一步强调，或者平坦的噪声被识别为正确的波形，使得该噪声的精细感被强调。结果，在图像的局部产生振荡(ringing)，致使噪声被强调。

在此，所说人工图像指文字和单纯的图形等灰度等级小且表示边缘位置的相位信息清晰、即平坦部分多的人工图像。换言之，人工图像是指文字、单纯的图形等基本没有灰度等级的、表示轮廓等位置的信息占支配性地位的图像。

发明内容

本发明就是鉴于这种情况而提出的，通过区分图像中包括作为自然图像的要素的区域和包括作为人工图像的要素的区域，并对各个区域实施最佳的处理，可以准确地提高图像整体质量。

用于解决问题的方法

本发明的一个侧面的图像处理装置，包括：广域特征量抽出单元、广域人工图像度算出单元、狭域特征量抽出单元、狭域人工图像度算出单元、以及人工图像度算出单元，其中，广域特征量抽出单元从相对于第一图像的关注像素存在于规定区域中的像素，抽出由多种特征量构成的广域特征量；广域人工图像度算出单元在由所述广域特征量包含的多个特征量表现的多维空间中，根据通过所述广域特征量抽出单元抽出的广域特征量在所述由所述广域特征量包含的多个特征量表现的多维空间内相对于所述第一图像中的人工图像的统计分布范围的位置关系，算出表示属于所述人工图像的分布区域的程度的广域人工图像度，所述人工图像是灰度等级少且边缘清晰的人工图像；狭域特征量抽出单元从相对于所述第一图像的关注像素存在于规定区域中的像素，抽出由多种特征量构成的狭域特征量；狭域人工图像度算出单元在利用所述狭域特征量包含的多个特征量表现的多维空间中，根据通过所述狭域特征量抽出单元抽出的狭域特征量在所述由所述狭域特征量包含的多个特征量表现的多维空间内相对于所述第一图像中的所述人工图像的统计分布范围的位置关系，算出表示属于所述人工图像的分布区域的程度的狭域人工图像度；人工图像度算出单元对所述广域人工图像度和所述狭域人工图像度进行合成，算出所述关注像素的人工图像度。

还可以包括：第一预测单元、第二预测单元、以及合成单元，其中，第一预测单元从所述第一图像预测将所述人工图像高质量化后的第二图像；第二预测单元从所述第一图像预测将灰度等级多且边缘不清晰的图像即自然图像高质量化后的第三图像；合成单元根据所述人工图像度合成所述第二图像和所述第三图像。

所述第一预测单元可以包括：第一类分类单元、第一保存单元、以及第一运算单元，其中，第一类分类单元将所述第二图像的像素分类为第一类；第一保存单元保存每个所述第一类的第一预测系数，该第一预测系数通过使用了多个所述人工图像的学习而获得；第一运算单元通过使用所述第二图像的像素的所述第一类的第一预测系数与所述第一图像进行运算，从所述第一图像求出比所述第一图像质量高的第二图像，所述第二预测单元可以包括：第二类分类单元、第二存储单元、以及第二运算单元，其中，第二类分类单元将所述第三图像的像素分类为第二类；第二保存单元保存每个所述第二类的第二预测系数，该第二预测系数通过使用了多个所述自然图像的学习而获得；第二运算单元通过使用所述第三图像的像素的所述第二类的第二预测系数与所述第一图像进行运算，从所述第一图像求出所述第三图像。

所述广域人工图像度算出单元可以包括广域人工图像分布范围存储单元，该广域人工图像分布范围存储单元存储由所述广域特征量包含的多个特征量表现的多维空间中的、所述第一图像中的人工图像的统计分布范围，根据通过所述广域特征量抽出单元抽出的广域特征量在所述由所述广域特征量包含的多个特征量表现的多维空间内相对于下述分布范围的位置关系，计算表示属于所述人工图像的分布区域的程度的广域人工图像度，其中，该分布范围是存储在所述广域人工图像分布范围存储单元中的、由所述广域特征量包含的多个特征量表现的多维空间中的、所述第一图像中的人工图像的统计分布范围。

所述狭域人工图像度算出单元可以包括狭域人工图像分布范围存储单元，该狭域人工图像分布范围存储单元存储由所述狭域特征量包含的多个特征量表现的多维空间中的、所述第一图像中的所述人工图像的统计分布范围，根据通过所述狭域特征量抽出单元抽出的狭域特征量在所述由所述狭域特征量包含的多个特征量表现的多维空间内相对于下述分布范围的位置关系，算出表示属于所述人工图像的分布区域的程度的狭域人工图像度，其中，该分布范围是存储在所述狭域人工图像分布范围存储单元中的、由所述狭域特征量包含的多个特征量表现的多维空间中的、所述第一图像中的人工图像的统计分布范围。

所述广域特征量抽出单元可以包括：、边缘特征量抽出单元以及平坦部特征量抽出单元，其中，边缘特征量抽出单元从存在于所述规定区域中的像素抽出表现边缘的存在的特征量；平坦部特征量抽出单元从存在于所述规定区域中的像素抽出表现平坦部的存在的特征量。

所述边缘特征量抽出单元可以使用存在于所述规定区域中的像素与所述关注像素的像素值的差分值，抽出存在于所述规定区域中的像素的差分动态范围，作为表现所述边缘的存在的特征量。

所述边缘特征量抽出单元可以使用向所述关注像素和存在于所述规定区域中的像素的差分值赋予与所述关注像素和存在于所述规定区域中的像素的距离相应的权重后的值，来抽出存在于所述规定区域的像素的差分动态范围，作为表现所述边缘的存在的特征量。

所述边缘特征量抽出单元可以抽出存在于所述规定区域中的像素的相邻像素间的像素值的差分绝对值中的上位的规定位次的值，作为表现所述边缘的存在的特征量。

所述边缘特征量抽出单元可以抽出属于存在于所述规定区域中的像素中、相邻像素间的像素值的差分绝对值的上位的第一位次到第二位次的平均值或附加了加权系数后的值的总和，作为表现所述边缘的存在的特征量。

所述平坦部特征量抽出单元可以抽出存在于所述规定区域中的像素中、相邻像素间的像素值的差分绝对值为小于规定阈值的值的个数，作为表现所述平坦部的存在的特征量。

可以根据表现所述边缘的存在的特征量设定所述规定阈值。

所述平坦部特征量抽出单元可以抽出将存在于所述规定区域中的像素中、相邻像素间的像素值的差分绝对值利用规定的函数转换后的值的总和，作为表现所述平坦部的存在的特征量。

所述平坦部特征量抽出单元可以抽出向利用规定的函数将所述相邻像素间的像素值的差分绝对值转换后的值赋予了权重后的值的总和作为表现所达平坦部的存在的特征量，其中，该权重与从所述关注像素到存在于所述规定区域中的像素的距离对应。

所述规定的函数是与表现所述边缘的存在的特征量存在的函数。

所述平坦部特征量抽出单元可以抽出存在于所述规定区域中的像素的相邻像素间的像素值的差分绝对值的下位的规定位次的值，作为表现所述平坦部的存在的特征量。

所述平坦部特征量抽出单元可以抽出属于存在于所述规定区域的像素中、相邻像素间的像素值的差分绝对值的下位的第一位次到第二位次的平均值或附加了加权系数后的值的总和，作为表现所述平坦部的存在的特征量。

所述狭域特征量抽出单元可以从存在于所述规定区域中的像素中，抽出由表现细线、边缘、点、边缘附近的平坦部或层次的两种特征量构成的狭域特征量。

所述狭域特征量抽出单元可以包括：第一动态范围特征量抽出单元、以及第二狭域特征量抽出单元，其中，第一动态范围特征量抽出单元抽出从所述规定区域中包含的第一区域中存在的像素的像素值的最大值减去最小值得到的像素值动态范围，作为所述狭域特征量的第一特征量；第二狭域特征量抽出单元，抽出从包含于所述第一区域中、并包含所述关注像素的第二区域的像素的像素值的最大值减去最小值得到的像素值动态范围，作为所述狭域特征量的第二特征量。

在从多个所述第二区域分别抽出像素值动态范围的情况下，所述第二狭域特征量抽出单元抽出所述像素值动态范围为最小的一方作为所述第二特征量。

所述狭域特征量抽出单元可以包括：第一狭域特征量抽出单元，抽出存在于所述规定区域中的像素的像素值的像素值动态范围，作为所述狭域特征量的第一特征量；第二狭域特征量抽出单元，抽出将存在于所述规定区域中的像素与所述关注像素的差分绝对值以规定函数处理并且加权相加由此而得到的值的累加值，作为所述狭域特征量的第二特征量。

还可以包括权重计算单元，计算所述权重，所属权重由与在从所述关注像素到存在于所述规定区域中的像素为止的路径中存在的所有像素的相邻像素间的差分绝对值的总和相对应的值构成。

所述规定的函数可以是对应于所述第一特征量的函数。

本发明的一个侧面的图像处理方法，包括以下步骤：广域特征量抽出步骤、广域人工图像度算出步骤、狭域特征量抽出步骤、狭域人工图像度算出步骤、以及人工图像度算出步骤，其中，广域特征量抽出步骤，从相对于第一图像的关注像素存在于规定区域中的像素，抽出由多种特征量构成的广域特征量；广域人工图像度算出步骤，在由所述广域特征量包含的多个特征量表现的多维空间中，根据通过所述广域特征量抽出步骤的处理抽出的广域特征量在所述由所述广域特征量包含的多个特征量表现的多维空间内相对于所述第一图像中的人工图像的统计分布范围的位置关系，算出表示属于所述人工图像的分布区域的程度的广域人工图像度，所述人工图像是所述第一图像中灰度等极少且边缘清晰的人工的图像；狭域特征量抽出步骤，从相对于所述第一图像的关注像素存在于规定区域中的像素，抽出由多种特征量构成的狭域特征量；狭域人工图像度算出步骤，在由所述狭域特征量包含的多个特征量表现的多维空间中，根据通过所述狭域特征量抽出步骤的处理抽出的狭域特征量在所述由所述狭域特征量包含的多个特征量表现的多维空间内相对于所述第一图像中的所述人工图像的统计分布范围的位置关系，算出表示属于所述人工图像的分布区域的程度的狭域人工图像度；人工图像度算出步骤，将所述广域人工图像度和所述狭域人工图像度合成，算出所述关注像素的人工图像度。

本发明的一个侧面的程序记录介质的程序，包括以下步骤：广域特征量抽出步骤、广域人工图像度算出步骤、狭域特征量抽出步骤、狭域人工图像度算出步骤、以及人工图像度算出步骤，其中，广域特征量抽出步骤，从相对于第一图像的关注像素存在于规定区域中的像素，抽出由多种特征量构成的广域特征量；广域人工图像度算出步骤，在由所述广域特征量包含的多个特征量表现的多维空间中，根据通过所述广域特征量抽出步骤的处理抽出的广域特征量在所述空间内相对于所述第一图像中的人工图像的统计分布范围的位置关系，算出表示属于所述人工图像的分布区域的程度的广域人工图像度，所述人工图像是灰度等极少且边缘清晰的人工的图像；狭域特征量抽出步骤，从相对于所述第一图像的关注像素存在于规定区域中的像素，抽出由多种特征量构成的狭域特征量；狭域人工图像度算出步骤，在由所述狭域特征量包含的多个特征量表现的多维空间中，根据通过所述狭域特征量抽出步骤的处理抽出的狭域特征量在所述空间内相对于所述第一图像中的所述人工图像的统计分布范围的位置关系，算出表示属于所述人工图像的分布区域的程度的狭域人工图像度；人工图像度算出步骤，对所述广域人工图像度和所述狭域人工图像度进行合成，算出所述关注像素的人工图像度。

本发明的一个侧面的程序，使计算机执行包括以下步骤的处理：广域特征量抽出步骤、广域人工图像度算出步骤、狭域特征量抽出步骤、狭域人工图像度算出步骤、以及人工图像度算出步骤，其中，广域特征量抽出步骤，从相对于第一图像的关注像素存在于规定区域中的像素，抽出由多种特征量构成的广域特征量；广域人工图像度算出步骤，在由所述广域特征量包含的多个特征量表现的多维空间中，根据通过所述广域特征量抽出步骤的处理抽出的广域特征量在所述空间内相对于所述第一图像中的人工图像的统计分布范围的位置关系，算出表示属于所述人工图像的分布区域的程度的广域人工图像度，所述人工图像是灰度等级少且边缘清晰的人工图像；狭域特征量抽出步骤，从相对于所述第一图像的关注像素存在于规定区域中的像素，抽出由多种特征量构成的狭域特征量；狭域人工图像度算出步骤，在由所述狭域特征量包含的多个特征量表现的多维空间中，根据通过所述狭域特征量抽出步骤的处理抽出的狭域特征量在所述空间内相对于所述第一图像中的所述人工图像的统计分布范围的位置关系，算出表示属于所述人工图像的分布区域的程度的狭域人工图像度；人工图像度算出步骤，对所述广域人工图像度和所述狭域人工图像度进行合成，算出所述关注像素的人工图像度。

在本发明的一个侧面的图像处理装置和方法及程序中，从相对于第一图像的关注像素存在于规定区域中的像素，抽出由多种特征量构成的广域特征量，在由所述广域特征量包含的多个特征量表现的多维空间中，根据所抽出的广域特征量在所述空间内相对于所述第一图像中的人工图像的统计分布范围的位置关系，算出表示属于所述人工图像的分布区域的程度的广域人工图像度，所述人工图像是灰度等级少且边缘清晰的人工的图像，从相对于所述第一图像的关注像素存在于规定区域中的像素，抽出由多种特征量构成的狭域特征量，在由所述狭域特征量包含的多个特征量表现的多维空间中，根据所抽出的狭域特征量在所述空间内相对于所述第一图像中的所述人工图像的统计分布范围的位置关系，算出表示属于所述人工图像的分布区域的程度的狭域人工图像度，对所述广域人工图像度和所述狭域人工图像度进行合成，算出所述关注像素的人工图像度。

本发明的图像处理装置可以是独立的装置，也可以是进行图像处理的块。

发明的效果

根据本发明的一个侧面，可以准确地提高图像整体质量。

另外，根据本发明的一个侧面，可以区分图像中包含作为自然图像的要素的区域和包含作为人工图像的颜色的区域，并对各个区域实施用于提高图像质量的最佳处理。

附图说明

图1是表示应用了本发明的图像转换装置的一个实施方式的结构的方框图。

图2是说明通过图1的图像转换装置执行的图像转换处理的流程图。

图3是表示自然图像预测部的详细结构示例的方框图。

图4是表示类抽头的抽头结构的图。

图5是表示预测抽头的抽头结构的图。

图6是详细说明自然图像预测处理的流程图。

图7是表示学习装置的结构示例的方框图。

图8是说明教师图像和学生图像的像素的位置关系的图。

图9是说明学习处理的流程图。

图10是表示人工图像预测部的结构示例的方框图。

图11是表示类分类部的具体结构示例的方框图。

图12是表示其他类抽头的抽头结构的图。

图13是表示预测部的详细结构示例的方框图。

图14是表示其他预测抽头的抽头结构的图。

图15是表示人工图像预测处理的流程图。

图16是说明类分类处理的流程图。

图17是表示其他学习装置的结构示例的方框图。

图18是表示生成部的详细结构示例的方框图。

图19是说明其他学习处理的流程图。

图20是表示自然图像人工图像判断部的结构示例的方框图。

图21是表示图20中的BEP抽出部的结构示例的方框图。

图22是表示图20中的BFP抽出部的结构示例的方框图。

图23是表示图20中的PNDP抽出部的结构示例的方框图。

图24是表示图20中的SNDP抽出部的结构示例的方框图。

图25是说明图20中的自然图像人工图像判断部的自然图像人工图像判断处理的流程图。

图26是说明图21中的BEP抽出部的BEP抽出处理的流程图。

图27是说明参照像素的图。

图28是说明图22中的BFP抽出部的BFP抽出处理的流程图。

图29是对用于求出相邻像素间差分绝对值的参照像素的关系进行说明的图。

图30是说明转换函数f的图。

图31是说明广域人工图像度算出处理的流程图。

图32是说明广域边界线的图。

图33是说明图23中的PNDP抽出部的PNDP抽出处理的流程图。

图34是说明长抽头的图。

图35是说明图24中的SNDP抽出部的SNDP抽出处理的流程图。

图36是说明短抽头的图。

图37是说明狭域人工图像度算出处理的流程图。

图38是说明狭域边界线的图。

图39是说明BEP抽出部的其他结构示例的方框图。

图40是说明图39中的BEP抽出部的BEP抽出处理的流程图。

图41是说明图39中的BEP抽出部的BEP抽出处理的图。

图42是说明BFP抽出部的其他结构示例的方框图。

图43是说明图42中的BFP抽出部的BFP抽出处理的流程图。

图44是说明图42中的BFP抽出部的BFP抽出处理的图。

图45是说明PNDP抽出部的其他结构示例的方框图。

图46是说明图45中的PNDP抽出部的PNDP抽出处理的流程图。

图47是说明SNDP抽出部的其他结构示例的方框图。

图48是说明图47中的SNDP抽出部的SNDP抽出处理的流程图。

图49是说明转换函数F的图。

图50是说明生成插值的像素的图。

图51是说明图像转换装置的其他结构示例的图。

图52是说明图51中的图像转换处理的流程图。

图53是说明广域人工图像边界线和广域自然图像边界线的图。

图54是说明狭域人工图像边界线和狭域自然图像边界线的图。

图55是表示个人计算机的一个实施方式的结构示例。

附图标记说明

114：自然图像人工图像判断部；651：类分类部；652：系数种子存储器；653：预测系数生成部；654：预测系数存储器；655：预测部；811：学习装置；822：类分类部；823：生成部；824：系数生成部；825：正规方程式生成部；826：系数种子确定部；827：系数种子存储器；831：预测抽头抽出部；832：正规方程式生成部；911广域特征量抽出部；912：广域人工图像度算出部；913：人工图像度生成部；914：狭域特征量抽出部；915：狭域人工图像度算出部；931：BEP抽出部；932：BFP抽出部；952：广域边界线比较部；971：PNDP抽出部；972：SNDP抽出部；992：狭域边界线比较部。

具体实施方式

以下，说明本发明的实施方式，下面举例说明本说明书记述的发明与发明的实施方式的对应关系。该记述用于确认支持本说明书记述的发明的实施方式被记载在本说明书中。因此，即使存在虽然记载在发明的实施方式中，但没有作为对应于发明的实施方式而记载在此处的实施方式，也不意味着该实施方式不对应于本发明。相反，尽管实施方式作为对应于发明的方式在此处进行了记载，也不意味着该实施方式不对应于本发明以外的发明。

另外，该记述不意味着在本说明书中记述的所有发明。换言之，该记述是在本说明书中记述的发明，但不能否定在本申请中未要求保护的发明的存在，即不能否定将来通过分案申请或补正而出现、追加的发明的存在。

即，本发明的第一侧面的图像处理装置，包括：广域特征量抽出单元(例如图20中的广域特征量抽出部911)，从相对于第一图像的关注像素存在于规定区域中的像素，抽出由多种特征量构成的广域特征量；广域人工图像度算出单元(例如图20中的广域人工图像度算出部912)，在由所述广域特征量包含的多个特征量表现的多维空间中，根据通过所述广域特征量抽出单元抽出的广域特征量在所述空间内相对于所述第一图像中的人工图像的统计分布范围的位置关系，算出表示属于所述人工图像的分布区域的程度的广域人工图像度，所述人工图像是灰度等级少且边缘清晰的人工的图像；狭域特征量抽出单元(例如图20中的狭域特征量抽出部914)，从相对于所述第一图像的关注像素存在于规定区域中的像素，抽出由多种特征量构成的狭域特征量；狭域人工图像度算出元(例如图20中的狭域人工图像度算出部915)，在由所述狭域特征量包含的多个特征量表现的多维空间中，根据通过所述狭域特征量抽出单元抽出的狭域特征量在所述空间内相对于所述第一图像中的所述人工图像的统计分布范围的位置关系，算出表示属于所述人工图像的分布区域的程度的狭域人工图像度；以及人工图像度算出单元(例如图20中的人工图像度生成部913)，对所述广域人工图像度和所述狭域人工图像度进行合成，算出所述关注像素的人工图像度。

还可以包括：第一预测单元(例如图1中的人工图像预测部132)，从所述第一图像预测将述人工图像高质量化后的第二图像；第二预测单元(例如图1中的自然图像预测部131)，从所述第一图像预测将灰度等级多且边缘不清晰的图像即自然图像高质量化后的第三图像；以及合成单元(例如图1中的合成部133)，根据所述人工图像度合成所述第二图像和所述第三图像。

所述第一预测单元可以包括：第一类分类单元(例如图10中的类分类部651)，将所述第二图像的像素分类为第一类；第一保存单元(例如图10中的预测系数存储器654)，保存每个所述第一类的第一预测系数通过使用了多个所述人工图像的学习而获得；以及第一运算单元(例如图10中的预测部655)，通过使用所述第一图像与所述第二图像的像素的所述第一类的第一预测系数进行运算，从所述第一图像求出比所述第一图像质量高的第二图像，所述第二预测单元可以包括：第二类分类单元(例如图3中的类抽头部551、ADRC处理部552)，将所述第三图像的像素分类为第二类；第二保存单元(例如图3中的预测系数存储器555)，保存每个所述第二类的第二预测系数通过使用了多个所述自然图像的学习而获得；以及第二运算单元(例如图3中的预测运算部557)，通过使用所述第一图像与所述第三图像的像素的所述第二类的第二预测系数进行运算，从所述第一图像求出所述第三图像。

所述广域人工图像度算出单元(例如图20中的广域人工图像度算出部912)可以包括广域人工图像分布范围存储单元(例如图20中的广域边界线存储器953)，该广域人工图像分布范围存储单元存储由所述广域特征量包含的多个特征量表现的多维空间中的、所述第一图像中的人工图像的统计分布范围，该人工图像是灰度等级少且边缘清晰的人工的图像，根据通过所述广域特征量抽出单元抽出的广域特征量在所述空间内相对于下述分布范围的位置关系，算出表示属于所述人工图像的分布区域的程度的广域人工图像度，其中，该分布范围是存储在所述广域人工图像分布范围存储单元中的、由所述广域特征量包含的多个特征量表现的多维空间的分布范围。

所述狭域人工图像度算出单元(例如图20中的狭域人工图像度算出部915)可以包括狭域人工图像分布范围存储单元(例如图20中的狭域边界线存储器993)，该狭域人工图像分布范围存储单元存储由所述狭域特征量包含的多个特征量表现的多维空间中的、所述第一图像中的所述人工图像的统计分布范围，根据通过所述狭域特征量抽出单元抽出的狭域特征量在所述空间内相对于下述分布范围的位置关系，算出表示属于所述人工图像的分布区域的程度的狭域人工图像度，其中，该分布范围是存储在所述狭域人工图像分布范围存储单元中的、由所述狭域特征量包含的多个特征量表现的多维空间的分布范围。

所述广域特征量抽出单元可以包括：边缘特征量抽出单元(例如图20中的BEP抽出部931)，从存在于所述规定区域中的像素抽出表现边缘的存在的特征量；以及平坦部特征量抽出单元(例如图20中的BFP抽出部932)，从存在于所述规定区域中的像素抽出表现平坦部的存在的特征量。

所述边缘特征量抽出单元(例如图21中的BEP抽出部931)可以使用存在于所述规定区域中的像素与所述关注像素的像素值的差分值，抽出存在于所述规定区域中的像素的差分动态范围，作为表现所述边缘的存在的特征量。

所述边缘特征量抽出单元(例如图21中的BEP抽出部931)可以使用向所述关注像素和存在于所述规定区域中的像素的差分值赋予与所述关注像素和存在于所述规定区域中的像素的距离相应的权重后的值，来抽出存在于所述规定区域中的像素的差分动态范围。

所述边缘特征量抽出单元(例如图39中的B EP抽出部931)可以抽出存在于所述规定区域中的像素的相邻像素间的像素值的差分绝对值中的上位的规定位次的值，作为表现所述边缘的存在的特征量。

所述边缘特征量抽出单元(例如图39中的BEP抽出部931)可以抽出属于存在于所述规定区域中的像素中、相邻像素间的像素值的差分绝对值的上位的第一位次到第二位次的平均值或附加了加权系数后的值的总和，作为表现所述边缘的存在的特征量。

所述平坦部特征量抽出单元(例如图22中的BFP抽出部932)可以抽出存在于所述规定区域中的像素中、相邻像素间的像素值的差分绝对值为小于规定阈值的值的个数，作为表现所述平坦部的存在的特征量。

所述平坦部特征量抽出单元(例如图22中的BFP抽出部932)可以抽出将存在于所述规定区域中的像素中、相邻像素间的像素值的差分绝对值利用规定的函数转换后的值的总和，作为表现所述平坦部的存在的特征量。

所述平坦部特征量抽出单元(例如图22中的BFP抽出部932)可以抽出向利用规定的函数将所述相邻像素间的像素值的差分绝对值转换后的值赋予了权重后的值的总和，作为表现所述平坦部存在的特征量，其中，该权重与从所述关注像素到存在于所述规定区域中的像素的距离对应。

所述平坦部特征量抽出单元(例如图42中的BFP抽出部932)可以抽出存在于所述规定区域中的像素的相邻像素间的像素值的差分绝对值的下位的规定位次的值，作为表现所述平坦部的存在的特征量。

所述平坦部特征量抽出单元(例如图42中的BFP抽出部932)可以抽出属于存在于所述规定区域的像素中、相邻像素间的像素值的差分绝对值的下位的第一位次到第二位次的平均值或附加了加权系数后的值的总和，作为表现所述平坦部的存在的特征量。

所述狭域特征量抽出单元(例如图20中的狭域特征量抽出部914)可以从存在于所述规定区域中的像素中，抽出由表现细线、边缘、点、边缘附近的平坦部或层次的两种特征量构成的狭域特征量。

所述狭域特征量抽出单元(例如图20中的狭域特征量抽出部914)可以包括：第一狭域特征量抽出单元(例如图20中的PNDP抽出部971)，抽出从所述规定区域中包含的第一区域中存在的像素的像素值的最大值减去最小值得到的像素值动态范围，作为所述狭域特征量的第一特征量；以及第二狭域特征量抽出单元(例如图20中的SNDP抽出部972)，抽出从包含于所述第一区域中、并包含所述关注像素的第二区域的像素的像素值的最大值减去最小值得到的像素值动态范围，作为所述狭域特征量的第二特征量。

所述第二动态范围特征量抽出单元(例如图24中的SNDP抽出部972)在从多个所述第二区域分别抽出像素值动态范围的情况下，抽出所述像素值动态范围为最小的一方作为所述第二特征量。

所述第一狭域特征量抽出单元(例如图45中的PNDP抽出部971)抽出存在于所述规定区域中的像素的像素值的像素值动态范围，作为所述狭域特征量的第一特征量，所述第二狭域特征量抽出单元(例如图45中的SNDP抽出部972)抽出将存在于所述规定区域中的像素与所述关注像素的差分绝对值以规定函数处理并且加权相加得到的值的累加值，作为所述狭域特征量的第二特征量。

还可以包括权重计算单元(例如图47中的权重计算部1165)，计算所述权重，所述权重由与在从所述关注像素到存在于所述第一区域中的像素为止的路径中存在的所有像素的相邻像素间的差分绝对值的总和相对应的值构成。

本发明的一个侧面的图像处理方法和程序，包括：广域特征量抽出步骤(例如图25的流程图中的步骤S831、S832)，从相对于第一图像的关注像素存在于规定区域中的像素，抽出由多种特征量构成的广域特征量；广域人工图像度算出步骤(例如图25的流程图中的步骤S834)，在由所述广域特征量包含的多个特征量表现的多维空间中，根据通过所述广域特征量抽出步骤的处理抽出的广域特征量在所述空间内相对于所述第一图像中的人工图像的统计分布范围的位置关系，算出表示属于所述人工图像的分布区域的程度的广域人工图像度，所述人工图像是灰度等级少且边缘清晰的人工的图像；狭域特征量抽出步骤(例如图25的流程图中的步骤S835、S836)，从相对于所述第一图像的关注像素存在于规定区域中的像素，抽出由多种特征量构成的狭域特征量；狭域人工图像度算出步骤(例如图25的流程图中的步骤S838)，在由所述狭域特征量包含的多个特征量表现的多维空间中，根据通过所述狭域特征量抽出步骤的处理抽出的狭域特征量在所述空间内相对于所述第一图像中的所述人工图像的统计分布范围的位置关系，算出表示属于所述人工图像的分布区域的程度的狭域人工图像度；以及人工图像度计算步骤(例如图25的流程图中的步骤S839)，对所述广域人工图像度和所述狭域人工图像度进行合成，算出所述关注像素的人工图像度。

以下，参照附图说明本发明的实施方式。

图1是表示应用了本发明的图像转换装置101的一个实施方式的结构的方框图。图像转换装置101由循环型IP转换部111、输出相位转换部112、自然图像预测部131、人工图像预测部132、自然图像人工图像判断部114和合成部133构成。另外，循环型IP转换部111由IP转换部121和循环型转换部122构成。

成为处理对象的隔行扫描方式的SD图像被输入到循环型IP转换部111的IP转换部121和循环型转换部122中。

IP转换部121根据规定的方法，把输入的隔行扫描方式的SD图像(以下也称为输入图像)IP转换为逐行扫描方式的SD图像(以下也称为中间图像)，把IP转换后的逐行扫描方式的SD图像提供给循环型转换部122。

循环型转换部122求出输入图像与1帧前从循环型转换部122输出的逐行扫描方式的SD图像(以下也称为输出图像)之间的运动矢量。循环型转换部122使用循环系数，对输入图像的像素值、和根据所求出的运动矢量对输出图像实施了运动补偿后的图像的像素值进行加权相加，由此提高中间图像的像质。循环型转换部122把中间图像转换为像质更高的逐行扫描方式的SD图像即输出图像，把输出图像提供给输出相位转换部112。此外，循环系数是关于中间图像的各个像素，根据是否处于转换前的输入图像中存在像素的位置、运动矢量的垂直方向的大小、和表示运动矢量的准确度的可靠度准确度设定的。

输出相位转换部112对从循环型转换部122提供的第一像素数的SD图像，在水平方向和垂直方向进行插值，由此生成像素数多于第一像素数的HD图像。输出相位转换部112把该HD图像提供给自然图像预测部131、人工图像预测部132和自然图像人工图像判断部114。

图像处理部113根据从自然图像人工图像判断部114提供的人工图像度，从HD图像处理成为高质量的图像，输出作为处理结果的高质量的HD图像。

自然图像人工图像判断部114对从输出相位转换部112提供的HD图像的各个像素，判断是否属于被分类为人工图像的区域、或者被分类为自然图像的区域的哪一方区域，把判断结果作为人工图像度输出给图像处理部113。即，所说的人工图像度，是指在被分类为人工图像和自然图像中间的区域中将人工图像在自然图像中的比率，以0到1的值进行表示的值。

自然图像预测部131根据从输出相位转换部112提供的HD图像，预测将该HD图像中的自然图像转换为高质量后的HD图像(以下称为自然高质量图像)。具体地讲，自然图像预测部131根据HD图像的特征，把作为从该HD图像求出的自然高质量图像的像素的关注像素，分类到适合于自然图像的特征的类中。然后，自然图像预测部131使用与该类对应的用于预测自然高质量图像的预测系数和HD图像进行运算，由此从由输出相位转换部112提供的HD图像来预测自然高质量图像。自然图像预测部131把该自然高质量图像提供给合成部133。

与自然图像预测部131相同，人工图像预测部132从由输出相位转换部112提供的HD图像，来预测将该HD图像中的人工图像转换为高质量后的HD图像(以下称为人工高质量图像)。具体地讲，人工图像预测部132根据HD图像的特征，把作为从该HD图像求出的人工高质量图像的像素的关注像素，分类到适合于人工图像的特征的类中。然后，人工图像预测部132使用与该类对应的用于预测人工高质量图像的预测系数和HD图像进行运算，由此从由输出相位转换部112提供的HD图像预测人工高质量图像。人工图像预测部132把该人工高质量图像提供给合成部133。

合成部133根据从自然图像人工图像判断部114提供的判断结果，将从自然图像预测部131提供的自然高质量图像的各个像素的像素值、和从人工图像预测部132提供的人工高质量图像的各个像素的像素值，以与人工图像度对应的比例进行合成，输出作为合成结果得到的HD图像。

下面，参照图2的流程图，说明通过图像转换装置101执行的图像转换处理。此外，该处理例如在开始从外部输入隔行扫描方式的SD图像时开始。

在步骤S1中，IP转换部121进行IP转换。具体地讲，IP转换部121根据规定的方法，把隔行扫描方式的输入图像IP转换为逐行扫描方式的中间图像，把IP转换后的中间图像提供给循环型转换部122。

在步骤S2中，循环型转换部122进行循环型转换处理。具体地讲，求出输入图像与1帧前从循环型转换部122输出的输出图像之间的运动矢量。循环型转换部122使用循环系数将输入图像的像素值、和根据所求出的运动矢量对输出图像实施了运动补偿后的图像的像素值进行加权相加，由此提高中间图像的像质。循环型转换部122把中间图像转换为像质更高的逐行扫描方式的SD图像即输出图像，把输出图像提供给输出相位转换部112。

在步骤S3中，输出相位转换部112进行输出相位转换处理。具体地讲，输出相位转换部112对从循环型转换部122提供的SD图像，在水平方向和垂直方向进行插值，由此生成HD图像。输出相位转换部112把该HD图像提供给自然图像预测部131、人工图像预测部132和自然图像人工图像判断部114。

在步骤S4中，自然图像预测部131进行自然图像预测处理。关于自然图像预测处理的详细情况，将在后面参照图6进行叙述，通过该处理从HD图像预测自然高质量图像，该自然高质量图像被提供给合成部133。

在步骤S5中，人工图像预测部132进行人工图像预测处理。关于人工图像预测处理的详细情况，将在后面参照图15进行叙述，通过该处理从HD图像预测人工高质量图像，该人工高质量图像被提供给合成部133。

在步骤S6中，自然图像人工图像判断部114进行自然图像人工图像判断处理。关于自然图像预测处理的详细情况，将在后面参照图25进行叙述，自然图像人工图像判断部114对从输出相位转换部112提供的HD图像的各个像素，判断是否属于被分类为人工图像的区域、或者被分类为自然图像的区域的哪一方区域，把判断结果作为人工图像度输出给图像处理部113。

在步骤S7中，合成部133合成图像。具体地讲，合成部133根据从自然图像人工图像判断部114提供的判断结果，将从自然图像预测部131提供的自然高质量图像的各个像素的像素值、和从人工图像预测部132提供的人工高质量图像的各个像素的像素值，以人工图像度对应的比例进行合成。合成部133将合成后的图像输出给后面的装置。

此外，在连续进行多个图像的图像转换的情况下，重复执行上述的步骤S1～S7的处理。

图3是表示图1中的自然图像预测部131的结构示例的方框图。

图3中的自然图像预测部131由类抽头抽出部551、ADRC(Adaptive Dynamic Range Coding：自适应动态范围编码)处理部552、系数种子存储器553、预测系数生成部554、预测系数存储器555、预测抽头抽出部556、以及预测运算部557构成，根据从图1中的输出相位转换部112提供的逐行扫描方式的HD图像，从该HD图像中的自然图像去除噪声等，预测转换为高质量后的自然高质量图像。

从图1中的输出相位转换部112提供的逐行扫描方式的HD图像被输入到自然图像预测部131中，该HD图像被提供给类抽头抽出部551和预测抽头抽出部556。

类抽头抽出部551依次把利用所输入的HD图像求出的构成自然高质量图像的像素作为关注像素，将在把该关注像素分类为类时使用的构成所输入的HD图像的像素中的若干像素，作为类抽头抽出。类抽头抽出部551把所抽出的类抽头提供给ADRC处理部552。

ADRC处理部552把从类抽头抽出部551提供的构成类抽头的像素的像素值作为类抽头的波形特征，对该像素值进行ADRC处理等，将其结果得到的ADRC代码检测为类抽头的特征。

此外，在K比特ADRC中，例如检测构成类抽头的像素的像素值的最大值MAX和最小值MIN，把DR＝MAX-MIN作为集合的局部动态范围，根据该动态范围D R，构成类抽头的像素值被再次量化为K比特。即，从构成类抽头的各个像素的像素值减去最小值MIN，将该结果除以DR/2^K。

然后，把将通过以上处理得到的、构成类抽头的K比特的各个像素的像素值以规定顺序排列得到的比特串，作为ADRC代码输出。因此，类抽头例如在进行了1比特ADRC处理的情况下，构成该类抽头的各个像素的像素值被除以最大值MAX和最小值MIN的平均值，除法运算结果的小数点以下被舍去，由此各个像素的像素值成为1比特。即，各个像素的像素值被二值化。然后，将该1比特的像素值按规定顺序排列后的比特串，作为ADRC代码输出。

ADRC处理部552根据检测出的ADRC代码来确定类，由此把关注像素分类为类，把该类输出给预测系数存储器555。例如，ADRC处理部552直接把ADRC代码作为类，提供给预测系数存储器555。

系数种子存储器553保存通过后面参照图7～图9叙述的学习而获得的每类的系数种子。预测系数生成部554从系数种子存储器553读出系数种子。预测系数生成部554根据由用户输入的用于确定水平方向的分辨率的参数h、和用于确定垂直方向的分辨率的参数v，使用包括该参数h和v的多项式，从所读出的系数种子生成预测系数，提供给预测系数存储器555存储。

预测系数存储器555根据从ADRC处理部552提供的类，读出该类的预测系数，提供给预测运算部557。

此外，预测抽头和类抽头可以设为具有相同的抽头结构的抽头，也可以设为具有不同的抽头结构的抽头。

预测抽头抽出部556从所输入的HD图像中抽出构成在预测关注像素的像素值时使用的HD图像的像素作为预测抽头。预测抽头抽出部556把预测抽头提供给预测运算部557。

预测运算部557使用从预测抽头抽出部556提供的预测抽头、和从预测系数存储器555提供的预测系数，进行求出关注像素的真值的预测值的线性一次式运算等的预测运算。由此，预测运算部557求出关注像素的像素值的预测值、即构成自然高质量图像的像素的像素值，并输出给合成部133。

图4表示通过图3中的类抽头抽出部551抽出的类抽头的抽头结构的一例。

此外，图中白圆表示从输出相位转换部112提供的HD图像的像素中构成类抽头的像素，虚线圆表示不构成类抽头的像素，黑圆表示关注像素。这在后面的图5中也相同。

在图4中，利用9个像素构成类抽头。即，以与关注像素q6对应的构成HD图像的像素p64作为中心，在纵向上隔1像素排列的5像素p60、p61、p64、p67、p68、和在横向上隔1像素排列的除像素p64以外的4像素p62、p63、p65、p66，构成所谓十字形状的类抽头。

图5表示通过图3中的预测抽头抽出部556抽出的预测抽头的抽头结构的一例。

在图5中，利用13个像素构成预测抽头。即，在图5中，以从输出相位转换部112提供的HD图像中与关注像素q8对应的像素p86作为中心、在纵向上隔1像素排列的5像素p80、p82、p86、p90、p92，在横向上隔1像素排列的除像素p86以外的4像素p84、p85、p87、p88，以像素p85为中心、在纵向上隔1像素排列的除像素p 85以外的2像素p81、p89，以及以像素p87为中心、在纵向上隔1像素排列的除像素p87以外的2像素p83、p91，来构成大致菱形的预测抽头。

此外，在图4和图5中，构成类抽头的9像素p60～p68和构成预测抽头的13像素p80～p92，在上下方向(垂直方向)或左右方向(水平方向)上隔1像素即以2像素间隔排列，但该间隔不限于此，也可以根据输出相位转换部112中转换前的SD图像和转换后的HD图像的像素数的比率、即插值倍率而改变。

例如，为了使水平方向和垂直方向的各个像素数分别成为2倍，在输出相位转换部112转换了图像的情况下，如图4和图5所示，如果利用在垂直方向或水平方向上以2像素间隔排列的像素来构成类抽头和预测抽头，则仅利用所插值的像素和插值前就存在的像素中的一方来构成类抽头和预测抽头，因此与双方混在一起的、例如类抽头和预测抽头由以1像素间隔排列的像素构成的情况相比，自然图像预测部131的预测处理的结果精度提高。

下面，参照图6，说明图3中的自然图像预测部131进行的图2中步骤S4的自然图像预测处理的详细情况。

最初，在步骤S551中，类抽头抽出部551选择根据从图1中的输出相位转换部112输入的HD图像求出的、构成自然高质量图像的像素中的一个，作为关注像素。

在步骤S552中，类抽头抽出部551将像图4所示那样的、在进行步骤S551中选择的关注像素的类分类时使用的、构成所输入的HD图像的像素中的若干像素，作为类抽头从HD图像中抽出，提供给ADRC处理部552。

在步骤S553中，ADRC处理部552对构成从类抽头抽出部551提供的类抽头的像素的像素值进行ADRC处理，将其结果得到的ADRC代码检测为类抽头的特征。

在步骤S554中，ADRC处理部552根据ADRC代码确定类，由此将关注像素分类为类，把该类提供给预测系数存储器555。

在步骤S555中，预测系数生成部554从系数种子存储器553读出系数种子。

在步骤S556中，预测系数生成部554根据由用户输入的参数h和v，使用包含参数h和v的多项式，根据从系数种子存储器553读出的系数种子生成预测系数，提供给预测系数存储器555并存储。关于从该系数种子生成预测系数的处理的详细情况将在后面叙述。

在步骤S557中，预测系数存储器555根据从ADRC处理部552提供的类，读出该类的预测系数，提供给预测运算部557。

在步骤S558中，预测抽头抽出部556将如像图5所示那样的、在预测关注像素的像素值时使用的构成HD图像的像素，作为预测抽头从所输入的HD图像抽出。预测抽头抽出部556把预测抽头提供给预测运算部557。

在步骤S559中，预测运算部557使用从预测抽头抽出部556提供的预测抽头、和从预测系数存储器555提供的预测系数，进行求出关注像素的真值的预测值的线性一次式等的预测运算。

在步骤S560中，预测运算部557把预测运算的结果得到的关注像素的像素值的预测值、即构成自然高质量图像的像素的像素值，输出给合成部133。

在步骤S561中，类抽头抽出部551判断是否已将利用所输入的HD图像求出的构成自然高质量图像的全部像素作为关注像素。在步骤S561中判断为尚未将全部像素作为关注像素时，在步骤S562中，类抽头抽出部551把构成自然高质量图像的像素中尚未成为关注像素的像素新确定为关注像素，使处理返回步骤S552，以后重复相同的处理。另一方面，在步骤S561中判断为类抽头抽出部551已将所有像素作为关注像素的情况下，结束自然图像预测处理。

如上所述，自然图像预测部131根据从输出相位转换部112提供的HD图像，预测自然高质量图像并输出。即，自然图像预测部131把HD图像转换为自然高质量图像并输出。

如上所述，在图1的图像转换装置101中，输出相位转换部112把从循环型转换部122提供的SD图像转换为从自然图像预测部131输出的HD图像，提供给自然图像预测部131，因此预测前和预测后的图像的像素数相同，预测前后的图像的像素位置不会出现偏移。

因此，自然图像预测部131可以使用由相位与作为自然高质量图像像素的关注像素的相位相同的HD图像的像素构成的预测抽头，来预测关注像素的像素值。其结果，自然图像预测部131可以正确预测自然高质量图像，进行高精度的图像转换。即，输出相位转换部112和自然图像预测部131可以把从循环型转换部122输入的作为SD图像的图像，准确地转换为像素数不同的高质量的HD图像即自然高质量图像。

另外，自然图像预测部131把构成类抽头的像素的像素值作为类抽头的波形特征，把关注像素分类为类，因此能够进行适合于分类平坦部分较少的自然图像的特征的分类。其结果，自然图像预测部131可以准确地提高HD图像中的自然图像的质量。

下面，说明图3中的预测运算部557的预测运算和在该预测运算中使用的预测系数的学习。

现在，从所输入的HD图像抽出预测抽头，使用该预测抽头和预测系数，预测构成自然高质量图像的像素(以下适当称为自然高质量图像像素)的像素值，作为这种规定的预测运算，当例如采用线性一次预测运算时，自然高质量图像像素的像素值y可以通过下面的线性一次式求出。

$y=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{W}_n{x}_n...\left(1\right)$

其中，在式(1)中，x_n表示构成关于像素值y的自然高质量图像像素的预测抽头的、第n个HD图像的像素(以下适当称为HD图像像素)的像素值，W_n表示与第n个HD图像的像素的像素值相乘的第n个预测系数。此外，在式(1)中，预测抽头由N个HD图像像素x₁、x₂、...、x_N构成。

也可以不用式(1)所示的线性1次式，而通过2次以上的高次式求出自然高质量图像像素的像素值y。

现在将第k样本的自然高质量图像像素的像素值的真值表示为y_k，并且将通过式(1)得到的该真值y_k的预测值表示为y_k’时，其预测误差e_k由下式表示。

e_k＝y_k-y_k’            …(2)

按照式(1)来求出式(2)的预测值y_k’，因此当按照式(1)来替换式(2)的预测值y_k’时，得到下式。

$e_k=y_k-\left(\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{W}_n{x}_{n,k}\right)...\left(3\right)$

其中，在式(3)中，x_n，k表示构成关于第k样本的自然高质量图像像素的预测抽头的第n个HD图像像素。

使式(3)或式(2)的预测误差e_k为0、即在统计上为最小的预测系数W_n，最适合于预测自然高质量图像像素，但是，关于全部的自然高质量图像像素求出这种预测系数W_n，通常是困难的。

因此，作为表示最佳的预测系数W_n的规范，例如当采用最小二乘法时，能够通过使由下式表示的平方误差的总和E为最小来求出最适合的预测系数W_n。

$E=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{e_k}^2...\left(4\right)$

其中，在式(4)中，K表示高质量图像的像素值的真值y_k、与构成该真值y_k的预测抽头的HD图像像素x_1，k、x_2，k、...、x_N，k的集合的样本数、即学习用的样本数。

如式(5)所示，式(4)的平方误差的总和E的最小值通过使以预测系数W_n对总和E进行偏微分的结果为0的W_n来得到。

$\frac{\∂E}{\∂W_n}=e_1\frac{{\∂e}_1}{{\∂W}_n}+e_2\frac{{\∂e}_2}{{\∂W}_n}+...+e_k\frac{{\∂e}_{k2}}{{\∂W}_n}=0(n=\mathrm{1,2},...,N)...\left(5\right)$

因此，当将上述式(3)以预测系数W_n进行偏微分时，得到下式。

$\frac{{\∂e}_k}{{\∂W}_1}=-x_{1,k},\frac{{\∂e}_k}{{\∂W}_2}=-x_{2,k},...,\frac{{\∂e}_k}{{\∂W}_N}=-x_{N,k},(k=\mathrm{1,2},...,K)...\left(6\right)$

根据式(5)和式(6)得到下式。

$\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{e}_k{x}_{1,k}=0,\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{e}_k{x}_{2,k}=0,...\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{e}_k{x}_{N,k}=0...\left(7\right)$

通过将式(3)代入式(7)的e_k，能够将式(7)以式(8)示出的正规方程式来表示。

式(8)的正规方程式，例如通过使用扫除法(Gauss-Jordan的消去法)等，能够求解预测系数W_n。

通过对每个类建立式(8)的正规方程式进行求解，能够对每个类求出使平方误差的总和E为最小的预测系数w_n，作为最佳预测系数。

另外，说明在图3的预测系数生成部554中生成预测系数的多项式和在该多项式中使用的系数种子的学习。

现在，假设作为使用所输入的参数h和v及系数种子生成预测系数的算式，采用例如多项式，则每个类及参数h和v的每个组合的预测系数W_n可以利用下面的多项式求出。

W_n＝w_n，0+w_n，1v+w_n，2h+w_n，3v²+w_n，4vh

+w_n，5h²+w_n，6v³+w_n，7v²h+w_n，8vh²+w_n，9h³

                                            …(9)

其中，在式(9)中，W_n，k(k＝1、2、...、9)表示构成关于由式(14)表示的像素值y的自然高质量图像像素的预测抽头的、用于生成与第n个HD图像的像素的系数值x_n相乘的第n个预测系数W_n的系数种子中第k项的系数。

在此，将与参数h和v对应的第n个预测系数的真值表示为W_vhn，把由式(9)得到的该真值W_vhn的推测值表示为W_vhn’，则其推测误差e_vhn由下式表示。

e_vhn＝W_vhn-W’_vhn                …(10)

式(10)的推测值W_vhn’由式(9)求出，因此用(9)来替换式(10)的推测值W_vhn’，得到下式。

$e_{\mathrm{vhn}}=W_{\mathrm{vhn}}-\underset{k=0}{\overset{9}{\mathrm{\Σ}}}{w}_{\mathrm{vhn},k}{t}_k...\left(11\right)$

此外，在式(11)中，W_vhn，k表示用于生成预测系数W_vhn的系数种子中第k项的系数。另外，在式(11)中，利用下式定义t_k。

t₀＝1

t₁＝v

t₂＝h

t₃＝v²

t₄＝vh

t₅＝h²

t₆＝v³

t₇＝v²h

t₈＝vh²

t₉＝h³      …(12)

使式(10)或式(11)的预测误差e_vhn为0、即在统计上为最小的系数种子w_vhn，k，最适合于推测预测系数，但是，关于全部的预测系数求出这种系数种子w_vhn，k，通常是困难的。

因此，当作为表示最佳的系数种子w_vhn，k的规范，采用例如最小二乘法时，能够通过使由下式表示的平方误差的总和E为最小来求出最佳的系数种子w_vhn，k。

$E=\underset{v=1}{\overset{V}{\mathrm{\Σ}}}\underset{h=1}{\overset{H}{\mathrm{\Σ}}}{e^2}_{\mathrm{vhn}}...\left(13\right)$

其中，在式(13)中，V表示参数v的种类数，H表示参数h的种类数。

如式(14)所示，式(13)的平方误差的总和E的最小值通过使以系数种子w_vhn，k对总和E偏微分的结果为0的w_vhn，k来得到。

$\frac{\∂E}{\∂w_{\mathrm{vhn},k}}=\underset{v=1}{\overset{V}{\mathrm{\Σ}}}\underset{h=1}{\overset{H}{\mathrm{\Σ}}}2\left(\frac{{\∂e}_{\mathrm{vhn}}}{{\∂w}_{\mathrm{vhn},k}}\right)e_{\mathrm{vhn}}=-\underset{v=1}{\overset{V}{\mathrm{\Σ}}}\underset{h=1}{\overset{H}{\mathrm{\Σ}}}2t_K{e}_{\mathrm{vhn}}=0...\left(14\right)$

在此当分别用下面的式(15)和式(16)定义X_k1和Y_k时，式(14)被改写为下式(17)所示的正规方程式。

$X_{k1}=\underset{v=1}{\overset{V}{\mathrm{\Σ}}}\underset{h=1}{\overset{H}{\mathrm{\Σ}}}{t}_k{t}_1...\left(15\right)$

$Y_k=\underset{v=1}{\overset{V}{\mathrm{\Σ}}}\underset{h=1}{\overset{H}{\mathrm{\Σ}}}{t}_k{W}_{\mathrm{vhn}}...\left(16\right)$

式(17)的正规方程式，能够通过例如使用扫除法(Gauss-Jordan的消去法)等来求解系数种子w_n，k。

通过对每个类建立式(17)的正规方程式进行求解，能够对每个类求出使平方误差的总和E为最小的系数种子w_n，k，作为最佳系数种子。

图7是表示学习装置601的结构示例的方框图，该学习装置601通过对每个类建立式(17)的正规方程式并进行求解来进行系数种子w_n，k的学习。

图7的学习装置601由以下部分构成：频带限制滤波器611；类抽头抽出部612；ADRC处理部613；预测抽头抽出部614；正规方程式生成部615；预测系数生成部616；正规方程式生成部617；系数种子确定部618和系数种子存储器619。

从未图示的数据库读出的、作为预测处理后的目标的自然图像的教师图像被输入到学习装置601中，该教师图像被提供给频带限制滤波器611和正规方程式生成部615。另外，根据用户的指示，参数h和v被从外部输入学习装置601，并提供给频带限制滤波器611和正规方程式生成部615。此外，每当一个教师图像被输入学习装置601时，参数h和v的所有类型的组合都会被输入学习装置601。

频带限制滤波器611根据从外部输入的参数h和v，对从未图示的数据库获取的教师图像进行分别限制垂直方向和水平方向的频带的滤波处理。由此，对参数h和v的每个组合，生成相当于进行预测处理前的自然图像的学生图像。例如，在参数h的类型为9种，参数v的类型为9种时，频带限制滤波器611根据从外部输入的参数h和v，从一个教师图像生成81种学生图像。

频带限制滤波器611把该学生图像提供给类抽头抽出部612和预测抽头抽出部614。

类抽头抽出部612的结构与图3的类抽头抽出部551相同。类抽头抽出部612把构成教师图像的像素依次作为关注教师像素，对于该关注教师像素，从学生图像抽出如图4那样的、抽头结构与图3的类抽头抽出部551所抽出的类抽头相同的类抽头，提供给ADRC处理部613。

ADRC处理部613对构成从类抽头抽出部551提供的类抽头的像素的像素值进行ADRC处理等，将其结果得到的ADRC代码检测为类抽头的特征。ADRC处理部613根据该ADRC代码来确定类，把该类提供给正规方程式生成部615。

预测抽头抽出部614的结构与图3的预测抽头抽出部556相同。预测抽头抽出部614从由频带限制滤波器611提供的学生图像中，抽出如图5所示那样的、在预测关注教师像素的像素值时使用的构成学生图像的像素，来作为预测抽头。预测抽头抽出部614把预测抽头提供给正规方程式生成部615。

正规方程式生成部615把所输入的教师图像和从预测抽头抽出部614提供的预测抽头的对，作为在预测系数W_n的学习中使用的学习对，对从ADRC处理部613提供的每个类及从外部输入的参数h和v的每种组合，建立上述式(8)的正规方程式，把该正规方程式提供给预测系数生成部616。

预测系数生成部616通过求解从正规方程式生成部615提供的每个类的正规方程式，对参数h和v的每种组合及每个类，求出使预测误差在统计上为最小的预测系数W_n，并提供给正规方程式生成部617。

正规方程式生成部617根据来自预测系数生成部616的预测系数W_vhn，对每个类生成上述式(17)的正规方程式，并输出给系数种子确定部618。系数种子确定部618求解每个类的式(17)的正规方程式，求出每个类的系数种子w_n，k，保存在系数种子存储器619中。保存在该系数种子存储器619中的系数种子被保存在图3的系数种子存储器553中。

下面，参照图8说明教师图像和学生图像的像素的位置关系。

在图8中，菱形表示教师图像的像素，白圆表示学生图像的像素。另外，图中横轴表示水平方向的位置，纵轴表示垂直方向的位置。

如图8所示，教师图像和学生图像的像素在水平方向和垂直方向的位置相同。即，教师图像和学生图像为相同相位。

下面，参照图9的流程图说明图7的学习装置601的学习处理。

最初，在步骤S601中，频带限制滤波器611根据所输入的参数h和v，进行分别限制所输入的教师图像的垂直方向和水平方向的频带的滤波处理，由此从所输入的教师图像生成学生图像，提供给类抽头抽出部612和预测抽头抽出部614。

在步骤S602中，类抽头抽出部612与图3的类抽头抽出部551相同，选择构成教师图像的像素中的一个作为关注教师像素。

在步骤S603中，类抽头抽出部612与类抽头抽出部551相同，从学生图像抽出图4所示那样的类抽头，提供给ADRC处理部613。

在步骤S604中，ADRC处理部613对构成类抽头的像素的像素值进行ADRC处理。在步骤S605中，ADRC处理部613根据ADRC处理的结果得到的ADRC代码确定类，并把该类提供给正规方程式生成部615。

在步骤S606中，预测抽头抽出部614与图3的预测抽头抽出部556相同，对于关注教师像素，从由频带限制滤波器611提供的学生图像抽出图5所示那样的预测抽头，提供给正规方程式生成部615。

在步骤S607中，正规方程式生成部615从所输入的教师图像抽出关注教师像素，对参数h和v的组合及从ADRC处理部613提供的每个类，进行把该关注教师像素、和构成从预测抽头抽出部614提供的关于关注教师像素所构成的预测抽头的学生图像作为对象的式(8)的累加。

在步骤S608中，类抽头抽出部612判断是否输入的所有的教师图像的像素都已成为关注教师像素。在步骤S608中判断为不是所有的教师图像的像素都以成为关注教师像素时，在步骤S609中，类抽头抽出部612把教师图像的像素中尚未成为关注教师像素的像素新确定为关注教师像素。然后，处理返回步骤S603，以后重复相同的处理。

另一方面，在步骤S608中判断为所有的教师图像的像素都已成为关注教师像素时，在步骤S610中，正规方程式生成部615把通过截止到目前的处理得到的参数h和v的每种组合及每个类的式(8)左边的矩阵和右边的矢量，作为正规方程式提供给预测系数生成部616。

在步骤S611中，预测系数生成部616求解由从正规方程式生成部615提供的参数h和v的每种组合及每个类的式(8)左边的矩阵和右边的矢量构成的每个类的正规方程式，求出参数h和v的每种组合及每个类的预测系数W_vhn，输出给正规方程式生成部617。

在步骤S612中，正规方程式生成部617根据预测系数W_vhn，对每个类生成式(17)的正规方程式并输出给系数种子确定部618。

在步骤S613中，系数种子确定部618求解式(17)的正规方程式，求出每个类的系数种子w_n，k。在步骤S614中，系数种子存储器619存储该系数种子w_n，k。该系数种子被存储在图3的系数种子存储器553中。

如上所述，自然图像预测部131使用根据通过使用了自然图像的学习获得的系数种子而生成的预测系数W_n来预测自然高质量图像，因此能够准确地提高从输出相位转换部112提供的HD图像中的自然图像的质量。

另外，自然图像预测部131把构成类抽头的像素的像素值作为类抽头的波形特征，根据该特征将关注像素分类为类，所以能够准确地分类自然图像的关注像素。其结果，自然图像预测部131可以使用对每个类根据通过学习获得的系数种子而生成的预测系数，根据HD图像预测自然高质量图像，由此更准确地去除自然图像中包含的噪声等，输出更高质量的自然高质量图像。

图10表示图1的人工图像预测部132的第1实施方式的详细结构示例。

图10的人工图像预测部132由类分类部651、系数种子存储器652、预测系数生成部653、预测系数存储器654和预测部655构成，根据从输出相位转换部112提供的逐行扫描方式的HD图像，从该HD图像中的人工图像去除噪声等，预测转换为高质量后的人工高质量图像。

从输出相位转换部112提供的HD图像被输入类分类部651和预测部655中。类分类部651把构成利用该HD图像求出的人工高质量图像的像素依次作为关注像素，根据HD图像的相位特征，把该关注像素分类为若干类中的任意一类。类分类部651把分类后的类提供给预测系数存储器654。

系数种子存储器652例如由ROM(Read Only Memory：只读存储器)等构成，保存后面通过参照图17～图19叙述的学习而获得的每个类的系数种子。

预测系数生成部653使用包含由用户输入的参数h和v的式(9)的多项式，根据从系数种子存储器652读出的系数种子w_n，k生成预测系数W_n，存储在预测系数存储器654中。

预测系数存储器654根据从类分类部651提供的类，读出该类的预测系数W_n提供给预测部655。

预测部655使用HD图像和从预测系数存储器654提供的预测系数W_n，进行求出关注像素的真值的预测值的规定的预测运算。由此，预测部655求出关注像素的像素值的预测值、即构成人工高质量图像的像素的像素值，输出给图1的合成部133。

图11是表示图10的类分类部651的具体结构示例的方框图。

图11的类分类部651由类抽头抽出部671、差分算出部672和ADRC处理部673构成。

类抽头抽出部671抽出构成在把关注像素分类为类时使用的HD图像的若干像素作为类抽头，提供给差分算出部672。

差分算出部672对每组相邻的两个像素(以下称为相邻像素)，算出构成从类抽头抽出部671提供的类抽头的像素中相邻像素的像素值差分的绝对值(以下称为相邻差分绝对值)，作为类抽头的相位特征。差分算出部672把各个相邻像素的相邻差分绝对值提供给ADRC处理部673。

ADRC处理部673对从差分算出部672提供的相邻差分绝对值进行1比特ADRC处理。具体地讲，ADRC处理部673将类抽头的相邻差分绝对值除以其最大值MAX和最小值MIN的平均值，舍去该相除结果的小数点以后部分，由此使相邻差分绝对值成为1比特。即，ADRC处理部673将相邻差分绝对值二值化。

然后，ADRC处理部673将该1比特的像素值按规定顺序排列得到的比特串确定为关注像素的类。因此，类成为表示类抽头内的边缘位置的相位信息。即，类成为使类抽头的相位退缩后的值。ADRC处理部673把所确定的类提供给图10的预测系数存储器654。

如上所述，类分类部651把各个相邻像素的相邻差分绝对值作为类抽头的相位特征，根据该相位特征，把关注像素分类为类。

图12表示通过图11的类抽头抽出部671抽出的类抽头的抽头结构的示例。此外，类抽头的抽头结构也可以是图12所示之外的结构。

在图12中，利用从图1的输出相位转换部112提供的HD图像中与关注像素对应的像素p124、和在该像素的上方向、左方向、右方向、下方向分别相邻的2像素p120、p121、p122、p123、p125、p126、p127、p128，构成所谓十字形状的类抽头。

图11的差分算出部672算出构成类抽头的9个像素p120～p128中作为相邻像素的像素p120和p121、p121和p124、p122和p123、p123和p124、p124和p125、p125和p126、p124和p127、p127和p128这8个的相邻差分绝对值d0～d7，提供给ADRC处理部673。其结果，从ADRC处理部673输出例如以8比特表示的类。

图13是表示图10的预测部655的详细结构示例的方框图。

图13的预测部655由预测抽头抽出部691和预测运算部692构成。

预测抽头抽出部691抽出构成在预测关注像素的像素值时使用的HD图像的像素，作为预测抽头。

具体地讲，预测抽头抽出部691从HD图像抽出相对于与关注像素对应的HD图像的像素，例如位于在空间上距离关注像素最近位置的HD图像的像素，位于空间上较近位置的多个像素，作为预测抽头。预测抽头抽出部691把预测抽头提供给预测运算部692。

此外，预测抽头和类抽头可以具有相同的抽头结构，也可以具有不同的抽头结构。

除从预测抽头抽出部691提供的预测抽头外，还从图10的预测系数存储器654向预测运算部692提供预测系数。预测运算部692使用该预测抽头和预测系数，进行式(1)所示的预测运算，求出关注像素的真值的预测值。由此，预测运算部692求出关注像素的像素值的预测值、即构成人工高质量图像的像素的像素值，输出给图1的合成部133。

图14表示通过图13的预测抽头抽出部691抽出的预测抽头的抽头结构的示例。此外，预测抽头的抽头结构也可以是图14所示之外的结构。

在图14中，利用13个像素构成预测抽头。即，在图14中，利用从输出相位转换部112提供的HD图像中的、以与关注像素对应的像素p146为中心在纵向上排列的5像素p140、p142、p146、p150、p152、和分别以与对应于关注像素的像素p146左右相邻的像素p145和p147为中心在纵向上排列的3像素p141、p145、p149、p143、p147、p151、以及距与关注像素对应的像素p146在左右离开2像素的p144、p148，构成大致菱形状的预测抽头。

下面，参照图15来说明图10的人工图像预测部132所进行的图2中步骤S5的人工图像预测处理的详细情况。

最初，在步骤S701中，类分类部651进行类分类处理，把作为构成将要求出的人工高质量图像的像素中规定的像素的关注像素，根据与该关注像素对应的HD图像的相位特征分类为类。关于该类分类处理的详细情况将在后面参照图16进行叙述。

在步骤S702中，系数种子存储器652读出系数种子w_n，k，输出给预测系数生成部653。在步骤S703中，预测系数生成部653根据由用户输入的参数h和v，使用包括该参数h和v的式(9)的多项式，从系数种子w_n，k生成预测系数W_n，提供给预测系数存储器555并存储。

在步骤S704中，预测系数存储器654根据通过类分类部651分类后的类，读出该类的预测系数W_n，提供给预测部655的预测运算部692。

在步骤S705中，预测抽头抽出部691根据从输出相位转换部112提供的HD图像，抽出如图14所示那样的、构成在预测关注像素的像素值时使用的HD图像的像素，作为预测抽头，提供给预测运算部692。

在步骤S706中，预测运算部692使用从预测抽头抽出部691提供的预测抽头、和从预测系数存储器654提供的预测系数W_n，进行式(1)所示的预测运算，由此求出构成人工高质量图像的像素的像素值。在步骤S707中，预测运算部692把在步骤S706求出的构成人工高质量图像的像素的像素值输出给图1的合成部133。

在步骤S708中，类分类部651判断是否构成人工高质量图像的所有像素都已成为关注像素，在判断为构成人工高质量图像的所有像素尚未都成为关注像素时，在步骤S709中，类分类部651把构成人工高质量图像的像素中尚未成为关注像素的像素新确定为关注像素，处理返回步骤S701，以后重复相同的处理。

另一方面，在步骤S708中，类分类部651判断为构成人工高质量图像的所有像素都已成为关注像素时，结束人工图像预测处理。

如上所述，人工图像预测部132根据从输出相位转换部112提供的HD图像，预测并输出人工高质量图像。即，人工图像预测部132把HD图像转换为人工高质量图像并输出。

下面，参照图16的流程图，说明图15中步骤S701的类分类处理。

在步骤S721中，类分类部651的类抽头抽出部671(图11)抽出如图12所示那样的、构成在进行关注像素的类分类时使用的HD图像的若干像素作为类抽头，提供给差分算出部672。

在步骤S722中，差分算出部672算出构成从类抽头抽出部671提供的类抽头的像素中的、各个相邻像素的相邻差分绝对值，把各个相邻像素的相邻差分绝对值提供给ADRC处理部673。

在步骤S723中，ADRC处理部673对从差分算出部672提供的相邻差分绝对值进行1比特ADRC处理。ADRC处理部673把其结果得到的比特串确定为类，由此把关注像素分类为类。然后，ADRC处理部673把该类提供给图10的预测系数存储器654。其后，处理返回图15的步骤S701。

图17是表示学习装置811的结构示例的方框图，该学习装置811进行求出保存在图10的系数种子存储器652中的系数种子的学习。

图17的学习装置811由学生图像生成部821、类分类部822、生成部823、系数生成部824、正规方程式生成部825、系数种子确定部826和系数种子存储器827构成。

该学习装置811与保存在上述自然图像预测部131的系数种子存储器553(图3)中的系数种子w_n，k的学习同样地，学习系数种子。即，学习装置811采用相当于预测处理后的目标的人工图像的HD图像作为教师图像，采用相当于进行预测处理前的人工图像的HD图像作为学生图像，对根据用户的指示从外部输入的参数h和v的每种组合及每个类，建立上述式(8)的正规方程式并进行求解，由此求出参数h和v的每种组合及每个类的预测系数W_n即预测系数W_vhn。

然后，利用该预测系数W_vhn求解对每个类生成的上述式(17)的正规方程式，由此生成每个类的系数种子w_n，k并存储。

多个从未图示的数据库读出的教师图像被输入学习装置811，该教师图像被提供给学生图像生成部821和生成部823。另外，参数h和v被输入学习装置811，并被提供给学生图像生成部821和生成部823。

学生图像生成部821例如由低通滤波器等构成，根据参数h和v使从未图示的数据库获取的人工图像即教师图像的质量劣化，由此生成参数h和v的每种组合的学生图像。学生图像生成部821把该学生图像提供给类分类部822和生成部823。

类分类部822的结构与人工图像预测部132的图11中的类分类部651相同。类分类部822把构成教师图像的像素依次作为关注教师像素，对于该关注教师像素，从学生图像抽出类抽头，该类抽头的抽头结构与图11的类抽头抽出部671所抽出的类抽头(图12)相同。

然后，类分类部822算出构成类抽头的像素中的各个相邻像素的相邻差分绝对值，对该相邻差分绝对值进行1比特ADRC处理。类分类部822把该结果得到的比特串确定为关注教师像素的类，提供给生成部823。

生成部823把教师图像和从学生图像生成部821提供的学生图像的对，作为在预测系数的学习中使用的学习对，对从外部输入的参数h和v的每种组合及从类分类部822提供的每个类，建立式(8)所示的正规方程式，把该正规方程式提供给系数生成部824。

系数生成部824通过求解从生成部823提供的参数h和v的每种组合及每个类的正规方程式，对参数h和v的每种组合及每个类求出预测系数W_vhn，并输出给正规方程式生成部825。

正规方程式生成部825根据预测系数W_vhn，对每个类生成式(17)的正规方程式，并输出给系数种子确定部826。系数种子确定部826通过求解正规方程式来求出系数种子w_n，k，保存在系数种子存储器827中。被保存在系数种子存储器827中的系数种子w_n，k被保存在图10的系数种子存储器652中。

图18是表示图17的生成部823的详细结构示例的方框图。

图18的生成部823由预测抽头抽出部831和正规方程式生成部832构成。

提供给生成部823的学习对的学生图像被提供给预测抽头抽出部831，教师图像被提供给正规方程式生成部832。

预测抽头抽出部831把构成学习对的教师图像的像素依次作为关注教师像素，对该关注教师像素，从学习对的学生图像中抽出预测抽头提供给正规方程式生成部832，该预测抽头的结构与图13的预测抽头抽出部691所抽出的预测抽头(图14)相同。

正规方程式生成部832从教师图像抽出关注教师像素，对从外部输入的参数h和v的每个组合及从类分类部822提供的每个类，进行把该关注教师像素、和构成从预测抽头抽出部831提供的关于关注教师像素所构成的预测抽头的学生图像作为对象的累加。

然后，正规方程式生成部832把输入学习装置811的所有教师图像的像素作为关注教师像素，进行上述的累加，由此对各个类建立式(8)所示的正规方程式，把该方程式提供给图17的系数生成部824。

下面，参照图19的流程图，说明图17的学习装置811的学习处理。

最初，在步骤S741中，学生图像生成部821根据从外部所输入的参数h和v，从所输入的教师图像生成学生图像，提供给类分类部822和生成部823。

在步骤S742中，类分类部822进行与图16的类分类处理相同的类分类处理，把作为教师图像中规定的像素的关注教师像素，根据与该关注教师像素对应的学生图像的相位特征分类为类。类分类部822把所确定的类提供给生成部823的正规方程式生成部832(图18)。

在步骤S743中，图18的预测抽头抽出部831关于关注教师像素，从由学生图像生成部821提供的学生图像抽出预测抽头，提供给正规方程式生成部832。

在步骤S744中，正规方程式生成部832从输入的教师图像抽出关注教师像素，对参数h和v的每个组合及从类分类部822提供的每个类，进行把该关注教师像素、和构成从预测抽头抽出部831提供的关于关注教师像素所构成的预测抽头的学生图像作为对象的式(8)的累加。

在步骤S745中，类分类部822判断是否输入的所有教师图像的像素都已成为关注教师像素。在步骤S745中判断为所有教师图像的像素尚未都成为关注教师像素的情况下，在步骤S746中，类分类部822把尚未成为关注教师像素的教师图像的像素新确定为关注教师像素。然后，处理返回步骤S742，以后重复相同的处理。

另一方面，在步骤S745中判断为所有教师图像的像素都已成为关注教师像素的情况下，在步骤S747中，正规方程式生成部832把通过截止到目前的处理得到的参数h和v的每种组合及每个类的式(8)左边的矩阵和右边的矢量，作为正规方程式提供给系数生成部824。

在步骤S748中，系数生成部824求解由从生成部823提供的参数h和v的每种组合、及每个类的式(8)左边的矩阵和右边的矢量构成的正规方程式，求出参数h和v的每种组合及每个类的预测系数W_vhn，输出给正规方程式生成部825。

在步骤S749中，正规方程式生成部825根据预测系数W_vhn，对每个类生成式(17)的正规方程式并输出给系数种子确定部826。在步骤S750中，系数种子确定部826求解每个类的式(17)的正规方程式，求出每个类的系数种子w_n，k。在步骤S751中，系数种子存储器827存储该系数种子w_n，k。该系数种子被存储在图10的系数种子存储器652中。

如上所述，人工图像预测部132使用根据通过使用了人工图像的学习获得的系数种子而生成的预测系数来预测人工高质量图像，所以能够准确地提高从输出相位转换部112提供的HD图像中的人工图像的质量。

另外，人工图像预测部132把类抽头的边缘位置作为相位特征，根据该特征将关注像素分类为类，所以能够准确地分类灰度等级少且相位信息清晰的人工图像的关注像素。其结果，人工图像预测部132可以使用对每个类根据通过学习获得的系数种子生成的预测系数，根据HD图像预测人工高质量图像，由此更加准确地去除人工图像中包含的噪声等，输出质量更高的人工高质量图像。

下面，参照图20说明自然图像人工图像判断部114的详细结构示例。自然图像人工图像判断部114由广域特征量抽出部911、广域人工图像度算出部912、人工图像度生成部913、狭域特征量抽出部914、以及狭域人工图像度算出部915构成。

广域特征量抽出部911由BEP(Broad Edge Parameter：广域边缘参数)抽出部931、BFP(Broad Flat Parameter：广域平坦部参数)抽出部932和特征量合成部933构成，从由输出相位转换部112提供的HD图像的各个像素抽出广域特征量，提供给广域人工图像度算出部912。

BEP抽出部931关于由输出相位转换部112提供的HD图像的各个像素，抽出根据与关注像素对应而设定的参照区域的像素的像素值的动态范围而得到的值，作为构成广域特征量的特征量BEP，提供给BFP抽出部932和特征量合成部933。此外，关于BEP抽出部931的详细结构示例，将在后面参照图21进行叙述。另外，以后，关于参照区域的像素和特征量BEP，也简称为参照像素和BEP。进而，在以后的说明中，所说关注像素是由输出相位转换部112提供的HD图像的像素，是成为自然图像人工图像判断部114的处理对象的像素。

BFP抽出部932关于由输出相位转换部112提供的HD图像的各个像素，抽出与关注像素对应而设定的参照像素的相邻像素间的像素值的差分绝对值和根据BEP而得到的值，作为构成广域特征量的特征量BFP，提供给特征量合成部933。此外，关于BFP抽出部932的详细结构示例，将在后面参照图22进行叙述。另外，以后关于特征量BFP，也简称为BFP。

特征量合成部933合成由BEP抽出部931提供的BEP和由BFP抽出部932提供的BFP，生成广域特征量并提供给广域人工图像度算出部912。即，广域特征量由上述的BEP和BFP这两种特征量构成，是表示关注像素所属的广范围的图像的特征的特征量。

广域人工图像度算出部912由特征量分离部951、广域边界线比较部952、广域边界线存储器953和内分点计算部954构成，根据由广域特征量抽出部911提供的广域特征量，算出广域人工图像度Art_b，提供给人工图像度生成部913。

特征量分离部951将构成由广域特征量抽出部911提供的广域特征量的特征量分离，分别提供给广域边界线比较部952。即，在该示例中，广域特征量是BEP和BFP，所以特征量分离部951分别将BEP和BFP分离，并提供给广域边界线比较部952。

广域边界线比较部952根据由特征量分离部951提供的两种特征量的值，与广域边界线比较，将比较结果提供给内分计算部954，该广域边界线预先通过多个人工图像和自然图像统计地求出，存储在广域边界线存储器953中，表示属于人工图像或自然图像哪一方。

内分计算部954根据由广域边界线比较部952提供的比较结果，计算与广域特征量对应的广域人工图像度Art_b，提供给人工图像度生成部913。

狭域特征量抽出部914由PNDP(Primary NarrowDiscrimination Parameter：第一狭域辨别参数)抽出部971、SNDP(Secondary Narrow Discrimination Parameter：第二狭域辨别参数)抽出部972和特征量合成部973构成，从由输出相位转换部112提供的HD图像的各个像素抽出狭域特征量，提供给狭域人工图像度算出部915。

PNDP抽出部971关于由输出相位转换部112提供的HD图像的各个像素，抽出根据与关注像素对应而设定的参照区域中包含的长抽头区域的像素的像素值的动态范围而得到的值，作为构成狭域特征量的特征量PNDP，提供给SNDP抽出部972和特征量合成部973。此外，关于PNDP抽出部971的详细结构示例，将在后面参照图23进行叙述。另外，以后，将特征量PNDP简称为PNDP。

SNDP抽出部972关于由输出相位转换部112提供的HD图像的各个像素，抽出根据与关注像素对应而设定的参照区域中包含的长抽头区域内包括的短抽头区域的像素的像素值的动态范围和PNDP而得到的特征量SNDP，作为构成狭域特征量的特征量，提供给特征量合成部973。此外，关于SNDP抽出部972的详细结构示例，将在后面参照图24进行叙述。另外，以后，将特征量SNDP简称为SNDP。

特征量合成部973合成由PNDP抽出部971提供的PNDP和由SNDP抽出部972提供的SNDP，生成狭域特征量并提供给狭域人工图像度算出部915。即，狭域特征量是由上述的PNDP和SNDP这两种特征量构成的特征量，是表示关注像素所属的狭范围的图像的特征的特征量。

狭域人工图像度算出部915由特征量分离部991、狭域边界线比较部992、狭域边界线存储器993和内分点计算部994构成，根据由狭域特征量抽出部914提供的狭域特征量，算出狭域人工图像度Art_n，提供给人工图像度生成部913。

特征量分离部991将构成由狭域特征量抽出部914提供的狭域特征量的特征量分离，分别提供给狭域边界线比较部992。即，在该示例中，狭域特征量是PNDP和SNDP，因此特征量分离部991分别将PNDP和SNDP分离提供给狭域边界线比较部992。

狭域边界线比较部992根据由特征量分离部991提供的两种特征量的值，与狭域边界线进行比较，将比较结果提供给内分计算部994，该狭域边界线预先通过多个人工图像和自然图像统计地求出，存储在狭域边界线存储器993中，表示属于人工图像或自然图像哪一方。

内分计算部994根据由狭域边界线比较部992提供的比较结果，计算与狭域特征量对应的狭域人工图像度Art_n，提供给人工图像度生成部913。

人工图像度生成部913将由广域人工图像度算出部912提供的广域人工图像度Art_b、和由狭域人工图像度算出部915提供的狭域人工图像度Art_n合成，生成人工图像度Art输出给图像处理部113。

下面，参照图21说明BEP抽出部931的详细结构示例。

图21的BEP抽出部931由缓冲器1011、参照像素抽出部1012、权重计算部1013、像素间差分计算部1014、乘法部1015、存储部1016、最大值最小值抽出部1017和BEP计算部1018构成。

缓冲器1011临时存储由输出相位转换部112提供的HD图像，根据需要依次提供给参照像素抽出部1012。参照像素抽出部1012依次对每个关注像素读出参照像素，提供给权重计算部1013和像素间差分计算部1014。此处，所说参照像素指与关注像素对应而设定的规定区域内的像素，例如指以关注像素为中心的n像素×n像素范围内的所有像素。此外，关于参照像素，只要是与关注像素对应而设定的多个像素即可，因此当然也可以是其他数量或配置的像素。

权重计算部1013对由参照像素抽出部1012提供的每个参照像素，计算与关注像素的距离对应的权重，提供给乘法部1015。像素间差分计算部1014对由参照像素抽出部1012提供的每个参照像素求出与关注像素的差分值，提供给乘法部1015。乘法部1015将由权重计算部1013提供的权重、和由像素间差分计算部1014提供的关注像素与参照像素间的差分值相乘，存储在存储部1016中。

当将存储部1016中存储的所有参照像素与关注像素间的差分值、和与对应的参照像素和关注像素间的距离相对应的权重相乘后的值全部存储时，最大值最小值抽出部1017从中抽出最大值和最小值，提供给BEP计算部1018。BEP计算部1018对根据由最大值最小值抽出部1017提供的参照像素和关注像素间的差分值、即参照像素和关注像素间的差分求出的差分动态范围，乘以与对应的参照像素和关注像素的距离相对应的权重，把所得值的差分值作为关注像素的BEP输出。此外，也可以把向差分动态范围乘以权重得到的值称为与距关注像素的距离对应的动态范围、或简称为差分动态范围。

下面，参照图22说明B FP抽出部932的详细结构示例。

图22的BFP抽出部932由缓冲器1031、参照像素抽出部1032。相邻像素间差分计算部1033、函数转换部1034、权重计算部1035、乘法部1036、存储部1037和BFP计算部1038构成。

缓冲器1031临时存储由输出相位转换部112提供的HD图像，根据需要依次提供给参照像素抽出部1032。参照像素抽出部1032依次对每个关注像素读出参照像素，提供给相邻像素间差分计算部1033和权重计算部1035。

相邻像素间差分计算部1033关于由参照像素抽出部1032提供的所有参照像素，将相邻像素间的差分绝对值提供给函数转换部1034。函数转换部1034根据由BEP抽出部931提供的BEP设定转换函数，并且利用所设定的转换函数转换由相邻像素间差分计算部1033提供的相邻像素间差分绝对值，提供给乘法部1036。

权重计算部1035对由参照像素抽出部1032提供的参照像素的像素间的每个位置，计算与距关注像素的距离对应的权重，提供给乘法部1036。乘法部1036将由权重计算部1035提供的权重、和由函数转换部1034提供的函数转换后的相邻像素间差分绝对值相乘，存储在存储部1037中。

BFP计算部1038将存储在存储部1037中的相乘结果累加，作为关注像素的BFP输出。

下面，参照图23说明PNDP抽出部971的详细结构示例。

图23的PNDP抽出部971由缓冲器1051、参照像素抽出部1052、长抽头抽出部1053、像素值抽出部1054、最大值最小值抽出部1055和PNDP计算部1056构成。

缓冲器1051临时存储由输出相位转换部112提供的HD图像，根据需要依次提供给参照像素抽出部1052。参照像素抽出部1052依次对每个关注像素读出参照像素，提供给长抽头抽出部1053。

长抽头抽出部1053从参照像素中包含于参照像素区域中的、即与参照像素的区域相同或比其小的区域抽出像素，提供给像素值存储部1054。另外，长抽头抽出部1053也把长抽头的信息提供给SNDP抽出部972的短抽头抽出部1073。而且，长抽头抽出部1053在所有关于长抽头的抽出结束后的阶段，将该情况通知最大值最小值抽出部1055。

最大值最小值抽出部1055抽出存储在像素值存储部1054中的长抽头的所有像素值中的最大值和最小值，提供给PNDP计算部1056。

PNDP计算部1056根据由最大值最小值抽出部1055提供的像素值的最大值和最小值的差分值，求出参照像素的像素值动态范围，作为关注像素的PNDP输出。此处，所说像素值动态范围指从规定区域中包含的所有像素值的最大值减去最小值后的值。

下面，参照图24说明SNDP抽出部972的详细结构示例。

图24的SNDP抽出部972由缓冲器1071、参照像素抽出部1072、短抽头抽出部1073、像素值存储部1074、最大值最小值抽出部1075、DR计算部1076、DR存储部1077和SNDP选择部1078构成。

缓冲器1071临时存储由输出相位转换部112提供的HD图像，根据需要依次提供给参照像素抽出部1072。参照像素抽出部1072依次对每个关注像素读出参照像素，提供给短抽头抽出部1073。

短抽头抽出部1073根据由长抽头抽出部1053提供的长抽头的信息，从包括关注像素的区域、即与包含长抽头的区域相同或者比其小的多个区域抽出像素，提供给像素值存储部1074。即，有时关于一个长抽头，短抽头可设定多个类型。另外，短抽头抽出部1073关于多个短抽头，在关于所有类型抽出结束后的阶段，将该情况通知SNDP选择部1078。

最大值最小值抽出部1075抽出存储在像素值存储部1074中的包含短抽头的所有像素值中的最大值和最小值，提供给DR计算部1076。

DR计算部1076根据由最大值最小值抽出部1075提供的包含短抽头的所有像素值中最大值和最小值的差分，求出像素值动态范围，存储在DR存储部1077中。

SNDP选择部1078在由短抽头抽出部1073通知对所有图形的短抽头抽出结束后，从存储在DR存储部1077中的、对所有图形的每个短抽头求出的像素值动态范围，选择最小值，作为SNDP输出。

下面，参照图25的流程图说明自然图像人工图像判断处理。

在步骤S831中，广域特征量抽出部911的BEP抽出部931执行BEP抽出处理，从由输出相位转换部112提供的HD图像对每个像素抽出BEP，提供给特征量合成部933。

在此，参照图26的流程图说明图21的BEP抽出部931的BEP抽出处理。

在步骤S851中，缓冲器1011临时存储由输出相位转换部112提供的HD图像。

在步骤S852中，参照像素抽出部1012通过缓冲器1011将未处理的像素设定为关注像素，并且在步骤S853中，读出与关注像素对应而设定的参照像素，提供给权重计算部1013和像素间差分计算部1014。此处，所说参照像素指例如与关注像素对应而设定的规定区域内的像素，例如，如图27所示，以关注像素为中心的n像素×n像素范围内的所有像素。

此外，在图27中，以图像中的参照区域R内的黑圆的关注像素Q(0，0)为中心的x方向和y方向的二维空间坐标上的白圆，表示参照像素Q(i，j)，以关注像素Q(0，0)为中心的n个×n个由虚线包围的范围内的像素，表示参照像素Q(i，j)(-(n-1)/2≤i≤(n-1)/2、-(n-1)/2≤j≤(n-1)/2：i、j为整数)。

在步骤S 854中，像素间差分计算部1014计算关注像素和未处理的参照像素的像素间的像素值的差分值，提供给乘法部1015。即，在图27中，像素间差分计算部1014计算(Q(0，0)-Q(i，j))，作为像素间差分值提供给乘法部1015。此外，像素间差分值中的Q(0，0)、Q(i，j)分别是关注像素Q(0，0)和参照像素Q(i，j)的像素值。

在步骤S855中，权重计算部1013计算与关注像素和未处理的参照像素间的距离对应的权重，把计算结果即权重提供给乘法部1015。更具体地讲，例如，在已求出像素间差分值的参照像素是参照像素Q(i，j)的情况下，权重计算部1013使用坐标的参数，例如计算w_d＝a/(i²+j²)(a：常数)来作为权重。此外，权重w_d只要是能够求出距离越近则越大、距离越远则越小的值即可，所以也可以利用上述方法之外的方法计算，例如也可以是权重w_d＝a/√(i²+j²)(a：常数)等。

在步骤S856中，乘法部1015将由像素间差分计算部1014提供的像素间差分值和由权重计算部1013提供的权重相乘，存储在存储部1016中。即，在图27的情况下，乘法部1015将由像素间差分计算部1014提供的像素间差分值(Q(0，0)-Q(i，j))和由权重计算部1013提供的权重w_d相乘，把w_d×(Q(0，0)-Q(i，j))作为相乘结果存储在存储部1016中。

在步骤S857中，像素间差分计算部1014判断未处理的参照像素是否存在，在未处理的参照像素存在时，该处理返回步骤S854。即，关于所有参照像素重复步骤S854～S857的处理。

然后，在步骤S857中，在判断没有未处理的参照像素，即，已对所有参照像素求出与关注像素的差分值，并设定与距离相应的加权w_d，而且将它们相乘并存储在存储部1016中的情况下，在步骤S858中，像素间差分计算部1014通知最大值最小值抽出部1017对所有参照像素处理都已结束。最大值最小值抽出部1017抽出存储在存储部1016中的相乘结果中作为最大值的值和作为最小值的值，提供给BEP计算部1018。

在步骤S859中，BEP计算部1018计算从由最大值最小值抽出部1017提供的相乘结果的最大值减去最小值后得到的值、即参照像素的差分动态范围，作为对关注像素的BEP，提供给BFP抽出部932和特征量合成部933。

在步骤S860中，参照像素抽出部1012判断关于存储在缓冲器1011中的图像的所有像素是否都已求出BEP。在步骤S860中没有对图像的所有像素求出BEP的情况下，处理返回步骤S852。即，重复步骤S852～S860的处理，直到对存储在缓冲器1011中的图像的所有像素求出BEP。然后，在步骤S860判断为已对图像内的所有像素求出了BEP的情况下，BEP抽出处理结束。

通过以上处理，作为BEP，能够求出表现图像中的广域边缘的特征量即BEP。即，BEP表现针对关注像素的参照像素内的差分动态范围，在关注像素所属的广域区域存在边缘的情况下成为较大的值，相反不存在边缘的情况下取较小的值。

在此，返回图25的流程图的说明。

通过步骤S831的BEP抽出处理，从图像抽出BEP后，在步骤S832中，广域特征量抽出部911的BFP抽出部932执行BFP抽出处理，对每个像素从由输出相位转换部112提供的HD图像抽出BFP，提供给特征量合成部933。

在此，参照图28的流程图说明图22的BFP抽出部932的BFP抽出处理。

在步骤S871中，缓冲器1031临时存储由输出相位转换部112提供的HD图像。

在步骤S872中，参照像素抽出部1032通过缓冲器1011将未处理的像素设定为关注像素，并且在步骤S873中，读出与关注像素对应而设定的参照像素，提供给相邻像素间差分计算部1033和权重计算部1035。

在步骤S874中，像素间差分计算部1033计算未处理参照像素间(包括关注像素)的像素值的差分绝对值，提供给函数转换部1034。即，在图29中，像素间差分计算部1033例如计算e＝|Q(i+1，j)-Q(i，j)|，作为相邻像素间差分绝对值e提供给函数转换部1034。此外，像素间差分绝对值中的Q(i+1，j)、Q(i，j)分别是参照像素Q(i+1，j)、Q(i，j)的像素值。另外，图29中的黑圆表示关注像素Q(0，0)。

而且，参照像素的相邻像素间差分绝对值e是以图29中的圆表示的各个像素与在x方向和y方向相邻的像素之间的像素值的差分绝对值。因此，参照像素Q(i，j)的相邻像素间差分绝对值e被设定为|Q(i+1，j)-Q(i，j)|、|Q(i，j+1)-Q(i，j)|、|Q(i-1，j)-Q(i，j)|、|Q(i，j-1)-Q(i，j)|这四种相邻像素间差分绝对值。其中，关于参照像素所设定的区域的边缘部的像素，在xy方向的正方向或负方向某一方向不与参照像素相邻，所以被设定三种相邻像素间差分绝对值。另外，关于参照像素中位于参照像素所设定的区域的四个角部位置的参照像素，在xy方向的正方向或负方向某两个方向不与参照像素相邻，所以设定两种相邻像素间差分绝对值。结果，在以关注像素为中心设定n像素×n像素的参照像素的情况下，将设定2n(n-1)个像素间差分绝对值。

在步骤S875中，函数转换部1034根据利用由BEP抽出部931提供的BEP设定的函数f，转换由相邻像素间差分计算部1033提供的相邻像素间差分绝对值e，并提供给乘法部1036。更加具体地讲，函数转换部1034根据利用由BEP抽出部931提供的BEP设定的下式(18)，转换值，把转换后的值输出给乘法部1036。

$f\left(e\right)=\left\{\begin{array}{ccc}1& \mathrm{if}& \mathrm{th}\&GreaterEqual;e\\ 0& \mathrm{if}& \mathrm{th}<e\end{array}\right.$

th＝BEP/b        …(18)

在式(18)中示出了，在相邻像素间差分绝对值e大于阈值th＝BEP/b的情况下，向乘法部1036输出0，在相邻像素间差分绝对值e小于等于阈值th＝BEP/b的情况下，向乘法部1036输出1。此外，此处b是常数。另外，计算阈值th时使用的BEP是关注像素的BEP。而且，阈值th只要能够利用BEP的趋势即可，所以也可以是使用了阈值th＝BEP/b之外的BEP的阈值，例如可以利用阈值th＝(√BEP)/b或阈值th＝(BEP)²/b等。

在步骤S876中，权重计算部1035计算与关注像素和计算了相邻像素间差分绝对值e后的像素间的中央位置之间的距离对应的权重，把作为计算结果的权重w_e提供给乘法部1036。更加具体地讲，例如，在已求出相邻像素间差分绝对值的参照像素是参照像素Q(i，j)、Q(i+1，j)的情况下，权重计算部1013使用坐标的参数，例如计算w_e＝a/((i+1/2)²+j²)(a：常数)来作为权重。此外，权重w_e只要能够求出取决于距离的值即可，所以也可以利用上述方法之外的方法计算，例如也可以是权重w_e＝a/√((i+1/2)²+j²)(a：常数)等。

在步骤S877中，乘法部1036将由函数转换部1034提供的相邻像素间差分绝对值e、和由权重计算部1035提供的权重w_e相乘，在步骤S878中，存储在存储部1037中。即，在图29的情况下，乘法部1036将由函数转换部1034提供的转换结果即1或0、和由权重计算部1035提供的权重w_e相乘，把w_e或0作为相乘结果存储在存储部1036中。

在步骤S879中，相邻像素间差分计算部1033判断是否存在未处理的参照像素，即，判断是否存在尽管设定了相邻像素间差分绝对值e但尚未求出该值的像素，在存在的情况下，该处理返回步骤S874。此时，关于所有的相邻像素间差分绝对值e重复步骤S874～S879的处理。即，如上所述，如图29所示，在参照像素被设定为n像素×n像素的情况下，要求出2n(n-1)个相邻像素间差分绝对值，所以步骤S874～S879的处理将重复2n(n-1)次。

然后，在步骤S879中判断为没有未处理的参照像素，即，所有相邻像素间差分绝对值都已求出并进行了函数转换，并且设定了与距离相应的权重，将它们相乘并存储在存储部1037中的情况下，在步骤S880中，相邻像素间差分计算部1033通知BFP计算部1038对所有的参照像素处理已结束。BFP计算部1038求出存储在存储部1037中的相乘结果的总和，作为BFP输出。

在步骤S881中，参照像素抽出部1032判断关于存储在缓冲器1011中的图像的所有像素是否都已求出BFP。在步骤S881中尚未对图像的所有像素求出BFP的情况下，处理返回步骤S872。即，重复步骤S872～S881的处理，直到对存储在缓冲器1031中的图像的所有像素求出BFP。然后，在步骤S881判断为已对图像内的所有像素求出BFP的情况下，BFP抽出处理结束。

通过以上处理，能够求出BFP，作为表现图像中的广域平坦部的特征量。即，BFP在假设权重w_e不是与距离对应的权重而全部是1的情况下，BFP成为计数了参照像素中小于阈值th的相邻像素间差分绝对值的个数的值。结果，BFP在关注像素所属广域范围平坦的情况下，其值变大，相反在存在许多边缘等而不平坦的情况下，其值变小。

另外，在以上说明中，在求出相邻像素间差分绝对值时，说明了求出参照像素的所有相邻像素间的差分绝对值的示例，但是，只要能够抽出相邻像素间的像素值的关系明确的值即可，所以也可以利用其他方法求出相邻像素间差分绝对值，例如，既可以求出图29中在x方向或y方向的任一方向相邻的像素间的像素值的差分绝对值，也可以关于各个参照像素，利用与在上下方向相邻的各个像素的相邻像素间差分绝对值的和、与在左右相邻的各个像素的相邻像素间差分绝对值的和、或者与在上下左右方向相邻的各个像素的相邻像素间的像素值的和等，作为相邻像素间差分绝对值。另外，在以后的说明中有求出相邻像素间差分绝对值的处理，同样可以使用上述的各种形式。

并且，上述的函数转换部1034利用由式(18)所示的函数转换相邻像素间差分绝对值e并输出，但是，转换函数也可以不采用式(18)所示的函数，也可以例如，如图30所示，作为趋势转换为可以突出相邻像素间差分绝对值的大小差异的值，结果，可以获得与使用由式(18)所示的函数的情况下相同的效果。

另外，转换函数f可以采用例如图30所示函数的理由如上所述，但也可以与BEP相对应，例如在相邻像素间差分绝对值e大于等于阈值th1＝BEP/b1的情况下，设定为f(e)＝A(A为常数)，在相邻像素间差分绝对值e小于等于阈值th2＝BEP/b2的情况下，设定为f(e)＝B(B为常数)，而且，在相邻像素间差分绝对值e大于阈值th2＝BEP/b2小于阈值th1＝BEP/b1的情况下，设定为f(e)＝(B-A)·(e-th1)/(th2-th1)+A。并且，由于th1、th2可以利用BEP的趋势，所以例如也可以采用阈值th1＝(BEP)²/b1、th2＝(BEP)²/b2、或者阈值th1＝(√BEP)/b1、th2＝(√BEP)/b2等。

在此，返回图25的流程图进行说明。

通过步骤S832的处理，求出BFP后，在步骤S833，特征量合成部933合成由BEP抽出部931提供的BEP和由BFP抽出部932提供的BFP，作为广域特征量提供给广域人工图像度算出部912。

在步骤S834，广域人工图像度算出部912根据由广域特征量抽出部911提供的广域特征量，执行广域人工图像度算出处理，计算广域人工图像度Art_b，提供给人工图像度生成部913。

在此，参照图31的流程图，说明图20的广域人工图像度算出部912的广域人工图像度计算处理。

在步骤S891，特征量分离部951获取由广域特征量抽出部911提供的广域特征量，并且分离BEP和BFP，将它们提供给广域边界线比较部952。

在步骤S892，广域边界线比较部952从广域边界线存储器953读出广域边界线的信息。

在步骤S893，广域边界线比较部952把未处理的像素作为关注像素，抽出该关注像素的BEP和BFP，并绘制在BEP-BFP的二维平面上，并且比较与所读出的广域边界线的位置关系。

此处，广域边界线指根据通过在由BEP轴和BFP轴构成的二维空间上作为(BEP、BFP)绘制从多个人工图像和自然图像抽出的BEP和BFP而得到的统计上的分布所生成的边界线。广域边界线包括广域人工图像边界线和广域自然图像边界线这两种边界线。其中，广域人工图像边界线指仅绘制了人工图像的广域特征量的区域、和混合绘制了人工图像和自然图像的广域特征量的区域的边界线。并且，广域自然图像边界线指仅绘制了自然图像的广域特征量的区域、和混合绘制了人工图像和自然图像的广域特征量的区域的边界线。因此，由BEP轴和BFP轴构成的区域如图32所示，由广域人工图像边界线和广域自然图像边界线被分割为广域人工图像区域、广域自然图像区域、和人工图像与自然图像的广域混合区域这三种区域。在此，在图32中，广域人工图像边界线是图中的曲线L1，广域自然图像边界线是图中的曲线L2。另外，以下关于曲线L1、L2，也适当地称为广域人工图像边界线L1和广域自然图像边界线L2。并且，在图32中，广域人工图像边界线L1上部的区域是广域人工图像区域，广域人工图像边界线L1和广域自然图像边界线L2之间的区域是广域混合区域，广域自然图像边界线L2下部的区域是广域自然图像区域。

在步骤S894，广域边界线比较部952判断绘制了关注像素的BEP和BFP的位置是否是广域人工图像区域。例如，在绘制了关注像素的BEP和BFP的位置是图32中的位置B1的情况下，在步骤S895，广域边界线比较部952通知内分计算部954该像素属于广域人工图像区域。

在步骤S896，内分计算部954从广域边界线比较部952获取关注像素的广域特征量属于广域人工图像区域的通知后，把广域人工图像度Art_b设为1，提供给人工图像度生成部913，该处理转入步骤S902。

在步骤S894，例如绘制了关注像素的BEP和BFP的位置不是图32中的位置B1，而是位置B2或B3时，广域边界线比较部952视为该像素不属于广域人工图像区域，处理转入步骤S897。

在步骤S897，广域边界线比较部952判断绘制了关注像素的BEP和BFP的位置是否是广域自然图像区域。例如，在绘制了关注像素的BEP和BFP的位置是图32中的位置B3时，在步骤S898，广域边界线比较部952通知内分计算部954该像素属于广域自然图像区域。

在步骤S899，内分计算部954从广域边界线比较部952获取关注像素的广域特征量属于广域自然图像区域的通知后，把广域人工图像度Art_b设为0，提供给人工图像度生成部913，该处理转入步骤S902。

在步骤S897，例如绘制了关注像素的BEP和BFP的位置不是图32中的位置B3，而是位置B2时，广域边界线比较部952视为该像素既不属于广域人工图像区域也不属于广域自然图像区域，处理转入步骤S900。

在步骤S900，广域边界线比较部952视为该像素属于广域混合区域，并将广域人工图像边界线L 1和广域自然图像边界线L2的内分比率通知内分计算部954。即，在图32的情况下，位置B2距广域人工图像边界线L1的距离∶距广域自然图像边界线L2的距离的比率为1-q∶q，将该信息通知内分计算部954。

在步骤S901，内分计算部954从广域边界线比较部952获取关注像素的广域特征量属于广域混合区域以及内分比率的通知，把内分比率q作为广域人工图像度Art_b提供给人工图像度生成部913，该处理转入步骤S902。

在步骤S902，广域边界线比较部952判断是否存在未处理的像素，判断是否已比较未处理的像素即广域特征量属于广域人工图像区域、广域自然图像区域或者广域混合区域任一方并求出广域人工图像度，在判断为没有关于全部像素求出广域人工图像度的情况下，处理返回步骤S893。

另一方面，在关于全部像素求出了广域人工图像度Art_b的情况下，处理结束。

通过以上处理，关于全部像素读出由BEP和BFP构成的广域特征量，通过比较根据绘制在BEP-BFP空间上的多个人工图像和自然图像的分布统计求出的广域人工图像边界线和广域自然图像边界线，由此根据BEP-BFP空间上的绘制位置(BEP、BFP)与广域人工图像边界线和广域自然图像边界线的位置关系，计算广域人工图像度Art_b。另外，以上说明了当存在于广域混合区域中时，将内分比率q设定为广域人工图像度Art_b的示例，但是内分比只要是能够反映趋势的值即可，所以作为广域人工图像度，例如也可以是q²或√q等。

在此，返回图25的流程图进行说明。

在步骤S835，狭域特征量抽出部914的PNDP抽出部971执行PNDP抽出处理，对每个像素从由输出相位转换部112提供的HD图像抽出PNDP，提供给特征量合成部973。

在此，参照图33的流程图，说明图23的PNDP抽出部971的PNDP抽出处理。

在步骤S911，缓冲器1051临时存储由输出相位转换部112提供的HD图像。

在步骤S912，参照像素抽出部1052通过缓冲器1051将未处理的像素设定为关注像素，并且在步骤S913，读出对应于关注像素而设定的参照像素，提供给长抽头抽出部1053。

在步骤S914，长抽头抽出部1053从参照像素抽出长抽头，并且在步骤S915，将长抽头的像素值存储在像素值存储部1054中，还提供给SNDP抽出部972。在此，长抽头指例如包含于参照像素中的、与关注像素相对应而设定的规定区域内的像素，例如，是如图34所示，以关注像素为中心的m像素×m像素的像素。另外，在图34中，n像素×n像素(n＞m)的范围表示参照像素的范围。并且，在图34中，以图像内的黑圆的关注像素P(0、0)为中心的x方向和y方向的二维空间坐标上的白圆，表示长抽头P(i、j)，以关注像素P(0、0)为中心的m个×m个利用虚线包围的范围内的像素，表示长抽头P(i、j)(-(m-1)/2≤i≤(m-1)/2、-(m-1)/2≤j≤(m-1)/2：i、j为整数)。

在步骤S 916，像素值抽出部1054判断是否存在未处理的长抽头，在存在未处理的长抽头时，该处理返回步骤S915。即，关于所有长抽头重复步骤S915、S916的处理。

并且，在步骤S916，在判断为没有未处理的长抽头，即，已对所有长抽头抽出像素值并全部存储在像素值存储部1054中的情况下，在步骤S917，像素值抽出部1054通知最大值最小值抽出部1055对所有长抽头的处理已结束。接收到该通知，最大值最小值抽出部1055抽出存储在像素值存储部1054中的像素值中作为最大值的值和作为最小值的值，提供给PNDP计算部1056。

在步骤S918，PNDP计算部1056计算从由最大值最小值抽出部1055提供的最大值减去最小值后的值、即长抽头的像素值动态范围，作为针对关注像素的PNDP，提供给特征量合成部973。

在步骤S919，参照像素抽出部1052判断是否关于存储在缓冲器1051中的图像的所有像素已求出PNDP。在步骤S919中，在没有对图像的所有像素求出PNDP时，处理返回步骤S912。即，重复步骤S912～S919的处理，直到对存储在缓冲器1051中的图像的所有像素求出PNDP。并且，在步骤S919中，在判断为已对图像内的所有像素求出PNDP时，结束PNDP抽出处理。

通过以上处理，求出表现图像中的狭域边缘的特征量即PNDP。即，PNDP表现对关注像素的长抽头内的像素值动态范围，在关注像素所属的狭域区域中存在边缘时其值大，相反不存在边缘时其值小。

在此，返回图25的流程图进行说明。

通过步骤S835的PNDP抽出处理，从图像抽出PNDP后，在步骤S836，狭域特征量抽出部914的SNDP抽出部972执行SNDP抽出处理，对每个像素从由输出相位转换部112提供的HD图像抽出SNDP，提供给特征量合成部973。

在此，参照图35的流程图，说明图24的SNDP抽出部972的SNDP抽出处理。

在步骤S941，缓冲器1071临时存储由输出相位转换部112提供的HD图像。

在步骤S942，参照像素抽出部1072通过缓冲器1071将未处理的像素设定为关注像素，并且在步骤S943，读出对应于关注像素而设定的参照像素，提供给短抽头抽出部1073。

在步骤S944，短抽头抽出部1073根据参照像素和由PNDP抽出部971提供的长抽头的信息，从参照像素抽出短抽头组。在此，短抽头指例如包含于长抽头中的、包括关注像素的多个像素，例如是参照像素中包含于长抽头中的、与关注像素相对应而设定的规定区域内的像素，例如，可以是如图36的类型A所示，是由以关注像素为中心包括在水平方向和垂直方向相邻的4像素在内的5像素构成的短抽头ST1，或如类型B所示，是把关注像素作为右下角由水平方向和垂直方向的3像素×3像素的9像素构成的短抽头ST2，或如类型C所示，是把关注像素作为左上角由水平方向和垂直方向的3像素×3像素的9像素构成的短抽头ST3，或如类型D所示，是把关注像素作为左下角由水平方向和垂直方向的3像素×3像素的9像素构成的短抽头ST4，或如类型E所示，是把关注像素作为右上角由水平方向和垂直方向的3像素×3像素的9像素构成的短抽头ST5等。并且，把多个类型的短抽头称为短抽头组。因此，在图36中的短抽头ST1～ST5被用作短抽头时，可以说是构成了包括五种类型的短抽头的短抽头组。另外，在图36中，圆圈表示像素，其中的黑圆表示关注像素，此外用实线包围的范围内的像素表示构成短抽头的像素。

在步骤S945，短抽头抽出部1073抽出未处理的一个短抽头的像素值，存储在像素值存储部1074中，

在步骤S946，短抽头抽出部1073判断是否存在未处理的短抽头，在存在未处理的短抽头时，该处理返回步骤S945。即，关于一个短抽头中包含的所有像素，重复步骤S945、S946的处理。

并且，在步骤S946，在判断为没有未处理的短抽头、即，一个短抽头的所有像素值已全部存储在像素值存储部1074中的情况下，在步骤S947，像素值抽出部1074通知最大值最小值抽出部1075存储一个短抽头的所有像素的处理已结束。最大值最小值抽出部1075抽出存储在像素值存储部1074中的一个短抽头的像素值中作为最大值的值和作为最小值的值，提供给DR计算部1076。

在步骤S948，DR计算部1076计算从由最大值最小值抽出部1075提供的最大值减去最小值后的值、即一个短抽头的像素值动态范围，作为对于关注像素的像素值DR(像素值动态范围)，在步骤S949，存储在DR存储部1077中。

在步骤S950，短抽头抽出部1073判断是否存在未处理的短抽头组，在判断为存在时，该处理返回步骤S944。即，重复步骤S944～S950的处理，直到判断为已对所有短抽头组求出了DR。因此，例如短抽头组是图36所示的五种类型时，步骤S944～S950的处理将被重复5次。

并且，在步骤S950，在所有短抽头组的处理已结束、即已对所有短抽头求出了DR时，在步骤S951，短抽头抽出部1073将该情况通知SNDP选择部1078。另外，SNDP选择部1078比较存储在DR存储部1077中的各个短抽头组的DR，选择最小的DR作为SNDP提供给特征量合成部973。

在步骤S952，参照像素抽出部1072判断是否已关于存储在缓冲器1071中的图像的所有像素求出了SNDP。在步骤S952中，在没有对图像的所有像素求出SNDP时，处理返回步骤S942。即，重复步骤S942～S952的处理，直到对存储在缓冲器1071中的图像的所有像素求出SNDP。并且，在步骤S952中判断为已对图像内的所有像素求出了SNDP时，SNDP抽出处理结束。

通过以上处理，求出表现图像中的各个像素所属的狭域的平坦部的程度的特征量即SNDP。即，SNDP表现根据对关注像素的长抽头内的多个短抽头的像素值动态范围中的最小值，在长抽头内用短抽头表现的区域中最平坦的区域的平坦程度，所以在关注像素所属的狭域区域中包含的平坦部越平坦时值越小，越不平坦时值越大。

在此，返回图25的流程图进行说明。

通过步骤S836的处理求出SNDP后，在步骤S837，特征量合成部973合成由PNDP抽出部971提供的PNDP和由SNDP抽出部972提供的SNDP，作为狭域特征量提供给狭域人工图像度算出部915。

在步骤S838，狭域人工图像度算出部915根据由狭域特征量抽出部914提供的狭域特征量，执行狭域人工图像度算出处理，计算狭域人工图像度Art_n，提供给人工图像度生成部913。

在此，参照图37的流程图，说明图20的狭域人工图像度算出部915的狭域人工图像度算出处理。

在步骤S971，特征量分离部991获取由狭域特征量抽出部914提供的狭域特征量，并且分离PNDP和SNDP，将它们提供给狭域边界线比较部992。

在步骤S972，狭域边界线比较部992从狭域边界线存储器993读出狭域边界线的信息。

在步骤S973，狭域边界线比较部992把未处理的像素作为关注像素，抽出该关注像素的PNDP和SNDP，并绘制在PNDP-SNDP的二维平面上，并且比较与所读出的狭域边界线的位置关系。

此处，狭域边界线指根据通过在由PNDP轴和SNDP轴构成的二维空间上绘制从多个人工图像和自然图像抽出的PNDP和SNDP作为(PNDP、SNDP)而得到的统计上的分布所生成的边界线。狭域边界线包括狭域人工图像边界线和狭域自然图像边界线这两种边界线。其中，狭域人工图像边界线是仅绘制了人工图像的狭域特征量的区域、和混合绘制了人工图像和自然图像的狭域特征量的区域的边界线。并且，狭域自然图像边界线是仅绘制了自然图像的狭域特征量的区域、和混合绘制了人工图像和自然图像的狭域特征量的区域的边界线。因此，由PNDP轴和SNDP轴构成的区域如图38所示，由狭域人工图像边界线和狭域自然图像边界线被分割为狭域人工图像区域、狭域自然图像区域、和人工图像与自然图像的狭域混合区域这三种区域。在此，在图38中，狭域自然图像边界线是图中的曲线L11，狭域人工图像边界线是图中的曲线L12。另外，以下关于曲线L11、L12，也适当地称为狭域自然图像边界线L11和狭域人工图像边界线L12。并且，在图38中，狭域自然图像边界线L11上部的区域是狭域自然图像区域，狭域自然图像边界线L11和狭域人工图像边界线L12之间的区域是狭域混合区域，狭域人工图像边界线L12下部的区域是狭域人工图像区域。

在步骤S974，狭域边界线比较部992判断绘制了关注像素的PNDP和SNDP的位置是否是狭域人工图像区域。例如，在绘制了关注像素的PNDP和SNDP的位置是图38中的位置N3时，在步骤S975，狭域边界线比较部992通知内分计算部994该像素属于狭域人工图像区域。

在步骤S976，内分计算部994从狭域边界线比较部992获取关注像素的狭域特征量属于狭域人工图像区域的通知后，把狭域人工图像度Art_n设为1，提供给人工图像度生成部913，该处理转入步骤S982。

在步骤S974，例如绘制了关注像素的PNDP和SNDP的位置不是图38中的位置N3，而是位置N2或N1时，狭域边界线比较部992视为该像素不属于狭域人工图像区域，处理转入步骤S977。

在步骤S977，狭域边界线比较部992判断绘制了关注像素的PNDP和SNDP的位置是否是狭域自然图像区域。例如，在绘制了关注像素的PNDP和SNDP的位置是图38中的位置N1时，在步骤S978，狭域边界线比较部992通知内分计算部994该像素属于狭域自然图像区域。

在步骤S979，内分计算部994从狭域边界线比较部992获取关注像素的狭域特征量属于狭域自然图像区域的通知后，把狭域人工图像度Art_n设为0，提供给人工图像度生成部913，该处理转入步骤S982。

在步骤S977，例如绘制了关注像素的PNDP和SNDP的位置不是图38中的位置N1，而是位置N2时，狭域边界线比较部992视为该像素既不属于狭域人工图像区域也不属于狭域自然图像区域，处理转入步骤S980。

在步骤S980，狭域边界线比较部992视为该像素属于狭域混合区域，并将狭域自然图像边界线L11和狭域人工图像边界线L12的内分比率通知内分计算部994。即，在图38的情况下，位置N2距狭域自然图像边界线L11的距离∶距狭域人工图像边界线L12的距离的比率为p∶1-p，因此将该信息通知内分计算部994。

在步骤S981，内分计算部994从狭域边界线比较部992获取关注像素的狭域特征量属于狭域混合区域以及内分比率的通知，把内分比率p作为狭域人工图像度Art_n提供给人工图像度生成部913，该处理转入步骤S982。

在步骤S982，狭域边界线比较部992判断是否存在未处理的像素，判断是否已比较未处理的像素即狭域特征量属于狭域人工图像区域、狭域自然图像区域或者狭域混合区域任一方并求出了狭域人工图像度，在判断为没有关于全部像素求出狭域人工图像度时，处理返回步骤S973。

另一方面，在关于全部像素求出了狭域人工图像度Art_n时，处理结束。

通过以上处理，关于全部像素读出由PNDP和SNDP构成的狭域特征量，通过比较根据绘制在PNDP-SNDP空间上的多个人工图像和自然图像的分布所统计求出的狭域人工图像边界线和狭域自然图像边界线，根据PNDP-SNDP空间上的绘制位置(PNDP、SNDP)与狭域人工图像边界线和狭域自然图像边界线的位置关系，计算狭域人工图像度Art_n。另外，以上说明了当存在于狭域混合区域中时，将内分比率p设定为狭域人工图像度Art_n的示例，但是内分比只要是能够反映趋势的值即可，所以作为狭域人工图像度，例如也可以是p²或√p等。

在此，返回图25的流程图进行说明。

在步骤S839，人工图像度生成部913根据由广域人工图像度算出部912提供的广域人工图像度Art_b、和由狭域人工图像度算出部915提供的狭域人工图像度Art_n，计算下式(19)，由此生成人工图像度Art，提供给图像处理部113。

Art＝α·Art_n+β·Art_b+γ·Art_n Art_b    …(19)

这里，α、β、γ是常数。另外，人工图像度Art是假设0≤Art≤1而设定的值，所以在式(19)的计算结果即人工图像度Art大于等于1时，人工图像度生成部913将人工图像度Art箝位为1提供给图像处理部113。

通过以上处理，在上述图2的步骤S7的处理中，合成部133例如通过计算下式(20)，将由自然图像预测部131提供的自然高质量图像的各个像素的像素值、与由人工图像预测部132提供的人工高质量图像的各个像素的像素值，以与人工图像度对应的比率合成。

Pix＝Pix_art·Art+Pi_xnat·(1-Art)        …(20)

这里，Pix是最终合成生成的高质量图像的各个像素的像素值，Pix_nat是由自然图像预测部131提供的自然图像，Pix_art是由人工图像预测部132提供的人工图像，另外，Art是人工图像度的系数。

通过以上处理，根据人工图像度，将对图像实施了作为人工图像的图像处理的像素和实施了作为自然图像的图像处理的像素合成，由此区分图像中包括作为自然图像的像素的区域和包括作为人工图像的像素的区域，可以对各个区域实施最佳的处理。

以上说明了以下示例，如参照图28的流程图说明的BEP抽出处理那样，求出参照像素和关注像素的差分值的最大值和最小值的差分值，从而求出参照像素的差分动态范围，由此抽出BEP，但只要能够求出参照像素的像素值变化较大的部分即可，所以也可以利用其他方法，也可以是参照区域中包含的像素的像素值的像素值动态范围。另外，作为BEP，在使用像素值动态范围时，在参照区域的边界附近的参照像素包含属于边缘区域的像素的情况下和不包含属于边缘区域的像素的情况下，BEP的值有可能发生大幅度变化。因此，如上所述，关于BEP，根据距离赋予权重的差分动态范围可以期待更理想的结果。

并且，作为BEP，例如也可以按照升序重新排列各个参照像素的相邻像素间的像素值的差分绝对值，并使用上位的差分绝对值来求出。

图39表示BEP抽出部931的结构示例，该BEP抽出部931按照升序重新排列各个参照像素的相邻像素间的像素值的差分绝对值，使用上位的差分绝对值求出表现参照像素的边缘存在的BEP。

图39的BEP抽出部931由缓冲器1101、参照像素抽出部1102、相邻像素间差分绝对值计算部1103、重新排列部1104、上位抽出部1105和BEP计算部1106构成。

缓冲器1101基本上与图21中的缓冲器1011相同，临时存储由输出相位转换部112提供的HD图像，根据需要依次提供给参照像素抽出部1102。参照像素抽出部1102基本上与图21中的参照像素抽出部1012相同，依次对每个关注像素读出参照像素，提供给相邻像素间差分绝对值计算部1103。

相邻像素间差分绝对值计算部1103求出由参照像素抽出部1102提供的参照像素中在上下左右方向相邻的像素间的像素值的差分绝对值，提供给重新排列部1104。重新排列部1104按照升序重新排列由相邻像素间差分绝对值计算部1103提供的参照像素的相邻像素间的差分绝对值，提供给上位抽出部1105。

上位抽出部1105根据由重新排列部1104提供的按照升序重新排列的相邻像素间的差分绝对值的信息，抽出上位第N1～N2位次的值，提供给BEP计算部1106。BEP计算部1106根据由上位抽出部1105提供的按照升序重新排列的相邻像素间差分绝对值的信息，求出上位第N1～N2位次的值的平均值作为BEP，提供给特征量合成部933。

在此，参照图40的流程图，说明图39的BEP抽出部931的BEP抽出处理。

在步骤S1001，缓冲器1101临时存储由输出相位转换部112提供的HD图像。

在步骤S1002，参照像素抽出部1102通过缓冲器1101将未处理的像素设定为关注像素，并且在步骤S1003，读出对应于关注像素所设定的参照像素，提供给相邻像素间差分绝对值计算部1103。

在步骤S1004，相邻像素间差分绝对值计算部1103计算未处理的参照像素的相邻像素间(包括关注像素)的像素值的差分绝对值，提供给重新排列部1104。

在步骤S1005，重新排列部1104存储由相邻像素间差分绝对值计算部1103提供的相邻像素间差分绝对值。

在步骤S1006，相邻像素间差分绝对值计算部1103判断是否已求出参照像素中全部相邻像素间的差分绝对值，在例如判断为没有求出全部相邻像素间的差分绝对值时，处理返回步骤S1004。

即，重复步骤S1004～S1006的处理，直到求出全部相邻像素间的差分绝对值。并且，在步骤S1006，判断为已求出全部相邻像素间的差分绝对值、并全部存储在重新排列部1104中时，在步骤S1007，重新排列部1104按照升序重新排列相邻像素间差分绝对值的计算结果，提供给上位抽出部1105。即，重新排列部1104例如按照图41所示，按照升序重新排列相邻像素间差分绝对值，提供给上位抽出部1105。另外，在图41中，横轴表示位次，纵轴表示相邻像素间差分绝对值。

在步骤S1008，上位抽出部1105从由重新排列部1104提供的按照升序重新排列的相邻像素间差分绝对值，抽出上位第N1～N2位次的相邻像素间差分绝对值，提供给BEP计算部1106。即，例如在图41的情况下，从图中上位第N1～N2位次的相邻像素间差分绝对值抽出。

在步骤S1009，BEP计算部1106计算上位第N1～N2位次的相邻像素间差分绝对值的平均值作为BEP，输出给特征量合成部933。

在步骤S1010，参照像素抽出部1102判断是否关于存储在缓冲器1101中的图像的所有像素已求出BEP。在步骤S1010中，在没有对图像的所有像素求出BEP时，处理返回步骤S1002。即，重复步骤S1002～S1010的处理，直到对存储在缓冲器1101中的图像的所有像素求出BEP。并且，在步骤S1010中判断为已对图像内的所有像素求出BEP时，BEP抽出处理结束。

通过以上处理，求出表现图像中的广域边缘的特征量即BEP。即，BEP是上位第N1～N2位次的相邻像素间差分绝对值的平均值，参照像素的相邻像素间差分绝对值中较大的值作为表现广域边缘的特征量被抽出。

另外，以上说明了把上位第N1～N2位次的平均值作为BEP的示例，但只要求出使用了参照像素的相邻像素间差分绝对值的广域特征量即可，所以也可以利用上述以外的其他方法求出，例如，也可以不使用平均值，而使用对各个相邻像素间差分绝对值赋予权重的积和，另外，如图41所示，也可以直接将上位第N1～N2位次前后的第N位次的值作为BEP。

并且，以上说明了以下示例，即，如参照图28的流程图说明的BEP抽出处理那样，将参照像素的相邻像素间差分绝对值与规定的阈值th比较，关于大于阈值th的值，利用函数设定规定的值，把所有参照像素的总和作为BEP，但只要能够求出参照像素的像素值变化较小的部分即可，所以也可以利用其他方法，例如，按照升序重新排列各个参照像素的相邻像素间的像素值的差分绝对值，使用下位的差分绝对值来求出。

图42表示BFP抽出部932的结构示例，该BFP抽出部932按照升序重新排列各个参照像素的相邻像素间的像素值的差分绝对值，使用下位的差分绝对值求出表现参照像素的平坦部存在的BFP。

图42的BFP抽出部932由缓冲器1121、参照像素抽出部1122、相邻像素间差分绝对值计算部1123、重新排列部1124、下位抽出部1125和BFP计算部1126构成。

缓冲器1121基本上与图22中的缓冲器1031相同，临时存储由输出相位转换部112提供的HD图像，根据需要依次提供给参照像素抽出部1122。参照像素抽出部1122基本上与图22中的参照像素抽出部1032相同，依次对每个关注像素读出参照像素，提供给相邻像素间差分绝对值计算部1123。

相邻像素间差分绝对值计算部1123求出由参照像素抽出部1122提供的参照像素中在上下左右方向相邻的像素间的像素值的差分绝对值，提供给重新排列部1124。重新排列部1124按照升序重新排列由相邻像素间差分绝对值计算部1123提供的参照像素的相邻像素间的差分绝对值，提供给下位抽出部1125。

下位抽出部1125根据由重新排列部1124提供的按照升序重新排列的相邻像素间的差分绝对值的信息，抽出下位第n1～n2位次的值，提供给BFP计算部1126。BFP计算部1126根据由下位抽出部1125提供的按照升序重新排列的相邻像素间差分绝对值的信息，求出下位第n1～n2位次的值的平均值作为BFP，提供给特征量合成部933。

在此，参照图43的流程图，说明图42的BFP抽出部932的BFP抽出处理。

在步骤S1031，缓冲器1121临时存储由输出相位转换部112提供的HD图像。

在步骤S1032，参照像素抽出部1122通过缓冲器1121将未处理的像素设定为关注像素，并在步骤S1033，读出对应于关注像素而设定的参照像素，提供给相邻像素间差分绝对值计算部1123。

在步骤S1034，相邻像素间差分绝对值计算部1123计算未处理的像素的相邻像素间(包括关注像素)的像素值的差分绝对值，提供给重新排列部1124。

在步骤S1035，重新排列部1124存储由相邻像素间差分绝对值计算部1123提供的相邻像素间差分绝对值。

在步骤S1036，相邻像素间差分绝对值计算部1123判断是否已求出参照像素中全部相邻像素间的差分绝对值，在例如判断为没有求出全部相邻像素间的差分绝对值时，处理返回步骤S1034。

即，重复步骤S1034～S1036的处理，直到求出全部相邻像素间的差分绝对值。并且，在步骤S1036，判断为已求出全部相邻像素间的差分绝对值、并全部存储在重新排列部1124中时，在步骤S1037，重新排列部1124按照升序重新排列相邻像素间差分绝对值的计算结果，提供给下位抽出部1125。即，重新排列部1124例如按照图44所示，按照升序重新排列相邻像素间差分绝对值，提供给下位抽出部1125。另外，在图44中，横轴表示位次，纵轴表示相邻像素间差分绝对值。

在步骤S1038，下位抽出部1125从由重新排列部1124提供的按照升序重新排列的相邻像素间差分绝对值，抽出下位第n1～n2位次的相邻像素间差分绝对值，提供给BFP计算部1126。即，例如在图44的情况下，从图中的下位第n1～n2位次的相邻像素间差分绝对值抽出。

在步骤S1039，BFP计算部1126计算下位第n1～n2位次的相邻像素间差分绝对值的平均值作为BFP，输出给特征量合成部933。

在步骤S1040，参照像素抽出部1122判断是否已关于存储在缓冲器1121中的图像的所有像素求出BFP。在步骤S1040中，在没有对图像的所有像素求出BFP时，处理返回步骤S1032。即，重复步骤S1032～S1040的处理，直到对存储在缓冲器1121中的图像的所有像素求出BFP。并且，在步骤S1040中判断为已对图像内的所有像素求出BFP时，BFP抽出处理结束。

通过以上处理，求出表现图像中的广域平坦部的特征量即BFP。即，BFP是下位第n1～n2位次的相邻像素间差分绝对值的平均值，参照像素的相邻像素间差分绝对值中较小的值作为表现广域平坦部的特征量被抽出。

另外，以上说明了把下位第n1～n2位次的平均值作为BFP的示例，但只要能求出使用了参照像素的相邻像素间差分绝对值的广域特征量即可，所以也可以利用上述以外的其他方法求出，例如，也可以不使用平均值，而使用对各个相邻像素间差分绝对值赋予权重的积和，另外，如图44所示，也可以直接将下位第n1～n2位次前后的第n位次的值作为BFP。

并且，以上说明了以下示例：如参照图33的流程图说明的PNDP抽出处理那样，从参照像素中包含的长抽头的像素值动态范围求出PNDP，但是，也可以使用参照像素的像素值动态范围。

图45表示使用参照像素的像素值动态范围求出PNDP的PNDP抽出部971的结构示例。

图45的PNDP抽出部971由缓冲器1141、参照像素抽出部1142、像素值抽出部1143、像素值存储部1143、最大值最小值抽出部1144和PNDP计算部1145构成。

缓冲器1141临时存储由输出相位转换部112提供的HD图像，根据需要依次提供给参照像素抽出部1142。参照像素抽出部1142依次对每个关注像素读出参照像素，把像素值存储在像素值存储部1143中。

最大值最小值抽出部1144抽出存储在像素值存储部1143中的参照像素的所有像素的像素值中的最大值和最小值，提供给PNDP计算部1145。

PNDP计算部1145根据从由最大值最小值抽出部1144提供的所有参照像素的像素值的最大值减去最小值后的值，求出参照像素的像素值动态范围，作为关注像素的PNDP输出。

下面，参照图46的流程图，说明图45的PNDP抽出部971的PNDP抽出处理。

在步骤S1051，缓冲器1141临时存储由输出相位转换部112提供的HD图像。

在步骤S1052，参照像素抽出部1142通过缓冲器1141将未处理的像素设定为关注像素，在步骤S1053，读出对应于关注像素而设定的参照像素，在步骤S1054，把该像素值存储在像素值存储部1143中。

在步骤S1055，参照像素抽出部1142判断是否存在未处理的参照像素、即是否所有参照像素的像素值已存储在像素值存储部1143中，在存在未处理的参照像素时，该处理返回步骤S1054。即，关于所有参照像素，重复步骤S1054、S1055的处理。

并且，在步骤S1055，在判断为没有未处理的参照像素，即，已对所有参照像素抽出像素值，并全部存储在像素值存储部1143中时，在步骤S1056，参照像素抽出部1142通知最大值最小值抽出部1144对所有参照像素的处理已结束。接收到该通知，最大值最小值抽出部1144抽出存储在像素值存储部1143中的像素值中作为最大值的值和作为最小值的值，提供给PNDP计算部1145。

在步骤S1057，PNDP计算部1145计算从由最大值最小值抽出部1144提供的像素值的最大值减去最小值后的值、即参照像素的像素值动态范围，作为针对关注像素的PNDP，提供给特征量合成部973。

在步骤S1058，参照像素抽出部1142判断是否已关于存储在缓冲器1141中的图像的所有像素求出PNDP。在步骤S1058中，在没有对图像的所有像素求出PNDP时，处理返回步骤S1052。即，重复步骤S1052～S1058的处理，直到对存储在缓冲器1141中的图像的所有像素求出PNDP。并且，在步骤S1058中判断为已对图像内的所有像素求出PNDP时，PNDP抽出处理结束。

通过以上处理，求出表现图像中的狭域边缘的特征量即PNDP。即，PNDP表现针对关注像素的参照像素内的像素值动态范围，在关注像素所属的狭域区域中存在边缘时其值大，相反不存在边缘时其值小。

另外，以上说明了如参照图35的流程图说明的SNDP抽出处理那样、抽出短抽头的像素值动态范围中最小的值作为SNDP的示例，但是只要能够把狭域的平坦部的趋势用于特征量即可，所以与图22的BFP抽出部932相同，也可以利用函数转换参照像素和关注像素的差分绝对值，并赋予与从参照像素到关注像素的路径对应的权重，与阈值比较，将比较结果相加，作为SNDP抽出。

图47表示SNDP抽出部972的结构示例，SNDP抽出部972利用函数转换参照像素和关注像素之间的差分绝对值，并赋予与从参照像素到关注像素的路径对应的权重，然后与阈值比较，将比较结果相加，作为SNDP抽出。

图47的SNDP抽出部972由缓冲器1161、参照像素抽出部1162、相邻像素间差分计算部1163、函数转换部1164、权重计算部1165、乘法部1166、存储部1167和SNDP计算部1168构成。

缓冲器1161临时存储由输出相位转换部112提供的HD图像，根据需要依次提供给参照像素抽出部1162。参照像素抽出部1162依次对每个关注像素读出参照像素，提供给像素间差分计算部1163和权重计算部1165。

像素间差分计算部1163关于由参照像素抽出部1162提供的所有参照像素，把与关注像素之间的差分绝对值提供给函数转换部1164。函数转换部1164利用所设定的转换函数，转换由像素间差分计算部1163提供的像素间差分绝对值，提供给乘法部1166。

权重计算部1165具有插值像素生成部1165a和差分计算部1165b，对由参照像素抽出部1162提供的参照像素的每个位置，计算与到关注像素的距离对应的权重，提供给乘法部1166。更加具体地讲，权重计算部1165控制差分计算部1165b，将存在于关注像素和参照像素之间的路径上的像素间的差分绝对值累加，根据累加结果求出权重w_s。此时，权重计算部1165控制插值像素生成部1165a，在关注像素和参照像素之间的路径上根据需要通过插值生成像素。

乘法部1166将由权重计算部1165提供的权重w_s、和由函数转换部1164提供的函数转换后的像素间差分绝对值相乘，存储在存储部1167中。

SNDP计算部1168将存储在存储部1167中的相乘结果累加，作为关注像素的SNDP输出。

在此，参照图48的流程图，说明图47的SNDP抽出部972的SNDP抽出处理。

在步骤S1081中，缓冲器1161临时存储由输出相位转换部112提供的HD图像。

在步骤S1082中，参照像素抽出部1162通过缓冲器1161将未处理的像素设定为关注像素，并且在步骤S1083中，读出与关注像素对应而设定的参照像素，提供给像素间差分计算部1163和权重计算部1165。

在步骤S1084中，像素间差分计算部1163对未处理的参照像素、即尚未计算与关注像素的像素值之间的差分绝对值的参照像素，计算与关注像素之间的像素值的差分绝对值g，提供给函数转换部1164。

在步骤S1085中，函数转换部1164根据预先设定的函数f，转换由像素间差分计算部1163提供的像素间差分绝对值g，并提供给乘法部1166。更加具体地讲，函数转换部1164根据例如图49中以实线表示的函数F(g)对值进行转换，把转换后的值输出给乘法部1166。在图49中以实线表示的函数F(g)中，像素间差分绝对值g通过函数F被转换为在小于规定的值时变大，在大于规定的值时变小。即，其值以规定的值为边界而变化。

在步骤S1086中，权重计算部1165判断关注像素和参照像素之间是否存在应该插值生成的像素。更加具体地讲，例如图50所示，在关注像素P(0，0)和图中以双重圆圈表示的参照像素P(2，4)的情况下，在关注像素P(0，0)和参照像素P(2，4)之间的路径上，需要插值像素P(0.5，1)、P(1.5、3)，所以判断为存在需要插值的像素。该情况下，处理转入步骤S1087。

在步骤S1087中，权重计算部1165控制插值生成部1165a使生成插值像素。例如，在图50中关注像素P(0，0)和参照像素P(2，4)的情况下，插值生成部1165a将插值像素P(0.5，1)、P(1.5，3)的像素值，例如分别作为P((0，1)+P(1，1))/2、P((1，3)+P(1，1))/2等这样的平均值求出。此外，插值方法不限于此，也可以是除此以外的方法，例如可以赋予权重来求出总和。

在步骤S 1086中，例如，在图50中的关注像素P(0，0)和图中以×符号表示的参照像素P(3，3)的情况下，在关注像素P(0，0)和参照像素P(3，3)之间的路径上存在插值像素P(1，1)、P(2，2)，所以没有需要插值的像素，就判断为不存在需要插值的像素。该情况下，处理将跳过步骤S1087的处理。

在步骤S1088中，权重计算部1165控制差分计算部1165b，计算关注像素和参照像素之间的路径上的像素间差分绝对值的总和D，由总和D求出权重w_g＝1-D/H(H为常数)，提供给乘法部1166。即，在图50中的关注像素P(0，0)和参照像素P(2，4)的情况下，差分计算部1165b计算|P(0，0)-P(0.5，1)|、|P(0.5，1)-P(1，2)|、|P(1，2)-P(1.5，3)|、|P(1.5，3)-P(2，4)|的总和D。而且，权重计算部1165计算权重w_g＝1-D/H，提供给乘法部1166。此外，权重w_g也可以是与PNDP等参数对应的值，例如，可以采用权重w_g＝1-D/PNDP或权重w_g＝1-D/(√PNDP)。

在步骤S1089中，乘法部1166将由函数转换部1164提供的像素间差分绝对值g和由权重计算部1165提供的权重w_g相乘，在步骤S1090中，存储在存储部1167中。

在步骤S1091中，像素间差分计算部1163判断是否存在未处理的参照像素，在存在的情况下，该处理返回步骤S1084。即，通过重复步骤S1084～S1091的处理，求出所有参照像素和关注像素的像素间差分绝对值。

然后，在步骤S1091中，在判断为没有未处理的参照像素时，在步骤S1092中，像素间差分计算部1163通知SNDP计算部1168对所有参照像素处理已结束。SNDP计算部1168求出存储在存储部1167中的相乘结果的总和，作为SNDP输出。

在步骤S1093中，参照像素抽出部1162判断关于存储在缓冲器1161中的图像的所有像素是否都已求出SNDP。在步骤S1093中，在没有对图像的所有像素求出SNDP的情况下，处理返回步骤S1082。即，重复步骤S1082～S1093的处理，直到对存储在缓冲器1161中的图像的所有像素求出SNDP。然后，在步骤S1093中判断为已对图像内的所有像素求出SNDP时，SNDP抽出处理结束。

通过以上处理，能够求出表现图像中的狭域的平坦部的特征量即SNDP。即，SNDP在关注像素所属的狭域较平坦的情况下，其值变大，相反在存在许多边缘等，即不平坦的情况下，其值变小。

在以上说明中，转换函数F可以采用例如图49所示函数的情况如上所述，但也可以设为与PNDP相对应，例如在像素间差分绝对值g大于等于阈值th11＝PNDP/b11的情况下，设定为F(g)＝AA(AA为常数)，在像素间差分绝对值g小于等于阈值th12＝PNDP/b12的情况下，设定为F(g)＝BB(BB为常数)，在相邻像素间差分绝对值g大于阈值th12＝PNDP/b12小于阈值th11＝BEP/b11的情况下，设定为F(g)＝(BB-AA)·(g-th11)/(th12-th11)+AA。另外，由于th11、th12只要利用PNDP的趋势就可以，所以也可以采用例如阈值th11＝(PND P)²/b11、th12＝(PNDP)²/b12、或者阈值th11＝(√PNDP)/b11、th12＝(√PNDP)/b12等。

以上说明了如图1所示的示例，即，自然图像预测部131和人工图像预测部132分别进行预测处理后，根据由自然图像人工图像判断部114求出的人工图像度Art将它们合成，但是，也可以预先分离自然图像和人工图像，并分别提供给自然图像预测部131和人工图像预测部132。

图51表示图像转换装置101的结构示例，图像转换装置101预先分离自然图像和人工图像，并分别提供给自然图像预测部131和人工图像预测部132。此外，对与图1中的图像转换装置101相同的结构赋予相同符号，并适当省略其说明。

在图51的图像转换装置101中，与图1的图像转换装置101的不同之处是，在输出相位转换部112的后级设有分离部1201，在自然图像预测部131和人工图像预测部132的后级设有加法部1202。

分离部1201根据来自自然图像人工图像判断部114的人工图像度Art，以像素单位分离由输出相位转换部112提供的HD图像，提供给自然图像预测部131和人工图像预测部132。

加法部1202将由自然图像预测部131和人工图像预测部132提供的像素相加，即，将被分离并高质量化后的像素分别再配置到分离之前的位置上，由此来形成图像。

下面，参照图52的流程图，说明图51的图像转换装置101的图像转换处理。另外，关于图52所示流程图中的步骤S1111～S1114、S1116、S1117的处理，与图2所示流程图的步骤S1～S3、S6、S4、S5的处理相同，所以省略说明。

在步骤S1115中，分离部1021根据由自然图像人工图像判断部114提供的人工图像度Art，以像素单位分离由输出相位转换部112提供的HD图像，分别提供给自然图像预测部131和人工图像预测部132。更加具体地讲，以像素单位，分离部1201在人工图像度Art为1的情况下，将该像素提供给人工图像预测部132，而在人工图像度Art为0的情况下，将该像素提供给自然图像预测部131。另外，在人工图像度Art大于0小于1的情况下，将该像素与人工图像度的信息一起提供给自然图像预测部131和人工图像预测部132双方。此时，分离部1201将分离后的像素的信息一起提供给自然图像预测部131和人工图像预测部132，以便进行自然图像预测处理和人工图像预测处理。

然后，通过步骤S1116、S1117的处理进行了自然图像预测处理和人工图像预测处理后，在步骤S1118中，加法部1202合并由自然图像预测部131和人工图像预测部132提供的像素，由此生成高像质化后的图像并输出。此时，在通过分离部1201分离时，在人工图像度Art大于0小于1时，对于在自然图像预测部131和人工图像预测部132中以赋予了人工图像度Art的状态被分离的像素，对人工图像乘以人工图像度Art、同时对自然图像乘以从1减去人工图像度Art后的值(1-Art)，然后相加生成像素。

通过以上处理，可以获得与图1的图像转换装置101相同的效果。另外，在图51的图像转换装置101中，根据人工图像度Art分配分别提供给自然图像预测部131和人工图像预测部132的像素，所以能够减轻处理负荷。

此外，以上说明了如图32所示广域人工图像边界线L1存在于广域自然图像边界线L2上侧的示例，但是，该位置关系也可以根据用作BEP和BFP的特征量而翻转。

即，作为BEP，在使用参照像素的差分动态范围、使用了参照像素的像素值动态范围、或者按照升序重新排列参照像素的相邻像素间的像素值的差分绝对值后的上位差分绝对值的情况下，作为BFP，将参照像素的相邻像素间差分绝对值与规定的阈值th比较，关于大于阈值th的值，利用函数设定规定的值，使用所有参照像素的总和，此时如果纵轴采用BFP、横轴采用BEP，则广域人工图像边界线位于广域自然图像边界线之上。另外，作为BEP，在使用参照像素的差分动态范围、使用了参照像素的像素值动态范围、或者按照升序重新排列参照像素的相邻像素间的像素值的差分绝对值后的上位差分绝对值的情况下，作为BFP，在使用按照升序重新排列参照像素的相邻像素间差分绝对值后的上位的值时，如果纵轴采用BFP、横轴采用BEP，则广域人工图像边界线位于广域自然图像边界线之下。

另外，广域人工图像边界线L 1和广域自然图像边界线L2例如通过设定进行图像转换处理时的参数，例如设定分辨率轴值、噪声轴值、变焦倍率，可以提高或降低广域人工图像度Art_b的值。

即，在图53的中段示出的广域人工图像边界线L1和广域自然图像边界线L2虽然与图32相同，但是，例如在改变图像转换处理的分辨率的情况下，在提高了分辨率时，如图53的上段所示，广域人工图像边界线L1’和广域自然图像边界线L2’分别处于低于广域人工图像边界线L1和广域自然图像边界线L2的位置，所以如果是相同的广域特征量，则广域人工图像度Art_b处于容易获取较高的值的状态。另一方面，在降低了分辨率时，如图53的下段所示，广域人工图像边界线L1”和广域自然图像边界线L2”分别处于较高的位置，所以如果是相同的广域特征量，则广域人工图像度Art_b处于容易获取较低的值的状态。

同样，以上说明了如图38所示狭域人工图像边界线L11存在于狭域自然图像边界线L12上侧的示例，但是，该位置关系也可以根据用作PNDP和SNDP的特征量而翻转。

即，作为PNDP，在使用参照像素的像素值动态范围的情况下，作为SNDP，使用关注像素和各个参照像素之间的路径上的加权差分绝对值和时，如果纵轴采用PNDP、横轴采用SNDP，则狭域人工图像边界线L12位于狭域自然图像边界线L11之上。另外，作为PNDP，在使用长抽头的像素值动态范围的情况下，作为SNDP，使用短抽头的像素值动态范围，此时如果纵轴采用PNDP、横轴采用SNDP，则狭域人工图像边界线L12位于狭域自然图像边界线L11之下。

另外，狭域自然图像边界线L11和狭域人工图像边界线L12例如通过设定进行图像转换处理时的参数，例如设定分辨率轴值、噪声轴值、变焦倍率，可以提高或降低狭域人工图像度Art_n的值。

即，在图54的中段示出的狭域自然图像边界线L11和狭域人工图像边界线L22虽然与图38相同，但是，例如在改变图像转换处理的噪声轴值的情况下，在提高了噪声轴值时，如图54的上段所示，狭域自然图像边界线L11’和狭域人工图像边界线L12’分别处于低于狭域自然图像边界线L11和狭域人工图像边界线L12的位置，所以如果是相同的广域特征量，则狭域人工图像度Art_n处于容易获取较高的值的状态。另一方面，在降低了噪声轴值时，如图54的下段所示，狭域自然图像边界线L11”和狭域人工图像边界线L12”分别处于高于狭域自然图像边界线L11和狭域人工图像边界线L12的位置，所以如果是相同的广域特征量，则狭域人工图像度Art_n处于容易获取较低的值的状态。

以上，说明了使用BEP和BFP作为广域特征量、使用PNDP和SNDP作为狭域特征量的示例，但是，关于广域特征量，只要是能够表现边缘、平坦部的参数，则不限于BEP和BFP也可以使用除此以外的特征量。另外，关于狭域特征量也相同，不仅限于上述的PNDP和SNDP，只要是能够表现狭域的细线、边缘、点、边缘附近的平坦部、或者层次等的特征量，也可以使用这些特征量。而且，以上说明了广域特征量和狭域特征量分别使用两种特征量的示例，但是，也可以使用两种以上的特征量，该情况时，关于人工图像和自然图像的边界线，不是图32、图38所示的二维状态，而是以与特征量的数量n对应的n维表现的边界线或边界面等，但是，判断n维空间的特征量的存在区域、以及在混合区域中求出边界线之间或边界面之间的距离比率的基本处理相同。

根据以上所述，能够对图像以像素单位识别自然图像或人工图像，可以实施自然图像预测处理和人工图像预测处理，可以对各个像素实施合适的预测处理，所以能够准确地提高图像整体质量。

上述的一系列的处理可以通过硬件执行，也可以通过软件执行。在通过软件执行一系列处理的情况下，构成该软件的程序被从记录介质上安装到装配再专用硬件中的计算机中，或者安装到通过安装各种程序可以执行各种功能的例如通用个人计算机等中。

图55表示利用软件实现图51的图像转换装置101的电气内部结构时的个人计算机的一个实施方式的结构示例。个人计算机的CPU2001控制整个个人计算机的动作。另外，CPU2001通过总线2004和输入输出接口2005、由用户从由键盘和鼠标等构成的输入部2006输入指令时，随之执行保存在ROM(Read Only Memory：只读存储器)2002中的程序。或者，另外，CPU2001将从驱动器2010上连接的包括磁盘、光盘、光磁盘、或半导体存储器的可移动盘2011读出并安装在存储部2008中的程序，载入到RAM(Random Access Memory：随机存取存储器)2003中并执行。由此，上述图1、图51的图像转换装置101的功能可以通过软件实现。另外，CPU2001控制通信部2009与外部通信，执行数据的接收发送。

记录了程序的记录介质如图55所示，不仅利用与计算机不同的封装介质构成，而且利用以预先装配在计算机中的状态提供给用户的、记录有程序的ROM2002、存储部2008中包含的硬盘等构成，所述封装介质包括为了向用户提供程序而发布的记录有程序的磁盘(包括软盘)、光盘(包括CD-ROM(Compact Disc-readOnly Memory)、DVD(Digital Versatile Disk))、光磁盘(包括MD(Mini-Disc))、或者包括半导体存储器的可移动盘2011等。

另外，在本说明书中，用于记述记录在记录介质中的程序的步骤，当然包括在时间序列上按照所记载的顺序进行的处理，也包括未必按照时间顺序进行处理，并行或独立执行的处理。

Claims (24)

1.一种图像处理装置，包括：

广域特征量抽出单元，从相对于第一图像的关注像素存在于规定区域中的像素，抽出由多种特征量构成的广域特征量；

广域人工图像度算出单元，在由所述广域特征量包含的多个特征量表现的多维空间中，根据通过所述广域特征量抽出单元抽出的广域特征量在所述由所述广域特征量包含的多个特征量表现的多维空间内相对于所述第一图像中的人工图像的统计分布范围的位置关系，算出表示属于所述人工图像的分布区域的程度的广域人工图像度，所述人工图像是灰度等级少且边缘清晰的人工的图像；

狭域特征量抽出单元，从相对于所述第一图像的关注像素存在于规定区域中的像素，抽出由多种特征量构成的狭域特征量；

狭域人工图像度算出单元，在由所述狭域特征量包含的多个特征量表现的多维空间中，根据通过所述狭域特征量抽出单元抽出的狭域特征量在所述由所述狭域特征量包含的多个特征量表现的多维空间内相对于所述第一图像中的所述人工图像的统计分布范围的位置关系，算出表示属于所述人工图像的分布区域的程度的狭域人工图像度；以及

人工图像度算出单元，对所述广域人工图像度和所述狭域人工图像度进行合成，算出所述关注像素的人工图像度。

2.根据权利要求1所述的图像处理装置，还包括：

第一预测单元，从所述第一图像预测将所述人工图像高质量化后的第二图像；

第二预测单元，从所述第一图像预测将灰度等级多且边缘不清晰的图像即自然图像高质量化后的第三图像；

合成单元，根据所述人工图像度合成所述第二图像和所述第三图像。

3.根据权利要求2所述的图像处理装置，

所述第一预测单元包括：

第一类分类单元，将所述第二图像的像素分类为第一类；

第一保存单元，保存每个所述第一类的第一预测系数，该第一预测系数通过使用了多个所述人工图像的学习而获得；以及

第一运算单元，通过使用所述第二图像的像素的所述第一类的第一预测系数以及所述第一图像进行运算，从所述第一图像求出比所述第一图像质量高的第二图像，

所述第二预测单元包括：

第二类分类单元，将所述第三图像的像素分类为第二类；

第二保存单元，保存每个所述第二类的第二预测系数，该第二预测系数通过使用了多个所述自然图像的学习而获得；以及

第二运算单元，通过使用所述第三图像的像素的所述第二类的第二预测系数以及所述第一图像进行运算，从所述第一图像求出所述第三图像。

4.根据权利要求1所述的图像处理装置，

所述广域人工图像度算出单元包括广域人工图像分布范围存储单元，该广域人工图像分布范围存储单元存储由所述广域特征量包含的多个特征量表现的多维空间中的、所述第一图像中的人工图像的统计分布范围，

根据通过所述广域特征量抽出单元抽出的广域特征量在所述由所述广域特征量包含的多个特征量表现的多维空间内相对于下述分布范围的位置关系，算出表示属于所述人工图像的分布区域的程度的广域人工图像度，其中，该分布范围是存储在所述广域人工图像分布范围存储单元中的、由所述广域特征量包含的多个特征量表现的多维空间中的、所述第一图像中的人工图像的统计分布范围。

5.根据权利要求1所述的图像处理装置，

所述狭域人工图像度算出单元包括狭域人工图像分布范围存储单元，该狭域人工图像分布范围存储单元存储由所述狭域特征量包含的多个特征量表现的多维空间中的、所述第一图像中的所述人工图像的统计分布范围，

根据通过所述狭域特征量抽出单元抽出的狭域特征量在所述由所述狭域特征量包含的多个特征量表现的多维空间内相对于下述分布范围的位置关系，算出表示属于所述人工图像的分布区域的程度的狭域人工图像度，其中，该分布范围是存储在所述狭域人工图像分布范围存储单元中的、由所述狭域特征量包含的多个特征量表现的多维空间中的、所述第一图像中的所述人工图像的统计分布范围。

6.根据权利要求1所述的图像处理装置，

所述广域特征量抽出单元包括：

边缘特征量抽出单元，从存在于所述规定区域中的像素抽出表现边缘的存在的特征量；以及

平坦部特征量抽出单元，从存在于所述规定区域中的像素抽出表现平坦部的存在的特征量。

7.根据权利要求6所述的图像处理装置，

所述边缘特征量抽出单元使用存在于所述规定区域中的像素与所述关注像素的像素值的差分值，抽出存在于所述规定区域中的像素的差分动态范围，作为表现所述边缘的存在的特征量。

8.根据权利要求6所述的图像处理装置，

所述边缘特征量抽出单元使用向所述关注像素和存在于所述规定区域中的像素的差分值赋予与所述关注像素和存在于所述规定区域中的像素的距离相应的权重后的值，来抽出存在于所述规定区域中的像素的差分动态范围，作为表现所述边缘的存在的特征量。

9.根据权利要求6所述的图像处理装置，

所述边缘特征量抽出单元抽出存在于所述规定区域中的像素的相邻像素间的像素值的差分绝对值中的上位的规定位次的值，作为表现所述边缘的存在的特征量。

10.根据权利要求6所述的图像处理装置，

所述边缘特征量抽出单元抽出属于存在于所述规定区域中的像素中、相邻像素间的像素值的差分绝对值的上位的第一位次到第二位次的平均值或附加了加权系数后的值的总和，作为表现所述边缘的存在的特征量。

11.根据权利要求6所述的图像处理装置，

所述平坦部特征量抽出单元抽出存在于所述规定区域中的像素中、相邻像素间的像素值的差分绝对值为小于规定阈值的值的个数，作为表现所述平坦部的存在的特征量。

12.根据权利要求11所述的图像处理装置，

根据表现所述边缘的存在的特征量设定所述规定阈值。

13.根据权利要求6所述的图像处理装置，

所述平坦部特征量抽出单元抽出将存在于所述规定区域中的像素中、相邻像素间的像素值的差分绝对值利用规定的函数转换后的值的总和，作为表现所述平坦部的存在的特征量。

14.根据权利要求6所述的图像处理装置，

所述平坦部特征量抽出单元抽出向利用规定的函数将相邻像素间的像素值的差分绝对值转换后的值赋予了权重后的值的总和，作为表现所述平坦部的存在的特征量，其中，该权重与从所述关注像素到存在于所述规定区域中的像素的距离对应。

15.根据权利要求13所述的图像处理装置，

所述规定的函数是与表现所述边缘的存在的特征量对应的函数。

16.根据权利要求6所述的图像处理装置，

所述平坦部特征量抽出单元抽出存在于所述规定区域中的像素的相邻像素间的像素值的差分绝对值的下位的规定位次的值，作为表现所述平坦部的存在的特征量。

17.根据权利要求6所述的图像处理装置，

所述平坦部特征量抽出单元抽出属于存在于所述规定区域的像素中、相邻像素间的像素值的差分绝对值的下位的第一位次到第二位次的平均值或附加了加权系数后的值的总和，作为表现所述平坦部的存在的特征量。

18.根据权利要求1所述的图像处理装置，

所述狭域特征量抽出单元从存在于所述规定区域中的像素中，抽出由表现细线、边缘、点、边缘附近的平坦部或层次的两种特征量构成的狭域特征量。

19.根据权利要求18所述的图像处理装置，

所述狭域特征量抽出单元包括：

第一狭域特征量抽出单元，抽出从所述规定区域中包含的第一区域中存在的像素的像素值的最大值减去最小值得到的像素值动态范围，作为所述狭域特征量的第一特征量；以及

第二狭域特征量抽出单元，抽出从包含于所述第一区域中、并包含所述关注像素的第二区域的像素的像素值的最大值减去最小值得到的像素值动态范围，作为所述狭域特征量的第二特征量。

20.根据权利要求19所述的图像处理装置，

在从多个所述第二区域分别抽出像素值动态范围的情况下，所述第二狭域特征量抽出单元抽出所述像素值动态范围为最小的一方作为所述第二特征量。

21.根据权利要求18所述的图像处理装置，

所述狭域特征量抽出单元包括：

第一狭域特征量抽出单元，抽出存在于所述规定区域中的像素的像素值的像素值动态范围，作为所述狭域特征量的第一特征量；以及

第二狭域特征量抽出单元，抽出将存在于所述规定区域中的像素与所述关注像素的差分绝对值以规定的函数处理并且加权相加由此而得到的值的累加值，作为所述狭域特征量的第二特征量。

22.根据权利要求21所述的图像处理装置，

还包括权重计算单元，计算所述权重，所述权重由与在从所述关注像素到存在于所述规定区域中的像素为止的路径中存在的所有像素的相邻像素间的差分绝对值的总和相对应的值构成。

23.根据权利要求21所述的图像处理装置，

所述规定的函数是对应于所述第一特征量的函数。

24.一种图像处理方法，包括以下步骤：

广域特征量抽出步骤，从相对于第一图像的关注像素存在于规定区域中的像素，抽出由多种特征量构成的广域特征量；

广域人工图像度算出步骤，在由所述广域特征量包含的多个特征量表现的多维空间中，根据通过所述广域特征量抽出步骤的处理抽出的广域特征量在所述由所述广域特征量包含的多个特征量表现的多维空间内相对于所述第一图像中的人工图像的统计分布范围的位置关系，算出表示属于所述人工图像的分布区域的程度的广域人工图像度，所述人工图像是灰度等级少且边缘清晰的人工的图像；

狭域特征量抽出步骤，从相对于所述第一图像的关注像素存在于规定区域中的像素，抽出由多种特征量构成的狭域特征量；

狭域人工图像度算出步骤，在由所述狭域特征量包含的多个特征量表现的多维空间中，根据通过所述狭域特征量抽出步骤的处理抽出的狭域特征量在所述由所述狭域特征量包含的多个特征量表现的多维空间内相对于所述第一图像中的所述人工图像的统计分布范围的位置关系，算出表示属于所述人工图像的分布区域的程度的狭域人工图像度；以及

人工图像度算出步骤，对所述广域人工图像度和所述狭域人工图像度进行合成，算出所述关注像素的人工图像度。

Images