CN102473279A - 图像处理装置和方法、数据处理装置和方法、程序和记录介质 - Google Patents

图像处理装置和方法、数据处理装置和方法、程序和记录介质 Download PDF

Info

Publication number
CN102473279A
CN102473279A CN2010800341133A CN201080034113A CN102473279A CN 102473279 A CN102473279 A CN 102473279A CN 2010800341133 A CN2010800341133 A CN 2010800341133A CN 201080034113 A CN201080034113 A CN 201080034113A CN 102473279 A CN102473279 A CN 102473279A
Authority
CN
China
Prior art keywords
projection
image
tensor
intrinsic
daughter nucleus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800341133A
Other languages
English (en)
Other versions
CN102473279B (zh
Inventor
龟山祐和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN102473279A publication Critical patent/CN102473279A/zh
Application granted granted Critical
Publication of CN102473279B publication Critical patent/CN102473279B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution

Abstract

在本发明的图像处理装置和方法、程序以及记录介质中，提取在学习图像集中包括的低质量图像和高质量图像的高频分量(#11)，并且在学习步骤中产生(#12)高频分量的固有投影矩阵和投影核心张量。在恢复步骤中，基于高频分量的固有投影矩阵和投影核心张量来产生第一子核心张量和第二子核心张量(#24，#26)，并且向输入图像的高频分量应用张量投影处理(#30，#34)，以产生高频分量的高质量图像。高频分量的高质量图像被加到通过将输入图像放大到与输出图像相同的大小而获得的放大图像。结果，产生优选的高质量图像(#36)，其中，抑制了由于在低频区域中包括的照明改变导致的图像质量变差。

Description

图像处理装置和方法、数据处理装置和方法、程序和记录介质
技术领域
本发明涉及图像处理装置和方法、数据处理装置和方法、程序与记录介质，并且具体地说涉及适合于恢复、内插、放大和编码在处理之前图像数据(低图像质量信息)中不存在的高图像质量信息的图像处理技术。
背景技术
提出了一种作为从低分辨率输入图像产生高分辨率输出图像的方法的技术，其中，预先学习多个图像内容的成对的低分辨率图像和高分辨率图像，获得从低分辨率信息向高分辨率信息的转换(投影)关系，并且，使用该投影关系来从低分辨率输入图像产生(恢复)包括高分辨率信息的图像(非专利文献1)。
常规方法可以被划分为学习步骤和恢复步骤。在前一个学习步骤中，使用张量奇异值分解(TSVD)来预先学习在低分辨率图像和高分辨率图像的对群(将被称为“学习图像集”)的低分辨率信息和高分辨率信息之间的投影关系。例如，获得张量，该张量指示在模态固有空间之间的投影关系，诸如从低分辨率像素的实空间向像素固有空间的转换和向人的个人差异固有空间的转换，以及向高分辨率像素固有空间的转换，并且该张量还指示从高分辨率像素固有空间向实空间的转换。
同时，在恢复步骤中，所学习的张量用于向高分辨率信息的图像上投影包括学习图像集的任意低分辨率信息的输入图像。
根据该技术，可以通过张量的阶来表达投影转换的模态(诸如在人之间的个体差别、面部表情、图像的分辨率、面部方向、照明改变和种族)的变化的数目(可以相应地设计学习模型)，并且，满足输入条件的投影允许高度精确的恢复。
{引用列表}
{非专利文献}
{NPL 1}
JIA Kui，GONG Shaogang″Generalized Face Super-Resolution″，IEEE Transactions of Image Processing，Vol.17，No.6，June 2008 Page.873-886(2008)(2008年6月刊IEEE Transactions of Image Processing，第17卷No.6，873页-886页，JIA Kui、GONG Shaogang的“GeneralizedFace Super-Resolution(广义面部超分辨率))”。
发明内容
{技术问题}
然而，在常规技术中，因为投影转换的输入条件是严格的，并且具体地说，照明改变的允许范围较窄，所以存在下述问题：当输入不满足条件的图像时，投影后的恢复的图像质量变差。解决该问题的方法的示例包括：加上照明改变作为投影转换的模态。然而，如果加上该模态，则限定投影关系的投影函数增加，并且投影转换的处理时间增加。
该问题不仅涉及图像处理，而且涉及使用类似的投影转换的各种数据处理，诸如语音识别、语言数据处理、活体信息处理和自然/物理信息处理。
例如，在对于语音识别的应用中，语音数据的采样频率、量化比特的数目(比特的数目)等可以是模态，并且，需要对于诸如48kHz、44.1kHz和32kHz的每一个采样频率与诸如16比特和8比特的量化比特的每一个数目准备用于语音识别的学习固有空间。
在对于语言处理的应用中，需要对于诸如日语和英语的每种语言准备用于语言识别的学习固有空间。在对于活体信息处理、自然/物理信息处理等的应用中，需要对于采样频率准备或需要对于量化比特的每一个数目准备用于信息处理的学习固有空间。
已经鉴于所述情况做出本发明，并且本发明的一个目的是提供高度稳健(稳固)的图像处理装置和方法与程序，该图像处理装置和方法与程序可以减轻作为转换源的图像的输入条件，并且可以对于具有照明改变的图像获得极好的转换图像。本发明的另一个目的是提供一种图像处理技术，该技术可以减少要使用的存储器的容量，并且减少处理负荷以加速处理。本发明的另一个目的是提供一种数据处理装置和方法、程序与记录介质，它们扩展一般的数据处理技术并向一般的数据处理技术应用该图像处理技术。
{对于问题的解决方案}
提供本发明的以下方面来实现所述目的。
本发明的第一方面提供了一种图像处理装置，其特征在于包括：信息获取组件，用于从学习图像群获取通过投影计算产生的固有投影矩阵，所述学习图像群包括由具有不同图像质量的第一质量图像和第二质量图像的高频分量形成的图像对以及由所述第一质量图像和所述第二质量图像的高频分量和中频分量形成的图像对的至少一个，并且所述信息获取组件获取从所述学习图像群和所述固有投影矩阵产生的投影核心张量；第一子核心张量产生组件，用于从所述获取的投影核心张量产生与由第一设定指定的条件对应的第一子核心张量；第二子核心张量产生组件，用于从所述获取的投影核心张量产生与由第二设定指定的条件对应的第二子核心张量；滤波组件，用于产生低频分量控制图像，其中，提取要处理的输入图像的高频分量或高频分量和中频分量；第一子张量投影组件，用于通过第一投影计算来投影所述低频分量控制图像，以计算在所述中间固有空间中的系数向量，所述第一投影计算使用所述固有投影矩阵和所述第一子核心张量；第二子张量投影组件，用于通过第二投影计算来投影计算出的系数向量，以从所述低频分量控制图像产生投影图像，所述第二投影计算使用所述第二子核心张量和所述固有投影矩阵；图像转换组件，用于产生转换图像，所述转换图像具有与所述输入图像不同的图像质量；以及，相加组件，用于使所述投影图像和所述转换图像相加。
根据第一方面，从低质量输入图像获取高质量输出图像的所述图像处理装置抑制所述输入图像的低频分量，以通过张量投影来执行高图像质量形成处理。结果，可以在通过所述张量投影的所述高图像质量形成处理中从输出图像去除由于在低频分量中包括的诸如照明改变的干扰或噪声导致的图像变差的影响，并且可以在恢复的高质量图像中提高对于低频分量(诸如干扰和噪声)的稳健性(强度)。
将投影转换的目标限制到高频分量或中频分量和高频分量而不是全部频率分量可以向高频分量或中频分量和高频分量分配可以用于产生学习图像群的整个固有空间。
优选的是，包括用于存储所述获取的固有投影矩阵和所述投影核心张量的存储组件。所述存储组件可以是诸如硬盘、光盘和存储卡的非易失性存储组件，可以是诸如RAM的用于暂时存储的存储组件，或可以是这些存储组件的组合。
所述第一设定可以指明用于在所述中间固有空间上投影所述第一质量图像的投影关系，并且所述第二设定可以指明用于在所述中间固有空间上投影所述第二质量图像的投影关系。
本发明的第二方面提供了一种图像处理装置，其特征在于包括：信息获取组件，用于从学习图像群获取通过投影计算产生的固有投影矩阵，所述学习图像群包括由具有不同图像质量的第一质量图像和第二质量图像的高频分量形成的图像对以及由所述第一质量图像和所述第二质量图像的高频分量和中频分量形成的图像对的至少一个，所述信息获取组件获取与由第一设定指定的条件对应的第一子核心张量，所述第一子核心张量是使用从所述学习图像群和所述投影矩阵产生的投影核心张量而产生的，并且所述信息获取组件获取与由第二设定指定的条件对应的第二子核心张量，所述第二子核心张量是使用所述投影核心张量而产生的；滤波组件，用于产生低频分量控制图像，其中，提取要处理的输入图像的高频分量或高频分量和中频分量；第一子张量投影组件，用于通过第一投影计算来投影所述低频分量控制图像，以计算在所述中间固有空间中的系数向量，所述第一投影计算使用所述固有投影矩阵和所述第一子核心张量；第二子张量投影组件，用于通过第二投影计算来投影计算出的系数向量，以从所述低频分量控制图像产生投影图像，所述第二投影计算使用所述第二子核心张量和所述固有投影矩阵；图像转换组件，用于产生转换图像，所述转换图像具有与所述输入图像不同的图像质量；以及相加组件，用于使所述投影图像和所述转换图像相加。
本发明的第三方面提供了根据第一或第二方面的图像处理装置，其特征在于：所述信息获取组件从所述学习图像群获取通过所述投影计算产生的固有投影矩阵，所述学习图像群包括通过所述第一质量图像和所述第二质量图像的高频分量形成的所述图像对，并且所述信息获取组件获取从所述学习图像群和所述固有投影矩阵产生的投影核心张量，所述滤波组件产生高频分量控制图像，其中，所述输入图像的高频分量被提取，并且用于使用所述固有投影矩阵和所述第一子核心张量来通过第一投影计算投影所述低频分量控制图像以计算在所述中间固有空间中的系数向量的所述第一子张量投影组件和所述第二子张量投影组件从所述高频分量图像产生高频分量的投影图像，以产生超过在所述输入图像中表达的频率区域的高频区域的图像信息。
根据所述方面，可以在所述输出图像中表达在所述输入图像中未表达的高频区域。
本发明的第四方面提供了一种图像处理装置，其特征在于包括：固有投影矩阵产生组件，用于从学习图像群产生通过投影计算产生的固有投影矩阵，所述学习图像群包括由具有不同图像质量的第一质量图像和第二质量图像的高频分量形成的图像对以及由所述第一质量图像和所述第二质量图像的高频分量和中频分量形成的图像对的至少一个；投影核心张量产生组件，用于产生投影核心张量，所述投影核心张量用于限定所述第一质量图像的在高频分量和中间固有空间之间或高频分量以及中频分量和所述中间固有空间之间的对应性，以及所述第二质量图像的在高频分量和中间固有空间之间或高频分量以及中频分量和所述中间固有空间之间的对应性；第一子核心张量获取组件，用于从所述产生的投影核心张量产生与由第一设定指定的条件对应的第一子核心张量；第二子核心张量获取组件，用于从所述产生的投影核心张量产生与由第二设定指定的条件对应的第二子核心张量；滤波组件，用于产生低频分量控制图像，其中，提取要处理的输入图像的高频分量或高频分量和中频分量；第一子张量投影组件，用于通过第一投影计算来投影所述低频分量控制图像，以计算在所述中间固有空间中的系数向量，所述第一投影计算使用所述固有投影矩阵和所述第一子核心张量；第二子张量投影组件，用于通过第二投影计算来投影计算出的系数向量，以从所述低频分量控制图像产生投影图像，所述第二投影计算使用所述第二子核心张量和所述固有投影矩阵；图像转换组件，用于产生转换图像，所述转换图像具有与所述输入图像不同的图像质量；以及相加组件，用于使所述投影图像和所述转换图像相加。
本发明的第五方面提供了根据第四方面的图像处理装置，其特征在于：所述固有投影矩阵产生组件从所述学习图像群通过所述投影计算产生所述固有投影矩阵，所述学习图像群包括通过所述第一质量图像和所述第二质量图像的高频分量形成的所述图像对，所述投影核心张量产生组件从所述学习图像群和所述固有投影矩阵产生所述投影核心张量，所述滤波组件产生高频分量控制图像，其中，所述输入图像的高频分量被提取，并且用于使用所述固有投影矩阵和所述第一子核心张量来通过第一投影计算投影所述低频分量控制图像以计算在所述中间固有空间中的系数向量的所述第一子张量投影组件和所述第二子张量投影组件从所述高频分量图像产生高频分量的投影图像，以产生超过在所述输入图像中表达的频率区域的高频区域的图像信息。
本发明的第六方面提供了根据第一至第五方面的图像处理装置，其特征在于：通过向所述第一质量图像应用与所述滤波组件相同的处理来提取所述第一质量图像的高频分量和中频分量，并且通过向所述第二质量图像应用与所述滤波组件相同的处理来提取所述第二质量图像的高频分量和中频分量。
根据所述方面，通过相同的处理来提取用于产生所述固有投影矩阵和所述第一和第二投影张量的所述学习图像群的高频分量或中频分量与应用使用所述固有投影矩阵和所述第一和第二投影张量的处理的所述输入图像的高频分量或中频分量。因此，产生适合于通过所述相加组件的相加的投影图像和转换图像。
本发明的第七方面提供了根据第一至第六方面的任何一项的图像处理装置，其特征在于进一步包括：加权因子确定组件，用于确定用于加权由所述相加组件相加的所述投影图像和所述转换图像的加权因子。
在所述方面中优选的是，根据所述张量投影处理的恢复的可靠性来确定所述加权因子。
本发明的第八方面提供了根据第一至第七方面的任何一项所述图像处理装置，其特征在于，所述滤波组件基于所述输入图像中的奈奎斯特频率来执行提取大于一个频率的分量的处理。
在所述方面中，所述滤波组件起到高频分量通过滤波器(高通滤波器)的作用。
本发明的第九方面提供了根据第一至第八方面的任何一项的图像处理装置，其特征在于：所述第一质量图像是所述图像对中具有相对较低图像质量的图像，所述第二质量图像是所述图像对中具有相对较高图像质量的图像，并且所述改变质量图像是具有比所述输入图像更高的图像质量的图像。
本发明的第十方面提供了根据第一至第九方面的任何一项的图像处理装置，其特征在于：所述第一设定指明在所述中间固有空间上投影所述第一质量图像的投影关系，并且所述第二设定指明在所述中间固有空间上投影所述第二质量图像的投影关系。
本发明的第十一方面提供了根据第一至第十方面的任何一项的图像处理装置，其特征在于：所述投影计算是局部保留投影(LPP)、局部线性嵌入(LLE)、线性切空间排列(LTSA)之一。
本发明的第十二方面提供了根据第一至第十一方面的任何一项的图像处理装置，其特征在于：所述学习图像群包括以人的面部为目标的图像对，并且所述中间固有空间是个人差异固有空间。
本发明的第十三方面提供了根据第一至第十二方面的任何一项的图像处理装置，其特征在于进一步包括：第一特征区域指定组件，用于从被输入图像指定第一特征区域；压缩处理组件，用于以第一压缩强度来压缩在所述被输入图像中的所述第一特征区域的图像部分，并且以第二压缩强度来压缩除了所述第一特征区域之外的图像部分，所述第二压缩强度是大于所述第一压缩强度的压缩强度；以及图像质量改变处理组件，用于通过所述第一子张量投影组件和所述第二子张量投影组件来至少投影所述第一特征区域以改变图像质量。
本发明的第十四方面提供了根据第一至第十三方面的任何一项所述的图像处理装置，其特征在于：所述投影计算包括使用局部关系的投影计算。
根据所述方面，由于通过如在LPP等中保留局部结构的投影进行的转换，在PCA等中的全局信息中易于丢失的中频分量或高频分量容易保留。因此，获得了新的有益效果，即有可能进一步改善恢复的图像质量。
本发明的十五方面提供了一种图像处理方法，其特征在于包括：信息获取步骤，用于从学习图像群获取通过投影计算产生的固有投影矩阵，所述学习图像群包括由具有不同图像质量的第一质量图像和第二质量图像的高频分量形成的图像对以及由所述第一质量图像和所述第二质量图像的高频分量和中频分量形成的图像对的至少一个，并且所述信息获取步骤获取从所述学习图像群和所述固有投影矩阵产生的投影核心张量；第一子核心张量产生步骤，用于从所述获取的投影核心张量产生与由第一设定指定的条件对应的第一子核心张量；第二子核心张量产生步骤，用于从所述获取的投影核心张量产生与由第二设定指定的条件对应的第二子核心张量；滤波处理步骤，用于产生低频分量控制图像，其中，提取要处理的输入图像的高频分量或高频分量和中频分量；第一子张量投影步骤，用于通过第一投影计算来投影所述低频分量控制图像，以计算在所述中间固有空间中的系数向量，所述第一投影计算使用所述固有投影矩阵和所述第一子核心张量；第二子张量投影步骤，用于通过第二投影计算来投影计算出的系数向量，以从所述低频分量控制图像产生投影图像，所述第二投影计算使用所述第二子核心张量和所述固有投影矩阵；图像转换步骤，用于产生转换图像，所述转换图像具有与所述输入图像不同的图像质量；以及相加步骤，用于使所述投影图像和所述转换图像相加。
本发明的第十六方面提供了一种图像处理方法，其特征在于包括：信息获取步骤，用于从学习图像群获取通过投影计算产生的固有投影矩阵，所述学习图像群包括由具有不同图像质量的第一质量图像和第二质量图像的高频分量形成的图像对以及由所述第一质量图像和所述第二质量图像的高频分量和中频分量形成的图像对的至少一个，所述信息获取步骤获取与由第一设定指定的条件对应的第一子核心张量，所述第一子核心张量是使用从所述学习图像群和所述投影矩阵产生的投影核心张量而产生的，并且所述信息获取步骤获取与由第二设定指定的条件对应的第二子核心张量，所述第二子核心张量是使用所述投影核心张量而产生的；滤波处理步骤，用于产生低频分量控制图像，其中，提取要处理的输入图像的高频分量或高频分量和中频分量；第一子张量投影步骤，用于通过第一投影计算来投影所述低频分量控制图像，以计算在所述中间固有空间中的系数向量，所述第一投影计算使用所述固有投影矩阵和所述第一子核心张量；第二子张量投影步骤，用于通过第二投影计算来投影计算出的系数向量，以从所述低频分量控制图像产生投影图像，所述第二投影计算使用所述第二子核心张量和所述固有投影矩阵；图像转换步骤，用于产生转换图像，所述转换图像具有与所述输入图像不同的图像质量；以及相加步骤，用于使所述投影图像和所述转换图像相加。
本发明的第十七方面提供了一种图像处理方法，其特征在于包括：固有投影矩阵产生步骤，用于从学习图像群产生通过投影计算产生的固有投影矩阵，所述学习图像群包括由具有不同图像质量的第一质量图像和第二质量图像的高频分量形成的图像对以及由所述第一质量图像和所述第二质量图像的高频分量和中频分量形成的图像对的至少一个；投影核心张量产生步骤，用于产生投影核心张量，所述投影核心张量限定所述第一质量图像的高频分量和中间固有空间之间的对应性以及所述第二质量图像的高频分量和所述中间固有空间之间的对应性；第一子核心张量获取步骤，用于从所述产生的投影核心张量产生与由第一设定指定的条件对应的第一子核心张量；第二子核心张量获取步骤，用于从所述产生的投影核心张量产生与由第二设定指定的条件对应的第二子核心张量；滤波处理步骤，用于产生低频分量控制图像，其中，提取要处理的输入图像的高频分量或高频分量和中频分量；第一子张量投影步骤，用于通过第一投影计算来投影所述低频分量控制图像，以计算在所述中间固有空间中的系数向量，所述第一投影计算使用所述固有投影矩阵和所述第一子核心张量；第二子张量投影步骤，用于通过第二投影计算来投影计算出的系数向量，以从所述低频分量控制图像产生投影图像，所述第二投影计算使用所述第二子核心张量和所述固有投影矩阵；图像转换步骤，用于产生转换图像，所述转换图像具有与所述输入图像不同的图像质量；以及相加步骤，用于使所述投影图像和所述转换图像相加。
本发明的第十八方面提供了根据第十五至第十七方面的任何一项所述的图像处理方法，其特征在于：所述投影计算包括使用局部关系的投影计算。
本发明的第十九方面提供了一种程序，其特征在于使得计算机起到以下作用：信息获取组件，用于从学习图像群获取通过投影计算产生的固有投影矩阵，所述学习图像群包括由具有不同图像质量的第一质量图像和第二质量图像的高频分量形成的图像对以及由所述第一质量图像和所述第二质量图像的高频分量和中频分量形成的图像对的至少一个，并且所述信息获取组件获取从所述学习图像群和所述固有投影矩阵产生的投影核心张量；第一子核心张量产生组件，用于从所述获取的投影核心张量产生与由第一设定指定的条件对应的第一子核心张量；第二子核心张量产生组件，用于从所述获取的投影核心张量产生与由第二设定指定的条件对应的第二子核心张量；滤波组件，用于产生低频分量控制图像，其中，提取要处理的输入图像的高频分量或高频分量和中频分量；第一子张量投影组件，用于通过第一投影计算来投影所述低频分量控制图像，以计算在所述中间固有空间中的系数向量，所述第一投影计算使用所述固有投影矩阵和所述第一子核心张量；第二子张量投影组件，用于通过第二投影计算来投影计算出的系数向量，以从所述低频分量控制图像产生投影图像，所述第二投影计算使用所述第二子核心张量和所述固有投影矩阵；图像转换组件，用于产生转换图像，所述转换图像具有与所述输入图像不同的图像质量；以及相加组件，用于使所述投影图像和所述转换图像相加。
本发明的第二十方面提供了一种程序，其特征在于使得计算机起到以下作用：信息获取组件，用于从学习图像群获取通过投影计算产生的固有投影矩阵，所述学习图像群包括由具有不同图像质量的第一质量图像和第二质量图像的高频分量形成的图像对以及由所述第一质量图像和所述第二质量图像的高频分量和中频分量形成的图像对的至少一个，所述信息获取组件获取与由第一设定指定的条件对应的第一子核心张量，所述第一子核心张量是使用从所述学习图像群和所述投影矩阵产生的投影核心张量而产生的，并且所述信息获取组件获取与由第二设定指定的条件对应的第二子核心张量，所述第二子核心张量是使用所述投影核心张量而产生的；滤波组件，用于产生低频分量控制图像，其中，提取要处理的输入图像的高频分量或高频分量和中频分量；第一子张量投影组件，用于通过第一投影计算来投影所述低频分量控制图像，以计算在所述中间固有空间中的系数向量，所述第一投影计算使用所述固有投影矩阵和所述第一子核心张量；第二子张量投影组件，用于通过第二投影计算来投影计算出的系数向量，以从所述低频分量控制图像产生投影图像，所述第二投影计算使用所述第二子核心张量和所述固有投影矩阵；图像转换组件，用于产生转换图像，所述转换图像具有与所述输入图像不同的图像质量；以及相加组件，用于使所述投影图像和所述转换图像相加。
本发明的第二十一方面提供了一种程序，其特征在于使得计算机起到以下作用：固有投影矩阵产生组件，用于从学习图像群产生通过投影计算产生的固有投影矩阵，所述学习图像群包括由具有不同图像质量的第一质量图像和第二质量图像的高频分量形成的图像对以及由所述第一质量图像和所述第二质量图像的高频分量和中频分量形成的图像对的至少一个；投影核心张量产生组件，用于产生投影核心张量，所述投影核心张量用于限定所述第一质量图像的在高频分量和中间固有空间之间或高频分量以及中频分量和所述中间固有空间之间的对应性以及所述第二质量图像的在高频分量和所述中间固有空间之间或高频分量以及中频分量和所述中间固有空间之间的对应性；第一子核心张量获取组件，用于从所述产生的投影核心张量产生与由第一设定指定的条件对应的第一子核心张量；第二子核心张量获取组件，用于从所述产生的投影核心张量产生与由第二设定指定的条件对应的第二子核心张量；滤波组件，用于产生低频分量控制图像，其中，提取要处理的输入图像的高频分量或高频分量和中频分量；第一子张量投影组件，用于通过第一投影计算来投影所述低频分量控制图像，以计算在所述中间固有空间中的系数向量，所述第一投影计算使用所述固有投影矩阵和所述第一子核心张量；第二子张量投影组件，用于通过第二投影计算来投影计算出的系数向量，以从所述低频分量控制图像产生投影图像，所述第二投影计算使用所述第二子核心张量和所述固有投影矩阵；图像转换组件，用于产生转换图像，所述转换图像具有与所述输入图像不同的图像质量；以及相加组件，用于使所述投影图像和所述转换图像相加。
本发明的第二十二方面提供了根据第十九至第二十一方面的任何一项的程序，其特征在于：所述投影计算包括使用局部关系的投影计算。
本发明的第二十三方面提供了一种数据处理装置，其特征在于包括：信息获取组件，用于从学习数据群获取通过投影计算产生的固有投影矩阵，所述学习数据群至少包括由具有不同条件的第一条件数据和第二条件数据的中频分量或高频分量形成的数据对，并且所述信息获取组件获取对应于由第一设定指定的条件而创建的第一子核心张量，所述第一子核心张量是从所述学习数据群和所述固有投影矩阵产生的投影核心张量创建的，并且所述投影核心张量限定在所述第一条件数据和中间固有空间之间的对应性和在所述第二条件数据和所述中间固有空间之间的对应性；滤波组件，用于产生低频分量控制输入数据，其中，提取要处理的输入数据的高频分量或高频分量和中频分量；以及第一子张量投影组件，用于通过第一投影计算来投影所述低频分量控制输入数据，以计算在所述中间固有空间中的系数向量，所述第一投影计算使用从所述信息获取组件获取的所述固有投影矩阵和所述第一子核心张量。
本发明的第二十四方面提供了一种数据处理装置，其特征在于包括：信息获取组件，用于从学习数据群获取通过投影计算产生的固有投影矩阵，所述学习数据群至少包括由具有不同条件的第一条件数据和第二条件数据的中频分量或高频分量形成的数据对，并且所述信息获取组件获取对应于由第一设定指定的条件而创建的第一子核心张量，所述第一子核心张量是从所述学习数据群和所述固有投影矩阵产生的投影核心张量创建的，并且所述投影核心张量限定在所述第一条件数据和中间固有空间之间的对应性和在所述第二条件数据和所述中间固有空间之间的对应性；滤波组件，用于产生低频分量控制输入数据，其中，提取要处理的输入数据的高频分量或高频分量和中频分量；以及第一子张量投影组件，用于通过第一投影计算来投影所述低频分量控制输入数据，以计算在所述中间固有空间中的系数向量，所述第一投影计算使用从所述信息获取组件获取的所述固有投影矩阵和所述第一子核心张量。
本发明的第二十五方面提供了根据第二十三或第二十四方面的数据处理装置，其特征在于：所述投影计算包括使用局部关系的投影计算。
本发明的第二十六方面提供一种数据处理方法，其特征在于包括：信息获取步骤，用于从学习数据群获取通过投影计算产生的固有投影矩阵，所述学习数据群至少包括由具有不同条件的第一条件数据和第二条件数据的中频分量或高频分量形成的数据对，并且所述信息获取步骤获取对应于由第一设定指定的条件而创建的第一子核心张量，所述第一子核心张量是从所述学习数据群和所述固有投影矩阵产生的投影核心张量创建的，并且所述投影核心张量限定在所述第一条件数据和中间固有空间之间的对应性和在所述第二条件数据和所述中间固有空间之间的对应性；滤波步骤，用于产生低频分量控制输入数据，其中，提取要处理的输入数据的高频分量或高频分量和中频分量；以及第一子张量投影步骤，用于通过第一投影计算来投影所述低频分量控制输入数据，以计算在所述中间固有空间中的系数向量，所述第一投影计算使用在所述信息获取步骤中获取的所述固有投影矩阵和所述第一子核心张量。
本发明的第二十七方面提供了一种数据处理方法，其特征在于包括：信息获取步骤，用于从学习数据群获取通过投影计算产生的固有投影矩阵，所述学习数据群至少包括由具有不同条件的第一条件数据和第二条件数据的中频分量或高频分量形成的数据对，并且所述信息获取步骤获取对应于由第一设定指定的条件而创建的第一子核心张量，所述第一子核心张量是从所述学习数据群和所述固有投影矩阵产生的投影核心张量创建的，并且所述投影核心张量限定在所述第一条件数据和中间固有空间之间的对应性和在所述第二条件数据和所述中间固有空间之间的对应性；滤波步骤，用于产生低频分量控制输入数据，其中，提取要处理的输入数据的高频分量或高频分量和中频分量；以及第一子张量投影步骤，用于通过第一投影计算来投影所述低频分量控制输入数据，以计算在所述中间固有空间中的系数向量，所述第一投影计算使用在所述信息获取步骤中获取的所述固有投影矩阵和所述第一子核心张量。
本发明的第二十八方面提供了根据第二十六或第二十七方面的数据处理方法，其特征在于：所述投影计算包括使用局部关系的投影计算。
本发明的第二十九方面提供了一种程序，其特征在于使得计算机起到以下作用：信息获取组件，用于从学习数据群获取通过投影计算产生的固有投影矩阵，所述学习数据群至少包括由具有不同条件的第一条件数据和第二条件数据的中频分量或高频分量形成的数据对，并且所述信息获取组件获取对应于由第一设定指定的条件而创建的第一子核心张量，所述第一子核心张量是从所述学习数据群和所述固有投影矩阵产生的投影核心张量创建的，并且所述投影核心张量限定在所述第一条件数据和中间固有空间之间的对应性和在所述第二条件数据和所述中间固有空间之间的对应性；滤波组件，用于产生低频分量控制输入数据，其中，提取要处理的输入数据的高频分量或高频分量和中频分量；以及第一子张量投影组件，用于通过第一投影计算来投影所述低频分量控制输入数据，以计算在所述中间固有空间中的系数向量，所述第一投影计算使用从所述信息获取组件获取的所述固有投影矩阵和所述第一子核心张量。
本发明的第三十方面提供了一种程序，其特征在于使得计算机起到以下作用：信息获取组件，用于从学习数据群获取通过投影计算产生的固有投影矩阵，所述学习数据群至少包括由具有不同条件的第一条件数据和第二条件数据的中频分量或高频分量形成的数据对，并且所述信息获取组件获取对应于由第一设定指定的条件而创建的第一子核心张量，所述第一子核心张量是从所述学习数据群和所述固有投影矩阵产生的投影核心张量创建的，并且所述投影核心张量限定在所述第一条件数据和中间固有空间之间的对应性和在所述第二条件数据和所述中间固有空间之间的对应性；滤波组件，用于产生低频分量控制输入数据，其中，提取要处理的输入数据的高频分量或高频分量和中频分量；以及第一子张量投影组件，用于通过第一投影计算来投影所述低频分量控制输入数据，以计算在所述中间固有空间中的系数向量，所述第一投影计算使用从所述信息获取组件获取的所述固有投影矩阵和所述第一子核心张量。
本发明的第三十一方面提供了根据第二十九至第三十方面的程序，其特征在于：所述投影计算包括使用局部关系的投影计算。
关于第二十三至三十一方面，将描述向基于面部图像的个人认证的应用的示例。虽然在基于面部图像的个人认证中可能存在与面部的方向相关的多个条件(通常为一个或多个条件)，诸如向前、向左和向右，但是存在下述属性：如果人是同一人，则由于通过经由具有一个或多个条件的“方向”的模态来保留局部性而从第一固有空间(即，像素固有空间)向第二固有空间上的投影，投影结果大体上聚集到公共第二固有空间(即，“中间固有空间”，诸如个人差异固有空间)上的一个点，而与输入图像中的方向无关。以这种方式，因为能够从第一固有空间向第二固有空间投影，所以不必对于第二固有空间上的方向的每一个条件(向前、向左、向右、...)准备用于确定在学习样本和输入样本之间的位置关系(“接近程度”)的条件，并且可以通过单个标准精确地处理一个或多个条件。而且，可以通过抑制诸如包括干扰或噪声的低频分量的特定分量来获得稳健性。因此，高度精确的和稳健的处理是可能的，并且可以获得加速处理和控制存储器大小的有益效果。
本发明的第三十二方面提供了一种记录介质，用于记录根据第十九至第二十二和第二十九至第一三十一方面的任何一项的程序。
与根据第一至第二十三方面的图像处理装置和方法与程序中相同的组件(步骤)可以被应用到根据第二十四至第三十二方面的数据处理装置和方法与程序中的的组件(步骤)，诸如滤波组件(步骤)。
与第四至第十三方面中的组件对应的相同组件或步骤可以被加到根据第十五至第十八和第二十六至第二十八方面的方法发明、根据第十九至第二十二和第二十九至第三十一方面的程序发明和根据第二十三至第二十五方面的数据处理装置的发明。
在根据第三十二方面的记录介质中，可以向记录介质中记录的程序加上所述组件。
{本发明的有益效果}
根据本发明，从低质量输入图像获取高质量输出图像的图像处理装置抑制输入图像的低频分量，以通过张量投影来执行高图像质量形成处理。结果，在通过所述张量投影的所述高图像质量形成处理中，可以从输出图像去除由于在低频分量中包括的诸如照明改变的干扰或噪声导致的图像变差的影响，并且可以在恢复的高质量图像中提高对于低频分量(诸如干扰和噪声)的稳健性(强度)。
将投影转换的目标限制到高频分量或中频分量和高频分量，其中从所有频率分量控制低频分量，这可以向高频分量或中频分量分配可以用于产生学习图像群的整个固有空间。可以通过较少的学习样本来获得高度精确的和高度稳健的恢复图像。
附图说明
图1是张量投影的概念图；
图2是向超分辨率图像转换应用张量投影的原理的说明图；
图3A是图示根据本发明的一个实施例的在图像处理装置中的处理的汇总的框图；
图3B是图示输入图像的频率特性的图；
图3C是图示输入图像经过高通滤波器之后的频率特性的图；
图3D是图示输出图像的频率特性的图；
图4是图示具有接近线性形状的属性的LPP固有空间(在此为个人差异固有空间)上的改变的说明图；
图5A是用于指示在二维子空间中的图像样本(低分辨率)的LPP投影分布的示例；
图5B是用于指示在二维子空间中的图像样本(高分辨率)的LPP投影分布的示例；
图6是图示根据本发明的实施例的图像处理装置的配置的框图；
图7A是基于主分量分析(PCA)的投影的概念图；
图7B是基于奇异值分解(SVD)的投影的概念图；
图8是图示通过学习集代表值形成的冗余消除的有益效果的概念图；
图9是图示与距隐藏候选位置的距离相关联地定义的权重的示例的图；
图10是图示在个人差异固有空间上的学习图像向量群和未知图像向量之间的关系的概念图；
图11是图示与距学习集的距离相关联地定义的权重的示例的图；
图12是图示根据本发明的另一个实施例的图像处理装置的配置的框图；
图13是图示根据本发明的实施例的图像处理系统的示例的配置图；
图14是图示在图13中的图像处理装置220的配置示例的框图；
图15是图示在图14中的特征区域指定单元226的配置示例的框图；
图16是图示从图像指定特征区域的处理示例的说明图；
图17是图示从图像指定特征区域的处理的另一个示例的说明图；
图18是图示由图15中的第二特征区域指定单元620进行的特征区域的确定处理的示例的说明图；
图19是图示图14中的压缩单元232的配置示例的框图；
图20是图示压缩单元232的配置的另一个示例的框图；
图21是图示图13中的图像处理装置250的配置示例的框图；
图22是图示图21中的图像处理单元330的配置示例的框图；
图23是以表格格式图示图22中的参数存储单元1010中存储的参数的示例的图；
图24是特定参数的加权的示例的图；
图25是图示图13中的显示装置260的配置示例的框图；
图26是图示图像的显示区域的示例的图；以及
图27是图示根据另一个实施例的图像处理系统的示例的配置图。
具体实施方式
以下，将参考附图来详细描述本发明的实施例。
虽然本发明可以被应用到各种应用，但是在此处理人的面部图像，并且将描述从低质量输入图像恢复高质量图像的示例。
<用于从低质量面部图像恢复高质量面部图像的投影转换的原理>
首先，将描述投影转换的原理。在用于执行从低质量输入图像恢复高质量图像的处理的准备阶段，预先学习多个人的面部图像的数据，并且获得用于定义转换关系的函数。该处理将被称为学习步骤。使用在学习步骤中获得的转换函数来从任意输入图像(低图像质量)获得高质量输出图像的步骤将被称为恢复步骤。
(关于学习图像集)
首先，将包括多个人(例如，60人)的面部的低分辨率图像和高分辨率图像对的学习图像群准备为学习图像集。在这里使用的学习图像集中，通过在特定条件下减少信息，诸如通过以特定的比率从高分辨率学习图像减少像素而获得的具有降低的图像质量的图像被用作低分辨率学习图像。预先学习通过减少信息而产生的低分辨率学习图像和对应的原始高分辨率学习图像(相同的人的相同内容的图像)对之间的对应性，以产生转换函数(限定投影的张量)。
目标图像大小(像素的数目)和用于指示密度的层次不被特别限制，例如，高分辨率图像(以下，可以被缩写为“H图像”)的像素的数目是64×48像素，低分辨率图像(以下，可以被缩写为“L图像”)的像素的数目是32×24像素，并且在该说明中的图像数据中，每一个像素具有8比特和0至255层次的密度值(像素值)
组合输入维度和输出维度可以处理在同一空间(坐标轴)中的输入空间和输出空间，并且这在计算中是方便的。在本示例的学习步骤中，通过下述方式来使用L图像的学习数据：通过任意方法来应用放大处理，以符合H图像的像素的数目。在具有匹配的像素数目的L图像和H图像之间的像素的对应性(位置关系)被确定为一对一，并且该图像具有相同的维度编号，并且可以在相同的坐标空间中被处理为点(系数向量)。
可以在学习图像集中包括多种模态的图像。为了简化说明，在此假定面部的方向是向前，并且面部的表情是标准的不露情感(“正常”)。在本示例中，一个图像以预定数目的像素(例如，8×8像素)被划分为一个区域接着一个区域的网格，并且对于多个划分的块(以下称为“分片”)，逐个分片地执行计算处理。更具体地，每一个分片的像素的数目×分片的数目(分区的数目)是一个图像的处理目标的总数。
在说明书中，具有64×48像素的图像被以8×8像素为单位(分片)划分，以将图像划分为48个(8×6)分片，但是分片大小、分区的数目、划分的格式等不被特别限制。可以在图像的分区中的相邻分片之间重叠预定数目的像素，或者，可以逐个图像地执行该处理，而不将图像划分为分片。
在使用学习图像集的本实施例中的模态的变化和模态的维度数目被一起置于下面的表格(表1)中。
[表1]
  模态编号   模态   维度数目
  No.1   像素值   8×8
  No.2   分辨率   2
  No.3   分片位置   48
  No.4   个人差异   60
布置不限于表1的示例，并且模态的数目可以进一步增加。以这种方式，可以增加各种模态，诸如，面部的方向可以包括10种模式，其中，在“向右-向前-向左”的范围内以10个阶段来改变方向，面部的表情可以包括正常、笑、怒和喊叫表情的4种模式，并且照明的方向可以包括5种模式，其中，在“直接水平向右-向前-直接水平向左”的范围中以45度为单位在5个阶段中改变方向(参见表2)。
[表2]
  模态编号   模态   维度数目
  No.1   像素   8×8
  No.2   分辨率   2
  No.3   分片位置   48
  No.4   个人差异   60
  No.5   面部方向   10
  No.6   表情   4
  No.7   照明方向   5
显然，表1和2仅是示例，并且可以增加诸如种族、性别和年龄的其他模态，或可以将所述模态替换为其他模态。
模态类型的数目等于限定下文描述的投影关系的核心张量G的阶(在表1的情况下的四阶张量)，并且，模态的维度数目的乘积是核心张量G的分量的数目。在表1的情况下，核心张量G的分量(大小)的数目是8×8×2×48×60。
核心张量的阶在表2的情况下是7，并且分量的数目是8×8×2×48×60×10×4×5。以这种方式，当增加模态时，张量的阶提高，并且张量的分量的数目基于维度数目的乘积而迅速增大。因此，从控制存储器方面的增加并且减少处理时间(处理负载减少)的角度看，期望适度地减少维度。本实施例提供了可以在通过减少维度而控制存储器方面的增加并且减少处理时间的同时获得高恢复特性的组件。
(张量投影的描述)
图1是张量投影的概念图。虽然为了说明方便该描述基于三维空间，但是该空间可以被扩展到任意的有限维度(N维)。张量投影允许从实空间R向固有空间(也称为“特征空间”)A的转换，并且允许在多个固有空间A、B和C之间的转换(投影)。
在图1中，从实空间R向固有空间A的投影关系由张量U指示，并且在固有空间A和B之间的投影关系由张量G1或G1 -1指示。类似地，在固有空间B和C之间的投影关系由张量G2或G2 -1指示，并且，在固有空间C和A之间的投影关系由张量G3或G3 -1指示。以这种方式，可以指明旋转多个固有空间的转换路线(投影路线)，并且，可以在各个空间中处理数据。
图2图示了向超分辨率图像转换应用张量投影的原理。
图2的示例使用在像素实空间、像素固有空间和个人差异固有(个人特征)空间之间的投影来图式化向高分辨率图像转换(重构)低分辨率图像的处理。
用于指示密度的数值(像素值)被提供到图像数据中的像素，并且可以在每一个像素位置识别基于指示密度值(像素值)的轴的多维空间中的系数向量。为了说明方便考虑如图2中的三维模型，例如，将人A的低分辨率面部图像数据绘制为在像素实空间上的点PLA。更具体地，人A的低分辨率面部图像数据的系数向量(x1，x2，x3)在第一基分量e1的轴上具有0至255的值(x1)，并且类似地，具有分别在第二基分量e2的轴和第三基分量e3的轴上的0至255的值(x2)和(x3)，并且因此，图像数据被指示为在像素实空间上的点PLA。类似地，人A的高分辨率面部图像数据被绘制为在像素实空间上的点PHA。
在此的转换的目的是转换在像素实空间上的低分辨率图像(例如，低分辨率图像的点PLA)的点，以进行向高分辨率图像的点(PHA′)的转变。
在该转换处理中，基于使用由局部保留投影(LPP)(图2(b))表示的降维方法的线性投影的固有投影矩阵Upixels的投影函数Upixels -1来从图2(a)的像素实空间R向固有空间A投影点。
通过降维方法，像素固有空间A的轴(基)对应于特征轴(固有向量)，并且可以将投影识别为将像素实空间R的轴向像素固有空间A的轴转换的坐标系的旋转。
点从像素固有空间A进一步移动到个人差异固有(个人特征)空间B(图2(c))。用于限定在低分辨率图像和个人差异固有空间之间的对应性的函数被用作投影函数GL -1。如图2(c)中所示，可以在个人差异固有空间中的大体上相同的位置绘制同一人的低分辨率图像的点和高分辨率图像的点。使用这个属性，限定在高分辨率图像和个人差异固有空间之间的对应性的投影函数GH用于从个人差异固有空间恢复像素固有空间A。
如图2(d)中所示，在通过与GL不同的函数GH恢复像素固有空间A后，进一步基于使用固有投影矩阵的投影函数Upixels来恢复像素实空间A(图2(e))。以这种方式，在个人差异空间中在L图像点和H图像点之间的大体一致可以用于通过图2的路线(c)→(d)→(e)将L图像转换为H图像。
更具体地，假定V是在图2(c)的个人差异固有空间中的个人差异固有空间系数向量，可以通过下面的公式来获得在像素实空间中的高分辨率像素向量H。
[表达式1]
H＝UpixelsGHV
同时，在像素实空间中的低分辨率像素向量L也如下面的公式。
[表达式2]
L＝UpixelsGLV
因此，为了从像素实空间的低分辨率图像(低分辨率像素向量L)通过像素固有空间→个人差异固有空间重建像素固有空间→像素实空间，以获得在像素实空间中的高分辨率图像，转换可以基于下面的公式的投影。
[表达式3]
H＝UpixelsGHV＝UpixelsGH(UpixelsGL)-1L
在本实施例内，使用局部保留投影(LPP)从包括低分辨率图像和高分辨率的对群的学习图像集获得投影函数(Upixels)，并且基于此获得投影函数GL和GH，使得同一人的L图像点和H图像点在个人差异空间上大体上匹配。
可以基于所获得的投影函数(Upixels、GL、GH)和在图2中图示的投影路线的框架将低分辨率图像精确地转换为高分辨率图像。
虽然在本实施例中描述了LPP投影的示例，但是可以取代LPP投影应用诸如主分量分析(PCA)的另一种投影方法来执行本发明。
<LPP投影概述>
下面是LPP投影的计算过程的概述。
(过程1)：获得相似矩阵：S，其用于指示学习样本(轮询)是否是相似的。
(过程2)：获得相似矩阵S的每行的∑以获得对角矩阵：D。
(过程3)：获得拉普拉斯矩阵：L＝D-S。
(过程4)：求解下面的广义固有值问题。
X·L·XT·u＝λ·X·D·XT·u
例如，[1]Cholesky分解或[2]广义固有值问题基于逆矩阵计算被转换为固有值问题，以求解该问题。
(过程5)：以固有值λ的升序来排序与固有值对应的固有向量u，以获得LPP投影矩阵：U。
<处理的总结>
图3A是图示在本发明的一个实施例中的处理的总结的框图。如所示，根据本实施例的处理可以大致被划分为学习步骤和恢复步骤。
在学习步骤中，输入包括低质量图像和高质量图像对的学习图像群(输入学习图像集)(#10)，并且对图像群使用高通滤波器(滤波器)来提取学习图像集(低质量图像和高质量图像)的高频分量(#11)。执行向输入图像的高频分量应用诸如局部保留投影(LPP)的降维方法以产生投影张量的处理(#12)。
如果图3A中通过提供#11所图示的“高频分量提取步骤”至少控制包括照明改变因素的低频分量，并且可以与高频分量一起提取中频分量，就足够了。更具体地说，提取输入学习图像集的高频分量或者高频分量和中频分量，并且获得具有受控的低频分量的学习图像集。
在投影张量产生步骤(#12)中，产生固有投影矩阵(#14)，并且，产生投影核心张量(#16)，其用于限定在低质量图像和中间固有空间之间的对应性和在高质量图像和中间固有空间之间的对应性。
描述LPP投影的示例，LPP转换坐标以保留在原始空间中的样本的局部值的接近程度(邻域值的几何距离的信息)，并且，坐标轴被确定为向投影空间(固有空间)中的邻域嵌入原始空间中的邻域样本。
例如，在表1的学习图像集中，在每一个分片位置的像素的实空间中绘制60人的H图像和L图像，并且向120点的分布应用LPP，以获得聚焦于分布中具有接近值的点(具有类似改变的点)的特征轴。
以这种方式，获得LPP固有投影矩阵Uj＝{U1，U2，U3，...U64}，其对应于分片位置的维度(在表1的情况下为64维)。
LPP固有投影矩阵用于产生LPP投影核心张量G，其包括在L图像和个人差异固有空间之间的对应性(张量GLj＝{GL1，GL2，GL3，...GL64})和在H图像和个人差异固有空间之间的对应性(张量GHj＝{GH1，GH2，GH3，...GH64})。
更具体地，从诸如像素、分辨率和分片位置的模态的角度获得固有投影矩阵U，并且使用U来获得投影核心张量G分量，并且获得该分量的集合作为投影核心张量G。
在LPP中，以固有值的升序来确定特征轴的排列(布置)，并且通过仅使用影响大的高级特征轴来减少维度。因此可以显著地减小核心张量的大小。
在计算处理中，计算包括影响较小的矩阵的所有固有投影矩阵U，。当在恢复处理中实际使用矩阵时，不使用影响较小的矩阵，并且一些影响大的矩阵可以用于恢复。特征轴的适度维度压缩的执行可以将投影核心张量的大小设定为适当的大小。
同时，在恢复步骤中，输入作为转换源的低质量图像(#20)，并且，提供用于指定要处理的分片位置的信息和用于设定在L图像和H图像之间的区别的信息(#22)。
从在学习步骤中产生的投影核心张量G(#16)产生与作为第一设定的L设定对应的第一子核心张量(在上面表1的示例中为GLj＝{GL1，GL2，GL3，...GL64})(#24)，并且，产生与作为第二设定的H设定对应的第二子核心张量(在上面表1的示例中为GHj＝{GH1，GH2，GH3，...GH64})(#26)。
基于与模态对应的所有固有向量来创建投影核心张量(#16)，并且投影核心张量(#18)是包括与所有模态相关的投影分量的集合。因此，需要从张量分量提取要在恢复处理中使用的分量。例如，可以确定图2中描述的投影路线中使用“个人差异”的固有空间来作为中间空间(在投影路线的转折点处的空间)的条件以提取与该条件对应的子核心张量GL和GH。以这种方式，可以在“学习步骤”中包括产生要实际使用的子核心张量的步骤。
使用高通滤波器的高频分量提取处理(#21)被应用到被输入的低质量图像(#20)。在高频分量提取步骤中，执行与学习步骤中的高频分量提取步骤(#11)相同的处理。例如，执行从输入图像提取与从学习图像集提取的频率分量相同的频率分量的处理。跟具体地，在恢复步骤的高频分量提取步骤中，提取与学习图像集一样的用作固有投影矩阵和投影核心张量的基的频率分量。
图3B中通过提供附图标记20所示的特性图示了输入图像中的空间频率(频率)和响应(增益)之间的关系(输入图像的频率特性)。如图3B所示，输入图像包括直到f2的空间频率，并且低频区域(例如，低于f1的频率区域)包括照明改变因素。
图3C中通过提供附图标记21所示的特性图示了低频分量控制图像的频率特性，在低频分量控制图像中从输入图像中提取了高频分量(图3A的#20)。切除低于f1的频率分量的处理被应用到包括图3B中所示频率特性的输入图像。
当产生了包括图3C的通过提供附图标记21所示频率特性的低频分量控制图像时，使用固有投影矩阵和第一子核心张量投影低频分量控制图像(#30)，以计算中间固有空间系数向量。第一子张量投影步骤(#30)等同于图2的(a)→(b)→(c)中描述的路线的投影。
第二子核心张量和固有投影矩阵用于投影图像(#30)以获得对于其中低频分量受控的被输入的图像的投影图像。第二子张量投影步骤(#34)等同于图2的(c)→(d)→(e)中描述的路线的投影。
同时，尽管未在图3A中示出，但是用于放大到与高质量图像(#36)相同大小(像素数目)的放大处理被应用于低质量图像(输入图像，#20)，以产生放大的图像。放大的图像的频率特性如图3D中通过提供附图标记21′所示。
在图3A中通过提供附图标记#60所示的相加步骤中，执行将放大的图像和由张量投影产生的图像相加的处理，并且通过将其中通过张量投影提高了输入图像的高频分量的图像质量的投影图像加到放大的图像来产生恢复的图像(高质量图像，#36)。
图3D图示了图3A中通过提供附图标记#36所示的高质量图像的频率特性的示例。图3D中通过提供附图标记20′所示的特性是放大的图像的频率特性，并且通过提供附图标记35所示的特性是投影图像的频率特性。如果相加这些特性，则可以获得包括由实线所示的频率特性的输出图像(高质量图像，#36)。
如图3D所示，尽管在从输入图像放大的放大图像(20′)中高于f1的频率区域的响应减小(恢复特性变差)，但是通过加上投影图像(35)确保了对于从f2到f2′的频率区域的预定的响应(恢复特性)。因此，根据本示例中图示的图像处理，可以在恢复的输出图像中表达未在输入图像中表达的从f2到f2′的频率区域。
在图3D中，f1′表示对应于输入图像中的阈值f1的频率，并且存在基于采样定理中的奈奎斯特频率来设定频率f1′的方法。更具体地说，使用与略低于奈奎斯特频率的频率相对应的频率f1作为阈值来向输入图像应用高频分量提取处理可以去除包括在输入图像的低频分量中的图像质量变差因素，并且恢复更优选的高质量图像。
从输入图像(以及学习图像集)中提取的频率区域可以是所谓的截止频率(响应为-3dB的频率)，或者可以是根据输入图像和输出图像任意设定的。
在图3A中所示的相加步骤(#60)中，还更优选的是，在使用根据投影图像的可靠性作为指标确定的加权因子来加权放大的图像和投影图像之后，将放大的图像和投影图像相加。
例如，当通过张量投影的高图像质量形成处理的可靠性高时，可以积极地使用投影图像，而当恢复可靠性低时，可以将加权因子确定为增加采用放大的图像的比率。
尽管未在图3A中示出，然而包括用于存储在学习步骤中产生并获取的固有投影矩阵(#14)和投影核心张量(#16)的存储组件也是优选的。该存储组件可以是半导体存储元件，诸如存储器，或者可以应用各种存储媒体(元件)，诸如象HDD的磁存储介质以及光存储介质。该存储组件可以嵌入在装置中，或者可以是可从装置移除的，诸如存储卡。
图3中产生投影张量(#12)的步骤和计算组件等同于“固有矩阵产生组件(步骤)”和“投影核心张量创建组件(步骤)”。产生第一子核心张量(#24)的步骤和计算组件等同于“第一子核心张量创建组件(步骤)”，并且产生第二子核心张量(#26)的步骤和计算组件等同于“第二子核心张量创建组件(步骤)”。
作为转换源的低质量图像(#20)等同于“输入图像”，并且通过高通滤波器的高频分量提取步骤(#21)等同于“滤波组件(步骤)”。
第二子张量投影步骤(#30)和计算组件等同于“第二子张量投影组件(步骤)”，并且在第二子张量投影(#34)中获得的高频分量的投影图像等同于“投影图像”。
将放大的图像和投影图像(#60)相加的相加步骤等同于“相加组件(步骤)”。
在本示例中，尽管描述了去除在输入图像和输出图像的低频分量中包括的由于照明改变导致的恢复图像的图像质量变差因素的图像处理，但是该图像处理方法可以应用于除了照明改变之外的因素。
例如，为了中频区域中包括的图像质量变差因素，可以控制输入图像的中频区域，并且基于不同于张量投影的系统的高图像质量形成处理(例如，放大处理)可以用于中频区域。基于张量投影系统的高图像质量处理可以用于其它频率区域，并且可以将通过高图像质量处理产生的两个图像相加。以这种方式，可以从输出图像中去除预定的频率区域中的图像质量变差因素。
<关于使用LPP投影的优点>
图4图示LPP固有空间上模态(在此为个人差异)的改变具有接近线性形状的属性的示例。例如，当通过LPP来转换人A、人B、人C和人D四个人的学习图像时，图4的从人A向人B的改变(个人差异上的改变)是在个人差异固有空间上大体上光滑(连续)的改变，并且在保持局部结构的同时接近线性形状。
以这种方式，在LPP高阶奇异值分解的固有空间(LPP_HOSVD)(n＝2，3，4...)上的转换可以将在与固有空间对应的模态的元素的改变近似为线性形状(参见图4)，并且，将任意的输入图像向量表达为相对于学习图像样本的向量群而言的高线性内插点。
更具体地，可以使用学习图像样本的向量群在LPP固有空间上极好地和近似地表达除了学习图像样本之外的未知输入图像。这一点是使用LPP投影转换系统的优点之一(优点1)。
图5A包括在二维子空间上的低分辨率图像样本的LPP投影分布，并且图5B指示在二维子空间上的高分辨率图像样本的LPP投影分布(参考文献：ZHUANG Yueting，ZHANG Jian，WU Fei，″Hallucinatingfaces：LPH super-resolution and neighbor reconstruction for residuecompensation″，Pattern Recogn，Vol.40，No.11，Page.3178-3194(2007)(2007年Pattern Recogn，第40卷，No.11，3178页-3194页，ZHUANG Yueting、ZHANG Jian、WU Fei的“Hallucinating faces：LPHsuper-resolution and neighbor reconstruction for residue compensation(面部分辨率增强：用于残差补偿的LPH超分辨率和邻居重建)”)。
如在该分布中所示，已知在LPP固有空间上的学习图像样本向量群的低分辨率分布的拓扑(图5A)和高分辨率分布的拓扑(图5B)高度相关，即使独立地学习和转换固有空间。
使用LPP的属性来通过在多重线性投影的框架的张量(GL、GH)进一步表达在模态的两个元素(低分辨率和高分辨率)之间的相互投影关系产生新的有益效果(优点2)，即高度精确的转换是可能的(可以减少误差)。
优点1和2的协同有益效果产生进一步改善投影关系精度的新的有益效果。与常规技术相比减轻了输入条件，并且获得了稳健性(强度)(优点3)。
基于LPP_HOSVD(n＝2，3，4...)在固有空间上的转换提高了学习图像群的分布之间的相关性，并且进一步减少了阶(模态)的维度。可以加速处理，并且可以节省存储器(优点4)。
<特定实施例的配置示例>
下面将描述包括图3A中所述处理的过程的进一步的实用实施例。
图6是图示根据本发明的实施例的图像处理装置100的配置框图。图6被划分为学习步骤和恢复步骤以阐明与图3A的对应性，并且，根据处理的流程图示了有助于步骤的处理的处理单元的块。
如图6中所示，图像处理装置100包括低分辨率放大处理单元102、高通滤波器104、分片划分单元106、LPP投影张量产生单元108、学习代表数目获取单元110、学习集代表值形成处理单元112、重新投影张量产生单元114、设定值获取单元120、第一子核心张量产生单元122、第二子核心张量产生单元124、第一LPP_HOSVD投影处理单元130、系数向量校正处理单元140、第二LPP_HOSVD投影处理单元150、相加单元160、权重计算单元162、通用超分辨率处理单元164和组合单元166。通过专用电子电路(硬件)、软件或电路和软件的组合来实现用于执行处理单元的处理的组件。
第一LPP_HOSVD投影处理单元130是用于执行图2的(a)→(b)→(c)中描述的投影路线的处理的组件，并且如图6中所示，包括：“L像素→固有空间投影单元132”，其将L图像从像素实空间向像素固有空间投影；以及，“[L像素→个人差异]固有空间投影单元134”，其将L图像从像素固有空间向个人差异固有空间投影。L图像中的像素值将被称为L像素，并且H图像中的像素值将被称为H像素。
第二LPP_HOSVD投影处理单元150是用于执行图2的投影路线(c)→(d)→(e)的处理的组件，并且包括：“[个人差异→H像素]固有空间投影单元152”，其将H图像从个人差异固有空间向像素固有空间投影；以及，“固有空间→H像素投影单元154″”，其执行从像素固有空间向实空间的投影。
下面将描述图6的处理单元的内容。
(低分辨率放大处理单元)
低分辨率放大处理单元102执行将输入的低分辨率图像放大为预定大小的处理。放大方法不被特别限制，并且可以使用各种方法，诸如双三次、B样条、双线性和最近邻。
在学习步骤中，将学习图像集的输入低分辨率图像放大为与高分辨率图像相同大小的像素的数目。在恢复步骤中，输入低分辨率图像被放大为与输出相同大小的像素的数目(在本示例中，与学习图像集的高分辨率图像相同的大小)。如所述，这是要匹配输入和输出的维度数目。
(高通滤波器)
高通滤波器104向输入图像应用用于控制低通的滤波。可以使用钝化掩模、拉普拉斯、梯度等作为滤波器。面部图像中的照明改变的影响的大部分在低频范围中。因此，可以通过由高通滤波器104抑制低通来去除照明改变的影响，并且可以改善对于照明改变的稳健性。
可以通过下述方式将在学习中使用的整个固有空间分配到高频分量：从输入图像去除低频分量，并且将投影转换的处理目标限制为来自整个频率范围的高频分量。在试图从低分辨率输入图像恢复高分辨率输出图像的本实施例中，重要的是，主要恢复高频分量。在向高频分量的恢复应用包括图2中描述的多重线性投影的框架的张量投影的本发明的实施例中，仅提供高频信息来作为投影处理的目标可以获得同时获得下述有益效果的新的有益效果：可以向固有空间有效地分配目标(整个动态范围可以用于固有空间中的高频分量的处理)的有益效果和可以控制输入图像的照明改变的影响的有益效果。
如果添加“照明方向”的模态(照明改变)以学习必要的学习图像群，则与照明改变对应的恢复处理能够基于与图1中相同的转换原理。然而，张量的大小增大，并且计算负荷和存储器容量增大。
根据如在本实施例中那样使用高通滤波器104的配置，不增加照明改变模态(＝在张量的阶上没有增加)，并且不需要照明条件检测处理。不需要数据收集和基于照明改变来学习恢复投影的处理。因此，存在下述优点：可以防止存储器容量的增大，并且处理负荷不显著增大。
根据本实施例，可以从高通滤波器104和LPP_HOSVD投影的协同效果预期具有更少的学习样本的高度精确和高度稳健的恢复。
如所述，虽然在本示例中将提取高频分量(具有图3B至图3D的f1或更高的频率分量)的处理图示为控制包括照明改变因素的低频分量的示例，但是可以使用高频分量来提取中频分量。
(分片划分单元)
分片划分单元106将被输入的图像划分为网格。在学习步骤和恢复步骤中逐个分片地执行图像处理。将处理目标限制为图像的一部分的逐个分片处理的执行可以处理低维度上的投影目标，并且可以获得对于个人差异中的改变的高图像质量和稳健性。因此，包括用于分片划分的组件的配置是在本发明的实现方式中的优选模式。
(LPP投影张量产生单元)
LPP投影张量产生单元108应用局部保留投影(LPP)，以从对于其完成了诸如低分辨率放大、高通滤波和分片划分的预处理的输入学习图像集(低分辨率图像和高分辨率图像的对群)产生LPP投影张量。
LPP转换坐标以保留在原始线性空间(在此为像素的实空间)中的样本的局部接近程度(邻域值的几何距离的信息)，并且确定坐标轴以向投影空间(固有空间)中的邻域嵌入原始空间中的邻域样本。
更具体地，当提供预处理的输入学习图像集时，LPP首先基于该集来产生LPP固有投影矩阵Upixels，然后如在奇异值分解(SVD)中那样产生LPP投影核心张量G。
更具体地，将用于指示学习图像集的图像的矩阵M分解为M＝U1∑U2。因为已经作为LPP固有投影矩阵获得了矩阵U1和U2，所以从矩阵计算获得∑(＝G)。
在“LPP局部保留投影”的原理中，获得了这样的轴(特征轴)，即其中具有类似值的样本是接近的。结果，保留了局部结构，并且，使用在邻域样本值之间的距离。实现了在具有接近值的样本(试样)之间大并且在具有不同值的样本之间小的相似性，并且，执行用于以大的相似性来近似样本的投影。LPP用于保持局部接近程度，以减少线性维度，并且，LPP具有下述特征：保留局部几何形状，并且能够仅通过线性转换来执行简单投影。然而，LPP通常没有正交基。然而，也提出了正交LPP，并且期望使用正交LPP。
<关于正交LPP的计算>
基于从LPP算法获得对角矩阵D和拉普拉斯矩阵L的前提，通过下面的过程来获得正交LPP投影矩阵WOLPP＝{u1，...ur}。维度数目r是小于原始维度数目n的数目。
(步骤1)：与矩阵(XDXt)-1XLXt的最小固有值对应的固有向量被设定为u1。
(步骤2)获得第k个固有向量。更具体地，与在[表达式4]中示出的矩阵M(k)的最小固有值对应的固有向量被设定为uk。
[表达式4]
M(k)＝{I-(XDXt)-1A(k-1)[B(k-1)]-1[A(k-1)]}(XDXt)-1(XLXt)
其中，
A(k-1)＝{u1，...，uk-1}
B(k-1)＝[A(k-1)]t(XDXt)-1A(k-1)
从k＝2至r(如果维度被未压缩则至n，并且如果维度被压缩则至r)重复步骤2的计算以获得固有向量。以这种方式，获得正交LPP投影矩阵WOLPP＝{u1，...，ur}。
<与主分量分析(PCA)的比较>
与LPP相比，主分量分析(PCA)的原理是最大化全局离差，并且主要目的是保持全局离差以减少线性维度。PCA具有保留全局几何形状并且仅基于线性转换来执行简单投影的特征，并且具有正交基。
如图7A中所示，PCA仅提供了在实空间向量和固有(特征)空间向量之间的投影函数。同时，如图7B中所示，除了在实空间向量和固有(特征)空间向量之间的投影函数U之外，奇异值分解(SVD)还提供了在固有空间A的向量和固有空间B的向量之间的投影函数∑。因此，SVD等同于在PCA中的特征向量的分解表达。
矩阵SVD是用于将任意矩阵M分解为M＝U∑V*的方法。在此，U表示输出法向正交向量，V表示输入法向正交向量，∑表示σi的对角输出矩阵，并且V*表示V的伴随矩阵。更具体地，V投影固有空间和U投影固有空间以对于每一个i而言σi(＞0)倍的关系唯一且线性地相关联。矩阵SVD的维度增加(模态增加)，即，形成张量，以获得张量SVD(TSVD)。在非专利文献1中描述的技术使用TSVD。
同时，在本实施例的LPP_HOSVD(n＝2，3，4...)中，LPP的维度增加(模态增加)，并且LPP_HOSVD(n＝2，3，4...)是LPP的张量形式。描述表1的学习图像集的示例，在像素实空间的分片位置绘制60人的H图像和L图像，并且对120点的分布应用LPP，以获得聚焦于分布中的接近值(具有类似改变的点)的特征轴。
然而，在本实施例中，从选择更适当的60个人以最终从60人的样本确定投影函数的角度看，在初始学习阶段中，使用包括超过60人(例如，200人)的低质量图像和高质量图像的对群的学习图像集。
以这种方式，获得与分片位置的维度(在表1的情况下为200个维度)对应的暂定的、临时LPP固有投影矩阵Uj＝{U1，U2，U3，...U200}。临时LPP固有投影矩阵Uj用于基于张量奇异值分解来产生临时投影核心张量G，该临时投影核心张量G限定对于L图像和H图像在像素固有空间和个人差异固有空间之间的转换。
临时投影核心张量G包括：子核心张量GLj＝{GL1，GL2，GL3，...GL200}，其将低分辨率图像的像素(L像素)与个人差异固有空间相关联；以及，子核心张量GHi＝{GH1，GH2，GH3，...GH200}，其将高分辨率图像的像素(H像素)与个人差异固有空间相关联。
(学习代表数目获取单元)
如所述，学习图像在本实施例中缩减，以选择适当的样本来确定投影函数。最终使用的学习图像的对群的数目(在此为样本的人的数目)被称为“学习代表的数目”，并且从外部获取学习代表的数目的信息。
图6的学习代表数目获取单元110是用于从外部引入学习代表的数目的组件。
(学习集代表值形成处理单元)
学习集代表值形成处理单元112执行从预处理的输入学习图像集(低分辨率图像和高分辨率图像的至少一个)获得个人差异固有空间系数向量的处理。在该处理中，与恢复步骤中的第一LPP_HOSVD投影处理单元130相同的处理，即，直到L像素→固有空间投影(附图标记132的处理)和[L像素→个人差异]固有空间投影(附图标记134的处理)的处理被应用到输入学习图像集，以获得个人差异固有空间的系数向量。
这等同于获得与输入学习图像集的图像相关的对于个人差异固有空间的投影点。结果，可以识别在个人差异固有空间中的样本(试样)点之间的接近程度。
基于个人差异固有空间中的点的分布，根据从学习代表数目获取单元110获得的学习代表的数目N来获得N个代表性个人差异固有空间系数向量(代表性向量)。使用K均值方法、EM算法、变分贝叶斯方法、马尔可夫链蒙特卡洛方法等来获得代表性向量。或者，可以组合多个系统。例如，可以通过K均值方法来获得初始候选者，并且可以通过EM算法来最终获得代表性向量，以在相对较短时间中高度精确地获得代表性向量。
作为代表值形成的结果，类似的样本点(在个人差异固有空间中的紧密定位的点)被一起放置(替换)到代表性向量。虽然可以原样使用个人差异固有空间上的所获得的代表性向量群，但是下述模式是优选的：对于代表性向量群的所获得向量的每一个采用最接近预处理的输入学习图像集的N个样本。虽然在前一种情况下从样本点组合代表性向量，但是在后一种情况下采用实际样本点。因此可以防止通过组合代表性点而引起的模糊。
作为代表值形成的结果，通过代表值来表示类似的样本点(个人差异固有空间中的紧密定位的点)，并且减小学习图像集的冗余。
(重新投影张量产生单元)
重新投影张量产生单元114向学习集代表值形成处理单元112中获得的N个代表性学习图像集应用与LPP投影张量产生单元108相同的处理，以再一次产生LPP固有投影矩阵和LPP投影核心张量。以这种方式，基于代表性学习图像集来获得在下文描述的恢复步骤中使用的LPP固有投影矩阵(Upixels)115和LPP投影核心张量(G)116。
虽然通过在图6中的单独的块图示了LPP投影张量产生单元108和重新投影张量产生单元114，但是也可以使用同一处理块来循环处理的配置。
图8是示意地图示通过形成学习集代表值的处理来消除学习集的冗余的状态的概念图。为了简化该说明，学习样本的数目是“5”，并且在此图示二维空间。作为通过LPP投影张量产生单元108的处理(第一次)的结果，当人A至人E的5人的面部图像数据在个人差异固有空间上如图8中所示分布时，对于具有较为接近的位置关系的人A、人C和人D三人的样本，人C形成代表值，并且消除人A和人D的样本。
基于人B、人C和人E三人的数据，重新投影张量产生单元114重新计算LPP固有投影矩阵Upixels和LPP投影核心张量G。以这种方式，通过形成学习集代表值的处理来减少学习图像集的冗余，并且在保持恢复性能和稳健性的同时可以减少投影张量的阶的维度。这可以有助于控制存储器方面的增大和处理速度上的增加。
将描述在恢复步骤中操作的处理单元。
在恢复步骤中，对于的输入图像(低质量图像)也以相同的方式来使用图6的学习步骤中描述的低分辨率放大处理单元102、高通滤波器104和分片划分单元106。更具体地，在恢复步骤中，对于输入图像的高通分量逐个分片地执行“L像素→固有空间投影”(附图标记132)、“[L像素→个人差异]固有空间投影”(附图标记134)、“[个人差异→H像素]固有空间投影”(附图标记152)和“固有空间→H像素投影”(附图标记154)。
(设定值获取单元)
设定值获取单元120是用于从外部获取要处理的分片位置的信息和用于指明L和H的设定的信息，并且用于向“第一子核心张量产生单元122”、“第二子核心张量产生单元124”、“L像素→固有空间投影单元132”和“固有空间→H像素投影单元154”提供该信息的组件。
取代从外部获得信息，可以与第一子核心张量产生单元122和第二子核心张量产生单元124相关联地向“第一子核心张量产生单元122”、“第二子核心张量产生单元124”、“L像素→固有空间投影单元132”和“固有空间→H像素投影单元154”提供在分片划分后的图像的分片位置。
该组件可以在学习步骤中与“第一子核心张量产生单元122”、“第二子核心张量产生单元124”一起被执行。
(第一子核心张量产生单元)
第一子核心张量产生单元122提供从设定值获取单元120输出的分片位置和L设定的条件，以从与重新投影张量产生单元114的输出相关的LPP投影核心张量116产生用于低分辨率的子核心张量GL。可以在学习步骤中执行该组件，并且取代存储和保留LPP投影核心张量116的模式或与其一起，可以在学习步骤中产生、存储和保留子核心张量GL。虽然根据该模式需要用于保留子核心张量的存储器，但是存在可以减少恢复步骤的处理时间的优点。
(L像素→固有空间投影单元)
在第一LPP_HOSVD投影处理单元130中的“L像素→固有空间投影单元132”基于从设定值获取单元120提供的分片位置来获得LPP固有投影矩阵115(Upixels)，并且向来自分片划分单元106的输出的图像应用到图2的(a)→(b)中描述的像素固有空间的Upixels -1投影的处理。顺便说下，Upixels -1表示Upixels的逆矩阵。
([L像素→个人差异]固有空间投影单元)
图6中的“L像素→固有空间投影单元132”之后的[L像素→个人差异]固有空间投影单元134从第一子核心张量产生单元122获得对应的投影张量GL，并且向“L像素→固有空间投影单元132”的输出应用对图2的(b)→(c)中描述的个人差异固有空间的GL -1投影的处理以获得个人差异固有空间系数向量。
(系数向量校正处理单元)
系数向量校正处理单元140使用由图6的[L像素→个人差异]固有空间投影单元134获得的分片数目的个人差异固有空间系数向量群来产生要向第二LPP_HOSVD投影处理单元150的[个人差异→H像素]固有空间投影单元152提供的校正系数向量群。
在校正计算中，使用包括多重线性投影的框架的张量投影的特征。更具体地，当学习的LPP固有投影矩阵和LPP投影核心张量被用作如图2中所述的张量投影的特征时，通过划分同一人的面部图像(例如，人A的面部图像)而获得的分片群的像素向量被大体上聚集到在个人差异固有空间上的一个点。因此，可以基于在张量空间的相同阶上的转换来使用分片之间高的互相关。
该属性的使用可以确定在面部图像中的部分隐藏的存在/不存在(面部的一部分被眼镜、口罩、自动门的边缘、门等遮掩的情况)，并且可以防止由于部分隐藏导致的恢复上的变差。以下，将描述一些特定示例。
[作为面部的恢复示例，其中从面部的隐藏区域去除隐藏物品]
具有隐藏物品的分片的像素向量是在与没有隐藏物品的其他分片的像素向量在个人差异固有空间中聚集的区域远离的位置处的点。在该情况下，具有隐藏物品的分片的像素向量被校正为没有隐藏物品的向量(校正系数向量)。
(示例A-1-1)：
使用与在个人差异固有空间中的同一人相关的分片群的系数向量群的代表值，诸如平均值、中值、最大值和最小值，作为校正系数向量群的值来去除个人差异固有空间系数向量群的噪声(诸如眼镜、口罩和门的部分隐藏物品的影响)。
(示例A-1-2)：
可以主要使用与在个人差异固有空间中的同一人相关的分片群的系数向量群的直方图中的代表值，如平均值、中值、最大值和最小值，或例如以个人差异固有空间系数向量群为目标的离差σ的范围或2σ的范围内的平均值、中值、最大值或最小值，作为校正系数向量群的值来进一步去除噪声。
[通过隐藏区域的检测进行的隐藏物品(诸如眼镜和口罩)的恢复的示例]
当检测到具有隐藏物品的区域时，通过专用张量来转换区域的模式也是可能的。
(示例A-2-1)：
预先基本上识别面部中的眼镜(在上侧水平横向)和口罩(下中心)的相对位置。并且比较区域的分片的个人差异固有空间系数向量群和整个面部(或除了隐藏候选区域之外的面部区域)的分片的个人差异固有空间系数向量群的代表值，并且如果代表值类似(如果距离接近)，则检测到没有隐藏的概率高。相反，如果在代表值之间的距离较远，则检测到存在隐藏物品的概率高。
在区域的分片的位置边界处，可以加上如图9中所示的权重或由诸如α/x、α/x2和exp(-αx)(其中，x表示距隐藏候选位置的距离)的函数表达的权重以获得代表值。
在根据分片位置被提供了权重的代表值中考虑隐藏物品的大小的不确定性。例如，眼镜有各种大小，并且取决于眼镜的大小，眼镜可能或可能不出现在相邻的分片中。在概率上，眼镜的影响在更接近眼睛的中心位置的区域中更大，而如果该距离更远(向外围)则眼镜的影响更小。因此，将隐藏物品的影响的程度定义为距眼睛中心位置的距离的函数。用于获取权重的组件的示例包括从预定函数计算权重的模式和使用预先存储的查找表(LUT)的模式。
如果检测到隐藏物品的存在概率高的区域，则对于隐藏物品区域执行以隐藏物品(眼镜、口罩等)为目标的基于本发明的系统的恢复(使用张量投影的恢复)。
(示例A-2-2)：
虽然在“示例A-2-1”中通过专注于距代表值的距离来检测隐藏物品，但是也可以从系数向量群的分布的散布检测隐藏物品。更具体地，示例A-2-1的另一个示例包括如下模式：如果对应于与隐藏候选相关的区域的分片的个人差异固有空间系数向量群的分布散布，则检测到存在隐藏的概率高。如果隐藏候选区域的分布比在整个面部的分布更大得散布，则可以确定存在隐藏的概率高。
(示例A-2-3)：
另一个示例包括初步获得个人差异固有空间系数向量群的正确的(在学习集中不包括图像)分布形状的模式。在该情况下，如果个人差异固有空间系数向量群类似于初步分布形状，则检测到没有隐藏的概率高。
[通过与本发明不同的系统来检测隐藏区域用于恢复的示例]
(示例A-3-1)：
下述模式也是可能的：基于诸如双三次另一种转换方法和“通用超分辨率处理单元164”(见图6)来对于隐藏物品区域中的恢复执行与在“示例A-2-1”中相同的检测。
[通过从面部中的特定区域预测除了特定区域之外的区域的系数向量而进行的恢复的示例]
(示例A-4-1)：
在个人差异固有空间中的高度相关可以用于通过划分同一人的面部图像而形成的分片群的像素向量，以从仅面部的一部分(例如，眼睛、鼻子和嘴部的区域)的分片的个人差异固有空间系数向量群获得整个面部的相关系数向量群。
(示例A-4-1-1)：
例如，面部的一部分的个人差异固有空间系数向量群的代表值，诸如平均值、中值、最大值和最小值被用作整个面部的校正系数向量群的值。
(示例A-4-1-2)：
取代“示例A-4-1-1”，对于在面部中心部分的多个分片获得个人差异固有空间系数向量群的分布。基于该分布来执行外插预测，以获得除了中心部分之外的部分的校正系数向量群。例如，对于在面部中心部分的9(3×3)个分片获得系数向量群的分布，并且基于外插方法(外插)从分布获得在九个分片的外部位置的系数向量。
(示例A-4-1-3)：
仅对于面部的水平和垂直方向上减少的分片来获得个人差异固有空间系数向量群的分布。该分布被内插以获得未对其获得个人差异固有空间系数向量的分片的校正系数向量群。例如，仅对偶数编号的分片位置获得系数向量群的分布，并且执行内插以获得剩余的奇数编号的分片。
根据“示例A-4-1”至“示例A-4-1-3”，从图6中描述的第一子核心张量产生单元122减少[L像素→个人差异]固有空间投影单元134的处理的数目，并且可以加速处理。
(示例A-公共-1)：
低通滤波(例如，平均滤波)可以被进一步应用到要处理的分片和周围分片的校正系数向量群。根据该模式，存在下述有益效果：在空间上平滑所获得的校正系数向量群，并且去除噪声分量。可以取代平均滤波来应用最大值、最小值或中值滤波。
(第二子核心张量产生单元)
第二子核心张量产生单元124提供设定值获取单元120的输出的分片位置和H设定的条件，以从LPP投影核心张量116产生子核心张量GH。
可以在学习步骤中执行该组件，以取代如图6中的恢复步骤中执行该组件的模式。在学习步骤中产生子核心张量GH可以减少恢复步骤的处理时间。然而，需要用于保留子核心张量GH的存储器。
([个人差异→H像素]固有空间投影单元)
[个人差异→H像素]固有空间投影单元152从第二子核心张量产生单元124获得GH，以对于系数向量校正处理单元140的输出的校正系数向量执行图2的(c)→(d)中描述的GH投影。
(固有空间→H像素投影单元)
固有空间→H像素投影单元154从设定值获取单元120获得基于分片位置的LPP固有投影矩阵Upixels，并且向[个人差异→H像素]固有空间投影单元152的输出的系数向量应用图2的(d)→(e)中描述的Upixels投影的处理，以获得高分辨率图像。
(相加单元)
相加单元160输出来自固有空间→H像素投影单元154的输入(高频分量的恢复信息)和来自低分辨率放大处理单元102的输入(原始低分辨率放大图像)的和。相加单元160相加和整合所有的分片，以产生一个面部图像(高分辨率图像)。可以在向原始低分辨率放大图像应用预定滤波处理后加上高频分量的恢复信息。
虽然可以如上所述获得高分辨率图像，但是当系数向量校正处理单元140中的校正处理大时，可以增加上权重以减少从“固有空间→H像素投影单元154”获得的高分辨率图像的影响，
以下，将描述用于实现该处理的配置的示例。
除了使用LPP投影张量的超分辨率处理组件(图6的附图标记100A和100B)之外，包括基于不同算法的超分辨率处理组件(在图6中被描述为“通用超分辨率处理单元164”)、权重计算单元162和组合单元166。
(通用超分辨率处理单元)
通用超分辨率处理单元164向输入低分辨率图像应用超分辨率放大，以将图像放大到与输出相同的大小。
虽然该放大方法不被特别限制，但是例如，使用聚类系统(Atkins，C.B.；Bouman，C.A.；Allebach，J.P.，″Optimal image scaling using pixelclassification″，IEEE，Image Processing，2001.Proceedings.2001International Conference on Volume 3，Issue，2001Page(s)：864-867vol.3)(2001年发行的IEEE，Image Processing，2001.Proceedings.2001International Conference，第3卷，864页-867页，Atkins，C.B.、Bouman，C.A.、Allebach，J.P.的“Optimal image scaling using pixel classification(使用像素分类的最佳图像缩放)”)。
聚类系统的特征在于采用混和模型。因此，可以通过组合多个模型来处理多种图案的超分辨率。
下面的混和高斯模型被假定为用于处理的组件。
[表达式5]
x＝∑(Ai·z+Bi)·wi(y-μi，πi)
其中，z：低分辨率图像，x：高分辨率图像，在学习期间指定Ai、Bi、μi和πi，并且基于未知像素和周围之间的差的维度向量y在恢复中动态地获得作为权重的概率wi。
例如，如下获得Ai、Bi、μi和πi。
通过K均值来获得100个类的每一个的重心，以分类差分的维度向量(簇向量)以创建初始分布状态。
通过EM算法来重复更新。通过当前条件概率来最大化似然函数，并且获得下一个条件概率。在E步骤中估计条件概率。E步骤的估计值用于最大化在M步骤中的似然函数。持续E步骤和M步骤的循环计算，直到似然函数的输出稳定。例如，执行10,000次学习，以学习100类中的100,000个像素(收敛条件是e-10)。
在低分辨率放大处理单元102中描述的放大方法可以被用作通用超分辨率处理单元164中的另一种放大方法。
(权重计算单元)
权重计算单元162是用于获得在组合单元166中使用的权重w1的组件，以通过通用超分辨率处理单元164根据输入条件的偏离水平来进行提高和降低采用通用超分辨率系统的比率的调整。确定权重w1，使得如果输入条件的偏离水平低，则降低采用通用超分辨率系统的比率，并且如果输入条件的偏离水平较高，则提高采用通用超分辨率系统的比率。
以下，将描述权重计算单元162中的计算的具体示例。在此表明，基于后文描述的组合单元166的公式([表达式7])，权重w1的值越小，则采用通用超分辨率系统的比率(1-w1)越高。
(示例B-1-1)：
如上所述的张量投影超分辨率的组件(图6的附图标记100A和100B)具有下述特征：在个人差异固有空间上的个人差异固有空间系数向量相距学习集的系数向量越远，则恢复特性越差(特征[1])。
图10是图示特征[1]的概念图。图10指示在三维空间中的张量的固有空间，并且通过点SL1、SL2...SLi来指示学习图像向量。通过附图标记170来指示学习图像群的分布范围的外围，通过黑圈来指示学习图像向量的重心PG。
通过白圈来指示除了学习图像向量之外的未知图像向量IM1、IM2...。
从未知图像向量与学习图像向量群的接近程度、距学习图像向量的距离(最近邻居、重心、周围的边界点)、样本群(类)的内部/外部确定等来确定距离。
在图10中，由IM1指示的未知图像向量在学习集(样本群)内，并且在综合地评估距最近的相邻点(最近邻居)的距离dNN、距重心PG的距离dG和距周围边界点的距离dAR(例如，评估函数基于该距离的线性组合来计算评估值)之后，确定学习图像样本和输入图像之间的距离相对接近。
类似地对于IM2确定距学习图像样本的距离接近。未知图像向量的恢复相当良好。
IM3和IM4存在于样本群的类别内，并且与IM1和IM2相比距离略远。可以说IM3和IM4处于“相对接近”的水平，并且IM3和IM4也可以较好地被恢复。
IM5和IM6位于样本群的外部，并且与IM1和IM2相比距学习集的距离远。当恢复未知图像向量IM5和IM6时的恢复特性较低。以这种方式，如果距学习集的距离更近，则良好的恢复是可能的，并且存在如果距离更远则恢复变差的趋势。
特征[1]用于如下获得权重w1。
对于通过学习集代表值形成处理单元112获得的代表性学习集执行直到恢复步骤的“[L像素→个人差异]固有空间投影单元134”的处理，并且预先获得代表性个人差异固有空间系数向量群。
基于来自设定值获取单元120的分片位置来获得代表性个人差异固有空间系数向量群和通过“[L像素→个人差异]固有空间投影单元134”获得的个人差异固有空间系数向量之间的最近距离，并且基于如图11B中所示的LUT或者诸如β1/x、β1/x2和exp(-β1x)的函数来获得w1。
(示例B-1-2)：
如果学习集的系数向量和个人差异固有空间系数向量的方向类似，则w1增加。
(示例B-2-1)：
张量投影超分辨率的组件(图4的附图标记100A和100B)具有下述特征：如果在个人差异固有空间上的个人差异固有空间系数向量的“包括作为样本数目的分片数目的分布”散布(改变)，则恢复性能较差(特征[2])。
使用特征[2]，并且如果在代表性学习集的系数向量和分片的个人差异固有空间系数向量之间的距离或方向相对于分片样本的分布的散布宽，则减小权重w1。例如，可以预先创建用于指示分布的散布和权重w1之间的对应性的查找表，或可以将限定该对应性的函数用于该计算。
根据该模式，当与张量的像素固有空间(图2(b)的个人固有空间)相比，通过评估根据本发明的方法在张量的个人差异固有空间(图2(c)的个人固有空间)上的可靠性来使用张量投影的特征[1]时，可以通过同一指标来评估所有的分片(所有的分片大体上聚集到一个点)，并且产生可以评估分布的散布作为可靠性度量的新的有益效果。因此，权重计算精度改善。
(示例B-2-2)：
在关于示例“B-2-1”的分片样本的分布中，对于具有少量样本(或远离代表值)的分片样本减小w1。因此，根据在直方图上的频率来改变权重。在该情况下，存在可以逐个分片地控制权重的有益效果。
(示例B-3)：
在关于“示例B-2-1”的分片样本的分布中，如果分布的形状类似，则可以提高权重。例如，取决于在学习步骤中识别的人A的分布和输入图像(未知图像)的分布的分布形状是否类似来改变权重。
(示例B-公共-1)：
可以对于“示例B-1-1”、“示例B-1-2”、“示例B-2-1”、“示例B-2-2”和“示例B-3”共同采用下面的配置。例如，在“示例B-1-1”或“示例B-1-2”中将进一步考虑相对于作为学习样本的个体代表性个人差异向量而言的每个人(例如，人A的面部中)的各个分片的正确回答适当度确定指标。各个分片与关于分片样本的分布的代表值的距离被用作确定指标。如果该距离远离代表值，则该分片被处理为不适合于正确回答。具体地说，可以获得具有与图11类似特性的wp、β2/x、β2/x2、exp(-β2x)等，并且可以向组合单元166提供w1′＝w1·wp。
根据该模式，当与张量的像素固有空间(图2(b)的个人固有空间)相比，通过评估根据本发明的方法在张量的个人差异固有空间(图2(c)的个人固有空间)上的可靠性来使用张量投影的特征[1]时，可以通过同一指标来评估所有的分片(所有的分片大体上聚集到一个点)，并且产生可以在评估中包括临时正确回答中限定的学习样本的可靠性的新的有益效果。因此，权重计算精度改善。
(示例B-公共-2)：
平均值、中值、最大值、最小值等通常可以被用作在“示例B-1-1”、“示例B-1-2”、“示例B-2-1”、“示例B-2-2”和“示例B-3”的代表值。
(示例B-公共-3)：
离散、标准偏差等通常可以被用作在“示例B-1-1”、“示例B-1-2”、“示例B-2-1”、“示例B-2-2”和“示例B-3”中的分布的散布(方差)。
(示例B-公共-4)：
如果在诸如学习集的重心和周围的边界点的代表值与个人差异固有空间系数向量之间的距离接近或方向类似，则w1增大。根据该模式，可以减少距离和方向的计算目标，并且可以加速处理。
(示例B-公共-5)：
可以在示例中的“距离”的计算中使用欧几里得距离、马哈拉诺比斯距离、KL距离等。
(示例B-公共-6)：
可以在示例中的“方向”的计算中使用向量角、内积、外积等。
(示例B-公共-7)：
距离、方向、代表值、分布散布、分布形状和恢复误差之间的关系被定义为在图4中描述的“学习步骤”中的正确回答/错误回答。恢复误差表示由从学习图像集获得的投影函数恢复的图像和正确回答图像之间的差，并且例如，通过来自正确回答/错误回答图像的均方误差或PNSR(峰值信噪比)来指示恢复误差。
在LUT、函数等中定义了元素“距离、方向、代表值、分布散布和分布形状”的至少一个和“恢复误差”之间的关系和在“恢复误差”和“权重w1”之间的关系。
在“恢复步骤”中，该LUT或函数用于从“学习步骤”和“恢复步骤”之间的“距离、方向、代表值、分布散布和分布形状”的至少一个的相似性获得“权重w1”。
下面将描述从“距离、方向、代表值、分布散布和分布形状”的至少一个的相似性获得“权重w1”的具体方法。
<在学习步骤中的处理>
获得“距离、方向、代表值、分布散布和分布形状”的至少一个和“恢复误差”之间的关系。例如，获得“距离的特性-恢复误差”。可以获得具有与频率成比例的可靠概率的特性。
<在恢复步骤中的处理>
在图6中描述的相对于在“恢复步骤”中获得的“距离、方向、代表值、分布散布和分布形状”而言在“学习步骤”中的最近的“距离、方向、代表值、分布散布和分布形状”被选择来获得对应的“恢复误差”。
基于所选择的“恢复误差”，从下面的公式([表达式6])的关系获得“权重”。在此假定，“恢复误差”越小，则“权重越大”。
[表达式6]
权重w1＝b0+b1×(恢复误差)
取代[表达式6]中指示的线性函数，可以定义非线性函数以获得权重。
(示例B-公共-8)
在限定“示例B-公共-7”中的个人差异固有空间上设定的正确回答/错误回答的“距离、方向、代表值、分布散布和分布形状”的至少一个与“权重”之间相关性的函数中，可以通过下述方法来获得[表达式5]的系数b0和b1：(正则化)最小平方方法、多元回归分析、SVM(回归)、AdaBoost(回归)、非参数贝叶斯、最大似然估计方法、EM算法、变分贝叶斯方法、马尔可夫链蒙特卡洛方法等。
(示例B-公共-9)
在示例(“示例B-1-1”至“示例B-公共-8”)中，可以将低通(平均)滤波进一步应用到要处理的分片和周围分片的权重。该模式具有在空间上平滑所获得的权重的有益效果和去除噪声的有益效果。也可以应用最大值、最小值和中值滤波器。
“示例B-公共-1至9”方法也可以被应用到如上所述的系数向量校正处理单元140中的加权。
如所述，在使用根据关于学习图像集的输入图像的偏离水平(输入条件的偏离水平)的另一种系统的图像转换组件(在此为通用超分辨率的组件)的配置中，如果当使用固有空间上的系数向量之间的位置关系时使用学习图像集的代表值，则存在这另一种系统的使用功能可以有效地作用的有益效果。
(组合单元)
图6的组合单元166根据在权重计算单元162中获得的下面的权重来组合或选择从相加单元160(图1)提供的图像和从通用超分辨率处理单元164(图2)提供的图像。
[表达式7]
输出高分辨率图像＝∑(wi·Ii)＝w1·I1+w2·I2
其中，w1表示相加单元160的输出I1的权重w1，并且w2表示通用超分辨率处理单元164的输出I2的权重w2＝1-w1。
根据具有该配置的图像处理系统，可以从低质量输入图像获得高质量图像。可以实现对于输入条件具有宽容忍的稳健的高图像质量形成处理。
除了通用超分辨率处理单元164之外，可以进一步布置基于另一种方法的一个或多个高图像质量形成处理单元。可以选择性地使用处理单元，或可以通过任意加权来组合图像。
同时，超分辨率恢复处理的可靠性可能依赖于输入图像的条件而极低，并且可能存在下述情况：期望使用原始输入图像的信息来输出图像，而不是输出具有低可靠性的缺陷图像。因此，可以取代或补充通用超分辨率处理单元164布置用于简单地放大输入图像的处理单元，并且可以向组合单元166提供由放大处理单元放大的图像(未进行超分辨率恢复处理的图像)。
<实施例的修改示例1>
图12是图示另一个实施例的框图。在图12中，使用相同的附图标记来指示与图7的配置中相同或类似的元素，并且将不重复说明。
在图12中图示的实施例是在学习步骤中产生第一子核心张量123和第二子核心张量125并且在诸如存储器的存储组件中存储和保留该张量的模式。
一旦创建和保留了LPP固有投影矩阵U和投影核心张量G，则可以在随后的处理中重复地使用LPP固有投影矩阵U和投影核心张量G(以及从该矩阵和张量产生的第一子核心张量123和第二子核心张量125)。因此，下述模式是优选的：在恢复步骤中，对于每一个学习图像集从该矩阵和张量形成参数，并且根据输入图像的内容来任意地重新设定适当的投影矩阵和张量。
例如，通过来自投影转换集的国家或地区来形成参数，该投影转换即诸如是基于日本人的面部的学习图像集而产生的投影矩阵和张量的集合和基于西方人的面部的学习图像集而产生的投影矩阵和张量的集合，并且在必要时切换和使用参数。
或者，可以不仅基于面部图像的超分辨率恢复的处理，而且基于该处理的应用来切换投影矩阵和张量的集。例如，根据诸如用于内窥镜图像和用于车辆图像的应用来切换学习图像集，以产生LPP固有投影矩阵U和投影核心张量G(以及从该矩阵和张量产生的第一子核心张量123和第二子核心张量125)，并且在非易失性存储器、磁盘或其他存储组件中保留和存储所产生的投影矩阵和张量。通过根据应用读取和设定投影矩阵和张量，使用同一算法的各种图像处理是可能的。
<实施例的修改示例2>
虽然在图6和12中图示通过一个图像处理装置执行学习步骤和恢复步骤的配置，但是可以单独布置执行学习步骤的图像处理装置和执行恢复步骤的图像处理装置。在该情况下，期望管理恢复步骤的图像处理装置可以从外部获取单独创建的投影关系的信息(固有投影矩阵和投影张量)。可以应用与光盘或其他可移动存储介质对应的介质接口或通信接口作为信息获取组件。
<实施例的修改示例3>
虽然在实施例中将LPP图示为使用局部关系的投影，当时替代LPP，也可以应用各种多样的学习方法，诸如局部线性嵌入(LLE)、局部切空间排列(LTSA)、Isomap、拉普拉斯特征映射(LE)和邻域保留嵌入(NPE)。
本发明的用于获得代表性学习图像群的技术不仅被应用到使用局部关系的投影，而且被应用到张量奇异值分解(TSVD)等。
<实施例的修改示例4>
在图6中所述的实施例中，分片的模态和表1中描述的四种模态的分辨率被处理为用于设定条件的已知元素，以简化描述，并且通过专注于“像素值”和“个人差异”的模态设计通过像素固有空间和个人差异固有空间从像素实空间的投影路线。但是，投影路线的设计不限于执行本发明中的本示例。各种固有空间可以被选择为根据模态变化的投影路线中的固有空间。
<实施例的修改示例5>
向恢复步骤输入的转换源的图像可以是在图6和12中描述的处理的过程之前从前一级的图像部分裁剪(提取)的图像区域。例如，执行从原始图像提取人的面部部分的处理，并且可以将所提取的面部图像区域处理为恢复步骤的输入图像数据。
可以添加用于执行下述组合处理的处理组件：由恢复的输出高分辨率图像替换提取的区域，并且将图像嵌入原始图像。在该情况下，根据最终输出图像的大小(或要组合的背景的大小)来调整放大率。
<其他应用>
通过如下改变学习图像集，对于各种“目标”、“模态”和“图像处理”的应用是可能的。因此，本发明的应用范围不限于上述实施例。
除了面部之外，作为“目标”的图像可以是这样的区域：包括诸如人的头部或手的人体的一部分的部位；或者，包括除了人体之外的活体的至少一部分的部位。活体包括在活体内的特定组织，诸如在活体中的血管。当本发明的图像处理技术被应用到内窥镜系统时，可以在“活体”的概念中包括活体中的肿瘤组织，并且该肿瘤组织可以是“目标”。
除了活体之外，诸如货币和现金卡的卡、车辆和车辆的号牌以及由诸如复印机的扫描器装置扫描的文件的文本、图、表格和照片也可以是目标。
“模态”包括被摄体的方向、大小、位置、照明位置等。“模态”的其他示例包括：被摄体的类型，诸如种族、年龄和性别；以及被摄体图像的属性，诸如成像的人的表情、成像的人的手势、成像的人的姿势和成像的人佩戴的佩戴材料。佩戴材料的示例包括眼镜、太阳镜、口罩和帽子。
除了超分辨率形成之外，可以应用本发明的“图像处理”包括投影处理，诸如减少混叠分量的处理、多色形成、多层次形成、噪声减少、用于减少诸如块噪声和蚊式噪声的伪影的伪影减少、模糊减少、锐度形成、高帧率形成、宽动态范围形成、色阶校正、失真像差校正和编码。例如，在噪声减少的情况下，噪声图像(等同于“低质量图像”)和没有噪声的图像(等同于“高质量图像”)被处理为一对，以学习投影关系。
本发明不仅可以被应用到静止图像，而且被应用到构成视频的帧图像(或场图像)。
<对监控系统的应用>
图13图示根据本发明的实施例的图像处理系统200的示例。下述的图像处理系统200可以作为例如监控系统。
图像处理系统200包括：多个成像装置210a-d，其成像监控目标空间202；图像处理装置220，其处理由成像装置210a-d拍摄的摄像图像；通信网络240；图像处理装置250；图像数据库(DB)255和多个显示装置260a-e。可以在与监控目标空间202不同的空间205(例如远离监控目标空间202的位置)中安装图像处理装置250，并且可以在与监控目标空间202和图像处理装置250的安装空间205不同的空间206中安装显示装置260a-e。
成像装置210a包括成像单元212a和摄像图像压缩单元214a。成像单元212a连续地成像监控目标空间202以拍摄多个摄像图像。由成像单元212a获得的摄像图像可以是RAW格式的摄像图像。摄像图像压缩单元214a同步由成像单元212a拍摄的RAW格式的摄像图像，并且通过基于MPEG编码或其他编码系统压缩包括由该同步所获得的多个摄像图像的视频来产生视频数据。成像装置210a向图像处理装置220输出所产生的视频数据。
其他成像装置210b、210c和210d具有与成像装置210a相同的配置，并且由成像装置210a-d产生的视频数据被发送到图像处理装置220。在下面的说明中，成像装置210a-d可以被统称为“成像装置210”。类似地，显示装置260a-e可以被统称为“显示装置260”。在下面的描述中，数字代码后面的字符，诸如在向类似的构成元件提供的附图标记的尾部的字母字符，可以被缩写以统称由数字代码指示的构成元件。
图像处理装置220解码从成像装置210获取的视频数据，以获取视频。图像处理装置220从所获取的视频中包括的多个摄像图像检测具有不同类型特征的多个特征区域，诸如成像的人270的区域和诸如车辆的成像的移动体280的区域。图像处理装置220以根据特征类型的强度压缩特征区域的图像，并且以比用于压缩特征区域的图像的压缩强度更强的强度来压缩除了特征区域之外的区域的图像。
图像处理装置220还产生特征区域信息，包括用于指定从摄像图像检测的特征区域的信息。特征区域信息可以是文本数据，包括特征区域的位置、特征区域的大小、特征区域的数目和用于标识从其检测到特征区域的摄像图像的标识信息，或者可以是通过向文本数据应用诸如压缩和加密处理而获得的数据。
图像处理装置220向压缩视频数据附加所产生的特征区域信息，并且通过通信网络240向图像处理装置250发送该信息。
图像处理装置250从图像处理装置220接收与特征区域信息相关联的压缩视频数据。图像处理装置250在图像DB 255中与关联于压缩视频数据的特征区域信息相关联地存储压缩视频数据。关于图像DB255，可以在诸如硬盘的非易失性存储介质中存储压缩视频数据。以这种方式，图像DB 255存储压缩的摄像图像。
响应于来自显示装置260的请求，图像处理装置250从图像DB255读出压缩视频数据和特征区域信息，使用伴随的特征区域信息来扩展所读出的压缩视频数据，以产生用于显示的视频，并且通过通信网络240向显示装置260发送该视频。显示装置260包括用户界面，该用户界面可以输入图像的搜索条件等。显示装置260可以向图像处理装置250发送各种请求，并且显示从图像处理装置250接收的用于显示的视频。
取代视频显示或与其组合，图像处理装置250可以基于在特征区域信息中包括的特征区域的位置、特征区域的大小和特征区域的数目来指定满足各种搜索条件的摄像图像和摄像图像的特征区域。图像处理装置250可以解码指定的摄像图像，并且向显示装置260提供该图像，以在显示装置260上显示匹配所请求的搜索条件的图像。
图像处理装置250可以使用对应的特征区域信息来扩展从图像处理装置220获取的压缩视频数据，以产生用于显示的视频，然后在图像DB 255中存储该视频。此时，图像处理装置250可以在图像DB 255中与特征区域信息相关联地存储用于显示的视频。根据该模式，图像处理装置250可以根据来自显示装置260的请求从图像DB 255读出用于显示的视频(扩展的)，以向显示装置260发送该视频以及特征区域信息。
取代从图像处理装置250向显示装置260提供用于显示的扩展的视频的模式，显示装置260可以执行压缩视频数据的扩展处理以产生用于显示的图像。更具体地，显示装置260可以从图像处理装置250或图像处理装置220接收特征区域信息和压缩视频数据。在该模式中，当解码接收的压缩视频数据并在显示装置260上显示时，显示装置260可以暂时和简单地放大解码的摄像图像中的特征区域，并且在显示装置260上显示该特征区域。
显示装置260可以根据显示装置260中的处理能力来进一步确定特征区域的图像质量，以基于所确定的图像质量来提高特征区域的图像的图像质量。显示装置260可以将在显示装置260上显示的摄像图像中的特征区域的图像替换为通过提高图像质量而形成的特征区域的图像，并且在显示装置260上显示该图像。使用本发明的张量投影的超分辨率组件可以在所述替换和显示时被用作高图像质量形成的处理组件。更具体地，应用本发明的图像处理装置可以被加载在显示装置260上。
根据本示例的图像处理系统200，与视频相关联地存储用于指示特征区域的信息。因此，可以迅速地搜索和提示在视频中匹配预定条件的摄像图像群。根据本示例的图像处理系统200，仅可以解码匹配预定条件的摄像图像群。因此，可以容易地响应于重放指令，并且可以迅速地显示匹配预定条件的部分视频。
图13中所示的记录介质290存储用于图像处理装置220、图像处理装置250和显示装置260的程序。在记录介质290中存储的程序被提供到电子信息处理装置，诸如计算机，这些电子信息处理装置分别作为本实施例的图像处理装置220、图像处理装置250和显示装置260。在计算机中包括的CPU根据程序的内容来运行，并且控制计算机的部件。由CPU执行的程序使得计算机作为关于图13和随后的附图描述的图像处理装置220、图像处理装置25、显示装置260等。
记录介质290的示例包括：CD-ROM；光学记录介质，诸如DVD或PD；磁光记录介质，诸如MO或MD；磁记录介质，诸如磁带介质或硬盘装置；半导体存储器；以及，磁存储器。在连接到专用通信网络或因特网的服务器系统上布置的诸如硬盘或RAM的存储装置也作为记录介质290。
以下，将进一步详细地描述本示例的图像处理系统200中的图像处理装置220和250与显示装置260的配置示例。
[图像处理装置220的描述]
图14图示图像处理装置220的块配置的示例。图像处理装置220包括图像获取单元222、特征区域指定单元226、外部信息获取单元228、压缩控制单元230、压缩单元232、关联处理单元234和输出单元236。图像获取单元222包括压缩视频获取单元223和压缩视频扩展单元224。
压缩视频获取单元223获取由成像装置210(参见图13)产生的编码的视频数据。压缩视频扩展单元224扩展由压缩视频获取单元223获取的视频数据，以产生在视频中包括的多个摄像图像。具体地说，压缩视频扩展单元224解码由压缩视频获取单元223获取的编码的视频数据，以提取该视频中包括的多个摄像图像。视频中包括的摄像图像可以是帧图像或场图像。
由压缩视频扩展单元224获得的多个摄像图像被提供到特征区域指定单元226和压缩单元232。特征区域指定单元226从包括多个摄像图像的视频检测特征区域。具体地说，特征区域指定单元226从多个摄像图像的每一个检测特征区域。
例如，特征区域指定单元226将其中图像内容在视频中改变的图像区域检测为特征区域。具体地说，特征区域指定单元226可以将包括移动对象的图像区域检测为特征区域。特征区域指定单元226可以从多个摄像图像的每一个检测具有不同类型特征的多个特征区域。
特征的类型可以是基于对象的类型而划分的类型，诸如人或移动体。可以基于对象的形状或对象的颜色的重合程度来确定对象的类型。以这种方式，特征区域指定单元226可以从多个摄像图像检测包括不同类型的对象的多个特征区域。
(特征区域检测方法的示例1)
例如，特征区域指定单元226可以从多个摄像图像提取与预定形状图案以比预定的重合程度大的重合程度匹配的对象，并且将摄像图像中包括所提取的对象的区域检测为具有相同类型的特征的特征区域。可以为每种特征定义多个形状图案。形状图案的示例包括人的面部的形状图案。可以为多个人的每一个定义不同面部的图案。以这种方式，特征区域指定单元226可以将包括不同人的不同区域检测为不同的特征区域。
除了人的面部之外，特征区域指定单元226可以将包括诸如人的头部或人的手的人体的一部分的部位或除了人体之外的活体的至少一部分的部位的区域检测为特征区域。
当处理在活体内的图像时，诸如在向具有与图像处理系统200类似的配置的内窥镜系统的应用中，诸如在活体内的血管或在活体内的肿瘤组织的活体内的特定组织可以是目标。除了活体之外，特征区域指定单元226可以将诸如货币和现金卡的成像的卡、成像的车辆和车辆的成像的号牌的区域检测为特征区域。
(特征区域检测方法的示例2)
除了基于模板匹配等的图案匹配之外，特征区域指定单元226可以基于例如基于在日本专利申请特许公开No.2007-188419中描述的机器学习(例如，AdaBoost)的学习结果来检测特征区域。例如，从预定被摄体的图像提取的图像特征量和从除了预定被摄体之外的被摄体的图像提取的图像特征量用于学习从预定被摄体的图像提取的图像特征量的特征。特征区域指定单元226可以将从其提取了包括与学习的特征匹配的特征的图像特征量的区域检测为特征区域。
除了示例1和2之外，可以通过各种方法来检测特征区域，并且特征区域指定单元226基于任意方法从多个视频的每一个中包括的多个摄像图像检测多个特征区域。特征区域指定单元226向压缩控制单元230提供指示所检测的特征区域的信息。指示特征区域的信息可以包括：特征区域的坐标信息，用于指示特征区域的位置；类型信息，用于指示特征区域的类型；以及用于标识在其中检测到特征区域的视频的信息。
压缩控制单元230基于从特征区域指定单元226获取的用于指示特征区域的信息来通过压缩单元232控制视频的压缩处理。基于由压缩控制单元230的控制，压缩单元232在摄像图像的特征区域中和在除了摄像图像的特征区域之外的区域中以不同的强度来压缩摄像图像。例如，与特征区域中的分辨率相比，压缩单元232降低在视频中包括的摄像图像中的除了特征区域之外的区域的分辨率，以压缩摄像图像。以这种方式，压缩单元232以根据成像区域的重要性的强度压缩摄像图像中的图像区域。
当特征区域指定单元226检测到多个特征区域时，压缩单元232可以以根据特征区域的特征类型的强度来压缩摄像图像中的多个特征区域的图像。例如，压缩单元232可以将摄像图像中的多个特征区域的图像的分辨率降低到根据特征区域的特征类型限定的分辨率。
关联处理单元234将用于指定从摄像图像检测的特征区域的信息与摄像图像相关联。具体地说，关联处理单元234将用于指定从摄像图像检测的特征区域的信息与包括作为视频配置图像的摄像图像的压缩视频相关联。输出单元236向图像处理装置250输出包括用于指定由关联处理单元234关联的特征区域的信息的压缩视频数据。
外部信息获取单元228从图像处理装置220的外部获取在特征区域指定单元226指定特征区域的处理中使用的数据。特征区域指定单元226使用由外部信息获取单元228获取的数据来指定特征区域。将关于下述图15中图示的参数存储单元650来描述由外部信息获取单元228获取的数据。
(特征区域指定单元226的配置示例)
图15图示特征区域指定单元226的方框配置的示例。特征区域指定单元226包括第一特征区域指定单元610、第二特征区域指定单元620、区域估计单元630、高图像质量形成区域确定单元640、参数存储单元650和图像产生单元660。第二特征区域指定单元620包括部分区域确定单元622和特征区域确定单元624。
第一特征区域指定单元610从图像获取单元222获取在视频中包括的作为视频配置图像的摄像图像，并且从所获取的摄像图像指定特征区域。第一特征区域指定单元610可以使用在“特征区域检测方法的示例1和示例2”中说明的检测方法来检测特征区域，以从摄像图像指定特征区域。
图像产生单元660从摄像图像产生高质量图像，其中，在未被第一特征区域指定单元610指定为特征区域(等同于“第一特征区域”)的区域中具有更高的被指定为特征区域的概率的区域中进一步增大图像质量。使用根据本发明的张量投影的超分辨率图像处理组件可以被用作用于通过图像产生单元660来产生高质量图像的组件。
第二特征区域指定单元620从由图像产生单元660产生的高质量图像搜索特征区域(等同于“第二特征区域”)。由第一特征区域指定单元610和第二特征区域指定单元620指定的特征区域被提供到压缩控制单元230来作为由特征区域指定单元226指定的特征区域。
第二特征区域指定单元620可以基于从图像产生单元660获得的高质量图像，与第一特征区域指定单元610相比更详细地搜索特征区域。例如，第二特征区域指定单元620可以包括检测器，该检测器比第一特征区域指定单元610指定特征区域的检测精度更精确地检测特征区域。更具体地，能够比作为第一特征区域指定单元610包括的检测器的检测精度更精确地进行检测的检测器可以被提供为第二特征区域指定单元620。
在另一种模式中，第二特征区域指定单元620可以与第一特征区域指定单元610相比更详细地从作为向第一特征区域指定单元610输入的图像的同一输入图像(未进行高图像质量形成处理的图像)中搜索特征区域。
图像产生单元660可以从摄像图像产生高质量图像，其中，在未被第一特征区域指定单元610指定为特征区域的区域中，在具有更高的被指定为特征区域的概率的区域中，优选地提高图像质量。图像产生单元660还可以基于对摄像图像的图像处理来产生高质量图像。
图像产生单元660可以从摄像图像产生高质量图像，其中，在第一特征区域指定单元610已经指定特征区域后，在未被第一特征区域指定单元610指定为特征区域的区域中，在具有更高的被指定为特征区域的概率的区域中，进一步提高图像质量。以这种方式，“未被第一特征区域指定单元610指定为特征区域的区域”可以是在第一特征区域指定单元610已经指定特征区域的阶段未被第一特征区域指定单元610指定的区域。在这种情况下，第二特征区域指定单元将再次搜索特征区域。
此外，“未被第一特征区域指定单元610指定为特征区域的区域”可以是在第一特征区域指定单元610尚未指定特征区域的阶段预测为未被第一特征区域指定单元610指定的区域。例如，当第一特征区域指定单元610将与预定条件匹配的区域检测为特征区域时，“未被第一特征区域指定单元610指定为特征区域的区域”可以是不满足条件的区域。图像产生单元660可以在第一特征区域指定单元610尚未指定特征区域时的阶段产生高质量图像。
虽然通过当前框图(图15)中的不同功能块来图示第一特征区域指定单元610和第二特征区域指定单元620，但是显然，单元可以被包括为单个功能元件。例如，第一特征区域指定单元610和第二特征区域指定单元620可以至少部分地共享诸如用于特征区域检测的电路的硬件元件和诸如用于特征区域检测的软件的软件元件。
虽然在上述示例中图像产生单元660产生通过提高输入图像的图像质量而形成的图像，但是图像产生单元660可以产生具有比经历由第一特征区域指定单元610执行的用于指定特征区域的特征区域指定处理的图像更高的图像质量的图像，并且向第二特征区域指定单元620提供该图像。例如，当第一特征区域指定单元610向输入图像应用预定图像处理以指定特征区域时，图像产生单元660可以产生具有比由图像处理获得的图像更高的图像质量的图像，并且向第二特征区域指定单元620提供该图像。
如果由图像产生单元660产生的高质量图像是具有比第一特征区域指定单元610在特征区域指定处理中使用的图像更高的图像质量的图像，并且高质量图像包括具有比输入图像更高的图像质量的图像和具有比输入图像低的图像质量的图像，这就足够了。以这种方式，图像产生单元660从输入图像产生通过下述方式获得的高质量图像：将未被第一特征区域指定单元610指定为特征区域的区域的图像质量改变为与被指定为特征区域的概率对应的图像质量。图像产生单元660也可以产生高质量图像，该高质量图像具有与被指定为特征区域的概率对应的精度的图像质量。
区域估计单元630估计摄像图像中应当被指定为特征区域的区域。例如，如果特征区域指定单元226应当将视频中的移动对象的区域指定为特征区域，则区域估计单元630估计视频中具有移动对象的区域。例如，区域估计单元630基于从同一视频中包括的作为视频配置图像的其他一个或多个摄像图像提取的移动对象的位置、拍摄其他摄像图像的时间等来估计移动对象的位置。区域估计单元630可以将包括估计位置的预定大小的区域估计为视频中具有移动对象的区域。
在该情况下，第一特征区域指定单元610将摄像图像中由区域估计单元630估计的区域中的移动对象的区域指定为特征区域。图像产生单元660可以产生通过下述方式而获得的高质量图像：在由区域估计单元630估计的区域中，提高其中第一特征区域指定单元610未指定移动对象的区域的区域的图像质量。
结果，当不能从具有存在移动对象的高概率的区域检测到移动对象时，可以通过重新搜索而提取到移动对象的概率增加。以这种方式，可以减少由特征区域指定单元226对于特征区域的漏检的概率。
部分区域确定单元622确定在特定图像区域中的预定位置处的一个或多个部分区域的图像是否满足预定条件。特征区域确定单元624基于部分区域确定单元622的确定结果来确定特定图像区域是否是特征区域。例如，在特定图像区域是否是特征区域的确定中，部分区域确定单元622确定特定图像区域上的多个不同部分区域是否满足预定条件。当从其获得“否”的确定结果的部分区域的数目小于预定值时，特征区域确定单元624确定特定图像区域是特征区域。
当第二特征区域指定单元620基于对特定图像区域中的预定位置处的一个或多个部分区域的处理来确定特定图像区域是否是特征区域时，图像产生单元660可以在产生通过提高特定图像区域的图像质量而获得的高质量图像时提高该一个或多个部分区域的图像质量。这可以仅提高对于特征区域检测处理有效的区域的图像质量，并且可以减少特征区域的重新检测处理中的计算量。
高图像质量形成区域确定单元640确定图像产生单元660对其提高图像质量的区域。具体地说，当区域被指定为特征区域的概率越低时，高图像质量形成区域确定单元640将越宽的区域确定为图像产生单元660对其提高图像质量的区域。图像产生单元660产生通过下述方式而形成的高质量图像：进一步提高由高图像质量形成区域确定单元640确定的区域的图像质量。结果，可以提高可以通过重新搜索而提取移动对象的概率，并且可以降低特征区域指定单元226对于特征区域的漏检的概率。
参数存储单元650存储与从图像提取的特征量相关联的用于提高图像的图像质量的图像处理参数。图像产生单元660使用参数存储单元650中存储的与匹配从高图像质量形成的目标区域提取的特征量的特征量相关联的图像处理参数，以产生高质量图像，其中，高图像质量形成的目标区域的图像质量被提高。参数存储单元650可以存储与表示类似的特征量的特征量相关联的图像处理参数，该图像处理参数是通过使用从其提取到类似特征量的多个图像作为教师图像进行学习而计算的。
图像处理参数可以是包括应当被加到作为高图像质量形成的目标的图像数据的高频区域的空间频率分量的图像数据。当多个像素的像素值的数据或多个特征量分量的数据被处理为输入数据时，图像处理参数的其他示例包括向量、矩阵、张量、n维混和正态分布、n维混和多项分布等，用于将输入数据转换为指示高质量图像的数据。假定n是整数1或更大。下面关于图像处理装置250的操作描述图像处理参数。
图13中图示的外部信息获取单元228从外部获取参数存储单元650(在图15中描述)中存储的图像处理参数和特征量的至少一种。参数存储单元650存储由外部信息获取单元228获取的图像处理参数和特征量的至少一种。
图16图示了特征区域指定单元226中的特征区域指定处理的示例。在此将描述在摄像图像700中指定特征区域的处理。
如图16中所示，第一特征区域指定单元610(参见图15)对于摄像图像700的多个图像区域计算与预定条件的匹配程度。第一特征区域指定单元610将区域710-1和区域710-2指定为特征区域，在区域710-1和区域710-2中与摄像图像中的预定条件的匹配程度大于第一阈值。
高图像质量形成区域确定单元640(参见图15)选择区域710-3和区域710-4，在区域710-3和区域710-4中与摄像图像中的预定条件的匹配程度大于比第一阈值小的第二阈值(参见图16)。高图像质量形成区域确定单元640将区域710-5确定为通过图像产生单元660的高图像质量形成的目标区域，区域710-5包括区域710-3并且具有与区域710-3的图像对条件的匹配程度对应的大小。高图像质量形成区域确定单元640还将区域710-6确定为通过图像产生单元660的高图像质量形成的目标区域，区域710-6包括区域710-4并且具有与区域710-4的图像对条件的匹配程度对应的大小。
与图16的示例中的区域710-3相比，确定对于区域710-4计算更小的匹配程度，并且高图像质量形成区域确定单元640将以更大的放大率从区域710-4图像放大的区域710-6确定为通过图像产生单元660(参见图15)的高图像质量形成的目标区域。以这种方式，高图像质量形成区域确定单元640将如下区域确定为通过图像产生单元660的高图像质量形成的目标区域：通过以根据匹配程度的放大率放大其中与条件的匹配程度大于预定的第二阈值的区域而获得的区域。
第二特征区域指定单元620(参见图15)从具有提高的图像质量的区域710-5和区域710-6的图像(参见图16)搜索特征区域。第二特征区域指定单元620可以执行与第一特征区域指定单元610相同的处理，以从具有提高的图像质量的区域710-5和区域710-6的图像搜索满足条件的区域。在此假定，第二特征区域指定单元620已经确定在具有提高的图像质量的区域710-5的图像720中区域722满足条件。在该情况下，除了由第一特征区域指定单元610指定的区域710-1和区域710-2之外，特征区域指定单元226进一步将与图像720上的区域722对应的区域710-7指定为特征区域。
以这种方式，图像产生单元660(参见图15)从摄像图像产生通过下述方式而形成的高质量图像：在未被第一特征区域指定单元610指定为特征区域的区域中，提高具有与预定条件的较大匹配程度的区域的图像质量。具体地说，图像产生单元660产生通过下述方式形成的高质量图像：在未被第一特征区域指定单元610指定为特征区域的区域中，提高其中与条件的匹配程度大于预定的第二阈值的区域的图像质量。结果，可以增加从有可能成为特征区域的区域提取特征区域的概率，并且可以降低特征区域的漏检概率。
如所述，除了被第一特征区域指定单元610指定为特征区域和高图像质量形成的目标区域之外的区域被确定为不是特征区域的非特征区域。基于由第一特征区域指定单元610和第二特征区域指定单元620指定特征区域的结果、初步测试结果、随后的测试结果等，可以设定第一阈值的值，使得将不是特征区域的区域指定为特征区域的概率大于预定值。这可以降低被第一特征区域指定单元610指定为特征区域的区域包括非特征区域的概率。虽然可以在非特征区域中计算与第一阈值接近的匹配程度，但是可以通过如上所述设定第一阈值来减少区域被错误地检测为特征区域的概率。
基于由第一特征区域指定单元610和第二特征区域指定单元620指定特征区域的结果、初步测试结果、随后的测试结果等，可以设定第二阈值的值，使得从特征区域计算的匹配程度等于或大于第二阈值。这可以降低其中计算出等于或小于第二阈值的匹配程度的区域包括特征区域的概率。虽然可以对于特征区域计算与第二阈值接近的匹配程度，但是可以通过如上所述设定第二阈值来减少区域被确定为非特征区域的概率。
同时，作为设定第一阈值和第二阈值的结果，存在下述可能：其中计算出大于第二阈值并且等于或小于第一阈值的匹配程度的区域包括特征区域。根据特征区域指定单元226，提高区域的图像质量，并且然后第二特征区域指定单元620搜索特征区域。因此，可以适当地分离特征区域和非特征区域，并且可以降低特征区域的漏检概率和将非特征区域检测为特征区域的概率。以这种方式，特征区域指定单元226可以提供具有高灵敏度和特异性的特征区域检测器。
除了基于匹配程度和阈值之间的关系来确定是否执行高图像质量形成处理，图像产生单元660可以产生通过下述方式形成的高质量图像：以与对条件的匹配程度对应的高图像质量形成精度来提高输入图像的图像区域的至少一部分的图像质量。在该情况下，可以通过与匹配程度对应的连续函数或不连续函数来定义高图像质量形成精度。
图17图示特征区域指定单元226中的特征区域指定处理的另一个示例。在此具体图示特征区域指定单元226将来自视频的移动对象的区域指定为特征区域的处理的示例。
假定第一特征区域指定单元610或第二特征区域指定单元620(参见图15)已经分别在摄像图像800-1和摄像图像800-2中将区域810-1和区域810-2指定为特征区域，如图17中所示。在此假定，区域810-1和区域810-2包括同一成像被摄体的对象。
在该情况下，区域估计单元630(参见图15)基于区域810-1和区域810-2的图像上的位置、摄像图像800-1和摄像图像800-2的成像定时和摄像图像800-3的成像定时(图17)将区域810-3确定为应当在摄像图像800-3中存在同一被摄体的对象的区域。例如，区域估计单元630从图像上区域810-1和区域810-2的位置与摄像图像800-1和摄像图像800-2的成像定时来计算图像区域上的移动对象的速度，并且基于所计算的速度、区域810-2的位置和摄像图像800-2的成像定时和摄像图像800-3的成像定时之间的时间差来确定区域810-3是同一被摄体的对象应当存在的区域。
第一特征区域指定单元610(参见图15)从区域810-3(图17)搜索移动对象。如果第一特征区域指定单元610未从区域810-3检测到移动对象，则图像产生单元660产生通过提高区域810-3的图像质量而形成的高质量图像820-4(图17)。第二特征区域指定单元620从高质量图像820-4搜索移动对象。这可以提高以高的移动对象检测概率从区域提取对象的概率，并且可以降低移动对象的漏检概率。
图像产生单元660(参见图15)可以产生通过进一步提高更接近区域810-3中心的区域的图像质量而形成的高质量图像820-4。这可以降低具有低的移动对象存在概率的区域的高图像质量形成的强度。因此，与当以高强度均匀地提高整个区域的图像质量时相比，可以降低高图像质量形成的计算量。
图18图示了由图15中描述的第二特征区域指定单元620对特征区域的确定处理的示例。为了确定特定图像区域900是否是特征区域，第二特征区域指定单元620从图像区域900中具有预定位置关系的部分区域910-1至4提取特征量。此时，第二特征区域指定单元620根据图像区域900中的部分区域910的每一个的位置来从每一个部分区域910提取预定类型的特征量。
第二特征区域指定单元620对于每一个部分区域910计算从部分区域910的图像提取的特征量关于预定条件的匹配程度。第二特征区域指定单元620基于对于每一个部分区域910计算的匹配程度来确定图像区域900是否是特征区域。如果匹配程度的总的加权值大于预定值，则第二特征区域指定单元620可以确定图像区域900是特征区域。如果其中计算出比预定值大的匹配程度的部分区域910的数目大于预定值，则第二特征区域指定单元620也可以确定图像区域900是特征区域。
可以通过图像滤波器来实现从特征量的提取到匹配程度计算的处理。处理可以被实现为弱分类器。可以根据要作为特征区域被提取的对象的类型来确定部分区域910的位置。例如，当包括人的面部的对象的区域被检测为特征区域时，可以在对于该人的面部的对象的辨识能力大于预定值的位置确定部分区域910。高辨识能力可以表示：确定结果对于人的面部的对象指示“真”的概率高，并且确定结果对于除了人的面部之外的对象指示“假”的概率高。
图像产生单元660(参见图15)不提高除了部分区域910之外的区域的图像质量，并且仅提高部分区域910的图像质量。如所述，第二特征区域指定单元620从具有提高的质量的图像提取特征区域，以确定图像区域900是否是特征区域。这可以在限制对其提高图像质量的图像区域的同时提高特征区域的检测概率，并且可以以高概率迅速地检测特征区域。虽然以上描述了第二特征区域指定单元620中的特征区域的确定处理，但是第一特征区域指定单元610也可以通过相同的处理来确定区域是否是特征区域。
可以通过多个弱分类器来实现在第一特征区域指定单元610和第二特征区域指定单元620中的处理。下面将描述使用和实现总共N个弱分类器的示例。第一特征区域指定单元610使用Nf个弱分类器来确定区域是否是特征区域。基于确定结果来计算匹配度，并且如上所述，将具有大于第一阈值的匹配程度的区域确定为特征区域，并且将具有等于或小于第二阈值的匹配程度的区域确定为非特征区域。
图像产生单元660提高具有等于或小于第一阈值并且大于第二阈值的匹配程度的区域的图像质量。第二特征区域指定单元620使用由第一特征区域指定单元610使用的Nf个弱分类器和除了这Nf个弱分类器之外的Nb个弱分类器来确定具有提高的质量的图像是否包括特征区域。例如，可以基于从Nf+Nb个弱分类器的确定结果计算的匹配程度来确定区域是否是特征区域。
在未被第一特征区域指定单元610指定为特征区域的区域中，可以通过不同的处理从根据第三阈值和匹配程度的比较结果而确定的多个区域指定特征区域，第三阈值小于第一阈值并且大于第二阈值。例如，图像产生单元660可以提高其中计算出比第三阈值大的匹配程度的区域的图像质量，并且第二特征区域指定单元620中的Nf+Nb个弱分类器可以确定区域是否是特征区域。同时，图像产生单元660可以增大其中计算出等于或小于第三阈值的匹配程度的区域的图像质量，并且第二特征区域指定单元620中的Nf+Nb个弱分类器可以确定区域是否是特征区域。
可以根据匹配程度来调整由第二特征区域指定单元620在处理中使用的弱分类器的数目Nb。例如，如果匹配程度较小，则可以在第二特征区域指定单元620中使用更多的弱分类器来确定区域是否是特征区域。
如所述，如果匹配程度较低，则第二特征区域指定单元620可以更详细地从图像质量改变图像搜索特征区域。在第一特征区域指定单元610和第二特征区域指定单元620的至少一个中的弱分类器配置的示例包括通过AdaBoost的弱分类器配置。
第一特征区域指定单元610和第二特征区域指定单元620可以从通过多分辨率表达形成的低分辨率图像群检测特征区域。在该情况下，图像产生单元660可以基于通过第一特征区域指定单元610中的多分辨率形成的高度精确的多分辨率形成来产生低分辨率图像群。第一特征区域指定单元610中的多分辨率形成处理的示例包括通过双三次方法的减少处理。
第二特征区域指定单元620中的多分辨率形成处理的示例包括基于先前学习的减少处理。第二特征区域指定单元620可以使用通过使用全尺寸图像和目标分辨率的图像进行学习而获得的图像处理参数来从输入图像产生低分辨率图像群。更优选的是，在学习中使用具有较低重迭噪声的目标分辨率的图像。例如，通过包括不同数目的成像元件的不同成像装置而获得的图像可以用于学习。
使用本发明的张量投影的图像处理方法可以应用为关于图15至18描述的高图像质量形成处理。更具体地，图像产生单元660可以使用图1至12中图示的本发明的高图像质量形成的图像处理技术来产生通过下述方式而形成的高质量图像：进一步提高具有高的被指定为特征区域的概率的区域的图像质量。
除了高分辨率形成的处理之外，高图像质量形成处理的示例包括用于提高层次的数目的多层次形成处理和用于增加颜色数目的多色形成处理。使用本发明的张量投影的图像处理方法可以被应用于该处理。
如果经历高图像质量形成的摄像图像是视频的视频配置图像(帧图像或场图像)，则其他摄像图像的像素值可以用于提高在高图像质量形成处理中的图像质量，诸如高分辨率形成、多色形成、多层次形成、噪声减少、用于减少块噪声和蚊式噪声的伪影的伪影减少、模糊减少、锐度形成和高帧率形成。例如，可以使用由于在成像定时上的差别导致的移动体的成像位置的偏离来提高图像质量。更具体地，图像产生单元660可以使用摄像图像来作为视频中包括的视频配置图像和视频中包括的其他视频配置图像，以产生高质量图像。
除了使用多个视频配置图像的处理之外，噪声减少处理的示例包括在下述部分中描述的处理：日本专利申请特许公开No.2008-167949、日本专利申请特许公开No.2008-167950、日本专利申请特许公开No.2008-167948和日本专利申请特许公开No.2008-229161。例如，图像产生单元660可以使用利用具有较大量噪声的图像和具有较少数目噪声的图像的先前学习的结果来减少噪声。为了如在本实施例中那样减少通过可见光拍摄的图像的噪声量，可以在先前的学习中使用在具有较少量的光的环境光下拍摄的图像，而不是使用如日本专利申请特许公开No.2008-167949描述的在先前学习中通过小剂量拍摄的图像。在锐度形成处理中，更精确的锐度形成处理的示例包括使用具有较大滤波器大小的滤波器的处理和在更多方向上形成锐度的处理。
(压缩单元232的配置的示例)
图19图示在图14中描述的压缩单元232的块配置的示例。压缩单元232包括图像划分单元242、多个固定值形成单元244a-c(以下，可以统称为“固定值形成单元244”)和多个压缩处理单元246a-d(以下可以统称为“压缩处理单元246”)。
图像划分单元242从图像获取单元222获取多个摄像图像。图像划分单元242将多个摄像图像划分为特征区域和除特征区域之外的背景区域。具体地说，图像划分单元242将多个摄像图像划分为多个独立的特征区域和除特征区域之外的背景区域。压缩处理单元246以不同的强度来压缩作为特征区域的图像的特征区域图像和作为背景区域的图像的背景区域图像。具体地说，压缩处理单元246以不同的强度来压缩包括多个特征区域图像的特征区域视频和包括多个背景区域图像的背景区域视频。
更具体地，图像划分单元242通过划分多个摄像图像来产生多个特征的每种类型的特征区域视频。固定值形成单元244固定除了在对于每种特征产生的多个特征区域视频中包括的每一个特征区域中的特征类型的特征区域之外的区域的像素值。
具体地说，固定值形成单元244将预定的像素值设定到除了特征区域之外的区域的像素值。对于每种类型的特征，压缩处理单元246a-c通过MPEG或其他编码格式来压缩多个特征区域视频。
固定值形成单元244a-c分别固定第一特征类型的特征区域视频、第二特征类型的特征区域视频和第三特征类型的特征区域视频的值。压缩处理单元246a-c压缩包括分别由固定值形成单元244a-c固定的值的第一特征类型的特征区域视频、第二特征类型的特征区域视频和第三特征类型的特征区域视频。
压缩处理单元246a-c以根据特征的类型而预定的强度来压缩特征区域视频。例如，压缩处理单元246可以将特征区域视频转换为具有根据特征区域的特征的类型而预定的不同分辨率的视频，以压缩转换的特征区域视频。而且，在通过MPEG编码的特征区域视频的压缩中，压缩处理单元246可以通过根据特征的类型而预定的不同量化参数来压缩特征区域视频。
压缩处理单元246d压缩背景区域视频。压缩处理单元246d可以以比压缩处理单元246a-c的压缩强度高的强度来压缩背景区域视频。由压缩处理单元246压缩的特征区域视频和背景区域视频被提供到关联处理单元234(参见图14)。
如图19中所述，固定值形成单元244固定除了特征区域之外的区域的值。因此，当压缩处理单元246基于MPEG编码等来执行预测编码时，可以显著地减少在除了特征区域之外的区域中图像和预测图像之间的差别量。因此，压缩单元232可以以较高的压缩率来压缩特征区域视频。
虽然在图19的配置中压缩单元232中包括的多个压缩处理单元246的每一个压缩多个特征区域的图像和背景区域的图像，但是在另一种模式中，压缩单元232可以包括一个压缩处理单元246，并且这一个压缩处理单元246可以以不同的强度压缩多个特征区域的图像和背景区域的图像。例如，可以以时分的方式向这一个压缩处理单元246顺序地提供多个特征区域的图像和背景区域的图像，并且这一个压缩处理单元246可以以不同的强度顺序地压缩多个特征区域的图像和背景区域的图像。
这一个压缩处理单元246也可以通过不同的量化系数来量化多个特征区域的图像信息和背景区域的图像信息，以便以不同强度压缩多个特征区域的图像和特征区域的图像。可以向这一个压缩处理单元246提供从多个特征区域的图像和背景区域的图像被转换为具有不同图像质量的图像的图像，并且这一个压缩处理单元246可以压缩多个特征区域的图像和背景区域的图像。在如上所述这一个压缩处理单元246逐个区域地通过不同的量化系数来量化信息或逐个区域地压缩被转换为不同图像质量的图像的模式中，这一个压缩处理单元246可以压缩整个一个图像或可以压缩通过图像划分单元242划分的图像，如图19中所述。当这一个压缩处理单元246压缩整个一个图像时，不必执行图像划分单元242的划分处理和通过固定值形成单元244的固定值形成处理。因此，压缩单元232不必包括图像划分单元242和固定值形成单元244。
(压缩单元232的配置2的示例)
图20图示在图14中描述的压缩单元232的方框配置的另一个示例。本配置中的压缩单元232根据特征的类型通过在空间上可扩展的编码处理来压缩多个摄像图像。
图20中的压缩单元232包括图像质量转换单元510、差分处理单元520和编码单元530。差分处理单元520包括多个层间差分处理单元522a-d(以下统称为“层间差分处理单元522”)。编码单元530包括多个编码器532a-的(以下统称为“编码器532”)。
图像质量转换单元510从图像获取单元222获取多个摄像图像。图像质量转换单元510还获取用于指定由特征区域指定单元226检测的特征区域的信息和用于指定特征区域的特征的类型的信息。图像质量转换单元510复制摄像图像，以产生与特征区域的特征类型相同数目的摄像图像。图像质量转换单元510将所产生的摄像图像转换为与特征的类型对应的分辨率的图像。
例如，图像质量转换单元510产生：被转换为与背景区域对应的分辨率的摄像图像(以下称为“低分辨率图像”)；被转换为与第一特征的类型对应的第一分辨率的摄像图像(以下称为“第一分辨率图像”)；被转换为与第二特征的类型对应的第二分辨率的摄像图像(以下称为“第二分辨率图像”)；以及被转换为与第三特征的类型对应的第三分辨率的摄像图像(以下称为“第三分辨率图像”)。第一分辨率图像具有比低分辨率图像更高的分辨率，第二分辨率图像具有比第一分辨率图像更高的分辨率，并且第三分辨率图像具有比第二分辨率图像更高的分辨率。
图像质量转换单元510分别向层间差分处理单元522d、层间差分处理单元522a、层间差分处理单元522b和层间差分处理单元522c提供低分辨率图像、第一分辨率图像、第二分辨率图像和第三分辨率图像。图像质量转换单元510向多个摄像图像应用图像质量转换处理，并且向层间差分处理单元522提供视频。
图像质量转换单元510可以根据特征区域的特征的类型来转换向层间差分处理单元522提供的视频的帧率。例如，图像质量转换单元510可以以比向层间差分处理单元522a提供的视频低的帧率向层间差分处理单元522d提供视频。图像质量转换单元510也可以以比向层间差分处理单元522b提供的视频低的帧率向层间差分处理单元522a提供视频，并且可以以比向层间差分处理单元522c提供的视频低的帧率向层间差分处理单元522b提供视频。图像质量转换单元510可以根据特征区域的特征的类型来减少摄像图像，以转换向层间差分处理单元522提供的视频的帧率。
层间差分处理单元522d和编码器532d向包括多个低分辨率图像的背景区域视频应用预测编码。具体地说，层间差分处理单元522在图像和从其他低分辨率图像产生的预测图像之间产生差分图像。编码器532d量化通过将差分图像转换为空间频率分量而获得的转换因子，并且通过熵编码等来编码量化的转换因子。预测编码处理可以被应用到低分辨率图像的每一个部分区域。
层间差分处理单元522a对包括从图像质量转换单元510提供的多个第一分辨率图像的第一特征区域视频应用预测编码。类似地，层间差分处理单元522b和层间差分处理单元522c分别对包括多个第二分辨率图像的第二特征区域视频和包括多个第三分辨率图像的第三特征区域视频应用预测编码。以下，将描述层间差分处理单元522a和编码器532a的具体操作。
层间差分处理单元522a在通过编码器532d编码后解码第一分辨率图像，并且将解码图像放大为具有与第一分辨率相同分辨率的图像。层间差分处理单元522a产生放大图像和低分辨率图像之间的差分图像。此时，层间差分处理单元522a将背景区域中的差值设定为0。编码器532a以与编码器532d相同的方式来编码差分图像。通过层间差分处理单元522a和编码器532a的编码处理可以被应用到第一分辨率图像的每一个部分区域。
在第一分辨率图像的编码中，层间差分处理单元522a将编码第一分辨率图像和低分辨率图像之间的差分图像时预测的编码量与编码第一分辨率图像和从另一个第一分辨率图像产生的预测图像之间的差分图像时预测的编码量作比较。如果后一个编码量较小，则层间差分处理单元522a产生第一分辨率图像和从另一个第一分辨率图像产生的预测图像之间的差分图像。如果预测当不计算第一分辨率图像和低分辨率图像或预测图像之间的差分的情况下编码图像时编码量较小，则层间差分处理单元522a可以不计算第一分辨率图像和低分辨率图像或预测图像之间的差分。
层间差分处理单元522a可以不将背景区域中的差值设定为0。在该情况下，编码器532a可以将除了特征区域之外的区域中的差分信息的编码后的数据设定为0。例如，编码器532a可以将转换因子在转换到频率分量后设定为0。当层间差分处理单元522d已经执行了预测编码时的运动向量信息被提供到层间差分处理单元522a。层间差分处理单元522a可以使用从层间差分处理单元522d提供的运动向量信息，以计算用于预测图像的运动向量。
层间差分处理单元522b和编码器532b的操作与层间差分处理单元522a和编码器532a的操作大体上相同，除了编码第二分辨率图像，并且当编码第二分辨率图像时可以计算与通过编码器532a编码后的第一分辨率图像的差分。因此，将不重复描述。类似地，层间差分处理单元522c和编码器532c的操作与层间差分处理单元522a和编码器532a的操作大体上相同，除了编码第三分辨率图像，并且当编码第三分辨率图像时可以计算与通过编码器532b编码后的第二分辨率图像的差分。因此，将不重复描述。
如所述，图像质量转换单元510从多个摄像图像的每一个产生具有降低的图像质量的低质量图像和至少在特征区域中的具有比低质量图像高的质量的特征区域图像。差分处理单元520产生特征区域差分图像，特征区域差分图像用于指示在特征区域图像中的特征区域的图像和在低质量图像中的特征区域的图像之间的差分图像。编码单元530编码特征区域差分图像和低质量图像。
图像质量转换单元510从多个摄像图像产生具有降低的分辨率的低质量图像，并且差分处理单元520产生在特征区域图像中的特征区域的图像和从低质量图像中的特征区域的图像放大的图像之间的特征区域差分图像。差分处理单元520具有通过将特征区域中的特征区域图像和放大图像之间的差分转换为空间频率区域而获得的空间频率分量，并且产生特征区域差分图像，在特征区域差分图像中在除了特征区域之外的区域中减少空间频率分量的数据量。
如所述，压缩单元232编码在具有不同分辨率的多个层之间的图像的差分，以执行分级编码。从此可清楚看出，很显然，通过本配置的压缩单元232的压缩的系统的一部分包括基于H.264/SVC的压缩系统。为了扩展分层压缩视频，图像处理装置250解码每层的视频数据，并且对于基于层间差分编码的区域，执行与在计算差分的层中解码的摄像图像的相加处理。以这种方式，可以产生具有原始分辨率的摄像图像。
[图像处理装置250的描述]
图21图示在图13中图示的图像处理装置250的方框配置的示例。如图21中所示，图像处理装置250包括压缩图像获取单元301、关联分析单元302、扩展控制单元310、扩展单元320、外部信息获取单元380和图像处理单元330。扩展单元320包括多个解码器322a-d(以下统称为“解码器322”)。
压缩图像获取单元301获取由图像处理装置250压缩的压缩视频。具体地说，压缩图像获取单元301获取包括多个特征区域视频和背景区域视频的压缩视频。更具体地，压缩图像获取单元301获取伴有特征区域信息的压缩视频。
关联分析单元302将压缩视频分离为多个特征区域视频以及背景区域视频和特征区域信息，并且向扩展单元320提供多个特征区域视频和背景区域视频。关联分析单元302分析特征区域信息，并且向扩展控制单元310和图像处理单元330提供特征区域的位置和特征的类型。
扩展控制单元310根据从关联分析单元302获取的特征区域的位置和特征的类型来控制扩展单元320的扩展处理。例如，扩展控制单元310使得扩展单元320根据由压缩单元232使用的压缩系统来扩展由压缩视频指示的视频的区域，以根据特征区域的位置和特征的类型来压缩视频的区域。
解码器322解码多个编码的特征区域视频和背景区域视频之一。具体地说，解码器322a、解码器322b、解码器322c和解码器322d分别解码第一特征区域视频、第二特征区域视频、第三特征区域视频和背景区域视频。
图像处理单元330组合由扩展单元320扩展的多个特征区域视频和背景区域视频，并且输出一个视频。具体地说，图像处理单元330将在多个特征区域视频中包括的摄像图像上的特征区域的图像与在背景区域视频中包括的摄像图像群合，以产生一个显示视频。图像处理单元330可以产生显示视频，在显示视频中特征区域的图像质量比背景区域的图像质量高。使用本发明的张量投影的超分辨率图像处理组件可以用于高图像质量形成的转换处理。
图像处理单元330向显示装置260或图像DB 255(参见图13)输出从关联分析单元302获取的特征区域信息和显示视频。由特征区域信息指示的特征区域的位置、特征区域的特征的类型和特征区域的数目可以与用于标识在显示视频中包括的摄像图像的信息相关联，并且图像DB 255可以被记录在诸如硬盘的非易失性记录介质中。
外部信息获取单元380从图像处理装置250的外部获取在由图像处理单元330进行的图像处理中使用的数据。图像处理单元330使用由外部信息获取单元380获取的数据来执行图像处理。将关于图22来描述由外部信息获取单元380获取的数据。
(图像处理单元330的配置的示例)
图22图示图21中描述的图像处理装置250中包括的图像处理单元330的方框配置的示例。如图22中所示，图像处理单元330包括参数存储单元1010、属性指定单元1020、特定对象区域检测单元1030、参数选择单元1040、权重确定单元1050、参数产生单元1060和图像产生单元1070。
参数存储单元1010与被摄体图像的多个属性相关联地存储用于提高具有该属性的被摄体图像的图像质量的多个图像处理参数。属性指定单元1020指定在输入图像中包括的被摄体图像的属性。输入图像可以是由扩展单元320获得的帧图像。参数选择单元1040优先排序并选择在参数存储单元1010中存储的与更符合由属性指定单元1020指定的属性的属性相关联的多个图像处理参数。图像产生单元1070使用由参数选择单元1040选择的多个图像处理参数来产生通过提高输入图像中包括的被摄体图像的图像质量而形成的高质量图像。使用本发明的张量投影的超分辨率图像处理组件用于高图像质量形成的转换处理。
属性的示例包括被摄体的状态，诸如被摄体的方向。更具体地，参数存储单元1010存储与指示被成像为被摄体图像的被摄体的状态的多个属性相关联的多个图像处理参数。属性指定单元1020从被摄体图像指定被成像为输入图像中包括的被摄体图像的被摄体的状态。
被摄体的状态的示例包括拍摄图像时被摄体的方向。被摄体的方向可以例如是作为被摄体的示例的人的面部的方向。在该情况下，参数存储单元1010存储与指示被拍摄为被摄体图像的被摄体的方向的多个属性相关联的多个图像处理参数。属性指定单元1020从被摄体图像指定被拍摄为输入图像中包括的被摄体图像的被摄体的方向。
属性也可以是被摄体的类型。被摄体的类型的示例包括作为被摄体的人的性别、人的年龄、被成像的人的表情、被成像的人的手势、被成像的人的姿势、被成像的人的种族、被成像的人佩戴的佩戴材料(诸如眼镜、太阳镜、口罩和帽子)和照明状态。参数存储单元1010可以存储与包括各种属性的至少一个的多个属性相关联的多个图像处理参数。在该情况下，属性指定单元1020从被摄体图像指定被成像为输入图像中包括的被摄体图像的人的属性。
当提高输入图像中包括的被摄体图像的图像质量时，权重确定单元1050确定多个图像处理参数的权重。基于由权重确定单元1050确定的权重，图像产生单元1070使用由参数选择单元1040选择的多个图像处理参数来产生通过提高输入图像的图像质量而形成的高质量图像。权重确定单元1050可以对于与具有关于指定属性更大匹配程度相关联的图像处理参数确定更大的权重。
参数产生单元1060产生通过组合由参数选择单元1040选择的多个图像处理参数而获得的组合参数。图像产生单元1070使用由参数产生单元1060产生的组合参数来提高输入图像中包括的被摄体图像的图像质量以产生高质量图像。
上面描述了根据被摄体的属性的图像处理参数的产生。图像处理单元330也可以在图像上改变高图像质量形成的强度。
参数存储单元1010存储特定参数和非特定参数，该特定参数是用于提高特定对象的图像的图像质量的图像处理参数，该非特定参数是用于提高其中未指定对象的图像的图像质量的图像处理参数。如下所述，非特定参数可以是通用图像处理参数，其具有与对象无关的高图像质量信息的一些有益效果。
特定对象区域检测单元1030从输入图像检测作为特定对象的区域的特定对象区域。特定对象可以是应当被检测为特征区域的被摄体的对象。权重确定单元1050确定在从其检测到特定对象区域的输入图像的高图像质量形成中的特定参数和非特定参数的权重。
在输入图像中的特定对象区域的图像中权重确定单元1050为特定参数确定比非特定参数大的权重。这可以适当地提高应当被检测为特征区域的特定对象的图像质量。在作为除了指定对象区域之外的区域的非特定对象区域的图像中，权重确定单元1050为非特定参数确定比特定参数大的权重。这可以防止通过专用于特定对象的图像处理参数的高图像质量形成。
基于由权重确定单元1050确定的权重，图像产生单元1070使用特定参数和非特定参数来产生通过提高输入图像的图像质量而获得的高质量图像。
参数存储单元1010存储：通过使用特定对象的多个图像作为学习图像(也称为“训练图像”)进行学习而计算的特定参数；以及通过使用不是特定对象的图像的多个图像来作为学习图像进行学习而计算的非特定参数。结果，可以计算特定对象中专门化的特定参数。也可以计算用于多个对象的通用特定参数。
在先前的学习中，期望不对学习图像的亮度信息进行学习，而是对于学习图像的使用诸如边缘信息的空间变化信息的图像处理参数进行学习。使用低空间频率区域的具有减少的信息的边缘信息可以对于照明改变，具体地说对于低频的照明改变实现稳健的高图像质量形成处理。
参数产生单元1060可以通过以权重确定单元1050确定的权重来组合非特定参数和特定参数而产生组合参数。图像产生单元1070可以使用由参数产生单元1060产生的组合参数，以提高输入图像的图像质量以产生高质量图像。
在该示例中，描述使用基于属性指定单元1020指定的被摄体的属性而选择的多个图像处理参数来产生高质量图像的操作。图像产生单元1070也可以使用多个图像处理参数的不同组合来提高输入图像中包括的被摄体图像的图像质量。例如，图像产生单元1070可以使用多个预定图像处理参数不同组合来提高输入图像中包括的被摄体图像的图像质量。图像产生单元1070可以基于与输入图像的比较来选择通过提高图像质量而获得的多个图像的至少一个，以将所选择的图像设定为高质量图像。例如，图像产生单元1070可以将通过提高图像质量而获得的多个图像中具有与输入图像更类似的图像内容的图像优先排序并选择为高质量图像。
参数选择单元1040可以基于从输入图像指定的被摄体的属性来选择多个图像处理参数的不同组合。图像产生单元1070可以使用所选择的多个图像处理参数来提高输入图像中包括的被摄体图像的图像质量。图像产生单元1070可以基于与输入图像的比较来选择通过提高图像质量而获得的多个图像的至少一个，以将所选择的图像设定为高质量图像。
如所述，即使参数存储单元1010存储有限数目的图像处理参数，图像处理装置250也可以使用可以处理具有多种属性的被摄体的图像的图像处理参数来提高图像质量。高图像质量形成的示例包括高分辨率形成、多层次形成、多色形成以及噪声减少、伪影减少、模糊减少、锐度形成和高帧率形成。参数存储单元1010可以存储用于各种高图像质量形成处理的图像处理参数。
在图21中描述的外部信息获取单元380从外部获取参数存储单元1010(参考图22)中存储的图像处理参数。参数存储单元1010存储由外部信息获取单元380获取的图像处理参数。具体地说，外部信息获取单元380从外部获取特定参数和非特定参数的至少一个。参数存储单元1010存储由外部信息获取单元380获取的特定参数和非特定参数的至少一个。
图23图示了在参数存储单元1010中存储的参数的示例的表格格式。参数存储单元1010将特定参数A0、A1...存储为与面部的方向相关联的人的面部的图像处理参数。通过先前学习来预先计算特定参数A0和A1，在先前学习中，将面部的对应的方向的图像处理为学习图像。
将说明基于在目标像素的外围像素的像素值中的加权和相加的高分辨率形成处理的示例，以描述基于先前学习的特定参数A的计算处理。在此假定，通过在n个外围像素的像素值xi(其中，i＝1至n)中的加权和相加来计算目标像素的像素值y。更具体地，假定y＝∑(wixi)。在此，∑表示遍历所有i相加。字符wi表示外围像素的像素值xi的加权因子，并且加权因子wi作为要在先前学习中计算的特定参数A。
假定，包括在特定方向上的成像面部的m个面部图像被用作学习图像。如果第k(其中，k＝1至m)个学习图像的目标像素的像素值是yk，则可以表达yk＝∑wixki。在该情况下，可以通过诸如最小平方法的计算处理来计算加权因子wi。例如，可以通过诸如最小平方法的计算处理计算实质上最小化了向量的平方的wi，其中，通过ek＝yk-∑(wixki)来指示第k个元素ek。可以通过向多个面部方向的面部图像应用特定参数的计算处理来计算与面部方向对应的特定参数A。
参数存储单元1010还存储用于不是人的面部的对象的非特定参数B。通过先前学习来预先计算非特定参数B，在先前学习中，将多个被摄体的图像处理为学习图像。可以通过与特定参数A相同的先前学习处理来计算非特定参数B。例如，可以取代面部图像使用除了人之外的图像作为在用于计算特定参数A的先前学习处理中的学习图像来计算非特定参数B。
图24图示了特定参数的加权的示例。假定图像1200中的粗线内的区域1210和区域1220被检测为特征区域。在特征区域之间的更向内的区域1210中，权重确定单元1050(参见图22)确定特定参数的加权因子是100％，并且非特定参数的加权因子是0％。在更接近在特征区域中的区域1210外部的非特征区域的区域1220中(在粗线框内)，权重确定单元1050确定特定参数的加权因子是80％，并且非特定参数的加权因子是20％。
在特征区域外部的区域中的接近特征区域的区域1230中，权重确定单元1050确定特定参数的加权因子是50％，并且非特定参数的加权因子是50％。在进一步向外的区域1250中，权重确定单元1050确定特定参数的加权因子是0％，并且非特定参数的加权因子是100％。
以这种方式，权重确定单元1050(参见图22)确定权重使得输入图像的特定对象区域中更向内的区域的图像中，对于特定参数的权重更大。权重确定单元1050还确定权重，使得在作为除了特定对象区域之外的区域的非特定对象区域的图像中接近特定对象区域处，对于特定参数的权重更大。以这种方式，权重确定单元1050从特征区域的中心向外部并且从特征区域向非特征区域逐步地减少特定参数的加权因子。除了加权因子的逐步减少之外，权重确定单元1050可以持续地与距特征区域的中心的距离或距特征区域的周围区域等的距离成比例地减少加权因子。例如，权重确定单元1050可以确定具有关于距离x按照幂或指数减小的值的加权因子，该值诸如是根据诸如1/x、1/x2和e-x的函数来关于距离x减小加权因子的值。
权重确定单元1050可以根据特征区域的检测可靠性来控制加权因子。具体地说，权重确定单元1050对于在特定对象的区域的具有更大检测可靠性的特定对象区域的图像中的特定参数设定更大的权重。
如果在未被检测为特征区域的区域中存在特定对象，则即使通过通用的非特定参数来提高该区域的图像质量，也可能无法确定特定对象是否存在。图像处理单元330甚至在未被检测为特征区域的区域中以对于特定对象的特定参数的效果来执行高图像质量形成处理。因此可以从高质量图像容易地确定特定对象是否存在。
特定参数可以是通过组合关于图23描述的多个图像处理参数而获得的图像处理参数。例如，假定检测的特征区域包括相对于前面部面向侧面15°的人的面部的图像。在该情况下，权重确定单元1050确定对于特定参数A0的加权因子是25％，并且确定对于特定参数A1的加权因子是75％。参数产生单元1060产生通过分别使用加权因子25％和75％组合特定参数A0和特定参数A1而获得的组合参数。图像产生单元1070以图24中所示的比率使用通过加权由参数组合单元产生的组合参数而获得的图像处理参数和非特定参数来提高图像质量。
例如，当使用用于通过在外围像素中加权并相加而提高图像质量的图像处理参数(特定参数或非特定参数)时，参数产生单元1060可以将由权重确定单元1050确定的加权因子加权并相加到图像处理参数的加权因子，以计算由所获得的加权因子指示的组合参数。除了加权因子之外，可以加上的图像处理参数的示例包括在空间频率区域中的空间频率分量和图像数据(例如，高频分量的图像数据)。
另外，当通过对于特征量向量等的向量计算、矩阵计算或张量计算来表达高图像质量形成处理时，参数产生单元1060可以通过下述方式来产生组合参数：加权并相加或相乘作为图像处理参数的向量、矩阵、张量、n维混和正态分布或n维混和多项分布。在此，n是整数1或更大。例如，在特征向量空间中的向量的内插可能能够减少由于对不能由标量表达的向量的组合而导致的模糊。例如，可以作为示例说明这样的计算：通过将0°的方向上的特征向量乘以因子0.25而获得的特征向量与通过将20°的方向上的特征向量乘以因子0.75而获得的特征向量的和处理为在15°的方向上的特征向量。在局部保留投影(LPP)的空间上的内插可能能够进一步减少组合模糊。参数产生单元1060可以从特定参数和非特定参数计算组合参数。参数产生单元1060也可以从多个不同的特定参数计算组合的参数。
在使用特定参数和非特定参数产生高质量图像中，图像产生单元1070可以通过下述方式来产生高质量图像：基于由权重确定单元1050确定的加权因子，相加通过使用特定参数的图像处理而获得的图像信息和通过使用非特定参数的图像处理而获得的图像信息。另外，图像产生单元1070可以使用非特定参数来向通过使用特定参数的图像处理获得的图像信息应用图像处理，以产生高质量图像。可以向使用多个特定参数的高图像质量形成处理应用类似的处理。在此的图像数据的示例包括像素值、特征量空间中的特征量向量、矩阵、n维混和正态分布和n维混和多项分布。例如，在特征向量空间中的向量的内插可能能够减少由于对不能由标量表达的向量的组合而导致的模糊。
在图23和24中所述的高图像质量形成处理中，参数选择单元1040已经基于从特征区域中的图像指定的人的面部的方向选择了用于提高特征区域的图像质量的多个图像处理参数。图像产生单元1070使用由参数选择单元1040选择的多个图像处理参数来产生一个高质量图像。
另外，图像产生单元1070可以从图像产生单元1070中存储的图像处理参数的多个组合产生通过提高特征区域的图像质量而形成的多个图像。图像产生单元1070可以从所获得的多个图像中与特征区域中的图像最类似的图像产生通过提高特征区域的图像质量而形成的高质量图像。
例如，图像产生单元1070使用与0°方向对应的特定参数A0和与20°方向对应的特定参数A1的组合参数来产生通过提高特征区域的图像的质量而形成的图像。图像产生单元1070进一步使用特定参数的其他一个或多个组合的组合参数来产生通过提高特征区域的图像的质量而形成的一个或多个图像。
图像产生单元1070将所产生的多个图像与特征区域中的图像作比较，以计算图像内容的重合度。图像产生单元1070将所产生的多个图像中具有最高重合度的图像确定为高质量图像。
在通过提高特征区域中的图像的质量而形成的多个图像的产生中，图像产生单元1070可以通过基于多个特定参数的预定集合的多个组合参数来提高特征区域中的图像的图像质量。在该情况下，参数选择单元1040可以选择这多个特定参数的预定集合，而不执行通过属性指定单元1020指定面部方向的处理。
或者，参数选择单元1040可以基于从特征区域中的图像指定的人的面部的方向来选择多个特定参数的集合。例如，参数选择单元1040关联和存储用于指定这多个特定参数的集合的信息和用于指定人的面部方向的信息，并且可以选择存储的与从特征区域中的图像指定的人的面部方向相关联的多组特定参数。可以通过基于多个选择的集合的多个组合参数来提高特征区域中的图像的图像质量，以产生通过提高特征区域的图像的图像质量而形成的多个图像。
在通过提高特征区域的图像的质量而形成的多个图像的产生中，图像产生单元1070可以基于多个特定参数来提高特征区域中的图像的质量。图像产生单元1070可以将所获得的多个图像中与特征区域中的图像最类似的图像产生为通过提高特征区域的图像质量而形成的高质量图像。在该情况下，参数选择单元1040可以选择多个预定特定参数，而不执行用于通过属性指定单元1020指定面部方向的处理，或者参数选择单元1040可以基于从特征区域中的图像指定的人的面部方向来选择多个特定参数。
如关于图23描述的，可以从特定面部方向上的学习图像计算用于提高特定面部方向上的面部图像的图像质量的图像处理参数(特定参数)。可以以对于其他多个面部方向相同的方式来计算图像处理参数，以计算与多个面部方向对应的图像处理参数。参数存储单元1010预先存储与对应的面部方向相关联的计算的图像处理参数。虽然用于提高面部图像的图像质量的图像处理参数可以是用于提高整个面部的图像质量的图像处理参数，但是图像处理参数可以是用于提高面部图像中包括的对象的至少一部分的图像质量的图像处理参数，该面部图像中包括的对象诸如是眼睛的图像、嘴部的图像、鼻子的图像、耳朵的图像。
面部方向是被摄体的方向的示例，并且以对于面部方向相同的方式，可以对于其他被摄体的方向计算与多个被摄体的方向对应的多个图像处理参数。如果被摄体是人，则人体的方向可以被描述为被摄体的方向，并且更具体地，可以将躯干的方向、手的方向等图示为人体的方向。如果被摄体不是人，则可以以对于面部图像相同的方式来计算多个图像处理参数，这多个图像处理参数用于提高具有面向多个方向的被成像被摄体的被摄体图像的图像质量。
被摄体的方向是被摄体的状态的示例，并且也可以通过人的表情来分类被摄体的状态。在该情况下，在参数存储单元1010中存储的多个图像处理参数提高具有不同具体表情的面部的图像的图像质量。例如，在参数存储单元1010中存储的多个图像处理参数提高当人在情绪化状态中时的面部、当人在紧张状态中时的面部等的图像质量。
也可以通过人的手势来分类被摄体的状态。在该情况下，在参数存储单元1010中存储的多个图像处理参数提高在不同具体手势的状态中的人的图像的图像质量。例如，在参数存储单元1010中存储的多个图像处理参数提高奔跑中的人的图像、快步行走的人的图像、将要奔跑的人的图像、追捕某物的人的图像等的图像质量。
还可以通过人的姿势来分类被摄体的状态。在该情况下，在参数存储单元1010中存储的多个图像处理参数提高在不同的具体姿势的状态中的人的图像的图像质量。例如，在参数存储单元1010中存储的多个图像处理参数提高弯腰的人的图像、将手放在口袋中的人的图像、交叉双臂的人的图像、面部和身体的方向不匹配的人的图像等的图像质量。
也可以通过人的佩戴材料来分类被摄体的状态。在该情况下，在参数存储单元1010中存储的多个图像处理参数提高在佩戴不同具体佩戴材料的状态中的人的图像的图像质量。例如，在参数存储单元1010中存储的图像处理参数提高戴眼镜的人的图像、戴太阳镜的人的图像、戴口罩的人的图像、戴帽子的人的图像等的图像质量。
如所述，根据被摄体的多种状态将被摄体分类为多个属性。还可以通过被摄体的类型来将被摄体分类为多个属性。被摄体的类型的示例包括人的种族。人的种族的示例包括：在区域上分类的种族，诸如亚洲种族和欧洲种族；以及身体人类学上分类的种族。在该情况下，在参数存储单元1010中存储的多个图像处理参数提高被分类为对应种族的人的图像的图像质量。
关于被摄体的类型，可以通过人的性别来分类，诸如男和女。在该情况下，在参数存储单元1010中存储的多个图像处理参数提高诸如男或女的图像的对应性别的人的图像的图像质量。关于被摄体的类型，可以通过人的年龄组来分类。在该情况下，在参数存储单元1010中存储的多个图像处理参数提高诸如青少年的图像和二十多岁的人的图像的对应图像的人的图像的图像质量。
通过所说明的被摄体的类型、被摄体的多个状态或类型和状态的组合来限定被摄体图像的属性。参数存储单元1010预先存储用于提高属于与所限定的属性相关联的属性的被摄体图像的图像质量的图像处理参数。可以通过与用于面部方向的图像处理参数的计算方法类似的方法来计算参数存储单元1010中存储的图像处理参数。例如，当通过表情来限定属性时，可以预先学习作为学习图像的具有笑脸的多个图像，以计算用于提高笑脸的图像的图像质量的图像处理参数。可以预先类似地学习诸如怒脸的图像的其他表情的图像，以计算用于提高表情的面部图像的图像质量的多个图像处理参数。也可以对于通过手势、姿势、佩戴材料、种族、性别、年龄等限定的属性类似地计算图像处理参数。
属性指定单元1020可以向被摄体图像应用通过诸如AdaBoost的增强而预先计算的分类器，以指定被摄体图像的属性。例如，脸部在特定方向上的多个面部图像被用作教师图像，并且通过增强处理来整合弱分类器，以产生分类器。可以根据当向所产生的分类器应用到被摄体图像时获得的正确或错误的分类结果来确定图像是否是特定面部方向的面部图像。例如，当获得正确的分类结果时，可以将输入的被摄体图像确定为特定面部方向上的面部图像。
可以通过由增强处理产生分类器来对其他多个面部方向类似地产生与面部方向对应的多个分类器。属性指定单元1020可以向被摄体图像应用多个分类器，以基于从分类器获得的正确或错误的分类结果来指定面部方向。除了面部方向之外，通过增强处理对于属性产生的分类器可以被应用于指定由表情、性别等限定的一个或多个其他属性。除了通过增强的学习之外，属性指定单元1020可以向被摄体图像应用通过诸如线性判别方法和混和高斯模型的各种方法对于属性学习的分类器，以指定属性。
(显示装置260的配置示例)
图25图示了图13中的显示装置260的方框配置的示例。如图25中所示，显示装置260包括图像获取单元1300、第一图像处理单元1310、特征区域指定单元1320、参数确定单元1330、显示控制单元1340、第二图像处理单元1350、外部信息获取单元1380和显示单元1390。
图像获取单元1300获取输入图像。在此的输入图像可以是从图像处理装置250接收的视频中包括的帧图像。第一图像处理单元1310使用预定的图像处理参数来产生通过提高输入图像的图像质量而获得的预定质量图像。例如，为了提高分辨率，第一图像处理单元1310使用诸如简单内插放大处理的所需计算量小于预定值的系统的图像处理参数来产生预定质量图像。
显示控制单元1340在显示单元1390上显示由第一图像处理单元1310产生的预定质量图像。以这种方式，显示单元1390显示预定质量图像。
特征区域指定单元1320指定输入图像中的多个特征区域。特征区域指定单元1320可以在显示单元1390显示预定质量图像时指定输入图像中的多个特征区域。图像处理装置250可以将用于指定特征区域的信息作为辅助信息附加到视频，并且向显示装置260发送该信息。特征区域指定单元1320可以从由图像获取单元1300获取的视频的辅助信息提取用于指定特征区域的信息，以指定多个特征区域。
参数确定单元1330对于多个特征区域的每一个确定用于进一步提高多个特征区域的图像的图像质量的图像处理参数。例如，参数确定单元1330对于多个特征区域的每一个确定用于以不同的强度提高多个特征区域的图像的图像质量的图像处理参数。“以不同强度来提高图像质量”可以表示以不同的计算量来提高图像质量、以每单位面积的不同计算量提高图像质量或通过高图像质量形成系统以不同的所需计算量来提高图像质量。
第二图像处理单元1350使用由参数确定单元1330确定的图像处理参数来产生通过提高多个特征区域的图像质量而形成的多个高质量特征区域。显示控制单元1340在由显示单元1390显示的预定质量图像中的多个特征区域中显示多个特征区域图像。以这种方式，显示控制单元1340在产生高质量图像时显示高质量图像来取代由显示单元1390已经显示的预定质量图像。因为显示单元1390迅速地产生并显示预定质量图像，所以用户可以大体上没有延迟地观察具有特定图像质量的监控视频。
参数确定单元1330可以基于多个特征区域的图像的重要性来确定用于多个特征区域的图像处理参数。用于指示重要性的信息可以附加到辅助信息。可以根据特征区域的被摄体的类型来预定重要性。观察显示单元1390的用户可以设定每种被摄体类型的重要性。参数确定单元1330确定用于以更高的强度提高具有更大重要性的特征区域的图像质量的图像处理参数。因此，用户可以观察其中重要特征区域具有较高图像质量的图像。
参数确定单元1330基于多个特征区域的图像的特征的类型来确定用于多个特征区域的每一个的图像处理参数。参数确定单元1330也可以基于多个特征区域中成像的被摄体的类型来确定用于多个特征区域的每一个的图像处理参数。以这种方式，参数确定单元1330可以根据被摄体的类型来直接确定图像处理参数。
参数确定单元1330基于在第二图像处理单元1350中提高多个特征区域的图像质量所需的处理量来确定图像处理参数。具体地说，参数确定单元1330在所需处理量较小时确定用于以较高强度来提高图像质量的图像处理参数。
例如，参数确定单元1330可以在多个特征区域的面积小时确定用于以较高的强度来提高分辨率的图像处理参数。第二图像处理单元1350使用由参数确定单元1330确定的图像处理参数来产生通过提高多个特征区域的图像的分辨率而形成的多个高质量特征区域。参数确定单元1330可以在多个特征区域的像素的数目较小时确定用于以较高的强度来提高图像质量的图像处理参数。
参数确定单元1330基于在第二图像处理单元1350中的作为可接受的吞吐量的处理能力来确定图像处理参数。具体地说，参数确定单元1330可以在处理能力较小时确定用于以较高强度来提高图像质量的图像处理参数。
因此，可以根据可以被第二图像处理单元1350处理的计算量来控制高图像质量形成的程度。因此，可以防止通过高图像质量形成处理在显示单元1390上的过量负荷和在图像显示上的延迟。如果在显示单元1390的计算量上有余地，则迅速产生高质量图像，并且可以观察图像。
如所述，可以将高分辨率形成说明为高图像质量形成。具体来说，参数确定单元1330对于多个特征区域的每一个确定用于提高多个特征区域的图像的分辨率的图像处理参数。第二图像处理单元1350使用由参数确定单元1330确定的图像处理参数来产生通过提高多个特征区域的图像的分辨率而形成的多个高质量特征区域图像。以高强度提高分辨率包括：高度精确地提高分辨率，并且产生具有更多像素的高质量图像。
除了高分辨率形成之外，高图像质量形成处理的示例还包括多层次形成、多色形成处理、噪声减少、伪影减少、模糊减少和锐度形成。以与对于高分辨率形成相同的方式，参数确定单元1330对于各种高图像质量形成确定用于在多个特征区域的每一个中的各种高图像质量形成的图像处理参数。第二图像处理单元1350可以使用由参数确定单元1330确定的图像处理参数来产生通过向多个特征区域的图像应用各种高图像质量形成而获得的多个高质量特征区域图像。
如所述，图像获取单元1300可以获取视频中包括的多个视频配置图像作为输入图像。参数确定单元1330对于多个特征区域的每一个确定用于提高多个特征区域的帧率的图像处理参数。第二图像处理单元1350可以使用由参数确定单元1330确定的图像处理参数来产生通过提高帧率而形成的多个高质量特征区域图像。
参数确定单元1330基于视频的帧率来确定图像处理参数。具体地说，参数确定单元1330可以在视频的帧率较小时确定用于以较高的强度来提高图像质量的图像处理参数。第二图像处理单元1350可以使用所确定的图像处理参数来提高输入图像的图像质量，以产生通过提高图像质量而形成的视频。如在通过图像处理装置250的高图像质量形成中那样，通过第二图像处理单元1350的高图像质量形成可以包括高分辨率形成、多色形成、多层次形成、噪声减少、用于减少块噪声和蚊式噪声的伪影的伪影减少、模糊减少、锐度形成的概念。第二图像处理单元1350可以通过该处理来产生高质量图像。
以这种方式，显示装置260可以根据用于高图像质量形成的图像的数据量和可以被分配到高图像质量形成处理的计算量来确定高图像质量形成的强度。显示装置260可以迅速向用户提供具有特定质量的图像，并且可以防止经历高图像质量形成处理的图像的显示的显著延迟。因此，显示装置260可以防止由于高图像质量形成处理导致的过量负荷，并且可以平滑地重放从图像处理装置250提供的视频。
外部信息获取单元1380从显示装置260的外部获取用于确定特征区域的图像处理参数的确定条件。参数确定单元1330基于由外部信息获取单元1380获取的确定条件来确定用于多个特征区域的图像处理参数。确定条件的示例包括特征区域的重要性的参数、特征区域的特征的类型、所需的处理量、特征区域的面积、特征区域的像素的数目和处理能力。
图26图示图像的显示区域1400的示例。假定显示区域1400是显示单元1390显示输入图像的区域。在此假定，从输入图像指定三个特征区域。在显示区域1400的特征区域区1410、特征区域区1420和特征区域区1430中显示特征区域的图像。
当在图25中描述的图像获取单元1300获取输入图像时，显示控制单元1340在显示单元1390的显示区域1400上显示所获取的输入图像。
当显示输入图像时，第二图像处理单元1350向特征区域的图像应用具有比预定值小的所需计算量的预定高图像质量形成处理，诸如简单内插，以产生特征区域的图像的预定质量图像(第一高分辨率形成阶段)。关于在第一高分辨率形成阶段中的高分辨率形成的强度，第二图像处理单元1350以预定的强度来应用高分辨率形成处理，而与特征区域的像素的数目、诸如帧率的图像的数据量、特征区域的重要性、被摄体的类型和第二图像处理单元1350中的计算公差无关。以预定强度向整个输入图像应用高分辨率形成处理所需的计算量可以总是被分配到第二图像处理单元1350。
当完成第一高分辨率形成阶段后产生预定质量图像1412、预定质量图像1422和预定质量图像1432时，显示控制单元1340分别向对应的特征区域区1410、特征区域区1420和特征区域区1430显示预定质量图像1412、预定质量图像1422和预定质量图像1432。
在显示预定质量图像1412、预定质量图像1422和预定质量图像1432的状态中，第二图像处理单元1350以由参数确定单元1330对于特征区域确定的强度来执行高分辨率形成处理，以产生特征区域的图像的高质量图像(第二高分辨率形成阶段)。在第二高分辨率形成阶段中，高分辨率形成的强度是由参数确定单元1330确定的强度，并且高分辨率形成的强度依赖于诸如特征区域的像素的数目和帧率的图像的数据量、特征区域的重要性、被摄体的类型和第二图像处理单元1350中的计算公差。
当第二高分辨率形成阶段完成后产生高质量图像1414、高质量图像1424和高质量图像1434时，显示控制单元1340分别在对应的特征区域区1410、特征区域区1420和特征区域区1430上显示高质量图像1414、高质量图像1424和高质量图像1434。
以这种方式，第二图像处理单元1350以根据当前的负荷量和高图像质量形成所需的计算量的强度来提高分辨率。因此，可以迅速地向可能范围内的用户提供高质量图像。
<图像处理系统的实施例的另一个示例>
图27图示根据另一个实施例的图像处理系统201的示例。根据本实施例的图像处理系统201的配置与图13中描述的图像处理系统200的配置相同，除了成像装置210a-d分别包括图像处理单元804a-d(以下，统称为“图像处理单元804”)。
图像处理单元804包括图13中描述的图像处理装置220中包括的构成元件中除了图像获取单元222之外的构成元件。在图像处理单元804中包括的构成元件的功能和操作可以与图像处理装置220中包括的构成元件的功能和操作大体上相同，除了处理由成像单元212成像的视频，而不是图像处理装置220中包括的构成元件处理由压缩视频扩展单元224通过扩展处理获得的视频。也可以在具有该配置的图像处理系统201中获得与关于来自图13至26的图像处理系统200描述的有益效果相同的有益效果。
图像处理单元804可以获取来自成像单元212的包括多个以RAW格式表达的多个摄像图像的视频，以便以RAW格式来压缩所获取的视频中包括的以RAW格式表达的多个摄像图像。图像处理单元804可以从以RAW格式表达的多个摄像图像检测一个或多个特征区域。图像处理单元804可以压缩包括以RAW格式压缩的多个摄像图像的视频。图像处理单元804可以通过关于图13至18被描述为图像处理装置220的操作的压缩方法来压缩视频。图像处理装置250可以扩展从图像处理单元804获取的视频，以获取以RAW格式表达的多个摄像图像。图像处理装置250逐个区域地放大通过扩展而获取的以RAW格式表达的多个摄像图像，并且逐个区域地执行同步处理。此时，与除了特征区域之外的区域相比，图像处理装置250可以在特征区域中执行更精确的同步处理。
图像处理装置250可以向通过同步处理获得的摄像图像中的特征区域的图像应用超分辨率处理。使用本发明的张量投影的超分辨率的组件可以作为超分辨率处理被应用在图像处理装置250中。
图像处理装置250可以向特征区域中包括的每一个对象应用超分辨率处理。例如，当特征区域包括人的面部图像时，图像处理装置250向作为对象的示例的每一个面部部位(例如，眼镜、鼻子和嘴部)应用超分辨率处理。在该情况下，图像处理装置250对于每一个面部部位(例如，眼镜、鼻子和嘴部)存储学习数据，诸如在日本专利申请特许公开No.2006-350498中描述的模型。图像处理装置250可以使用对于特征区域中包括的每一个面部部位选择的学习数据来向面部部位的图像应用超分辨率处理。
可以对于多个表情、多个面部方向和多个照明条件的每一个组合存储诸如模型的学习数据。表情的示例包括在情绪化状态中的面部以及严肃的外表，并且面部方向的示例包括前、向上、向下、向右、向左和向后。照明条件的示例包括与照明强度和照明方向相关的条件。图像处理装置250可以使用与面部表情、面部方向和照明条件的组合对应的学习数据来向面部图像应用超分辨率处理。
可以基于特征区域中包括的面部图像的图像内容来指定面部表情和面部方向。可以从嘴部和/或眼睛的形状指定表情，并且可以从在眼睛、嘴部、鼻子和耳朵之间的位置关系来指定面部方向。可以基于诸如阴影的位置和大小的面部图像的图像内容来指定对于面部的照明强度和照明方向。图像处理单元804指定面部表情、面部方向和照明条件，并且输出单元236可以发送与图像相关联的指定的面部表情、面部方向和照明条件。图像处理装置250可以使用与从输出单元236接收的面部表情、面部方向和照明条件对应的学习数据来执行超分辨率处理。
除了表达整个面部的模型之外，可以将面部的每一个部位的模型用作学习数据，诸如模型。另外，可以使用每种性别和/或种族的面部的模型。可以不仅对于人，而且对于诸如车辆和船只的要监控的每种类型的对象存储模型。
以这种方式，图像处理装置250可以使用局部保留投影(LPP)来重新配置特征区域的图像。除了局部保留投影(LPP)之外，可以将诸如局部线性嵌入(LLE)的用于保留局部的其他方法用作图像处理装置250的图像重新配置方法和用于图像重新配置的学习方法。
除了在日本专利申请特许公开No.2006-350498中描述的模型之外，学习数据可以包括从对象的多个样本图像提取的对象的图像的低频分量和高频分量。可以对于多个对象的每个类型通过k均值方法等来聚类对象的图像的低频分量，以将对象的图像的低频分量聚类到用于多个对象的每个类型的多个簇内。可以逐个簇地限定代表性低频分量(例如，中心或重心值)。
图像处理装置250从图形图像中的特征区域中包括的对象的图像提取低频分量。从所提取的对象的类型的对象样本图像中提取的低频分量的簇中，图像处理装置250指定其中匹配所提取的低频分量的值被定义为代表性低频分量的簇。图像处理装置250指定与指定的簇中包括的低频分量相关联的高频分量的簇。以这种方式，图像处理装置250可以指定与从摄像图像中包括的对象提取的低频分量相关的高频分量的簇。图像处理装置250可以使用表示指定的高频分量的簇的高频分量来将对象的图像转换为具有较高图像质量的高质量图像。例如，图像处理装置250可以向对象的图像加上对于每一个对象选择的高频分量，其中每一个对象具有根据从每一个对象的中心至面部上要处理的位置的距离的权重。可以通过闭环学习来产生代表性高频分量。以这种方式，图像处理装置250对于每一个对象从通过在每一个对象的学习产生的学习数据选择和使用期望的学习数据，并且图像处理装置250能够以较高精度来提高对象的图像的图像质量。
图像处理装置250也可以使用所存储的低频分量和高频分量来提高输入图像的图像质量，而不通过k均值方法等来聚类。例如，图像处理装置250存储低分辨率边缘分量和高分辨率边缘分量对，低分辨率边缘分量作为从在低分辨率学习图像中的分片提取的边缘分量，高分辨率边缘分量作为从在高分辨率学习图像中的分片提取的边缘分量。边缘分量可以被存储为LPP等的固有空间上的向量。
为了提高输入图像的图像质量作为高图像质量形成的目标，图像处理装置250从通过由诸如双三次的预定方法放大输入图像而获得的放大图像提取每一个分片中的边缘分量。图像处理装置250在LPP等的固有空间上计算对于输入图像中的每一个分片而言所提取的边缘分量和所存储的边缘分量之间的范数。图像处理装置250从存储的分片选择其中计算出比预定值小的范数的多个分片。对于目标分片和周围的分片，图像处理装置250设定多个所选择的分片的所提取的边缘分量和高分辨率边缘分量的马尔可夫随机场。图像处理装置250使用循环置信传播(LBP)等来求解对于每一个目标分片设定的马尔可夫随机场模型的能量最小化问题，以从存储的高分辨率边缘分量并且对于每一个目标分片选择要向每一个目标分片中的图像加上的高分辨率边缘分量。图像处理装置250向放大图像的分片的图像分量加上在分片中选择的高分辨率边缘分量，以产生高质量图像。
另外，图像处理装置250也可以使用多个类别的高斯混和模型来提高输入图像的图像质量。例如，在低分辨率学习图像中的分片的图像向量和在高分辨率学习图像中的分片的图像向量被设定为学习数据。从低分辨率学习图像中的分片的图像向量获得的簇向量用于基于EM算法等计算与高斯混和模型中的类别对应的密度分布的平均值和离差以及类别的权重。图像处理装置250将该平均值、离差和权重存储为学习数据。为了提高输入图像的图像质量作为高图像质量形成的目标，图像处理装置250使用输入图像中的分片的图像向量、从图像向量获得的簇向量以及被存储为学习数据的平均值、离差和权重来产生高质量图像。
另外，图像处理装置250也可以使用从输入图像提取的轮廓信息来仅从输入图像产生高质量图像。例如，为了提高从输入图像提取的轮廓附近的特定图像区域的分辨率，图像处理装置250可以在特定图像区域中布置沿着轮廓的其他区域中包括的像素的像素值，以产生通过提高特定图像区域的分辨率而形成的高质量图像。例如，图像处理装置250可以基于其他区域中包括的像素的位置和轮廓的位置之间的位置关系确定将在特定图像区域中的什么位置上布置像素的像素值，并且在所确定的位置上布置像素值，以提高特定图像区域的分辨率。
图像处理装置250可以使用输入图像中仅仅靠近包括边缘的边缘区域的轮廓信息来执行高分辨率形成处理。可以在除了边缘区域之外的图像区域中通过滤波系统等来提高分辨率。例如，图像处理装置250可以使用滤波系统来提高从其提取了比预定数目小的边缘数目的平坦区域中的分辨率。在从其提取了比预定数目大的边缘数目的纹理区域中，图像处理装置250可以通过下述方式来提高分辨率：校正通过使用滤波器系统提高分辨率而形成的图像，使得满足从输入图像产生的条件。
如所述，使用低频分量和高频分量的高图像质量形成处理、高斯混和模型和使用轮廓信息的高分辨率形成处理可以用于提高其中未指定对象的图像的图像质量。参数存储单元1010可以存储由图像处理装置250在高图像质量形成中使用的参数，诸如与低频分量对应的高频分量的数据、用于提高平坦区域的分辨率的滤波器、与高斯混和模型相关的学习数据等。使用本发明的局部保留投影张量的高图像质量形成处理可以被应用为用于提高其中指定了对象的图像的图像质量的处理。
将描述作为使用张量的高图像质量形成处理的用于面部图像的高图像质量形成处理的示例。具有不同分辨率、人和分片位置的面部图像被用作用于通过学习来计算四阶张量的学习图像，该四阶张量包括作为学习目标的分辨率、分片位置、人和像素。学习图像用于通过以分辨率、分片位置、人和像素值为目标来计算固有空间中的固有向量。基于所计算的固有向量的乘积的四阶张量用于从输入图像中包括的面部图像产生中等分辨率面部图像。可以通过基于固有值分解方法、局部保留投影(LPP)等的学习来计算固有向量。可以从高分辨率学习图像获得用于从中等分辨率面部图像恢复高频分量的高分辨率分片。图像处理装置250存储所获得的张量和高分辨率分片。
当提高输入图像中的包括的面部图像的图像质量作为高图像质量形成的目标时，图像处理装置250将基于所存储的四阶张量逐个分片地转换面部图像，以获得形成中等分辨率面部图像的分片。图像处理装置250设定中等分辨率分片和存储的高分辨率分片的马尔可夫随机场。通过迭代校正方法(ICM)等来求解马尔可夫随机场模型中的所有分片的能量最小化问题，以获得其中恢复高频分量的高分辨率面部图像。
当在图6中描述的图像处理装置100的配置被适配为图像处理装置250中的用于提高图像质量的组件时，图6的相加单元160(或组合单元166)的输出图像对应于“中等分辨率”面部图像。“中等分辨率”图像被进一步输入以求解马尔可夫随机场模型的能量最小化问题，以获得“高分辨率”图像的输出。
图像处理装置250可以执行从输入图像中包括的面部图像产生高分辨率面部图像的处理作为用于获得中等分辨率分片的预处理。在该情况下，图像处理装置250通过四阶张量来转换通过该预处理获得的低分辨率面部图像，以获得中等分辨率分片。该预处理可以包括：通过使用通过以面部方向、照明水平、表情、人和像素为目标而获得的五阶张量来转换输入图像中包括的面部图像的处理。具有不同的面部方向、照明水平、表情和人的面部图像可以被用作获得五阶张量的学习图像。
期望包括输入图像中包括的面部图像的定位处理作为预处理。例如，可以通过仿射变换来定位面部图像。更具体地，优化仿射变换的参数以匹配在仿射变换后的面部图像和用于学习的面部图像的位置。显然期望对于用于学习的面部图像执行定位处理，使得图像的位置匹配。
下面将描述使用局部保留投影(LPP)的高图像质量形成处理的示例。在学习阶段，通过局部保留投影(LPP)从作为学习图像的低分辨率图像和高分辨率图像计算固有向量。在LPP空间中，通过作为网络的权重的径向基函数来关联低分辨率图像和高分辨率图像。计算从学习图像的低分辨率图像的输入获得的中等分辨率图像和低分辨率图像之间的残差图像以及学习图像的高分辨率图像和中等分辨率图像之间的残差图像。图像处理装置250逐个分片地存储中等分辨率图像和低分辨率图像之间的残差图像以及高分辨率图像和中等分辨率图像之间的残差图像。
当增大输入图像的图像质量作为高图像质量形成的目标时，图像处理装置250从基于局部保留投影(LPP)的输入图像和来自学习图像中获得的径向基函数的中等分辨率图像产生固有向量。图像处理装置250计算在中等分辨率图像和输入面部图像之间的残差图像。基于局部线性嵌入(LLE)和最近搜索从存储的残差图像逐个分片地选择在对应的高分辨率图像和中等分辨率图像之间的残差图像。图像处理装置250将通过平滑选择的高分辨率图像和中等分辨率图像之间的残差图像而获得的残差图像加到从输入图像产生的中等分辨率图像，以产生高质量图像。
在基于在日本专利申请特许公开No.2006-350498中所述的主分量分析的超分辨率处理中，通过主分量向量和加权因子来表达对象的图像。与对象的图像中包括的像素数据的数据量相比，加权因子和主分量向量的数据量小得多。因此，图像处理单元804可以在压缩处理中从特征区域中包括的对象的图像计算加权因子，该压缩处理用于压缩从成像单元212获取的多个摄像图像中的特征区域的图像。更具体地，图像处理单元804可以通过由主分量向量和加权因子表达图像来压缩特征区域中包括的对象的图像。图像处理单元804可以向图像处理装置250发送主分量向量和加权因子。在该情况下，图像处理装置250可以使用从图像处理单元804获取的主分量向量和加权因子来重新配置特征区域中包括的对象的图像。除了基于日本专利申请特许公开No.2006-350498中描述的主分量分析的模型之外，显然，图像处理单元804可以使用用于通过各种特征参数来表达对象的模型以压缩特征区域中包括的对象的图像。
在关于图1至14描述的图像处理系统10的配置中，图像处理装置250或显示装置260还可以向特征区域的图像应用超分辨率处理作为高图像质量形成处理。在图像处理系统10和图像处理系统20中，压缩单元232可以如同图像处理装置220那样通过主分量向量和加权因子表达图像，以进一步压缩摄像图像。
上面说明了监控系统的示例，以描述图像处理系统200和201的操作。对于由诸如复印机的扫描器装置扫描的文件的高图像质量形成处理和编码可以被应用为本发明的另一个应用。例如，假定诸如文本、图、表格和照片的区域是特征区域，诸如超分辨率处理的高图像质量形成处理可以作为高分辨率形成处理被应用到区域。特征区域检测处理和压缩处理可以被应用到特征区域的检测和编码。类似地，在内窥镜系统中，特征区域检测处理、高图像质量形成处理和压缩处理可以被应用到体内部位的检测、高图像质量形成和编码。
<修改示例1>
虽然在如上所述的示例中图像处理系统200和201包括多个成像装置210a-d，但是成像装置210的数目不被具体限制，并且成像装置210的数目可以是1。显示装置260的数目也不被特别限制，并且显示装置260的数目可以是1。
<修改示例2>
虽然从图像处理系统200和201中的视频数据中的摄像图像(帧图像或场图像)指定特征区域，但是图像处理系统200和201可以不仅被应用到视频数据，而且可以被应用到静止图像数据。
<修改示例3>
虽然在图像处理系统200和201中描述了可以从一个摄像图像检测多个特征区域的配置，但是特征区域的数目不被特别限制，并且在一个摄像图像中可以有一个特征区域。
<修改示例4>
用于获取学习图像群的组件的模式不限于准备高质量图像和低质量图像对的图像群的模式.可以仅提供高质量图像，并且可以从高质量图像产生低质量图像以获得图像对。例如，可以在图像处理装置中包括用于执行降低图像质量的处理的处理组件(低图像质量形成处理组件)。可以输入高质量学习图像，并且该装置可以降低高质量学习图像的图像质量以获取学习图像对。
在图13和27中描述的图像处理系统200和201的情况下，模式不限于从准备的数据库等提供学习图像的模式。可以操作该系统来基于由成像装置210实际输入的图像或从该图像裁剪的图像(部分图像)来更新学习内容。通过根据系统的应用或成像装置的安装位置适当地引入学习图像来再一次执行学习步骤，可以进一步改善转换精度。
<修改示例5>
虽然在实施例中描述了通过提高图像质量而转换图像的学习图像数据的示例，但是本发明不仅可以被应用到高图像质量形成处理，而且还可以被应用到诸如图像识别的其他图像转换。要处理的数据不限于图像，而是可以类似地应用除了图像之外的各种数据。更具体地，被描述为图像处理装置、图像处理组件和图像处理系统的配置可以被扩展为数据处理装置、数据处理组件和数据处理系统。
<对图像识别的应用>
将描述对基于图像识别的个人认证的技术的应用作为除了高图像质量形成处理之外的应用。在该情况下，可以执行与直到图2、3、6等中描述的高图像质量形成处理的中间固有空间的处理相同的处理，并且中间固有空间中的系数向量之间的位置关系可以用于执行个人认证。可以基于“系数向量校正处理单元140”的获得方法对于该位置关系获得距离、方向等。更具体地，所获得的输入数据的距离和方向距学习数据越近，则输入数据是确定目标的概率越高。
因此，可以从中间固有空间(在此为个人差异固有空间)中学习数据和新输入的数据之间的位置关系来确定与特定人的相似性(例如，“人A”的似然性)。
可以对于面部的输入图像考虑各种条件，诸如面向前、向左、向右、...，并且可以使用下述属性来获得可以通过单个标准精确处理一个或多个条件的新的有益效果：即使输入任何方向的图像，图像通过诸如面向前、向左、向右、...的方向模态聚集到中间固有空间(例如，个人差异固有空间)上的一个点。
可以类似地处理不仅“方向”的模态，而且还有低分辨率、中等分辨率、高分辨率、...等的分辨率模态以及如上所述的各种模态。以这种方式，这样的处理适用于具有一个或多个条件的其他模态。即使与特定模态相关地输入任何条件的图像，也可以使用下述属性通过单个标准来精确地处理一个或多个条件：图像通过特定模态聚集到中间固有空间上的一个点内。
<对语音识别的应用>
将描述对语音识别应用的示例作为处理除了图像之外的数据的示例。取代图像数据以语音数据为目标，并且可以执行与直到图2、3、6等中描述的高图像质量形成处理的中间固有空间的处理类似的处理，以使用中间固有空间中的系数向量之间的位置关系来执行语音识别。可以通过“系数向量校正处理单元140”的获得方法对于该位置关系获得距离、方向等。更具体地，所获得的输入数据与学习数据的距离和方向越近，则输入数据是确定目标的概率越高。
在该情况下，例如，语音数据的声音样本(低分辨率和高分辨率)的数目的模态被应用到对于图像数据描述的像素模态(低分辨率和高分辨率)。也可以将声源和麦克风(传感器)的信噪比(S/N)和位置处理为模态。
在传统方法中，需要对于诸如48kHz、44.1kHz和32kHz的每一个采样频率或诸如16比特和8比特的量化比特的每个数目准备用于语音识别的学习固有空间。
相反，根据本发明，对于语音识别的公共学习固有空间(等同于“中间固有空间”)进行确定，并且可以通过一种标准来共同地识别和处理多个样本和量化比特。因此，存在下述有益效果：不必逐个情况地调整标准。而且，通过控制输入的低频分量来执行张量投影可以去除由低频分量中包括的干扰或噪声导致的变差影响，并且可以增加对低频分量(诸如干扰和噪声)的稳健性(强度)。此外，通过保留局部结构的投影，诸如使用局部关系的LPP来进行转换，有助于保留可能在PCA等的全局信息中易于丢失的中频分量和高频分量。因此，获得了新的有益效果，即有可能进一步改善性能。可以对于诸如S/N和声源麦克风位置的模态获得相同的有益效果。
<对于语言处理的应用>
将描述对于语音处理的应用的示例作为处理除了图像之外的数据的另一个示例。取代图像数据以语言数据(可以是语音数据或文本数据)为目标，并且可以执行与直到图2、3、6等中描述的高图像质量形成处理的中间固有空间的处理类似的处理，以使用中间固有空间中的系数向量之间的位置关系来执行语言处理。可以通过“系数向量校正处理单元140”的获得方法对于该位置关系获得距离、方向等。更具体地，所获得的输入数据与学习数据的距离和方向越近，则输入数据是确定目标的概率越高。
在该情况下，例如，语言(日语和英语)模态被应用到关于图像数据描述的像素模态(低分辨率和高分辨率)。也可以将地域(方言)、应用(正式(新闻)和非正式)、时代(平安时期、江户时期和现代时期)和时代(中学学生和年长者)处理为模态。
在常规方法中，需要对于诸如日语和英语的每种语言准备用于语音识别的学习固有空间。
相反，根据本发明，对于用于语言识别的公共学习固有空间(等同于“中间固有空间”)进行确定，并且可以通过一种标准来共同地识别和处理多种语言。因此，存在下述有益效果：不必逐个情况地调整标准。而且，通过控制输入的低频分量来执行张量投影可以去除由低频分量中包括的干扰或噪声导致的变差影响，并且可以增加对低频分量(诸如干扰和噪声)的稳健性(强度)。此外，通过保留局部结构的投影，诸如使用局部关系的LPP来进行转换，有助于保留可能在PCA等的全局信息中易于丢失的中频分量和高频分量。因此，获得了新的有益效果，即有可能进一步改善性能。可以对于诸如地域、应用、时代和世代的模态获得相同的有益效果。
<对于活体信息处理的应用>
将描述对于活体信息处理的应用的示例作为处理除了图像之外的数据的另一个示例。活体信息的示例包括心跳、脉搏、血压、呼吸和出汗的波形、周期和幅度。取代图像数据以活体信息的数据为目标，并且可以执行与直到图2、3、6等中描述的高图像质量形成处理的中间固有空间的处理类似的处理，以使用中间固有空间中的系数向量之间的位置关系来执行活体信息处理。可以通过“系数向量校正处理单元140”的获得方法对于该位置关系获得距离、方向等。更具体地，所获得的输入数据与学习数据的距离和方向越近，则输入数据是确定目标的概率越高。
在该情况下，例如，活体信息的数据样本的数目的模态(低分解和高分解)应用到关于图像数据描述的像素模态(低分辨率和高分辨率)。也可以将信号源和传感器的信噪比(S/N)和位置处理为模态。
在常规方法中，需要对于每一个采样频率或量化比特的每一个数目准备用于活体信息的学习固有空间。
相反，根据本发明，对于用于活体信息处理的公共学习固有空间(等同于“中间固有空间”)进行确定，并且可以通过一种标准来共同地识别和处理多个样本和量化比特。因此，存在下述有益效果：不必逐个情况地调整标准。而且，通过控制输入的低频分量来执行张量投影可以去除由低频分量中包括的干扰或噪声导致的变差影响，并且可以增加对低频分量(诸如干扰和噪声)的稳健性(强度)。此外，通过保留局部结构的投影，诸如使用局部关系的LPP来进行转换，有助于保留可能在PCA等的全局信息中易于丢失的中频分量和高频分量。因此，获得了新的有益效果，即有可能进一步改善性能。可以对于诸如S/N和传感器位置的模态获得相同的有益效果。
<对于自然/物理信息处理的应用>
将描述对于自然/物理信息处理的应用的示例作为处理除了图像之外的数据的另一个示例。自然/物理信息的示例包括天气、气候和地震的波形、周期和幅度。取代图像数据以自然/物理信息的数据为目标，并且可以执行与直到图2、3、6等中所述的高图像质量形成处理的中间固有空间的处理相同的处理，以使用中间固有空间中的系数向量之间的位置关系来执行自然/物理信息处理。可以通过“系数向量校正处理单元140”的获得方法对于该位置关系获得距离、方向等。更具体地，所获得的输入数据与学习数据的距离和方向越近，则输入数据是确定目标的概率越高。
在该情况下，例如，数据样本的数目的模态(低分解和高合成)应用到关于图像数据描述的像素模态(低分辨率和高分辨率)。也可以将信号源和传感器的信噪比(S/N)和位置处理为模态。
在常规方法中，需要对于每一个采样频率或量化比特的每一个数目准备用于自然/物理信息的学习固有空间。
相反，根据本发明，对于用于自然/物理信息处理的公共学习固有空间(等同于“中间固有空间”)进行确定，并且可以通过一种标准来共同地识别和处理多个样本和量化比特。因此，存在下述有益效果：不必逐个情况地调整标准。而且，通过控制输入的低频分量来执行张量投影可以去除由低频分量中包括的干扰或噪声导致的变差影响，并且可以增加对低频分量(诸如干扰和噪声)的稳健性(强度)。此外，通过保留局部结构的投影，诸如使用局部关系的LPP来进行转换，有助于保留可能在PCA等的全局信息中易于丢失的中频分量和高频分量。因此，获得了新的有益效果，即有可能进一步改善性能。可以对于诸如S/N和传感器位置的模态获得相同的有益效果。
{附图标记列表}
100...图像处理装置，102...低分辨率放大处理单元，104...高通滤波器，108...LPP投影张量产生单元，115...LPP固有投影矩阵，116...LPP投影核心张量，122...第一子核心张量产生单元，124...第二子核心张量产生单元，130...第一LPP_HOSVD投影处理单元，150...第二LPP_HOSVD投影单元，160...相加单元，200...图像处理系统，201...图像处理系统，610...第一特征区域指定单元，620...第二特征区域指定单元，230...压缩控制单元，232...压缩单元

Claims (32)

1.一种图像处理装置，其特征在于包括：
信息获取组件，用于从学习图像群获取通过投影计算而产生的固有投影矩阵，所述学习图像群包括由具有不同图像质量的第一质量图像和第二质量图像的高频分量形成的图像对以及由所述第一质量图像和所述第二质量图像的所述高频分量和中频分量形成的图像对中的至少一个，并且所述信息用于获取组件获取从所述学习图像群和所述固有投影矩阵产生的投影核心张量；
第一子核心张量产生组件，用于从获取的投影核心张量产生第一子核心张量，所述第一子核心张量与由第一设定指定的条件对应；
第二子核心张量产生组件，用于从所述获取的投影核心张量产生第二子核心张量，所述第二子核心张量与由第二设定指定的条件对应；
滤波组件，用于产生低频分量控制图像，其中要被处理的输入图像的所述高频分量或所述高频分量和中频分量被提取；
第一子张量投影组件，用于通过第一投影计算来投影所述低频分量控制图像，以计算在所述中间固有空间中的系数向量，所述第一投影计算使用所述固有投影矩阵和所述第一子核心张量；
第二子张量投影组件，用于通过第二投影计算来投影计算出的系数向量，以从所述低频分量控制图像产生投影图像，所述第二投影计算使用所述第二子核心张量和所述固有投影矩阵；
图像转换组件，用于产生转换图像，所述转换图像具有与所述输入图像不同的图像质量；以及，
相加组件，用于使所述投影图像和所述转换图像相加。
2.一种图像处理装置，其特征在于包括：
信息获取组件，用于从学习图像群获取通过投影计算而产生的固有投影矩阵，所述学习图像群包括由具有不同图像质量的第一质量图像和第二质量图像的高频分量形成的图像对以及由所述第一质量图像和所述第二质量图像的所述高频分量和中频分量形成的图像对中的至少一个，所述信息获取组件用于获取第一子核心张量，所述第一子核心张量与由第一设定指定的条件对应，所述第一子核心张量是使用从所述学习图像群和所述投影矩阵产生的投影核心张量而产生的，并且所述信息获取组件用于获取第二子核心张量，所述第二子核心张量与由第二设定指定的条件对应，所述第二子核心张量是使用所述投影核心张量而产生的；
滤波组件，用于产生低频分量控制图像，其中要被处理的输入图像的所述高频分量或所述高频分量和中频分量被提取；
第一子张量投影组件，用于通过第一投影计算来投影所述低频分量控制图像，以计算在所述中间固有空间中的系数向量，所述第一投影计算使用所述固有投影矩阵和所述第一子核心张量；
第二子张量投影组件，用于通过第二投影计算投影计算出的系数向量，以从所述低频分量控制图像产生投影图像，所述第二投影计算使用所述第二子核心张量和所述固有投影矩阵；
图像转换组件，用于产生转换图像，所述转换图像具有与所述输入图像不同的图像质量；以及，
相加组件，用于使所述投影图像和所述转换图像相加。
3.根据权利要求1或2所述的图像处理装置，其特征在于：
所述信息获取组件从所述学习图像群获取通过所述投影计算而产生的固有投影矩阵，所述学习图像群包括由所述第一质量图像和所述第二质量图像的所述高频分量形成的所述图像对，并且所述信息获取组件获取从所述学习图像群和所述固有投影矩阵而产生的投影核心张量，
所述滤波组件产生高频分量控制图像，其中所述输入图像的所述高频分量被提取，并且，
所述第一子张量投影组件用于通过第一投影计算来投影所述低频分量控制图像以计算在所述中间固有空间中的系数向量，所述第一投影计算使用所述固有投影矩阵和所述第一子核心张量，所述第一子张量投影组件和所述第二子张量投影组件从所述高频分量图像产生高频分量的投影图像，以产生超过在所述输入图像中表达的频率区域的所述高频区域的图像信息。
4.一种图像处理装置，其特征在于包括：
固有投影矩阵产生组件，用于从学习图像群产生通过投影计算而产生的固有投影矩阵，所述学习图像群包括由具有不同图像质量的第一质量图像和第二质量图像的高频分量形成的图像对以及由所述第一质量图像和所述第二质量图像的所述高频分量和中频分量形成的图像对中的至少一个；
投影核心张量产生组件，用于产生投影核心张量，所述投影核心张量限定了在所述第一质量图像的所述高频分量和中间固有空间之间或在所述第一质量图像的所述高频分量以及所述中频分量和所述中间固有空间之间的对应性，以及在所述第二质量图像的所述高频分量和所述中间固有空间之间或在所述第二质量图像的所述高频分量以及中频分量和所述中间固有空间之间的对应性；
第一子核心张量获取组件，用于从产生的投影核心张量产生第一子核心张量，所述第一子核心张量与由第一设定指定的条件对应；
第二子核心张量获取组件，用于从所述产生的投影核心张量产生第二子核心张量，所述第二子核心张量与由第二设定指定的条件对应；
滤波组件，用于产生低频分量控制图像，其中要被处理的输入图像的所述高频分量或所述高频分量和中频分量被提取；
第一子张量投影组件，用于通过第一投影计算来投影所述低频分量控制图像，以计算在所述中间固有空间中的系数向量，所述第一投影计算使用所述固有投影矩阵和所述第一子核心张量；
第二子张量投影组件，用于通过第二投影计算来投影计算出的系数向量，以从所述低频分量控制图像产生投影图像，所述第二投影计算使用所述第二子核心张量和所述固有投影矩阵；
图像转换组件，用于产生转换图像，所述转换图像具有与所述输入图像不同的图像质量；以及，
相加组件，用于使所述投影图像和所述转换图像相加。
5.根据权利要求4所述的图像处理装置，其特征在于：
所述固有投影矩阵产生组件从所述学习图像群通过所述投影计算来产生所述固有投影矩阵，所述学习图像群包括由所述第一质量图像和所述第二质量图像的所述高频分量形成的所述图像对，
所述投影核心张量产生组件从所述学习图像群和所述固有投影矩阵产生所述投影核心张量，
所述滤波组件产生高频分量控制图像，其中所述输入图像的所述高频分量被提取，并且，
所述第一子张量投影组件用于通过第一投影计算来投影所述低频分量控制图像以计算在所述中间固有空间中的系数向量，所述第一投影计算使用所述固有投影矩阵和所述第一子核心张量，所述第一子张量投影组件和所述第二子张量投影组件从所述高频分量图像产生所述高频分量的投影图像，以产生超过在所述输入图像中表达的频率区域的高频区域的图像信息。
6.根据权利要求1至5的任何一项所述的图像处理装置，其特征在于：
通过向所述第一质量图像应用与所述滤波组件相同的处理来提取所述第一质量图像的所述高频分量和所述中频分量，并且通过向所述第二质量图像应用与所述滤波组件相同的处理来提取所述第二质量图像的所述高频分量和所述中频分量。
7.根据权利要求1至6的任何一项所述的图像处理装置，其特征在于进一步包括：
加权因子确定组件，用于确定加权因子，所述加权因子用于对要由所述相加组件相加的所述投影图像和所述转换图像加权。
8.根据权利要求1至7的任何一项所述的图像处理装置，其特征在于：
所述滤波组件基于在所述输入图像中的奈奎斯特频率来执行提取大于一个频率的分量的处理。
9.根据权利要求1至8的任何一项所述的图像处理装置，其特征在于：
所述第一质量图像是所述图像对中具有相对较低图像质量的图像，
所述第二质量图像是所述图像对中具有相对较高图像质量的图像，并且，
所述改变质量图像是具有比所述输入图像高的图像质量的图像。
10.根据权利要求1至9的任何一项所述的图像处理装置，其特征在于：
所述第一设定指明在所述中间固有空间上投影所述第一质量图像的投影关系，并且，
所述第二设定指明在所述中间固有空间上投影所述第二质量图像的投影关系。
11.根据权利要求1至10的任何一项所述的图像处理装置，其特征在于：
所述投影计算是局部保留投影(LPP)、局部线性嵌入(LLE)、线性切空间排列(LTSA)之一。
12.根据权利要求1至11的任何一项所述的图像处理装置，其特征在于：
所述学习图像群包括以人的面部为目标的图像对，并且
所述中间固有空间是个人差异固有空间。
13.根据权利要求1至12的任何一项所述的图像处理装置，其特征在于进一步包括：
第一特征区域指定组件，用于从被输入图像指定第一特征区域；
压缩处理组件，用于以第一压缩强度来压缩在所述被输入图像中的所述第一特征区域的图像部分，并且以第二压缩强度来压缩除了所述第一特征区域之外的图像部分，所述第二压缩强度是大于所述第一压缩强度的压缩强度；以及，
图像质量改变处理组件，用于通过所述第一子张量投影组件和所述第二子张量投影组件来至少投影所述第一特征区域，以改变所述图像质量。
14.根据权利要求1至13的任何一项所述的图像处理装置，其特征在于：
所述投影计算包括使用局部关系的投影计算。
15.一种图像处理方法，其特征在于包括：
信息获取步骤，用于从学习图像群获取通过投影计算而产生的固有投影矩阵，所述学习图像群包括由具有不同图像质量的第一质量图像和第二质量图像的高频分量形成的图像对以及由所述第一质量图像和所述第二质量图像的高频分量和中频分量形成的图像对中的至少一个，并且所述信息获取步骤获取从所述学习图像群和所述固有投影矩阵产生的投影核心张量；
第一子核心张量产生步骤，用于从获取的投影核心张量产生第一子核心张量，所述第一子核心张量与由第一设定指定的条件对应；
第二子核心张量产生步骤，用于从所述获取的投影核心张量产生第二子核心张量，所述第二子核心张量与由第二设定指定的条件对应；
滤波处理步骤，用于产生低频分量控制图像，其中要被处理的输入图像的所述高频分量或所述高频分量和中频分量被提取；
第一子张量投影步骤，用于通过第一投影计算来投影所述低频分量控制图像，以计算在所述中间固有空间中的系数向量，所述第一投影计算使用所述固有投影矩阵和所述第一子核心张量，所述第一投影计算使用所述固有投影矩阵和所述第一子核心张量；
第二子张量投影步骤，用于通过第二投影计算投影所述计算的系数向量，以从所述低频分量控制图像产生投影图像，所述第二投影计算使用所述第二子核心张量和所述固有投影矩阵；
图像转换步骤，用于产生转换图像，所述转换图像具有与所述输入图像不同的图像质量；以及，
相加步骤，用于使所述投影图像和所述转换图像相加。
16.一种图像处理方法，其特征在于包括：
信息获取步骤，用于从学习图像群获取通过投影计算而产生的固有投影矩阵，所述学习图像群包括由具有不同图像质量的第一质量图像和第二质量图像的高频分量形成的图像对以及由所述第一质量图像和所述第二质量图像的所述高频分量和中频分量形成的图像对中的至少一个，所述信息获取步骤获取第一子核心张量，所述第一子核心张量与由第一设定指定的条件对应，所述第一子核心张量是使用从所述学习图像群和所述投影矩阵产生的投影核心张量而产生的，并且所述信息获取步骤获取第二子核心张量，所述第二子核心张量与由第二设定指定的条件对应，所述第二子核心张量是使用所述投影核心张量而产生的；
滤波处理步骤，用于产生低频分量控制图像，其中要被处理的输入图像的高频分量或高频分量和中频分量被提取；
第一子张量投影步骤，用于通过第一投影计算来投影所述低频分量控制图像，以计算在所述中间固有空间中的系数向量，所述第一投影计算使用所述固有投影矩阵和所述第一子核心张量；
第二子张量投影步骤，用于通过第二投影计算来投影计算出的系数向量，以从所述低频分量控制图像产生投影图像，所述第二投影计算使用所述第二子核心张量和所述固有投影矩阵；
图像转换步骤，用于产生转换图像，所述转换图像具有与所述输入图像不同的图像质量；以及，
相加步骤，用于使所述投影图像和所述转换图像相加。
17.一种图像处理方法，其特征在于包括：
固有投影矩阵产生步骤，用于从学习图像群产生通过投影计算而产生的固有投影矩阵，所述学习图像群包括由具有不同图像质量的第一质量图像和第二质量图像的高频分量形成的图像对以及由所述第一质量图像和所述第二质量图像的高频分量和中频分量形成的图像对中的至少一个；
投影核心张量产生步骤，用于产生投影核心张量，所述投影核心张量限定了在所述第一质量图像的所述高频分量和中间固有空间之间的对应性以及在所述第二质量图像的所述高频分量和所述中间固有空间之间的对应性；
第一子核心张量获取步骤，用于从产生的投影核心张量产生第一子核心张量，所述第一子核心张量与由第一设定指定的条件对应；
第二子核心张量获取步骤，用于从所述产生的投影核心张量产生第二子核心张量，所述第二子核心张量与由第二设定指定的条件对应；
滤波处理步骤，用于产生低频分量控制图像，其中要被处理的输入图像的所述高频分量或所述高频分量和中频分量被提取；
第一子张量投影步骤，用于通过第一投影计算来投影所述低频分量控制图像，以计算在所述中间固有空间中的系数向量，所述第一投影计算使用所述固有投影矩阵和所述第一子核心张量；
第二子张量投影步骤，用于通过第二投影计算来投影计算出的系数向量，以从所述低频分量控制图像产生投影图像，所述第二投影计算使用所述第二子核心张量和所述固有投影矩阵；
图像转换步骤，用于产生转换图像，所述转换图像具有与所述输入图像不同的图像质量；以及，
相加步骤，用于使所述投影图像和所述转换图像相加。
18.根据权利要求15至17的任何一项所述的图像处理方法，其特征在于：
所述投影计算包括使用局部关系的投影计算。
19.一种程序，用于使得计算机起到以下作用：
信息获取组件，用于从学习图像群获取通过投影计算而产生的固有投影矩阵，所述学习图像群包括由具有不同图像质量的第一质量图像和第二质量图像的高频分量形成的图像对以及由所述第一质量图像和所述第二质量图像的所述高频分量和中频分量形成的图像对中的至少一个，并且所述信息获取组件获取从所述学习图像群和所述固有投影矩阵产生的投影核心张量；
第一子核心张量产生组件，用于从获取的投影核心张量产生第一子核心张量，所述第一子核心张量与由第一设定指定的条件对应；
第二子核心张量产生组件，用于从所述获取的投影核心张量产生第二子核心张量，所述第二子核心张量与由第二设定指定的条件对应；
滤波组件，用于产生低频分量控制图像，其中要被处理的输入图像的所述高频分量或所述高频分量和中频分量被提取；
第一子张量投影组件，用于通过第一投影计算来投影所述低频分量控制图像，以计算在所述中间固有空间中的系数向量，所述第一投影计算使用所述固有投影矩阵和所述第一子核心张量；
第二子张量投影组件，用于通过第二投影计算来投影计算出的系数向量，以从所述低频分量控制图像产生投影图像，所述第二投影计算使用所述第二子核心张量和所述固有投影矩阵；
图像转换组件，用于产生转换图像，所述转换图像具有与所述输入图像不同的图像质量；以及，
相加组件，用于使所述投影图像和所述转换图像相加。
20.一种程序，用于使得计算机起到以下作用：
信息获取组件，用于从学习图像群获取通过投影计算而产生的固有投影矩阵，所述学习图像群包括由具有不同图像质量的第一质量图像和第二质量图像的高频分量形成的图像对以及由所述第一质量图像和所述第二质量图像的高频分量和中频分量形成的图像对中的至少一个，所述信息获取组件获取第一子核心张量，所述第一子核心张量与由第一设定指定的条件对应，所述第一子核心张量是使用从所述学习图像群和所述投影矩阵产生的投影核心张量而产生的，并且所述信息获取组件用于获取第二子核心张量，所述第二子核心张量与由第二设定指定的条件对应，所述第二子核心张量是使用所述投影核心张量而产生的；
滤波组件，用于产生低频分量控制图像，其中要被处理的输入图像的所述高频分量或所述高频分量和中频分量被提取；
第一子张量投影组件，用于通过第一投影计算来投影所述低频分量控制图像，以计算在所述中间固有空间中的系数向量，所述第一投影计算使用所述固有投影矩阵和所述第一子核心张量；
第二子张量投影组件，用于通过第二投影计算来投影计算出的系数向量，以从所述低频分量控制图像产生投影图像，所述第二投影计算使用所述第二子核心张量和所述固有投影矩阵；
图像转换组件，用于产生转换图像，所述转换图像具有与所述输入图像不同的图像质量；以及，
相加组件，用于使所述投影图像和所述转换图像相加。
21.一种程序，用于使得计算机起到以下作用：
固有投影矩阵产生组件，用于从学习图像群产生通过投影计算而产生的固有投影矩阵，所述学习图像群包括由具有不同图像质量的第一质量图像和第二质量图像的高频分量形成的图像对以及由所述第一质量图像和所述第二质量图像的所述高频分量和中频分量形成的图像对中的至少一个；
投影核心张量产生组件，用于产生投影核心张量，所述投影核心张量限定了在所述第一质量图像的所述高频分量和中间固有空间之间或在所述高频分量以及中频分量和所述中间固有空间之间的对应性，以及在所述第二质量图像的所述高频分量和所述中间固有空间之间或在所述高频分量以及中频分量和所述中间固有空间之间的对应性；
第一子核心张量获取组件，用于从产生的投影核心张量产生第一子核心张量，所述第一子核心张量与由第一设定指定的条件对应；
第二子核心张量获取组件，用于从所述产生的投影核心张量产生第二子核心张量，所述第二子核心张量与由第二设定指定的条件对应；
滤波组件，用于产生低频分量控制图像，其中要被处理的输入图像的所述高频分量或所述高频分量和中频分量被提取；
第一子张量投影组件，用于通过第一投影计算来投影所述低频分量控制图像，以计算在所述中间固有空间中的系数向量，所述第一投影计算使用所述固有投影矩阵和所述第一子核心张量；
第二子张量投影组件，用于通过第二投影计算来投影计算出的系数向量，以从所述低频分量控制图像产生投影图像，所述第二投影计算使用所述第二子核心张量和所述固有投影矩阵；
图像转换组件，用于产生转换图像，所述转换图像具有与所述输入图像不同的图像质量；以及，
相加组件，用于使所述投影图像和所述转换图像相加。
22.根据权利要求19至21的任何一项所述的程序，其特征在于：
所述投影计算包括使用局部关系的投影计算。
23.一种数据处理装置，其特征在于包括：
信息获取组件，用于从学习数据群获取通过投影计算而产生的固有投影矩阵，所述学习数据群至少包括由具有不同条件的第一条件数据和第二条件数据的中频分量或高频分量形成的数据对，并且所述信息获取组件用于获取第一子核心张量，所述第一子核心张量是对应于由第一设定指定的条件而创建的，所述第一子核心张量是从投影核心张量创建的，所述投影核心张量是从所述学习数据群和所述固有投影矩阵产生并且限定了在所述第一条件数据和中间固有空间之间的对应性以及在所述第二条件数据和所述中间固有空间之间的对应性；
滤波组件，用于产生低频分量控制输入数据，其中要被处理的输入数据的所述高频分量或所述高频分量和中频分量被提取；以及，
第一子张量投影组件，用于通过第一投影计算来投影所述低频分量控制输入数据，以计算在所述中间固有空间中的系数向量，所述第一投影计算使用从所述信息获取组件获取的所述固有投影矩阵和所述第一子核心张量。
24.一种数据处理装置，其特征在于包括：
信息获取组件，用于从学习数据群获取通过投影计算而产生的固有投影矩阵，所述学习数据群至少包括由具有不同条件的第一条件数据和第二条件数据的中频分量或高频分量形成的数据对，并且所述信息获取组件获取第一子核心张量，所述第一子核心张量是对应于由第一设定指定的条件而创建的，所述第一子核心张量是从投影核心张量创建的，所述投影核心张量是从所述学习数据群和所述固有投影矩阵产生并且限定了在所述第一条件数据和中间固有空间之间的对应性以及在所述第二条件数据和所述中间固有空间之间的对应性；
滤波组件，用于产生低频分量控制输入数据，其中要被处理的输入数据的高频分量或高频分量和中频分量被提取；以及，
第一子张量投影组件，用于通过第一投影计算来投影所述低频分量控制输入数据，以计算在所述中间固有空间中的系数向量，所述第一投影计算使用从所述信息获取组件获取的所述固有投影矩阵和所述第一子核心张量。
25.根据权利要求23或24所述的数据处理装置，其特征在于：
所述投影计算包括使用局部关系的投影计算。
26.一种数据处理方法，其特征在于包括：
信息获取步骤，用于从学习数据群获取通过投影计算而产生的固有投影矩阵，所述学习数据群至少包括由具有不同条件的第一条件数据和第二条件数据的中频分量或高频分量形成的数据对，并且所述信息获取步骤获取第一子核心张量，所述第一子核心张量是对应于由第一设定指定的条件而创建的，所述第一子核心张量是从投影核心张量创建的，所述投影核心张量是从所述学习数据群和所述固有投影矩阵产生并且限定了在所述第一条件数据和中间固有空间之间的对应性以及在所述第二条件数据和所述中间固有空间之间的对应性；
滤波滤波步骤，用于产生低频分量控制输入数据，其中要被处理的输入数据的高频分量或高频分量和中频分量被提取；以及，
第一子张量投影步骤，用于通过第一投影计算来投影所述低频分量控制输入数据，以计算在所述中间固有空间中的系数向量，所述第一投影计算使用在所述信息获取步骤中获取的所述固有投影矩阵和所述第一子核心张量。
27.一种数据处理方法，其特征在于包括：
信息获取步骤，用于从学习数据群获取通过投影计算而产生的固有投影矩阵，所述学习数据群至少包括由具有不同条件的第一条件数据和第二条件数据的中频分量或高频分量形成的数据对，并且所述信息获取步骤获取第一子核心张量，所述第一子核心张量是对应于由第一设定指定的条件而创建的，所述第一子核心张量是从投影核心张量创建的，所述投影核心张量是从所述学习数据群和所述固有投影矩阵产生并且限定了在所述第一条件数据和中间固有空间之间的对应性以及在所述第二条件数据和所述中间固有空间之间的对应性；
滤波步骤，用于产生低频分量控制输入数据，其中要被处理的输入数据的高频分量或高频分量和中频分量被提取；以及，
第一子张量投影步骤，用于通过第一投影计算来投影所述低频分量控制输入数据，以计算在所述中间固有空间中的系数向量，所述第一投影计算使用在所述信息获取步骤中获取的所述固有投影矩阵和所述第一子核心张量。
28.根据权利要求26或27所述的数据处理方法，其特征在于：
所述投影计算包括使用局部关系的投影计算。
29.一种程序，其特征在于使得计算机起到以下作用：
信息获取组件，用于从学习数据群获取通过投影计算而产生的固有投影矩阵，所述学习数据群至少包括由具有不同条件的第一条件数据和第二条件数据的中频分量或高频分量形成的数据对，并且所述信息获取组件获取第一子核心张量，所述第一子核心张量是对应于由第一设定指定的条件而创建的，所述第一子核心张量是从投影核心张量创建的，所述投影核心张量是从所述学习数据群和所述固有投影矩阵产生并且限定了在所述第一条件数据和中间固有空间之间的对应性以及在所述第二条件数据和所述中间固有空间之间的对应性；
滤波组件，用于产生低频分量控制输入数据，其中要被处理的输入数据的高频分量或高频分量和中频分量被提取；以及，
第一子张量投影组件，用于通过第一投影计算来投影所述低频分量控制输入数据，以计算在所述中间固有空间中的系数向量，所述第一投影计算使用从所述信息获取组件获取的所述固有投影矩阵和所述第一子核心张量。
30.一种程序，其特征在于使得计算机起到以下作用：
信息获取组件，用于从学习数据群获取通过投影计算而产生的固有投影矩阵，所述学习数据群至少包括由具有不同条件的第一条件数据和第二条件数据的中频分量或高频分量形成的数据对，并且所述信息获取组件获取第一子核心张量，所述第一子核心张量是对应于由第一设定指定的条件而创建的，所述第一子核心张量是从投影核心张量创建的，所述投影核心张量是从所述学习数据群和所述固有投影矩阵产生并且限定了在所述第一条件数据和中间固有空间之间的对应性以及在所述第二条件数据和所述中间固有空间之间的对应性；
滤波组件，用于产生低频分量控制输入数据，其中要被处理的输入数据的高频分量或高频分量和中频分量被提取；以及，
第一子张量投影组件，用于通过第一投影计算来投影所述低频分量控制输入数据，以计算在所述中间固有空间中的系数向量，所述第一投影计算使用从所述信息获取组件获取的所述固有投影矩阵和所述第一子核心张量。
31.根据权利要求29或30所述的程序，其特征在于：
所述投影计算包括使用局部关系的投影计算。
32.一种记录介质，用于记录根据权利要求19至22和29至31的任何一项所述的程序。
CN201080034113.3A 2009-07-31 2010-07-26 图像处理装置和方法、数据处理装置和方法 Expired - Fee Related CN102473279B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009-179842 2009-07-31
JP2009179842A JP5506274B2 (ja) 2009-07-31 2009-07-31 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム
PCT/JP2010/062510 WO2011013610A1 (ja) 2009-07-31 2010-07-26 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム及び記録媒体

Publications (2)

Publication Number Publication Date
CN102473279A true CN102473279A (zh) 2012-05-23
CN102473279B CN102473279B (zh) 2014-07-23

Family

ID=43529265

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080034113.3A Expired - Fee Related CN102473279B (zh) 2009-07-31 2010-07-26 图像处理装置和方法、数据处理装置和方法

Country Status (5)

Country Link
US (1) US8565518B2 (zh)
EP (1) EP2461289A4 (zh)
JP (1) JP5506274B2 (zh)
CN (1) CN102473279B (zh)
WO (1) WO2011013610A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035143A (zh) * 2018-07-17 2018-12-18 华中科技大学 一种基于贝塞尔光片成像的三维超分辨方法
CN110490856A (zh) * 2019-05-06 2019-11-22 腾讯医疗健康(深圳)有限公司 医疗内窥镜图像的处理方法、系统、机器设备和介质
CN112950463A (zh) * 2019-12-11 2021-06-11 香港理工大学深圳研究院 一种图像超分辨率方法、图像超分辨率装置及终端设备
CN113239835A (zh) * 2021-05-20 2021-08-10 中国科学技术大学 模型感知的手势迁移方法
CN113904764A (zh) * 2021-09-18 2022-01-07 大连大学 基于多尺度压缩感知和马尔科夫模型的图像加密方法

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5178662B2 (ja) * 2009-07-31 2013-04-10 富士フイルム株式会社 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム
JP5476955B2 (ja) * 2009-12-04 2014-04-23 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
KR20120137413A (ko) * 2010-03-12 2012-12-20 국립대학법인 나고야공업대학 화상 처리 장치, 화상 처리 프로그램을 기록한 컴퓨터 판독가능 기록 매체, 및 화상을 생성하는 방법
US9053562B1 (en) 2010-06-24 2015-06-09 Gregory S. Rabin Two dimensional to three dimensional moving image converter
JP5492139B2 (ja) 2011-04-27 2014-05-14 富士フイルム株式会社 画像圧縮装置、画像伸長装置、方法、及びプログラム
JP5751184B2 (ja) * 2012-01-31 2015-07-22 Ｎｋワークス株式会社 画像処理プログラム、画像処理装置および画像処理方法
WO2015042873A1 (en) * 2013-09-27 2015-04-02 Google Inc. Decomposition techniques for multi-dimensional data
US9159123B2 (en) * 2014-01-24 2015-10-13 Adobe Systems Incorporated Image prior as a shared basis mixture model
US9384402B1 (en) * 2014-04-10 2016-07-05 Google Inc. Image and video compression for remote vehicle assistance
JP5847228B2 (ja) * 2014-04-16 2016-01-20 オリンパス株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US10225575B2 (en) * 2014-09-03 2019-03-05 Nec Corporation Image reconstruction in which unknown patch is replaced by selected patch
CN106297768B (zh) * 2015-05-11 2020-01-17 苏州大学 一种语音识别方法
US9589323B1 (en) * 2015-08-14 2017-03-07 Sharp Laboratories Of America, Inc. Super resolution image enhancement technique
US10180782B2 (en) * 2015-08-20 2019-01-15 Intel Corporation Fast image object detector
US10402696B2 (en) * 2016-01-04 2019-09-03 Texas Instruments Incorporated Scene obstruction detection using high pass filters
DE112016007498B4 (de) * 2016-12-06 2020-11-26 Mitsubishi Electric Corporation Untersuchungseinrichtung und untersuchungsverfahren
KR102351083B1 (ko) * 2017-08-30 2022-01-13 삼성전자주식회사 디스플레이 장치 및 그 영상 처리 방법
US10325371B1 (en) * 2019-01-22 2019-06-18 StradVision, Inc. Method and device for segmenting image to be used for surveillance using weighted convolution filters for respective grid cells by converting modes according to classes of areas to satisfy level 4 of autonomous vehicle, and testing method and testing device using the same
US10339424B1 (en) * 2019-01-22 2019-07-02 StradVision, Inc. Method and device of neural network operations using a grid generator for converting modes according to classes of areas to satisfy level 4 of autonomous vehicles
US10373317B1 (en) * 2019-01-22 2019-08-06 StradVision, Inc. Learning method and learning device for attention-driven image segmentation by using at least one adaptive loss weight map to be used for updating HD maps required to satisfy level 4 of autonomous vehicles and testing method and testing device using the same
US10402977B1 (en) * 2019-01-25 2019-09-03 StradVision, Inc. Learning method and learning device for improving segmentation performance in road obstacle detection required to satisfy level 4 and level 5 of autonomous vehicles using laplacian pyramid network and testing method and testing device using the same
US10410352B1 (en) * 2019-01-25 2019-09-10 StradVision, Inc. Learning method and learning device for improving segmentation performance to be used for detecting events including pedestrian event, vehicle event, falling event and fallen event using edge loss and test method and test device using the same
CN111736712B (zh) * 2020-06-24 2023-08-18 北京百度网讯科技有限公司 输入信息的预测方法、系统、服务器及电子设备
US11412133B1 (en) * 2020-06-26 2022-08-09 Amazon Technologies, Inc. Autonomously motile device with computer vision
CN111881858B (zh) * 2020-07-31 2024-02-13 中南大学 一种微震信号多尺度去噪方法、装置及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001222702A (ja) * 2000-02-07 2001-08-17 Sony Corp 画像処理装置および画像処理方法、並びに記録媒体
US6820137B2 (en) * 2000-12-04 2004-11-16 Minolta Co., Ltd. Computer-readable recording medium storing resolution converting program, resolution converting device and resolution converting method
US20060280380A1 (en) * 2005-06-14 2006-12-14 Fuji Photo Film Co., Ltd. Apparatus, method, and program for image processing
JP2008084213A (ja) * 2006-09-28 2008-04-10 Sony Corp 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2008192031A (ja) * 2007-02-07 2008-08-21 Nec Corp 圧縮方法、圧縮装置、圧縮データ復元方法、圧縮データ復元装置、可視化方法および可視化装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7280985B2 (en) * 2001-12-06 2007-10-09 New York University Logic arrangement, data structure, system and method for multilinear representation of multimodal data ensembles for synthesis, recognition and compression
US7822693B2 (en) * 2001-12-06 2010-10-26 New York University Logic arrangement, data structure, system and method for multilinear representation of multimodal data ensembles for synthesis, recognition and compression
US7379925B2 (en) * 2003-07-25 2008-05-27 New York University Logic arrangement, data structure, system and method for multilinear representation of multimodal data ensembles for synthesis, rotation and compression
JP4712563B2 (ja) 2006-01-16 2011-06-29 富士フイルム株式会社 顔検出方法および装置並びにプログラム
JP4919408B2 (ja) 2007-01-12 2012-04-18 富士フイルム株式会社 放射線画像処理方法および装置ならびにプログラム
US20100067772A1 (en) 2007-01-12 2010-03-18 Fujifilm Corporation Radiation image processing method, apparatus and program
JP2008167948A (ja) 2007-01-12 2008-07-24 Fujifilm Corp 放射線画像処理方法および装置ならびにプログラム
JP4913606B2 (ja) 2007-01-12 2012-04-11 富士フイルム株式会社 放射線画像処理方法および装置ならびにプログラム
JP4895204B2 (ja) 2007-03-22 2012-03-14 富士フイルム株式会社 画像成分分離装置、方法、およびプログラム、ならびに、正常画像生成装置、方法、およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001222702A (ja) * 2000-02-07 2001-08-17 Sony Corp 画像処理装置および画像処理方法、並びに記録媒体
US6820137B2 (en) * 2000-12-04 2004-11-16 Minolta Co., Ltd. Computer-readable recording medium storing resolution converting program, resolution converting device and resolution converting method
US20060280380A1 (en) * 2005-06-14 2006-12-14 Fuji Photo Film Co., Ltd. Apparatus, method, and program for image processing
JP2008084213A (ja) * 2006-09-28 2008-04-10 Sony Corp 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2008192031A (ja) * 2007-02-07 2008-08-21 Nec Corp 圧縮方法、圧縮装置、圧縮データ復元方法、圧縮データ復元装置、可視化方法および可視化装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KUI JIA等: "Generalized Face Super-Resolution", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035143A (zh) * 2018-07-17 2018-12-18 华中科技大学 一种基于贝塞尔光片成像的三维超分辨方法
CN110490856A (zh) * 2019-05-06 2019-11-22 腾讯医疗健康(深圳)有限公司 医疗内窥镜图像的处理方法、系统、机器设备和介质
CN110490856B (zh) * 2019-05-06 2021-01-15 腾讯医疗健康(深圳)有限公司 医疗内窥镜图像的处理方法、系统、机器设备和介质
CN112950463A (zh) * 2019-12-11 2021-06-11 香港理工大学深圳研究院 一种图像超分辨率方法、图像超分辨率装置及终端设备
CN113239835A (zh) * 2021-05-20 2021-08-10 中国科学技术大学 模型感知的手势迁移方法
CN113239835B (zh) * 2021-05-20 2022-07-15 中国科学技术大学 模型感知的手势迁移方法
CN113904764A (zh) * 2021-09-18 2022-01-07 大连大学 基于多尺度压缩感知和马尔科夫模型的图像加密方法

Also Published As

Publication number Publication date
EP2461289A4 (en) 2013-05-15
US20120134579A1 (en) 2012-05-31
CN102473279B (zh) 2014-07-23
EP2461289A1 (en) 2012-06-06
JP2011034345A (ja) 2011-02-17
US8565518B2 (en) 2013-10-22
WO2011013610A1 (ja) 2011-02-03
JP5506274B2 (ja) 2014-05-28

Similar Documents

Publication Publication Date Title
CN102473279B (zh) 图像处理装置和方法、数据处理装置和方法
CN102576453B (zh) 图像处理装置和方法、数据处理装置和方法
CN102473280B (zh) 图像处理装置和方法以及数据处理装置和方法
JP5161845B2 (ja) 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム
JP5178662B2 (ja) 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム
Hayat Multimedia super-resolution via deep learning: A survey
Nguyen et al. DASH-N: Joint hierarchical domain adaptation and feature learning
Wang et al. Salient object detection based on multi-scale contrast
Hu et al. Signbert: pre-training of hand-model-aware representation for sign language recognition
WO2021179632A1 (zh) 医学图像分类方法、装置、设备及存储介质
Athar et al. Degraded reference image quality assessment
Feng et al. U 2-Former: Nested U-shaped Transformer for Image Restoration via Multi-view Contrastive Learning
Zhou Superresolution reconstruction of remote sensing image based on generative adversarial network
Guo et al. Attributes guided facial image completion
Zhang et al. Pluralistic face inpainting with transformation of attribute information
CN116342582B (zh) 基于可变形注意力机制的医学图像分类方法与医疗设备
Mathieu Unsupervised Learning Under Uncertainty
Xu et al. Deep Learning in Solar Astronomy
Huang et al. Image indexing using color correlograms
Yan et al. Iris-LAHNet: a lightweight attention-guided high-resolution network for iris segmentation and localization
Agrahari Baniya et al. Frame Selection Using Spatiotemporal Dynamics and Key Features as Input Pre-processing for Video Super-Resolution Models
Zin Improvement of Image Denoising with Interpolation and RAISR
Liu et al. Unsupervised Deep Hyperspectral Image Super-Resolution
Zarshenas Deep Learning for Image Processing with Applications to Medical Imaging
CN116486457A (zh) 一种基于多级感知自编码网络的视频人脸识别方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140723

Termination date: 20160726