CN103118224A - 图像处理设备、图像处理方法、程序和记录介质 - Google Patents

Abstract

提供一种图像处理设备，该设备包括：基于模型的处理部，使用执行运动补偿处理和下采样处理的观测模型、根据高分辨率图像来生成估计的低分辨率图像；特征量计算部，根据观测的低分辨率图像和高分辨率图像之一来计算空间特征量和时间特征量中的至少一个的特征量，观测的低分辨率图像是实际观测的低分辨率图像；以及预测运算部，使用与计算的特征量对应并且根据观测的低分辨率图像、根据估计的低分辨率图像并且根据预先执行的学习而获得的参数，基于高分辨率图像来预测和生成图像质量更高的图像。

Description

图像处理设备、图像处理方法、程序和记录介质

技术领域

本技术涉及一种图像处理设备、图像处理方法、程序和记录介质。具体而言，本技术涉及一种使得有可能以更高速度生成最优上转换图像的图像处理设备、图像处理方法、程序和记录介质。

背景技术

作为一类高质量图像处理，提出如下方法，在该方法中通过使用高斯-赛德尔法（Gauss-Seidel）的超分辨率处理来生成高分辨率图像（例如参见公开号为JP-A-2008-140012的日本专利申请）。通过该方法，在预定时间重复如下处理以生成高分辨率图像，在该处理中向保持于缓冲器中的高分辨率图像添加超分辨率处理器获得的反馈值。

作为另一类高质量图像处理，已知根据多个低分辨率图像估计高分辨率图像的基于重建的超分辨率处理。由于基于重建的超分辨率处理使用观测模型（劣化模型）来执行高质量图像处理，所以它也被称为基于模型的处理。

将参照图1说明基于模型的处理。

在基于模型的处理中，预先构造预定观测模型。在图1中所示例子中，构造相机模型（假设使用相机）和用于校正相机运动（位置对准）的模型作为观测模型。在这一观测模型中例如对模糊（光学模糊、运动模糊、PSF）、像素数目转换（下转换、渐进/交织转换）和噪声建模。另外，在观测模型中，对位置对准处理建模使得以子像素准确度估计相机运动和对象运动。

当向观测模型输入高分辨率图像时，执行位置对准处理。此后输出被相机模型劣化的图像作为估计的低分辨率图像。在基于模型的处理中，校正高分辨率图像使得减少在观测模型输出的估计的低分辨率图像与相机实际观测的低分辨率图像（下文称为观测的低分辨率图像）之间的误差（差）并且向观测模型输入校正的高分辨率图像。重复执行这一处理。然后，当确定在估计的低分辨率图像与观测的低分辨率图像之间的误差充分小时，推断出获得高质量高分辨率图像并且输出获得的图像。

例如，在图1中，观测的低分辨率图像和估计的低分辨率图像是标准清晰度接口（SDI）信号的图像，并且高分辨率图像是高清晰度渐进（HDP）信号的图像。

就这一类基于模型的处理而言，当准确定义观测模型时，有可能恢复无失真的高分辨率图像。

发明内容

然而通常难以构造准确的观测模型。当观测模型不准确时，不可能适当校正高分辨率图像。因而出现诸如边缘和细节过度增强、过冲、噪声增强等负效应，从而导致图像质量明显下降。

为了解决这些负效应，设想如下技术，该技术使用预先获得的关于图像的信息来抑制图像质量下降和噪声增强（这一技术也称为基于重建的超分辨率MAP技术）。然而，就这些技术而言，性能主要依赖于预先获得的关于图像的信息。因此难以针对每个像素（每个空间）或者每个时间段适当执行控制，使得防失真性能提高、分辨率和灵敏度提高、过冲抑制和噪声减少都得以满足。

鉴于以上情况设计出本技术，本技术使得有可能以更高速度生成最优上转换图像。

根据本技术实施例的图像处理设备包括：基于模型的处理部，其使用执行运动补偿处理和下采样处理的观测模型、根据高分辨率图像生成估计的低分辨率图像；特征量计算部，其根据观测的低分辨率图像和所述高分辨率图像之一来计算空间特征量和时间特征量中的至少一个的特征量，所述观测的低分辨率图像是实际观测的低分辨率图像；以及预测运算部，其使用与所述计算的特征量对应并且根据所述观测的低分辨率图像、根据所述估计的低分辨率图像并且根据预先执行的学习而获得的参数，基于所述高分辨率图像来预测和生成图像质量更高的图像。

根据本技术一个实施例的一种图像处理方法包括：使用执行运动补偿处理和下采样处理的观测模型、根据高分辨率图像生成估计的低分辨率图像；根据观测的低分辨率图像和所述高分辨率图像之一来计算空间特征量和时间特征量中的至少一个的特征量，所述观测的低分辨率图像是实际观测的低分辨率图像；以及使用与所述计算的特征量对应并且根据所述观测的低分辨率图像、根据所述估计的低分辨率图像并且根据预先执行的学习而获得的参数，基于所述高分辨率图像来预测和生成图像质量更高的图像。

根据本技术一个实施例的一种程序包括指令，所述指令命令计算机执行以下步骤：使用执行运动补偿处理和下采样处理的观测模型、根据高分辨率图像生成估计的低分辨率图像；根据观测的低分辨率图像和所述高分辨率图像之一计算空间特征量和时间特征量中的至少一个的特征量，所述观测的低分辨率图像是实际观测的低分辨率图像；以及使用与所述计算的特征量对应并且根据所述观测的低分辨率图像、根据所述估计的低分辨率图像并且根据预先执行的学习而获得的参数，基于所述高分辨率图像来预测和生成图像质量更高的图像。

根据本技术的实施例，使用执行运动补偿处理和下采样处理的观测模型、根据高分辨率图像来生成估计的低分辨率图像。根据观测的低分辨率图像和高分辨率图像之一来计算空间特征量和时间特征量中的至少一个的特征量，观测的低分辨率图像是实际观测的低分辨率图像。使用与计算的特征量对应并且根据观测的低分辨率图像、根据估计的低分辨率图像并且根据预先执行的学习而获得的参数，基于高分辨率图像来预测和生成图像质量更高的图像。

注意可以通过经由传输介质传输程序或者可以通过在记录介质上记录程序来提供程序。

图像处理设备可以是独立设备或者可以是在设备中包括的内部块。

根据本技术的实施例，有可能以更高速度生成最优上转换图像。

附图说明

图1是图示了已知的基于模型的处理的图；

图2是示出了已知的基于模型的处理的配置例子的框图；

图3是已知的基于模型的处理的概念图；

图4是作为本技术被应用于的图像处理设备的预测设备的概念图；

图5是本技术被应用于的学习设备的概念图；

图6是图示了本技术被应用于的学习设备的示意配置的图；

图7是图示了本技术被应用于的预测设备的示意配置的图；

图8是图示了本技术被应用于的学习设备的具体配置例子的框图；

图9是图示了空间特征量计算部和时间特征量计算部的图；

图10是图示了空间特征量计算部的图；

图11是示出了系数学习部的具体配置例子的框图；

图12是图示了学习设备执行的预测系数学习处理的流程图；

图13是具体图示了基于模型的处理的流程图；

图14是具体图示了采样积累处理的流程图；

图15是具体图示了空间特征量类分类处理的流程图；

图16是具体图示了时间特征量类分类处理的流程图；

图17是示出了本技术被应用于的预测设备的具体配置例子的框图；

图18是示出了预测部的具体配置例子的框图；

图19是图示了预测设备执行的高分辨率图像生成处理的流程图；

图20是具体图示了预测处理的流程图；并且

图21是示出了本技术被应用于的计算机的一个实施例的配置例子的框图。

具体实施方式

下文将参照附图具体描述本公开内容的优选实施例。注意在本说明书和附图中，用相同标号表示具有基本上相同功能和结构的结构单元，并且省略这些结构单元的重复说明。

根据本发明实施例，提供一种图像处理设备，包括：基于模型的处理部，其使用执行运动补偿处理和下采样处理的观测模型、根据高分辨率图像生成估计的低分辨率图像；特征量计算部，其根据观测的低分辨率图像和所述高分辨率图像之一来计算空间特征量和时间特征量中的至少一个的特征量，所述观测的低分辨率图像是实际观测的低分辨率图像；以及预测运算部，其使用与所述计算的特征量对应并且根据所述观测的低分辨率图像、根据所述估计的低分辨率图像并且根据预先执行的学习而获得的参数，基于所述高分辨率图像来预测和生成图像质量更高的图像。

根据本发明另一实施例，还提供一种图像处理方法，包括：使用执行运动补偿处理和下采样处理的观测模型、根据高分辨率图像生成估计的低分辨率图像；根据观测的低分辨率图像和所述高分辨率图像之一来计算空间特征量和时间特征量中的至少一个的特征量，所述观测的低分辨率图像是实际观测的低分辨率图像；以及使用与所述计算的特征量对应并且根据所述观测的低分辨率图像、根据所述估计的低分辨率图像并且根据预先执行的学习而获得的参数，基于所述高分辨率图像来预测和生成图像质量更高的图像

已知的基于模型的处理部的配置例子

将说明基于模型的处理部的配置，该处理部执行在背景技术中说明的基于模型的处理。

图2是示出了基于模型的处理部10的配置例子的框图，该处理部执行基于模型的处理。

基于模型的处理部10具有运动检测部20、运动补偿部21、模糊添加部22、下采样器23、加法器24、上采样器25、模糊去除部26、乘法器27和加法器28。

运动检测部20通过预先比较从加法器28供应（反馈）的高分辨率图像与一个单位时间的高分辨率图像来检测每个像素的运动量（运动矢量）。

运动补偿部21基于运动检测部20检测的运动量来执行运动补偿。注意从运动补偿部21输出的图像在适当时被称为一帧之前的运动补偿的高分辨率图像。向模糊添加部22和加法器28供应一帧之前的运动补偿的高分辨率图像。

模糊添加部22向一帧之前的运动补偿的高分辨率图像添加模糊（比如在相机捕获图像时出现的模糊）。这里，模糊添加部22执行的生成图像的如下处理称为模糊添加处理，在该处理中基于预定图像估计（仿真）相机的点扩展函数（PSF）、光学模糊等。然后将模糊被添加到的一帧之前的运动补偿的高分辨率图像提供给下采样器23。

下采样器23例如通过稀疏化（thin out）模糊被添加到的一帧之前的运动补偿的高分辨率图像的像素来生成低分辨率图像。因而生成估计的低分辨率图像。

加法器24计算在估计的低分辨率图像的每个像素与观测的低分辨率图像的每个像素之间的差分值（误差）。将作为加法器24的计算结果的差分信息提供给上采样器25。

上采样器25对作为加法器24的计算结果的低分辨率差分信息执行上采样以获得高分辨率图像的差分信息。更具体而言，上采样器25根据与每个低分辨率像素对应的差分值生成与每个高分辨率像素对应的差分值并且向模糊去除部26供应生成的差分值。

模糊去除部26对从上采样器25供应的高分辨率差分信息执行模糊去除处理。模糊去除处理是模糊添加部22执行的处理的逆处理。换而言之，模糊去除部26对高分辨率差分信息执行处理以去除模糊添加部22添加的模糊。

注意当在观测模型中未考虑模糊时可以省略模糊添加部22和模糊去除部26。

乘法器27将从模糊去除部26输出的高分辨率差分信息乘以预定增益并且向加法器28输出乘法结果。

加法器28将一帧之前的运动补偿的高分辨率图像的每个像素的像素值（亮度值）与来自乘法器27的差分信息（差分值）相加并且输出加法结果作为高分辨率图像。另外，加法器28也将生成的高分辨率图像提供给运动检测部20（即执行反馈）。

可以如图3中所示在概念上表达上文描述的基于模型的处理部10的处理框图。

更具体而言，基于模型的处理部10具有差分信息生成部31和加法部32。差分信息生成部31根据一帧之前的高分辨率图像并且根据观测的低分辨率图像生成用于更新高分辨率图像的差分信息。然后，加法部32将生成的差分信息加到一帧之前的高分辨率图像、由此生成更新的高分辨率图像。重复执行这一处理。

在以这一方式配置的已知的基于模型的处理部10中，针对要生成的高分辨率图像的每个像素获得要生成的差分信息为统一值。因而为了输出一页高分辨率图像而无图像质量下降，有必要执行重复运算特定次数使得可以针对高分辨率图像中的所有像素获得如下差分信息，该差分信息充分减少在估计的低分辨率图像与观测的低分辨率图像之间的误差。

本技术的预测设备和学习设备的概念图

图4示出了作为本技术被应用于的图像处理设备的预测设备40。示出了预测设备40使得它对应于图3中所示的在概念上示出了已知的基于模型的处理部10的框图。

本技术被应用于的预测设备40具有差分信息生成部51和加法部52。

差分信息生成部51使用与一帧之前的高分辨率图像和观测的低分辨率图像的空间-时间特征对应的预测系数来生成对于待更新的高分辨率图像的每个像素而言最优的差分信息。然后，加法部52将生成的对于每个像素而言最优的差分信息加到一帧之前的高分辨率图像，因此生成更新的高分辨率图像。

后文将描述的图5中所示学习设备60预先学习差分信息生成部51使用的预测系数。就图4中所示预测设备40而言，为输出一页高分辨率图像重复运算不是必需的，并且有可能通过针对每个像素执行一次加法来获得高分辨率图像。注意图4中所示高分辨率图像的反馈用于生成一帧之后的高分辨率图像。

图5是概念上示出了学习设备60的框图，该设备学习图4中所示预测设备40使用的预测系数。

图5中所示学习设备60具有差分信息学习部71和加法部72。

差分信息学习部71使用作为老师图像的理想高分辨率图像和作为学生图像的观测的低分辨率图像的成对数据以及要生成的高分辨率图像来学习如下预测系数，该预测系数使在要生成的高分辨率图像与理想高分辨率图像之间的误差最小。为了学习预测系数，以与预测处理中相同的方式使用高分辨率图像和观测的低分辨率图像的空间-时间特征。

注意，实际上，学习设备60不学习使差分信息优化的预测系数，而是如下文说明的那样基于一帧之前的高分辨率图像和观测的低分辨率图像来优化目标帧的高分辨率图像本身。也就是说，学习设备60学习用来预测高质量高分辨率图像的预测系数。然后，预测设备40不使用由学习设备60生成的预测系数来生成差分信息，而是直接生成待输出的高分辨率图像。

学习设备的示意配置

图6示出了图示为与图1中所示已知的基于模型的处理对应的学习设备60的示意配置。

首先预备作为老师图像的理想高分辨率图像和作为学生图像的观测的低分辨率图像。然后将使用基于模型的处理部的观测模型根据一帧之前的高分辨率图像生成的估计的低分辨率图像与老师图像和学生图像一起输入到学习处理部81。

学习处理部81计算（学习）如下预测系数，该预测系数包含于用来生成高分辨率图像的预测运算表达式中并且最小化在作为老师图像的理想高分辨率图像与要生成的高分辨率图像之间的误差。在学习中，可以针对多个分类的类别中的每类获得预测系数。学习处理部81针对基于学生图像的空间特征量和一帧之前的高分辨率图像的时间特征量而分类的每类计算预测系数。然后，学习处理部81针对每类计算的预测系数储存于学习数据库82中。

预测设备的示意配置

图7示出了图示成与图1中所示已知的基于模型的处理对应的预测设备40的示意配置。

图6中所示学习设备60学习的用于每类的预测系数存储于预测设备40的学习数据库91中。换而言之，图7中所示学习数据库91与图6中所示学习数据库82相同，或者将学习数据库82中的数据传送到学习数据库91。

预测处理部92通过计算使用通过学习设备60的学习而获得的预测系数的预测运算表达式来生成高分辨率图像。更具体而言，预测处理部92基于观测的低分辨率图像的空间特征量和一帧之前的高分辨率图像的时间特征量来执行类分类。然后，预测处理部92从学习数据库91获取与在执行类分类时作为分类结果的类对应的预测系数并且在预测运算中使用预测系数。

下文将依序说明学习设备60和预测设备40的更多具体配置。

学习设备60的具体配置框图

图8是示出了学习设备60的具体配置例子的框图。在图8中，与上文描述的部分对应的部分由相同标号表示，并且在适当时省略其说明。

学习设备60具有基于模型的处理部80、学习处理部81和学习数据库82。

基于模型的处理部80基本上具有与参照图2说明的基于模型的处理部10的配置相同的配置，并且使用执行运动补偿处理和下采样处理的观测模型根据高分辨率图像生成估计的低分辨率图像。注意，不同于已知的基于模型的处理，本技术被应用于的学习设备60并没有设置乘法器27和加法器28，因为它不统一提供与一帧之前的高分辨率图像的差分信息。

学习处理部81具有空间特征量计算部101、时间特征量计算部102、差分信息类分类部103和系数学习部104。

空间特征量计算部101和时间特征量计算部102作为如下类分类部来工作，该类分类部计算针对要生成的高分辨率图像而设置的目标像素的空间特征量或者时间特征量，并且基于计算的特征量将目标像素分类成预定类。另外，差分信息类分类部103也作为类分类部来工作并且基于从模糊去除部26供应的差分信息将目标像素分类成预定类。

向空间特征量计算部101供应作为学生图像的观测的低分辨率图像。向时间特征量计算部102供应由基于模型的处理部80的运动检测部20检测的运动量，以及来自系数学习部104的目标像素的处理次数（处理的页数）。

空间特征量计算部101的和时间特征量计算部102的说明

将参照图9和图10说明空间特征量计算部101的和时间特征量计算部102。

图9是示出了空间特征量计算部101的和时间特征量计算部102的具体配置例子的框图。

空间特征量计算部101具有类抽头（tap）提取部111、波形图案分类部112和频带分类部113。

类抽头提取部111设置位于学生图像（观测的低分辨率图像）的与目标像素对应的像素周围的多个像素（周围像素）作为用于设置基于空间特征量的类的类抽头，并且提取设置的类抽头。向波形图案分类部112供应指示提取的类抽头的信息。

波形图案分类部112基于设置为类抽头的周围像素的波形图案将目标像素分类成预定波形类，并且向系数学习部104（参见图8）输出波形类（指示波形类的类代码）作为分类结果。

频带分类部113基于目标像素的周围像素的频率频带将目标像素分类成预定频带类，并且向系数学习部104输出频带类（指示频带类的类代码）作为分类结果。

时间特征量计算部102具有运动量分类部121和历史计数器分类部122。

运动量分类部121基于从运动检测部20供应的运动量将目标像素分类成预定运动量类，并且向系数学习部104（参见图8）输出运动量类（指示运动量类的类代码）作为分类结果。

更具体而言，运动量分类部121针对等于或者少于与从运动检测部20供应的运动量对应的像素的相位的相位执行目标像素的类分类。例如，当运动量的检测准确度（检测分辨率）为1/4相位（1/4像素）时，从运动检测部20供应的运动量的分数部分是四个值“00”、“25”、“50”和“75”之一。因此，运动量分类部121使用四个值来执行目标像素的类分类。更具体而言，当从运动检测部20供应的运动量为0.00、1.00、2.00等时设置类“0”，而当运动量时为0.25、1.25、2.25等时设置类“1”。当运动量为0.50、1.50、2.50等时设置类“2”，而当运动量为0.75、1.75、2.75等时设置类“3”。当运动量的检测准确度（检测分辨率）为1/N相位（1/N像素）时，将运动量类分类成N类。

从系数学习部104向历史计数器分类部122供应设置为目标像素的像素的位置到目前已被处理的处理次数（处理的页数）。历史计数器分类部122向系数学习部104输出供应的处理次数（的值）作为如下历史类（指示历史类的类代码），该历史类是将目标像素分类成预定历史类的结果。例如在尚未执行处理时的初始时间设置类“0”，而当迄今为止已经针对目标像素处理了两帧时设置类“2”，并且当已经处理了三帧时设置类“3”。

图10是图示了波形图案分类部112和频带分类部113执行的类分类处理例子的图。

图10A示出了如下例子，在该例子中，波形图案分类部112执行一位ADRC处理，作为基于波形图案将目标像素分类成预定波形类的波形类分类处理。

在K位ADRC处理（K≥1）中，检测形成周围像素的像素的像素值的最大值MAX和最小值MIN。设置DR=MAX-MIN作为组的局部动态范围，并且基于动态范围DR将形成周围像素的像素的像素值重新量化成K位。更具体而言，从形成周围像素的每个像素的像素值减去最小值MIN，并且将相减值除以DR/2^K（被量化）。然后输出如下位流作为ADRC代码，在该位流中以预定顺序布置形成周围像素的K位像素的像素值。

当执行一位ADRC处理时，将形成周围像素的每个像素的像素值除以最大值MAX和最小值MIN的平均值（去除分数部分）。如果每个像素的像素值等于或者多于平均值则设置“1”，而如果其少于平均值则设置“0”（即执行二值化）。然后输出如下位流作为ADRC代码，在该位流中以预定顺序布置一位像素值。

在图10A中所示例子中，如果设置为类抽头的五个像素以预定顺序确定为“0”、“0”、“1”、“1”、“1”，则输出“00111”=“7”作为波形类的类代码。

图10B示出了如下例子，在该例子中，频带分类部113使用包围目标像素的九个像素以将目标像素分类为预定频带类。

关于包围目标像素的九个像素，频带分类部113计算水平方向上的差分绝对值（水平差分）、竖直方向上的差分绝对值（竖直差分）以及右上方向和右下方向上的差分绝对值（对角差分）。然后，频带分类部113选择计算的差分绝对值之中的最大值，并且向系数学习部104输出该最大值作为指示频带类的类代码。注意，为了将目标像素分类成预定频带类而选择的包围目标像素的像素不限于图10B中所示九个像素并且可以如适当的那样加以设置。

回到图8，向系数学习部104供应如下类代码，这些类代码是以上文描述的方式将目标像素分类成每类（即波形类、频带类、运动量类和历史类）的结果。

另外，也从差分信息类分类部103向系数学习部104供应如下差分类（指示差类的类代码），其是基于从模糊去除部26供应的差分信息（差分值）将目标像素分类成预定差类的结果。

另外，从基于模型的处理部80的运动补偿部21向系数学习部104供应一帧之前的运动补偿的高分辨率图像。另外，也向系数学习部104供应作为学生图像的观测的低分辨率图像和作为老师图像的理想高分辨率图像。

系数学习部104将作为老师图像的理想高分辨率图像的每个像素设置为目标像素（兴趣像素）并且提取学生图像的与目标像素对应的多个像素作为预测抽头。然后，通过执行使用提取的预测抽头和预测系数的预定预测运算，系数学习部104计算（学习）用来获得高质量高分辨率图像的预测系数。

例如，如果线性预测运算用作预定预测运算，则基于以下线性表达式计算高质量高分辨率图像在时间t（第t帧）的像素值y^t。

$y^t=\underset{i}{\overset{N}{\mathrm{\Σ}}}{w}_i{x_i}^t+\underset{j}{\overset{M}{\mathrm{\Σ}}}{w}_j{x_j}^{t-1}...\left(1\right)$

注意，在表达式（1）中，x_i指示学生图像的在用于高分辨率图像的目标像素y^t的预测抽头中包括的第i个像素（下文在适当时称为学生图像像素）的像素值，而w_i指示与第i个学生图像像素（的像素值）相乘的第i个预测系数。另外，x_j指示一帧之前（第（t-1）帧）的运动补偿的高分辨率图像的在用于高分辨率图像的目标像素y^t的预测抽头中包括的第j个像素（下文在适当时被称为先前高分辨率图像像素）的像素值，而w_j指示与第j个先前高分辨率图像像素（的像素值）相乘的第j个预测系数。注意，在表达式（1）中，假设预测抽头由关于学生图像像素的数目为N的学生图像像素x₁、x₂、…、x_N形成，并且预测抽头由关于先前高分辨率图像像素的数目为M的学生图像像素x₁、x₂、…、x_M形成。如果增加数目M和数目N，则增加预测系数数目。然而，预期有诸如超分辨率效果迅速收敛、隔离点式过度强调和劣化减少等的性能提高。

代替表达式（1）所示线性表达式，也可以使用二次或者更高阶表达式来计算高分辨率图像的像素值y^t。

表达式（1）指示数目为（M+N）的线性表达式。然而，为了简化说明，（M+N）由（M+N→N）取代并且如表达式（2）中所示加以简化。同时，第k样本的老师图像像素的像素值的真实值由y_k表示，而表达式（2）获得的真实值y_k的预测值由预测值y_k’表示。在这一情况下，通过以下表达式（3）表达预测误差e_k。

$y=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{w}_n{x}_n...\left(2\right)$

e_k＝y_k-y_k’               …(3)

由于可以根据表达式（2）计算表达式（3）中的预测值y_k’，所以如果根据表达式（2）取代表达式（3）中的预测值y_k’，则可以获得以下表达式（4）。

$e_k=y_k-\left(\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{w}_n{x}_{n,k}\right)...\left(4\right)$

注意，在表达式（4）中，x_n,k指示关于第k个采样的老师图像像素的预测抽头中包括的第n个学生图像像素。

使表达式（4）（或者表达式（3））的预测误差e_k为0的预测系数w_n是用于预测老师图像像素的最优预测系数。然而，一般难以针对所有老师图像像素获得这种预测系数w_n。

为了解决这一点，如果例如使用最小平方法作为用于指示预测系数w_n最优的标准，则可以通过使以下表达式（5）代表的平方误差总和E最小化来计算最优预测系数w_n。

$E=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{e_k}^2...\left(5\right)$

注意，在表达式（5）中，K代表老师图像像素y_k和形成关于老师图像像素y_k的预测抽头的学生图像像素x_1,k、x_2,k、…、x_N,k的集合的采样数目（学习采样数目）。

表达式（5）中的平方误差总和E的最小值（最小的值）由如下预测系数w_n给出，该预测系数w_n如表达式（6）所示使通过关于预测系数w_n对总和E求偏微分而获得的值为零。

$\frac{\∂E}{{\∂w}_n}=e_1\frac{{\∂e}_1}{{\∂w}_n}+e_2\frac{{\∂e}_2}{{\∂w}_n}+...+e_k\frac{{\∂e}_k}{{\∂w}_n}=0(n=\mathrm{1,2},...,N)...\left(6\right)$

在这样给定时，如果关于预测系数w_n对上文描述的表达式（4）求偏微分，则获得以下表达式（7）。

$\frac{{\∂e}_k}{{\∂w}_1}={-x}_{1,k},\frac{{\∂e}_k}{{\∂w}_2}=-x_{2,k},...,\frac{{\∂e}_k}{{\∂w}_N}=-x_{N,k},(k=\mathrm{1,2},...,K)...\left(7\right)$

根据表达式（6）和表达式（7），获得以下表达式（8）。

$\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{e}_k{x}_{1,k}=0,\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{e}_k{x}_{2,k}=0,...\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{e}_k{x}_{N,k}=0...\left(8\right)$

通过用表达式（4）取代表达式（8）中的预测误差e_k，可以如表达式（9）表示的那样通过正规方程表达该表达式（8）。

例如可以通过使用括去法（discharge calculation，掃き出し法）（Gauss-Jordan消去法）关于预测系数w_n求解表达式（9）的正规方程。此外，在表达式（1）的情况下，可以用相似方式获得预测系数w_i和预测系数w_j。另外，如果针对每类建立和求解表达式（9）的正规方程，则可以针对每类获得最优预测系数（这里为使平方误差总和E最小的预测系数）w_i和预测系数w_j。

系数学习部104的具体配置例子

图11是示出图8中所示系数学习部104的具体配置例子的框图。

系数学习部104具有目标像素设置部131、老师图像存储部132、学生图像存储部133、预测抽头提取部134、加法部135和预测系数计算部136。

目标像素设置部131依次设置形成老师图像的每个像素作为目标像素。向系数学习部104中的每个部供应指示哪个位置被设置为目标像素的信息。

老师图像存储部132存储理想高分辨率图像作为输入老师图像。学生图像存储部133存储观测的低分辨率图像作为输入学生图像。

预测抽头提取部134从形成学生图像存储部133中存储的学生图像的像素之中提取在与每个目标像素对应的像素周围的周围像素作为预测抽头，并将提取的周围像素提供给加法部135。

加法部135从老师图像存储部132读取目标像素的像素值，并针对目标像素的像素值和学生图像的形成关于目标像素而形成的预测抽头的像素的像素值执行加法。加法部135针对每个供应的类代码标识的每个类代码执行前述加法。例如，设置如下位流作为最终类代码，在该位流中以预定顺序布置波形类、频带类、运动量类、历史类和差分类的相应类代码。

更具体而言，对于与基于每个供应的类代码确定的最终类代码对应的每类，加法部135使用预测抽头（学生图像）x_n,k来执行在表达式（9）的左部的矩阵中的学生图像之间的乘法（x_n,kx_n’,k）和与求和（∑）对应的运算。

另外，对于与最终类代码对应的每类，加法部135也使用预测抽头（学生图像）x_n,k和老师图像y_k来执行在表达式（9）的右部的矢量中的学生图像x_n,k与老师图像y_k之间的乘法（x_n,ky_k）。

更具体而言，加法部135在并入于加法部135中的存储器（在附图中未示出）中存储前一次关于设置为目标像素的老师数据而获得的表达式（9）的左部的矩阵的分量（∑x_n,kx_n’,k）和右部的矢量的分量（∑x_n,ky_k）。加法部135将使用老师图像y_k+1和学生图像x_n,k+1而计算的对应分量x_n,k+1x_n’,k+1或者x_n,k+1y_k+1加到矩阵的分量（∑x_n,kx_n’,k）或者矢量的分量（∑x_n,ky_k）（执行表达式（9）中的求和所代表的加法）。

然后，加法部135通过将老师图像存储部132中存储的所有老师图像像素设为目标像素来执行上文描述的加法，并且由此针对每类设置表达式（9）代表的正规方程。加法部135向预测系数计算部136供应正规方程。

预测系数计算部136针对从加法部135供应的每类求解正规方程，并且由此针对每类计算预测系数w_n（表达式（1）中的预测系数w_i和w_j）作为表达式（2）的最优参数。用于每类的计算的预测系数w_i和w_j存储于学习数据库82（参见图8）中。

预测系数学习处理的流程图

接着将参照图12中所示流程图说明图8中所示学习设备60执行的预测系数学习处理。注意，假设作为老师图像的理想高分辨率图像和作为学生图像的观测的低分辨率图像在开始这一处理之前分别存储于老师图像存储部132和学生图像存储部133中。

首先，在步骤S21，系数学习部104设置高分辨率图像的初始值。如从表达式（1）可见，一帧之前的高分辨率图像是预测运算表达式所必需的。然而一帧之前的高分辨率图像在开始处理时不存在。因此，例如通过上转换作为学生图像的低分辨率图像来生成作为初始值的高分辨率图像。

在步骤S22，目标像素设置部131将作为老师图像的高分辨率图像的预定像素设为目标像素。

在步骤S23，基于模型的处理部80执行后文将参照图13描述的基于模型的处理。

将参照图13中所示流程图具体说明作为图12中的步骤S23而执行的基于模型的处理。

在步骤S41，运动检测部20比较从系数学习部104供应（反馈）的一帧之前的高分辨率图像与目标帧，并且检测目标像素的运动量（运动矢量）。然后，运动检测部20向学习处理部81的时间特征量计算部102供应检测的运动量。注意，在其中不存在一帧之前的高分辨率图像的第一次处理中，输出预先设置的值（例如NULL）作为检测结果。

在步骤S42，运动补偿部21基于运动检测部20检测的运动量来执行高分辨率图像的运动补偿。

在步骤S43模糊添加部22向一帧之前的运动补偿的高分辨率图像添加模糊（比如在相机捕获图像时出现的模糊）。这里，将生成其中基于预定图像估计（仿真）相机的PSF、光学模糊等的图像称为模糊添加。

在步骤S44，下采样器23例如通过稀疏化模糊被添加到的一帧之前的运动补偿的高分辨率图像的像素（执行对这些像素的下采样）来生成低分辨率图像。从而生成估计的低分辨率图像。

在步骤S45，加法器24计算在估计的低分辨率图像与作为学生图像的观测的低分辨率图像的对应像素之间的差分值。向上采样器25供应作为加法器24的计算结果的差分信息。

在步骤S46，上采样器25执行将作为加法器24的计算结果的低分辨率差分信息上采样成高分辨率图像的差分信息。更具体而言，上采样器25基于与低分辨率图像的每个像素对应的差分值来生成与插值的高分辨率像素对应的差分值，并将差分值提供给模糊去除部26。

在步骤S47，模糊去除部26对从上采样器25供应的高分辨率差分信息执行如下模糊去除处理，该处理是模糊添加部22执行的处理的逆处理。更具体而言，模糊去除部26对高分辨率差分信息执行处理以去除模糊添加部22添加的模糊。

这完成基于模型的处理。处理返回到图12并且继续到步骤S24。

在步骤S24，学习处理部81执行后文将参照图14描述的采样积累处理。

将参照图14中所示流程图具体说明在图12中的步骤S24执行的采样积累处理。

首先，在步骤S61，差分信息类分类部103基于从模糊去除部26供应的差分信息（差分值）将目标像素分类成预定差分类。向系数学习部104供应指示作为分类结果的差分类的类代码。

在步骤S62，空间特征量计算部101关于目标像素设置预定类抽头并且执行如下空间特征量类分类处理，该处理使用作为类别抽头而提取的周围像素基于空间特征量来执行类分类。

在步骤S63，时间特征量计算部102执行如下时间特征量类分类处理，该处理基于目标像素的时间特征量来执行类分类。

这里将参照图15和图16说明在步骤S62的空间特征量类分类处理和在步骤S63的时间特征量类分类处理。

图15示出了在步骤S62的空间特征量类分类处理的具体流程图。

在步骤S81，类抽头提取部111关于目标像素设置用于基于空间特征量设置类的类抽头并且提取该类抽头。

在步骤S82，波形图案分类部112基于作为分类抽头而提取的周围像素的波形图案将目标像素分类成预定波形类，并将指示波形类的类代码作为分类结果输出至系数学习部104。

在步骤S83，频带分类部113基于目标像素的周围像素的频率频带将目标像素分类成预定频带类，并将指示频带类的类代码作为分类结果输出至系数学习部104。

这完成在图14中的步骤S62的空间特征量类分类处理。

图16示出了在步骤S63的时间特征量类分类处理的具体流程图。

首先，在步骤S91，运动量分类部121基于从运动检测部20供应的运动量将目标像素分类成预定运动量类，并且向系数学习部104输出指示运动量的类代码作为分类结果。

在步骤S92，历史计数器分类部122基于从系数学习部104供应的处理次数将目标像素分类成预定历史类，并且向系数学习部104输出指示历史类的类代码作为分类结果。

这完成在图14中的步骤S63的时间特征量类分类处理。

回到图14，在步骤S64，加法部135执行与表达式（9）对应的加法，该表达式（9）代表目标像素的像素值和形成关于目标像素而提取的预测抽头的学生图像的像素的像素值的求和。加法部135针对由步骤S61至S63的每个类代码标识的的每个类代码（每类）执行与表达式（9）对应的加法。

这完成图14中所示采样积累处理。处理返回到图12并且处理从步骤S24继续步骤S25。

在图12中的步骤S25，系数学习部104的目标像素设置部131确定是否有尚未设置为目标像素的像素。

当在步骤S25确定有尚未设置为目标像素的像素时，处理返回到步骤S22并且重复执行从步骤S22开始的处理。

另一方面，当在步骤S25确定已将所有像素设为目标像素时，处理继续到步骤S26。

在步骤S26，系数学习部104的预测系数计算部136针对从加法部135提供的每类求解与表达式（9）对应的正规方程并且由此针对每类计算预测系数w_i和w_j。

在步骤S27，预测系数计算部136使学习数据库82针对每类存储在步骤S26的处理所计算的预测系数w_i和w_j。

这完成预测系数学习处理。

预测设备40的具体配置框图

图17是示出了预测设备40的具体配置例子的框图。在图17中，与上文描述的部分对应的部分由相同标号表示，并且在适当时省略其重复说明。

预测设备40具有基于模型的处理部80、学习数据库91和预测处理部92。

复制并且在学习数据库91中存储学习设备60学习的并且存储于学习数据库82中的用于每类的预测系数w_i和w_j。

预测处理部92具有空间特征量计算部101、时间特征量计算部102、差分信息类分类部103和预测部151。

向预测处理部92供应从外界输入的观测的低分辨率图像。另外以与学习设备60相似的方式，从基于模型的处理部80向预测处理部92供应运动检测部20检测的运动量、一帧之前的运动补偿的高分辨率图像和差分信息。

预测部151设置要生成的高分辨率图像中的每个像素作为目标像素并且提取观测的低分辨率图像的与每个目标像素对应的多个像素作为预测抽头。然后，预测部151执行表达式（1）的预测运算，该运算是预测抽头和预测系数的乘积-求和运算。通过这样做，预测部151输出通过预测运算来预测和生成的高分辨率图像。

预测部151的具体配置例子

图18是示出预测部151的具体配置例子的框图。

预测部151具有目标像素设置部171、预测系数获取部172、预测抽头提取部173和预测运算部174。

目标像素设置部171依次设置形成要生成的高分辨率图像的每个像素作为目标像素。向预测处理部92中的每个部供应指示哪个位置被设置为目标像素的信息。

分别从空间特征量计算部101、时间特征量计算部102和差分信息类分类部103向预测系数获取部172供应如下类代码，这些类代码是通过将每个目标像素分类成预定类而获得的结果。

预测系数获取部172确定如下位流作为最终类代码，在该位流中以预定顺序布置波形类、频带类、运动量类、历史类和差分类的相应类代码。然后，预测系数获取部172从学习数据库91获取与目标像素的最终类代码对应的预测系数w_i和w_j，并将预测系数w_i和w_j提供给预测运算部174。

预测抽头提取部173从形成供应的观测的低分辨率图像的像素之中提取与目标像素对应的像素周围的周围像素作为预测抽头，并将预测抽头提供给预测运算部174。

预测运算部174通过执行与用于学习的预测运算（即表达式（1）表示的预测运算）相同的预测运算来预测和生成目标像素的像素值。

高分辨率图像生成处理的流程图

接着将参照图19中所示流程图说明图17中所示预测设备40执行的高分辨率图像生成处理。注意，假设学习设备60学习的用于每类的预测系数w_i和w_j在这一处理开始之前存储于学习数据库91中。例如当输入观测的低分辨率图像时开始这一处理。

在步骤S101至步骤S103的处理与学习设备60执行的在图12中的步骤S21至S23的处理相同。

概括而言，在步骤S101，预测部151设置高分辨率图像的初始值。

在步骤S102，目标像素设置部171设置要生成的高分辨率图像的预定像素作为目标像素。

在步骤S103，基于模型的处理部80执行参照图13说明的基于模型的处理。

然后，在步骤S104，预测部151执行后文将参照图20描述的预测处理。

将参照图20中所示流程图具体说明在图19中的步骤S104执行的预测处理。

从步骤S121到步骤S123的处理与在图14中的步骤S61至S63的上文描述的处理相同，因此这里省略其说明。

在步骤S124，预测系数获取部172基于分别从空间特征量计算部101、时间特征量计算部102和差分信息类分类部103供应的类代码确定最终类代码。然后，预测系数获取部172从学习数据库91获取与目标像素的最终类代码对应的预测系数w_i和w_j，并将预测系数w_i和w_j提供给预测运算部174。

在步骤S125，预测抽头提取部173提取观测的低分辨率图像的与每个目标像素对应的多个像素作为预测抽头。

在步骤S126中，预测运算部174使用由预测抽头提取部173提取的预测抽头以及与目标像素的最终类代码对应的从学习数据库91获取的预测系数w_i和w_j来执行表达式（1）代表的预测运算。通过这样做，获得目标像素的像素值。

这完成预测处理。回到图19，处理从步骤S104继续步骤S105。

在图19中的步骤S105，预测部151确定是否有尚未设置为目标像素的像素。

当在步骤S105确定有尚未设置为目标像素的像素时，处理返回到步骤S102并且重复执行从步骤S102开始的处理。

另一方面，当在步骤S105确定已将所有像素设为目标像素时，处理继续到步骤S106。预测部151的预测运算部174输出生成的高分辨率图像并且结束处理。例如向显示设备（如LCD显示器）输入并且显示从预测设备40输出的高分辨率图像。

这完成高分辨率图像生成处理。

在预测设备40执行的上文描述的高分辨率图像生成处理中，关于目标像素计算空间特征量和时间特征量，并且基于这些特征量执行目标像素的类分类。然后使用与分类的类对应的预先学习的预测系数来执行预测运算。从而生成高分辨率图像。

不同于对要生成的差分信息统一执行校正的已知的基于模型的处理部10，有可能基于每个像素的特征量执行最优校正。因此有可能生成最优高分辨率图像。具体而言，有可能以提高的防失真性能以及提高的分辨率和灵敏度生成高分辨图像。另外，即使在相机模型或者位置对准中出现估计误差，仍然有可能例如抑制边缘和细节过度强调以及隔离点式劣化。这是因为即使在相机模型或者位置对准中出现估计误差，学习设备60仍然已经学习了用来根据包括估计误差的状态生成与理想图像接近的图像的预测系数。

另外，使用预先获得的最优预测系数来计算像素值。因此，有可能通过针对每帧执行校正一次来生成最优高分辨率图像，而不需要如在已知的基于模型的处理中执行重复运算预定次数。因而可以在短时间内获得高分辨率图像并且有可能容易实现高速处理。

因此通过本技术被应用于的预测设备40和学习设备60，可以在更高速度生成最优上转换图像。

在上文描述的实施例中，作为用来执行目标像素的类分类的特征量，除了在观测的低分辨率图像与估计的低分辨率图像之间的差分信息之外，还使用波形图案和频率频带作为特殊特征量，使用运动量和处理次数作为时间特征量。

然而，不必使用所有空间特征量和时间特征量。可以仅使用上述特征量之一或者可以组合和使用它们中的预定两个或者三个。概括而言，如果使用上文描述的空间特征量和时间特征量中的至少一个就足够了。另外，可以使用除了空间特征量和时间特征量之外的特征量。

另外，可以使用除了执行目标像素的类分类并且根据分类结果自适应地执行处理的类分类自适应处理之外的算法作为预测和学习算法。例如，可以使用神经网络、支持矢量机（SVM）等。

上文描述的系列过程可以由硬件执行，然而也可以由软件执行。当系列过程由软件执行时，构造这样的软件的程序安装到计算机中。这里，表达“计算机”包括专用硬件并入于其中的计算机和能够在安装各种程序时执行各种功能的通用个人计算机等。

图21是示出了根据程序执行前文描述的系列过程的计算机的硬件的示例配置的框图。

在计算机中，中央处理单元（CPU）201、只读存储器（ROM）202和随机存取存储器（RAM）203由总线204相互连接。

输入/输出接口205也连接到总线204。输入单元206、输出单元207、存储单元208、通信单元209和驱动210连接到输入/输出接口205。

输入单元206由键盘、鼠标、麦克风等配置。输出单元207由显示器、扬声器等配置。存储单元208由硬盘、非易失性存储器等配置。通信单元209由网络接口等配置。驱动210驱动诸如磁盘、光盘、磁光盘、半导体存储器等可拆卸记录介质211。

在如上文描述的那样配置的计算机中，CPU201经由输入/输出接口205和总线204将例如存储于存储单元208中的程序加载到RAM203上并且执行程序。因此执行上文描述的系列处理。

在计算机中，通过向驱动器210中加载可拆卸记录介质211，可以经由输入/输出接口205向存储单元208中安装程序。也有可能使用通信单元209从诸如局域网、因特网、数字卫星广播等有线或者无线传送介质接收程序并将程序安装到存储单元208中。作为另一替选，可以将程序预先安装到ROM202或者存储单元208中。

注意可以按照所示顺序以时间序列执行在本说明书所附流程图中编写的步骤，然而这些步骤不必一定以时间序列来执行，而是可以并行或在必要的定时（例如在处理被调用时）被执行。

本领域技术人员应当理解，根据设计要求和其它因素可以出现各种修改、组合、子组合和变更，只要其落入权利要求或其等同物的范围内。

此外，也可以如下配置本技术。

（1）一种图像处理设备，包括：

基于模型的处理部，其使用执行运动补偿处理和下采样处理的观测模型、根据高分辨率图像生成估计的低分辨率图像；

特征量计算部，其根据观测的低分辨率图像和所述高分辨率图像之一来计算空间特征量和时间特征量中的至少一个的特征量，所述观测的低分辨率图像是实际观测的低分辨率图像；以及

预测运算部，其使用与所述计算的特征量对应并且根据所述观测的低分辨率图像、根据所述估计的低分辨率图像并且根据预先执行的学习而获得的参数，基于所述高分辨率图像来预测和生成图像质量更高的图像。

（2）根据（1）所述的图像处理设备，其中：

所述预测运算部基于所述观测的低分辨率图像和所述估计的低分辨率图像之间的差分信息并且基于所述计算的特征量、使用与在将要生成的所述图像的像素分类成预定类时获得的类相对应的所述参数，基于所述高分辨率图像来预测和生成图像质量更高的所述图像。

（3）根据（2）所述的图像处理设备，其中：

所述预测运算部通过在作为与执行所述类分类时获得的所述类相对应的所述参数的预测系数、以及从所述观测的低分辨率图像和所述高分辨率图像获取的与要生成的所述图像的所述像素对应的多个像素的像素值之间执行乘积-和运算，基于所述高分辨率图像来预测和生成图像质量更高的所述图像。

（4）根据（2）或者（3）所述的图像处理设备，其中：

所述预测运算部把通过将根据所述差分信息而获得的类代码和根据所述计算的特征量获取的类代码进行组合而获得的类代码设置为在执行要生成的所述图像的所述像素的所述类分类时获得的所述类的类代码，并且使用与所述设置的类代码对应的所述参数、基于所述高分辨率图像来预测和生成图像质量更高的所述图像。

（5）根据（1）至（4）中的任一项所述的图像处理设备，其中：

所述特征量计算部根据所述观测的低分辨率图像计算所述空间特征量作为所述特征量。

（6）根据（5）所述的图像处理设备，其中：

所述空间特征量是所述观测的低分辨率图像的波形图案。

（7）根据（5）或者（6）所述的图像处理设备，其中：

所述空间特征量是所述观测的低分辨率图像的频率频带。

（8）根据（1）至（7）中的任一项所述的图像处理设备，其中：

所述特征量计算部根据所述高分辨率图像计算所述时间特征量作为所述特征量。

（9）根据（8）所述的图像处理设备，其中：

所述时间特征量是通过所述运动补偿处理检测的所述高分辨率图像的运动量。

（10）根据（8）或者（9）所述的图像处理设备，其中：

所述时间特征量是执行基于所述高分辨率图像来预测和生成图像质量更高的所述图像的处理的次数。

（11）根据（1）至（10）中的任一项所述的图像处理设备，其中：

所述观测模型也执行添加模糊的模糊添加处理。

（12）一种图像处理方法，包括：

使用执行运动补偿处理和下采样处理的观测模型、根据高分辨率图像生成估计的低分辨率图像；

根据观测的低分辨率图像和所述高分辨率图像之一来计算空间特征量和时间特征量中的至少一个的特征量，所述观测的低分辨率图像是实际观测的低分辨率图像；以及

使用与所述计算的特征量对应并且根据所述观测的低分辨率图像、根据所述估计的低分辨率图像并且根据预先执行的学习而获得的参数，基于所述高分辨率图像来预测和生成图像质量更高的图像。

（13）一种包括指令的程序，所述指令命令计算机执行：

使用执行运动补偿处理和下采样处理的观测模型、根据高分辨率图像生成估计的低分辨率图像；

根据观测的低分辨率图像和所述高分辨率图像之一计算空间特征量和时间特征量中的至少一个的特征量，所述观测的低分辨率图像是实际观测的低分辨率图像；以及

使用与所述计算的特征量对应并且根据所述观测的低分辨率图像、根据所述估计的低分辨率图像并且根据预先执行的学习而获得的参数，基于所述高分辨率图像来预测和生成图像质量更高的图像。

（14）一种记录介质，根据（13）所述的程序记录于所述记录介质上。

本公开内容包含与在通过引用将全部内容结合于此、于2011年7月14日向日本专利局提交的日本优先权专利申请JP 2011-155711中公开的主题内容有关的主题内容。

Claims (14)

1.一种图像处理设备，包括：

基于模型的处理部，其使用执行运动补偿处理和下采样处理的观测模型、根据高分辨率图像生成估计的低分辨率图像；

特征量计算部，其根据观测的低分辨率图像和所述高分辨率图像之一来计算空间特征量和时间特征量中的至少一个的特征量，所述观测的低分辨率图像是实际观测的低分辨率图像；以及

预测运算部，其使用与所述计算的特征量对应并且根据所述观测的低分辨率图像、根据所述估计的低分辨率图像并且根据预先执行的学习而获得的参数，基于所述高分辨率图像来预测和生成图像质量更高的图像。

2.根据权利要求1所述的图像处理设备，其中：

所述预测运算部基于所述观测的低分辨率图像和所述估计的低分辨率图像之间的差分信息并且基于所述计算的特征量、使用与在将要生成的所述图像的像素分类成预定类时获得的类相对应的所述参数，基于所述高分辨率图像来预测和生成图像质量更高的所述图像。

3.根据权利要求2所述的图像处理设备，其中：

所述预测运算部通过在作为与执行所述类分类时获得的所述类相对应的所述参数的预测系数、以及从所述观测的低分辨率图像和所述高分辨率图像获取的与要生成的所述图像的所述像素对应的多个像素的像素值之间执行乘积-和运算，基于所述高分辨率图像来预测和生成图像质量更高的所述图像。

4.根据权利要求2所述的图像处理设备，其中：

所述预测运算部把通过将根据所述差分信息而获得的类代码和根据所述计算的特征量获取的类代码进行组合而获得的类代码设置为在执行要生成的所述图像的所述像素的所述类分类时获得的所述类的类代码，并且使用与所述设置的类代码对应的所述参数、基于所述高分辨率图像来预测和生成图像质量更高的所述图像。

5.根据权利要求1所述的图像处理设备，其中：

所述特征量计算部根据所述观测的低分辨率图像计算所述空间特征量作为所述特征量。

6.根据权利要求5所述的图像处理设备，其中：

所述空间特征量是所述观测的低分辨率图像的波形图案。

7.根据权利要求5所述的图像处理设备，其中：

所述空间特征量是所述观测的低分辨率图像的频率频带。

8.根据权利要求1所述的图像处理设备，其中：

所述特征量计算部根据所述高分辨率图像计算所述时间特征量作为所述特征量。

9.根据权利要求8所述的图像处理设备，其中：

所述时间特征量是通过所述运动补偿处理检测的所述高分辨率图像的运动量。

10.根据权利要求8所述的图像处理设备，其中：

所述时间特征量是执行基于所述高分辨率图像来预测和生成图像质量更高的所述图像的处理的次数。

11.根据权利要求1所述的图像处理设备，其中：

所述观测模型也执行添加模糊的模糊添加处理。

12.一种图像处理方法，包括：

使用执行运动补偿处理和下采样处理的观测模型、根据高分辨率图像生成估计的低分辨率图像；

根据观测的低分辨率图像和所述高分辨率图像之一来计算空间特征量和时间特征量中的至少一个的特征量，所述观测的低分辨率图像是实际观测的低分辨率图像；以及

使用与所述计算的特征量对应并且根据所述观测的低分辨率图像、根据所述估计的低分辨率图像并且根据预先执行的学习而获得的参数，基于所述高分辨率图像来预测和生成图像质量更高的图像。

13.一种包括指令的程序，所述指令命令计算机执行以下步骤：

使用执行运动补偿处理和下采样处理的观测模型、根据高分辨率图像生成估计的低分辨率图像；

根据观测的低分辨率图像和所述高分辨率图像之一计算空间特征量和时间特征量中的至少一个的特征量，所述观测的低分辨率图像是实际观测的低分辨率图像；以及

使用与所述计算的特征量对应并且根据所述观测的低分辨率图像、根据所述估计的低分辨率图像并且根据预先执行的学习而获得的参数，基于所述高分辨率图像来预测和生成图像质量更高的图像。

14.一种记录介质，根据权利要求13所述的程序记录于所述记录介质上。

Images