CN101621614A

CN101621614A - 系数生成设备和方法、图像生成设备和方法及其程序

Info

Publication number: CN101621614A
Application number: CN200910151389A
Authority: CN
Inventors: 奥村明弘; 近藤哲二郎
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2008-07-02
Filing date: 2009-07-02
Publication date: 2010-01-06
Anticipated expiration: 2029-07-02
Also published as: JP4548520B2; US20100001989A1; CN101621614B; JP2010014879A; US8300040B2

Abstract

本发明提供了系数生成设备和方法、图像生成设备和方法及其程序。一种生成用于将输入图像的输入图像信号转换成显示图像的显示图像信号的转换系数的系数生成设备包括：过去图像生成单元，生成与在与显示图像相关的教师图像的一帧前的教师图像相关的过去图像的过去图像信号；过渡图像生成单元，生成过渡图像的过渡图像信号；视觉图像生成单元，生成视觉图像的视觉图像信号；以及计算单元，利用教师图像中的关注像素的像素值以及依据在与输入图像相关的学生图像中检测到的运动向量确定的并且与学生图像中与关注像素位于相同位置的像素在空间上或时间上接近的像素的像素值，来获得转换系数。

Description

系数生成设备和方法、图像生成设备和方法及其程序

技术领域

本发明涉及系数生成设备和方法、图像生成设备和方法及其程序，更具体而言，涉及能够更容易地改善图像的恶化图像质量的系数生成设备和方法、图像生成设备和方法及其程序。

背景技术

已经知道，当观看在诸如液晶显示器(LCD)之类的保持型(holdtype)显示设备上显示的运动物体时，会发生所谓的运动模糊，并且在人眼看来运动物体是模糊的。该运动模糊之所以发生是因为人眼观看在显示屏幕上运动的运动物体时跟随该运动物体。

迄今为止，已经提出了诸如过驱动(overdrive)、插黑(blackinsertion)和帧倍速(frame double speed)之类的技术，作为用于改善由于这种运动模糊引起的图像的恶化图像质量或者抑制图像的图像质量恶化的技术。

例如，被称为过驱动的技术被设计来通过以下方式提高显示设备的响应速度：将通过把要显示的帧的图像和紧挨在该帧之前显示的帧的图像之间的差乘以预定系数而获得的值加到要显示的帧的图像。

具体而言，例如，当显示切换由于响应速度不足而被延迟时，在人眼看来，就好像运动物体的行进方向侧的边界部分和相反侧的边界部分是利用与各自原本的亮度值不同的亮度值来显示的。因此，过驱动通过将图像之间的差加到要显示的帧的图像以便能够校正运动物体的边界部分中的亮度值，从而来改善图像的图像质量。

被称为插黑的技术通过在帧之间显示黑图像来改善由于运动模糊而恶化的图像质量。也就是说，不是连续地显示帧中的图像，而是在显示了一帧中的图像之后，提供一个显示黑图像的时段，即不显示任何东西的时段。在该时段之后，显示下一帧中的图像。

另外，被称为帧倍速的技术通过在一帧的显示时段中显示该帧中的图像和通过插值生成的图像，以基本上使帧速率加倍，从而来改善由于运动模糊而恶化的图像质量。

另外，作为与改善由于运动模糊而恶化的图像质量有关的技术，一种测量系统通过校正一个拍摄要在显示测量目标的图像的测量目标显示器上显示的图像的相机相对于该测量目标显示器的倾角，来生成更准确地再现运动模糊的图像(例如，参见日本未实审专利申请公开2006-243518)。

发明内容

利用以上技术，难以改善运动模糊图像的恶化图像质量。

例如，过驱动在显示设备的响应速度高于要显示的图像的帧速率的情况下，对于抑制由于运动模糊而引起的图像质量的恶化是有效的。但是，当响应速度等于或低于帧速率时，过驱动对于抑制图像质量的恶化是无效的。更具体而言，当响应速度等于或低于帧速率时，显示设备上显示的图像中的运动物体的边界部分(即，边缘部分)被过度强度，从而恶化了图像质量。特别地，运动物体的运动速度越高，图像质量的恶化就越明显。

另外，在通过插黑来提供不显示图像的时段时，不显示图像的时段越长，运动模糊就被去除得越多。但是，当不显示图像的时段变长时，显示设备为了显示图像而发光的时间就变短了。这使得所显示的图像较暗，从而观察者难以看到该图像。

在帧倍速技术中，通过执行插值来生成要显示的图像是很困难的。所生成的图像的图像质量不会好于其他帧中的图像的图像质量。结果，要显示的图像的图像质量可能恶化了。

另外，帧倍速技术对于在被拍摄时没有运动模糊的图像(例如叠加在图像上的运动标题或字幕)是有效的。但是，帧倍速技术对于以快门完全打开时的快门速度拍摄的运动模糊图像(也就是以与一帧的显示时间相同的快门速度拍摄的运动模糊图像)并不足够有效。

本发明提供了用于更容易地改善图像的恶化图像质量的技术。

根据本发明的第一实施例，提供了一种系数生成设备，该系数生成设备生成用于将输入图像的输入图像信号转换成显示图像的显示图像信号的转换系数，其中当该显示图像被显示在预定的显示装置上时观察者感觉好像该输入图像被显示一样，该系数生成设备包括以下装置：过去图像生成装置，用于基于用来获得所述转换系数的、与所述显示图像相关的教师图像(teacher image)的教师图像信号和在所述教师图像中检测到的运动向量，来生成与所述教师图像的一帧前的一帧教师图像相关的过去图像的过去图像信号；过渡图像(transientimage)生成装置，用于基于教师图像信号和过去图像信号，在过去图像并且随后教师图像将被显示在显示装置上的情况下，生成在显示从过去图像切换到教师图像的时段中将被显示在显示装置上的过渡图像的过渡图像信号；视觉图像生成装置，用于利用过去图像信号、过渡图像信号、教师图像信号以及运动向量，通过获得过去图像、过渡图像和教师图像中被预测在显示从过去图像切换到教师图像的时段中观察者的眼睛将跟随的像素的像素值的平均值，并且将该平均值视为在教师图像被显示在显示装置上时观察者感觉到的视觉图像中的像素的像素值，来生成视觉图像的视觉图像信号，该视觉图像充当与输入图像相关的学生图像(student image)，该学生图像被用来获得转换系数；以及计算装置，用于利用所述教师图像中的关注像素的像素值以及依据在学生图像中检测到的运动向量确定的并且与学生图像中与关注像素位于相同位置的像素在空间上或时间上接近的像素的像素值，来获得转换系数。

过渡图像生成装置可利用指示显示装置的发光特性的模型、教师图像信号和过去图像信号来生成过渡图像信号。

计算装置可包括：类别抽头(class tap)提取装置，用于从学生图像的学生图像信号中提取依据在学生图像中检测到的运动向量确定的并且与学生图像中与关注像素位于相同位置的像素在空间上或时间上接近的一些像素的像素值，来作为用于将关注像素分类到多个类别之一的类别抽头；类别划分(class classification)单元，用于基于在学生图像中检测到的运动向量的大小和类别抽头来对关注像素进行分类；预测抽头(prediction tap)提取装置，用于从学生图像信号中提取依据在学生图像中检测到的运动向量确定的并且与学生图像中与关注像素位于相同位置的像素在空间上或时间上接近的一些像素的像素值，来作为用于预测关注像素的预测抽头；以及系数生成装置，用于通过相对于关注像素的像素值和预测抽头，求解针对关注像素的类别制定的正规方程式(normal equation)，来获得用于多个类别中的每一个的转换系数，所述正规方程式表示关注像素的像素值、预测抽头和转换系数之间的关系。

根据本发明的第一实施例，提供了一种用于系数生成设备的系数生成方法或程序，该系数生成设备生成用于将输入图像的输入图像信号转换成显示图像的显示图像信号的转换系数，其中当该显示图像被显示在预定的显示装置上时观察者感觉好像该输入图像被显示一样。该系数生成方法或程序包括以下步骤：基于用来获得所述转换系数的、与显示图像相关的教师图像的教师图像信号和在所述教师图像中检测到的运动向量，来生成与所述教师图像的一帧前的一帧教师图像相关的过去图像的过去图像信号；基于教师图像信号和过去图像信号，在过去图像并且随后教师图像将被显示在显示装置上的情况下，生成在显示从过去图像切换到教师图像的时段中将被显示在显示装置上的过渡图像的过渡图像信号；利用过去图像信号、过渡图像信号、教师图像信号以及运动向量，通过获得过去图像、过渡图像和教师图像中被预测在显示从过去图像切换到教师图像的时段中将被观察者的眼睛跟随的像素的像素值的平均值，并且将该平均值视为在教师图像被显示在显示装置上时观察者感觉到的视觉图像中的像素的像素值，来生成视觉图像的视觉图像信号，该视觉图像充当与输入图像相关的学生图像，该学生图像被用来获得转换系数；以及利用教师图像中的关注像素的像素值以及依据在学生图像中检测到的运动向量确定的并且与学生图像中与关注像素位于相同位置的像素在空间上或时间上接近的像素的像素值，来获得转换系数。

根据本发明的第一实施例，在一种生成用于将输入图像的输入图像信号转换成显示图像的显示图像信号的转换系数的系数生成设备中(其中当该显示图像被显示在预定的显示装置上时观察者感觉好像该输入图像被显示一样)，基于用来获得所述转换系数的、与所述显示图像相关的教师图像的教师图像信号和在所述教师图像中检测到的运动向量，来生成与所述教师图像的一帧前的教师图像相关的过去图像的过去图像信号；基于教师图像信号和过去图像信号，在过去图像并且随后教师图像将被显示在所述显示装置上的情况下，生成在显示从过去图像切换到教师图像的时段中将被显示在显示装置上的过渡图像的过渡图像信号；利用过去图像信号、过渡图像信号、教师图像信号以及运动向量，通过获得过去图像、过渡图像和教师图像中被预测在显示从过去图像切换到教师图像的时段中将被观察者的眼睛跟随的像素的像素值的平均值，并且将该平均值视为在教师图像被显示在显示装置上时观察者感觉到的视觉图像中的像素的像素值，来生成视觉图像的视觉图像信号，所述视觉图像充当与输入图像相关的学生图像，所述学生图像被用来获得所述转换系数；并且利用所述教师图像中的关注像素的像素值以及依据在学生图像中检测到的运动向量确定的并且与学生图像中与关注像素位于相同位置的像素在空间上或时间上接近的像素的像素值，来获得所述转换系数。

根据本发明的第二实施例，提供了一种图像生成设备，该图像生成设备将输入图像的输入图像信号转换成显示图像的显示图像信号，其中当该显示图像被显示在预定的显示装置上时观察者感觉好像该输入图像被显示一样，该图像生成设备包括以下元件：预测抽头提取装置，用于把要生成的所述显示图像中的关注像素视为第一关注像素，并且，从所述输入图像信号中，提取依据在所述输入图像中检测到的运动向量确定的并且与所述输入图像中与第一关注像素位于相同位置的像素在空间上或时间上接近的一些像素的像素值，来作为用于预测第一关注像素的预测抽头；以及预测性计算装置，用于通过对预先获得的转换系数和所述预测抽头执行线性耦合来预测性地计算第一关注像素的像素值。所述转换系数是利用下述各项获得的：与所述显示图像相关的教师图像中的第二关注像素的像素值，以及依据在与所述输入图像相关的学生图像中检测到的运动向量确定的并且与所述学生图像中与第二关注像素位于相同位置的像素在空间上或时间上接近的像素的像素值。所述学生图像是在所述教师图像被显示在显示装置上时观察者感觉到的视觉图像，所述视觉图像是利用下述各项生成的：所述教师图像的教师图像信号；与所述教师图像一帧前的一帧教师图像相关的过去图像的过去图像信号，所述过去图像是基于所述教师图像信号和在所述教师图像中检测到的运动向量来生成的；在所述过去图像并且随后所述教师图像将被显示在显示装置上的情况下，在显示从所述过去图像切换到所述教师图像的时段中，将被显示在显示装置上的过渡图像的过渡图像信号，所述过渡图像是基于指示显示装置的发光特性的模型、所述教师图像信号和所述过去图像信号来生成的；以及在所述教师图像中检测到的运动向量，并且所述视觉图像是通过下述操作来生成的：获得所述过去图像、所述过渡图像和所述教师图像中被预测在显示从所述过去图像切换到所述教师图像的时段中将被观察者的眼睛跟随的像素的像素值的平均值，并且将所述平均值视为所述视觉图像中的像素的像素值。

所述图像生成设备还可包括以下元件：类别抽头提取装置，用于从输入图像信号中提取依据在输入图像中检测到的运动向量确定的并且与输入图像中与第一关注像素位于相同位置的像素在空间上或时间上接近的一些像素的像素值，来作为用于将第一关注像素分类到多个类别之一的类别抽头；以及类别划分单元，用于基于在输入图像中检测到的运动向量的大小和类别抽头来对第一关注像素分类。所述预测性计算装置可利用预先针对第一关注像素的类别获得的转换系数来预测性地计算第一关注像素的像素值。

根据本发明的第二实施例，提供了一种用于图像生成设备的图像生成方法或程序，该图像生成设备将输入图像的输入图像信号转换成显示图像的显示图像信号，其中当该显示图像被显示在预定的显示装置上时观察者感觉好像该输入图像被显示一样。该图像生成方法或程序包括以下步骤：把要生成的显示图像中的关注像素视为第一关注像素，并且，从输入图像信号中提取依据在输入图像中检测到的运动向量确定的并且与输入图像中与第一关注像素位于相同位置的像素在空间上或时间上接近的一些像素的像素值，来作为用于预测第一关注像素的预测抽头；以及通过对预先获得的转换系数和所述预测抽头执行线性耦合来预测性地计算所述第一关注像素的像素值。所述转换系数是利用下述各项获得的：与显示图像相关的教师图像中的第二关注像素的像素值，以及依据在与所述输入图像相关的学生图像中检测到的运动向量确定的并且与所述学生图像中与第二关注像素位于相同位置的像素在空间上或时间上接近的像素的像素值。所述学生图像是在所述教师图像被显示在显示装置上时观察者感觉到的视觉图像，所述视觉图像是利用下述各项生成的：所述教师图像的教师图像信号；与所述教师图像的一帧前的教师图像相关的过去图像的过去图像信号，所述过去图像是基于所述教师图像信号和在所述教师图像中检测到的运动向量来生成的；在所述过去图像并且随后所述教师图像将被显示在显示装置上的情况下，在显示从所述过去图像切换到所述教师图像的时段中，将被显示在显示装置上的过渡图像的过渡图像信号，所述过渡图像是基于指示显示装置的发光特性的模型、所述教师图像信号和所述过去图像信号来生成的；以及在所述教师图像中检测到的运动向量，并且所述视觉图像是通过下述操作来生成的：获得所述过去图像、所述过渡图像和所述教师图像中被预测在显示从所述过去图像切换到所述教师图像的时段中将被观察者的眼睛跟随的像素的像素值的平均值并且将该平均值视为所述视觉图像中的像素的像素值。

根据本发明的第二实施例，在一种将输入图像的输入图像信号转换成显示图像的显示图像信号的图像生成设备中(其中当该显示图像被显示在预定的显示装置上时观察者感觉好像该输入图像被显示一样)，把要生成的所述显示图像中的关注像素视为第一关注像素，并且，从输入图像信号中提取依据在输入图像中检测到的运动向量确定的并且与输入图像中与第一关注像素位于相同位置的像素在空间上或时间上接近的一些像素的像素值，来作为用于预测第一关注像素的预测抽头；并且通过对预先获得的转换系数和所述预测抽头执行线性耦合来预测性地计算第一关注像素的像素值。

根据本发明的第三实施例，提供了一种系数生成设备，该系数生成设备生成用于将输入图像的输入图像信号转换成显示图像的显示图像信号的转换系数，其中当该显示图像被显示在预定的显示装置上时观察者感觉好像该输入图像被显示一样，该系数生成设备包括以下元件：平均图像生成装置，用于基于用来获得所述转换系数的、与显示图像相关的教师图像的教师图像信号，来生成通过对所述教师图像和所述教师图像一帧前的教师图像取平均而获得的平均图像的平均图像信号；过去图像生成装置，用于基于所述平均图像信号和在所述平均图像中检测到的运动向量，来生成与所述平均图像一帧前的平均图像相关的过去图像的过去图像信号；过渡图像生成装置，用于基于所述平均图像信号和所述过去图像信号，在所述过去图像并且随后所述平均图像将被显示在所述显示装置上的情况下，生成在显示从所述过去图像切换到所述平均图像的时段中将被显示在显示装置上的过渡图像的过渡图像信号；视觉图像生成装置，用于利用过去图像信号、过渡图像信号、平均图像信号以及运动向量，通过获得过去图像、过渡图像和平均图像中被预测在显示从所述过去图像切换到所述平均图像的时段中将被观察者的眼睛跟随的像素的像素值的平均值，并且将所述平均值视为在所述平均图像被显示在显示装置上时观察者感觉到的视觉图像中的像素的像素值，来生成所述视觉图像的视觉图像信号，所述视觉图像充当与所述输入图像相关的学生图像，所述学生图像被用来获得所述转换系数；以及计算装置，用于利用所述教师图像中的关注像素的像素值以及依据在所述学生图像中检测到的运动向量确定的并且与所述学生图像中与所述关注像素位于相同位置的像素在空间上或时间上接近的像素的像素值，来获得所述转换系数。

所述过渡图像生成装置可利用指示显示装置的发光特性的模型、平均图像信号和过去图像信号来生成过渡图像信号。

所述计算装置可包括以下元件：类别抽头提取装置，用于从学生图像的学生图像信号中提取依据在学生图像中检测到的运动向量确定的并且与学生图像中与关注像素位于相同位置的像素在空间上或时间上接近的一些像素的像素值，来作为用于将关注像素分类到多个类别之一的类别抽头；类别划分单元，用于基于在学生图像中检测到的运动向量的大小和所述类别抽头来对关注像素进行分类；预测抽头提取装置，用于从学生图像信号中提取依据在学生图像中检测到的运动向量确定的并且与学生图像中与关注像素位于相同位置的像素在空间上或时间上接近的一些像素的像素值，来作为用于预测关注像素的预测抽头；以及系数生成装置，用于相对于关注像素的像素值和所述预测抽头，通过求解针对关注像素的类别制定的正规方程式，来获得用于多个类别中的每一个的转换系数，所述正规方程式表示关注像素的像素值、预测抽头和转换系数之间的关系。

根据本发明的第三实施例，提供了一种用于系数生成设备的系数生成方法或程序，该系数生成设备生成用于将输入图像的输入图像信号转换成显示图像的显示图像信号的转换系数，其中当该显示图像被显示在预定的显示装置上时观察者感觉好像该输入图像被显示一样。该系数生成方法或程序包括以下步骤：基于用来获得所述转换系数的、与所述显示图像相关的教师图像的教师图像信号，来生成通过对所述教师图像和所述教师图像一帧前的教师图像取平均而获得的平均图像的平均图像信号；基于所述平均图像信号和在所述平均图像中检测到的运动向量，来生成与所述平均图像一帧前的平均图像相关的过去图像的过去图像信号；基于所述平均图像信号和所述过去图像信号，在所述过去图像并且随后所述平均图像将被显示在所述显示装置上的情况下，生成在显示从所述过去图像切换到所述平均图像的时段中将被显示在所述显示装置上的过渡图像的过渡图像信号；利用所述过去图像信号、所述过渡图像信号、所述平均图像信号以及所述运动向量，通过获得所述过去图像、所述过渡图像和所述平均图像中被预测在显示从所述过去图像切换到所述平均图像的时段中将被所述观察者的眼睛跟随的像素的像素值的平均值，并且将所述平均值视为在所述平均图像被显示在所述显示装置上时所述观察者感觉到的视觉图像中的像素的像素值，来生成所述视觉图像的视觉图像信号，所述视觉图像充当与所述输入图像相关的学生图像，所述学生图像被用来获得所述转换系数；以及利用所述教师图像中的关注像素的像素值以及依据在所述学生图像中检测到的运动向量确定的并且与所述学生图像中与所述关注像素位于相同位置的像素在空间上或时间上接近的像素的像素值，来获得所述转换系数。

根据本发明的第三实施例，在一种生成用于将输入图像的输入图像信号转换成显示图像的显示图像信号的转换系数的系数生成设备中(其中当该显示图像被显示在预定的显示装置上时观察者感觉好像该输入图像被显示一样)，基于用来获得所述转换系数的、与所述显示图像相关的教师图像的教师图像信号，来生成通过对所述教师图像和所述教师图像一帧前的教师图像取平均而获得的平均图像的平均图像信号；基于所述平均图像信号和在所述平均图像中检测到的运动向量，来生成与所述平均图像一帧前的一帧平均图像相关的过去图像的过去图像信号；基于所述平均图像信号和所述过去图像信号，在所述过去图像并且随后所述平均图像将被显示在所述显示装置上的情况下，生成在显示从所述过去图像切换到所述平均图像的时段中将被显示在所述显示装置上的过渡图像的过渡图像信号；利用过去图像信号、过渡图像信号、平均图像信号以及运动向量，通过获得过去图像、过渡图像和平均图像中被预测在显示从过去图像切换到平均图像的时段中将被观察者的眼睛跟随的像素的像素值的平均值，并且将所述平均值视为在所述平均图像被显示在显示装置上时观察者感觉到的视觉图像中的像素的像素值，来生成所述视觉图像的视觉图像信号，所述视觉图像充当与输入图像相关的学生图像，所述学生图像被用来获得转换系数；以及利用所述教师图像中的关注像素的像素值以及依据在学生图像中检测到的运动向量确定的并且与学生图像中与关注像素位于相同位置的像素在空间上或时间上接近的像素的像素值，来获得所述转换系数。

根据本发明的第四实施例，提供了一种图像生成设备，该图像生成设备将输入图像的输入图像信号转换成显示图像的显示图像信号，其中当该显示图像被显示在预定的显示装置上时观察者感觉好像该输入图像被显示一样，该图像生成设备包括以下装置：预测抽头提取装置，用于把要生成的所述显示图像中的关注像素视为第一关注像素，并且，从所述输入图像信号中，提取依据在所述输入图像中检测到的运动向量确定的并且与所述输入图像中与第一关注像素位于相同位置的像素在空间上或时间上接近的一些像素的像素值，来作为用于预测第一关注像素的预测抽头；以及预测性计算装置，用于通过对预先获得的转换系数和所述预测抽头执行线性耦合来预测性地计算第一关注像素的像素值。所述转换系数是利用下述各项获得的：与所述显示图像相关的教师图像中的第二关注像素的像素值，以及依据在与所述输入图像相关的学生图像中检测到的运动向量确定的并且与学生图像中与第二关注像素位于相同位置的像素在空间上或时间上接近的像素的像素值。所述学生图像是在平均图像被显示在显示装置上时所述观察者感觉到的视觉图像，所述视觉图像是利用下述各项生成的：通过对所述教师图像和所述教师图像一帧前的教师图像取平均而获得的平均图像的平均图像信号，所述平均图像是基于所述教师图像的教师图像信号来生成的；与所述平均图像的一帧前的平均图像相关的过去图像的过去图像信号，所述过去图像是基于所述平均图像信号和在所述平均图像中检测到的运动向量来生成的；在所述过去图像并且随后所述平均图像将被显示在所述显示装置上的情况下，在显示从所述过去图像切换到所述平均图像的时段中，将被显示在所述显示装置上的过渡图像的过渡图像信号，所述过渡图像是基于指示所述显示装置的发光特性的模型、所述平均图像信号和所述过去图像信号来生成的；以及在所述平均图像中检测到的运动向量，并且所述视觉图像是通过下述操作来生成的：获得所述过去图像、所述过渡图像和所述平均图像中被预测在显示从所述过去图像切换到所述平均图像的时段中将被所述观察者的眼睛跟随的像素的像素值的平均值并且将所述平均值视为所述视觉图像中的像素的像素值。

所述图像生成设备还可包括以下元件：类别抽头提取装置，用于从所述输入图像信号中提取依据在所述输入图像中检测到的运动向量确定的并且与所述输入图像中与所述第一关注像素位于相同位置的像素在空间上或时间上接近的一些像素的像素值，来作为用于将第一关注像素分类到多个类别之一的类别抽头；以及类别划分单元，用于基于在输入图像中检测到的运动向量的大小和类别抽头来对第一关注像素进行分类。所述预测性计算装置可利用预先针对第一关注像素的类别获得的转换系数来预测性地计算第一关注像素的像素值。

根据本发明的第四实施例，提供了一种用于图像生成设备的图像生成方法或程序，该图像生成设备将输入图像的输入图像信号转换成显示图像的显示图像信号，其中当该显示图像被显示在预定的显示装置上时观察者感觉好像该输入图像被显示一样。该图像生成方法或程序包括以下步骤：把要生成的所述显示图像中的关注像素视为第一关注像素，并且，从所述输入图像信号中，提取依据在所述输入图像中检测到的运动向量确定的并且与所述输入图像中与所述第一关注像素位于相同位置的像素在空间上或时间上接近的一些像素的像素值，来作为用于预测所述第一关注像素的预测抽头；以及通过对预先获得的转换系数和所述预测抽头执行线性耦合来预测性地计算所述第一关注像素的像素值。所述转换系数是利用下述各项获得的：与显示图像相关的教师图像中的第二关注像素的像素值，以及依据在与输入图像相关的学生图像中检测到的运动向量确定的并且与学生图像中与第二关注像素位于相同位置的像素在空间上或时间上接近的像素的像素值。所述学生图像是在平均图像被显示在显示装置上时所述观察者感觉到的视觉图像，所述视觉图像是利用下述各项生成的：通过对所述教师图像和所述教师图像一帧前的教师图像取平均而获得的平均图像的平均图像信号，所述平均图像是基于所述教师图像的教师图像信号来生成的；与所述平均图像一帧前的平均图像相关的过去图像的过去图像信号，所述过去图像是基于所述平均图像信号和在所述平均图像中检测到的运动向量来生成的；在过去图像并且随后平均图像将被显示在显示装置上的情况下，在显示从过去图像切换到平均图像的时段中，将被显示在所述显示装置上的过渡图像的过渡图像信号，所述过渡图像是基于指示显示装置的发光特性的模型、平均图像信号和过去图像信号来生成的；以及在平均图像中检测到的运动向量，并且所述视觉图像是通过下述操作来生成的：获得过去图像、过渡图像和平均图像中被预测在显示从过去图像切换到平均图像的时段中将被观察者的眼睛跟随的像素的像素值的平均值，并且将该平均值视为视觉图像中的像素的像素值。

根据本发明的第四实施例，在一种将输入图像的输入图像信号转换成显示图像的显示图像信号的图像生成设备中(其中当该显示图像被显示在预定的显示装置上时观察者感觉好像该输入图像被显示一样)：把要生成的所述显示图像中的关注像素视为第一关注像素，并且，从所述输入图像信号中，提取依据在所述输入图像中检测到的运动向量确定的并且与所述输入图像中与第一关注像素位于相同位置的像素在空间上或时间上接近的一些像素的像素值，来作为用于预测第一关注像素的预测抽头；并且通过对预先获得的转换系数和所述预测抽头执行线性耦合来预测性地计算第一关注像素的像素值。

根据本发明的第一实施例，可以更容易地改善图像的恶化图像质量。

根据本发明的第二实施例，可以更容易地改善图像的恶化图像质量。

根据本发明的第三实施例，可以更容易地改善图像的恶化图像质量。

根据本发明的第四实施例，可以更容易地改善图像的恶化图像质量。

附图说明

图1是示出根据本发明一个实施例的图像生成设备的结构示例的示图；

图2是描述显示处理的流程图；

图3A至3C是示出类别抽头和预测抽头的示例的示图；

图4是示出根据本发明一个实施例的学习设备的结构示例的示图；

图5是示出学生图像生成单元的结构示例的示图；

图6是描述学习处理的流程图；

图7是描述学生图像生成处理的流程图；

图8A和8B是描述过去图像的生成的示图；

图9是描述响应模型的示图；

图10是描述过渡图像的示图；

图11是描述跟踪像素的示图；

图12是描述预测抽头的示图；

图13是示出类别抽头和预测抽头的其他示例的示图；

图14是描述学生图像的生成的示图；

图15是示出学习设备的另一种结构示例的示图；

图16是示出教师图像生成单元的结构示例的示图；

图17是描述学习处理的流程图；

图18是描述教师图像生成处理的流程图；

图19是描述帧速率转换的示图；

图20是示出学习设备的另一种结构示例的示图；

图21是示出学生图像生成单元的结构示例的示图；

图22是描述学习处理的流程图；

图23A至23C是示出类别抽头和预测抽头的示例的示图；

图24是描述学生图像生成处理的流程图；

图25是描述平均图像的生成的示图；

图26是示出图像生成设备的另一种结构示例的示图；

图27是描述显示处理的流程图；

图28是示出学习设备的另一种结构示例的示图；

图29是描述学习处理的流程图；并且

图30是示出计算机的结构示例的示图。

具体实施方式

下面，将参考附图来描述本发明的实施例。

图1是示出根据本发明一个实施例的图像生成设备的结构示例的框图。

图像生成设备11利用以相机等等拍摄的输入图像执行类别划分适应性处理，并且根据输入图像生成并显示在观察者看来有更高质量的显示图像。这里，看起来有更高质量的图像是没有运动模糊并且看起来更鲜明的图像。

图像生成设备11包括运动向量检测单元21、类别抽头提取单元22、类别划分单元23、预测抽头提取单元24、系数保存单元25、积和(product-sum)计算单元26以及显示单元27。输入到图像生成设备11的输入图像的输入图像信号被提供到运动向量检测单元21、类别抽头提取单元22和预测抽头提取单元24。

运动向量检测单元21基于所提供的输入图像信号检测输入图像中的运动向量，并且将检测到的运动向量提供给类别划分单元23、类别抽头提取单元22和预测抽头提取单元24。

类别抽头提取单元22每次一像素地按顺序将构成显示图像的像素之一视为关注像素，并且利用所提供的输入图像信号和来自运动向量检测单元21的运动向量，提取构成输入图像的像素中的一些作为用于将关注像素分类为类别之一的类别抽头。类别抽头提取单元22把从输入图像中提取出的类别抽头提供给类别划分单元23。显示图像是要获得的图像但目前并不存在。因此，显示图像是虚拟地假设的。

利用来自运动向量检测单元21的运动向量和来自类别抽头提取单元22的类别抽头，类别划分单元23将关注像素划分类为某一类别，并且将指示该类别的类别代码提供给系数保存单元25。

利用所提供的输入图像信号和来自运动向量检测单元21的运动向量，预测抽头提取单元24提取构成输入图像的像素中的一些作为用于预测关注像素的像素值的预测抽头，并且将提取出的预测抽头提供给积和计算单元26。

系数保存单元25保存着预先为每种类别获得的、用于预测关注像素的像素值的转换系数。系数保存单元25把从类别划分单元23提供来的类别代码所指定的转换系数提供给积和计算单元26。例如，系数保存单元25包括用于记录转换系数的存储器。转换系数被从该存储器中由类别代码所指定的地址处提取，并且所读取的转换系数被提供给积和计算单元26。

积和计算单元26通过以下方式来预测性地计算关注像素的像素值：通过把从预测抽头提取单元24提供来的预测抽头(即，构成预测抽头的像素的像素值)乘以来自系数保存单元25的转换系数，来执行线性耦合。积和计算单元26向显示单元27提供通过把显示图像的各个像素视为关注像素并且预测性地计算各个关注像素的像素值而获得的显示图像的显示图像信号。

显示单元27是利用诸如LCD显示器或LCD投影仪之类的保持型显示设备实现的，并且基于从积和计算单元26提供来的显示图像信号来对显示图像进行显示。

当输入图像是运动图像时，输入图像的输入图像信号被每次一帧地提供给图像生成设备11。当一帧的输入图像信号被提供给图像生成设备11时，图像生成设备11开始一个显示处理，该显示处理基于所提供的帧的输入图像信号来生成与该帧相关的帧的显示图像信号并且对显示图像进行显示。

下面，参考图2所示的流程图，将描述图像生成设备11所执行的显示处理。

在步骤S11中，运动向量检测单元21利用输入帧的输入图像(输入图像信号)和该帧的前一帧的输入图像来检测该输入帧的输入图像中的与显示图像中的关注像素位于相同位置的像素的运动向量。

要处理的帧(即，新输入的帧)将被称为当前帧，而时间上在当前帧的一帧前的帧将被称为前一帧。运动向量检测单元21保存着上次提供的前一帧的输入图像信号。例如，运动向量检测单元21通过执行例如块匹配或梯度方法，利用当前帧的输入图像信号和前一帧的输入图像信号，来检测当前帧的输入图像中与关注像素位于相同位置的像素的运动向量。运动向量检测单元21将检测到的运动向量提供给类别划分单元23、类别抽头提取单元22和预测抽头提取单元24。

在步骤S12中，基于从运动向量检测单元21提供来的运动向量，类别划分单元23生成依据运动向量的大小(绝对值)确定的运动代码。运动代码是二进制数据(比特值)，并且用于对关注像素进行分类。例如，假定，作为运动向量的大小的范围，预先定义了从0(包括)到8(不包括)的范围、从8(包括)到16(不包括)的范围、从16(包括)到24(不包括)的范围和24以上(包括24)的范围，以及与各个范围相关的运动代码“00”、“01”、“10”和“11”。在此情况下，当检测到的运动向量的大小为“4”时，该运动代码的大小被包括在从0(包括)到8(不包括)的范围中。因而，与该范围相关的值“00”充当运动代码。

运动向量大小的范围的数目越多，即，运动向量大小的分割的数目越多，各个关注像素被分类到的类别的数目就越多。特别地，在运动图像中，运动物体的运动量越大，运动图像中发生的运动模糊的量就越大。因此，通过以更细致的方式来分割运动向量大小的范围，可以增强运动模糊去除的效果。

在步骤S13中，类别抽头提取单元22基于来自运动向量检测单元21的运动向量和所提供的输入图像信号，从输入图像中提取类别抽头，并且将类别抽头提供给类别划分单元23。也就是说，类别抽头提取单元22保存着上次提供的前一帧的输入图像信号。利用前一帧的输入图像信号和当前帧的输入图像信号，类别抽头提取单元22从输入图像中提取类别抽头。

例如，在时间上或空间上接近当前帧的输入图像信号中与关注像素位于相同位置的像素的一些像素，更具体而言是这些像素的像素值，被提取作为类别抽头。

在步骤S14中，类别划分单元23向从类别抽头提取单元22提供来的类别抽头应用适应性动态范围控制(ADRC)处理。ADRC处理是将输入图像的亮度波形的特征量转换成二进制数据(比特值)的处理。例如，类别划分单元23向类别抽头应用1比特ADRC处理。

也就是说，类别划分单元23检测构成类别抽头的像素的像素值的最大值MAX和最小值MIN，并且将检测到的像素值的最大值MAX和检测到的像素值的最小值MIN之间的差DR(DR＝MAX-MIN)视为构成类别抽头的一组像素的局部动态范围。基于动态范围DR，类别划分单元23将构成类别抽头的像素(的像素值)重新量化为一比特。也就是说，类别划分单元23从构成类别抽头的每个像素的像素值中减去最小值MIN，并且将所获得的差除以DR/2(量化)。

类别划分单元23将如上所述获得的构成类别抽头的1比特像素的像素值的预定序列的比特串视为ADRC代码。ADRC代码被用于对关注像素进行分类并且指示了输入图像中与关注像素位于相同位置的像素附近的亮度的波形的特征。

在步骤S15中，类别划分单元23基于所生成的运动代码和ADRC代码对关注像素进行分类，并且确定关注像素的类别。也就是说，类别划分单元23把通过将运动代码与ADRC代码相加而获得的比特值视为指示出关注像素的类别的类别代码，并将该类别代码提供给系数保存单元25。

这样，类别划分单元23根据输入图像中的亮度波形(即，输入图像中的亮度级别)的分布以及运动向量的大小对关注像素进行了分类。

当类别代码被从类别划分单元23提供给系数保存单元25时，系数保存单元25从所记录的转换系数中读取由所提供的类别代码指定的转换系数，并将该转换系数提供给积和计算单元26。转换系数是用于将输入图像转换成没有运动模糊的显示图像的系数。转换系数是预先获得并记录在系数保存单元25中的。

例如，当作为运动图像的输入图像被按原样显示在保持型显示单元27上时，输入图像中的运动物体在观察所显示的输入图像的观察者的眼中看来是模糊的。因此，在图像生成设备11中，能够用来生成下述显示图像的转换系数被预先准备并记录在了系数保存单元25中：该显示图像在被显示于显示单元27上时使观察者感觉运动物体是在不模糊的情况下显示的。

在图像生成设备11中，使用了该转换系数，并且将输入图像转换成了没有运动模糊的高质量显示图像。显示图像在被显示于显示单元27上时是这样一个图像：预测该图像将使得观看显示图像的观察者感觉好像输入图像被显示在显示单元27上一样。也就是说，当显示图像被显示在显示单元27上时，在观察者看来就好像没有运动模糊的输入图像被显示那样。

在步骤S16中，预测抽头提取单元24基于来自运动向量检测单元21的运动向量和所提供的输入图像信号从输入图像中提取预测抽头，并且将预测抽头提供给积和计算单元26。也就是说，预测抽头提取单元24保存上次提供的前一帧的输入图像信号。利用前一帧的输入图像信号和当前帧的输入图像信号，预测抽头提取单元24从输入图像中提取预测抽头。例如，在时间上或空间上接近当前帧的输入图像信号中与关注像素位于相同位置的像素的一些像素，更具体而言是这些像素的像素值，被提取作为类别抽头。

这里，从输入图像中提取的类别抽头和预测抽头例如是如图3A所示的在空间上或时间上接近输入图像中与关注像素位于相同位置的像素的那些像素。在图3A中，垂直方向指示时间，水平方向指示每个帧的输入图像中的每个像素的位置。一个圆指示输入图像中的一个像素。下面，图中的输入图像的水平方向将被称为水平方向，并且与输入图像的水平方向垂直的方向将被称为垂直方向。

参考图3A，包括水平像素阵列的当前帧的输入图像在图的上部示出，并且包括水平像素阵列的前一帧的输入图像在图的下部示出。

假设在当前帧的输入图像的像素中，像素G11是与显示图像中的关注像素位于相同位置的像素，并且大小为MV的运动向量mv被检测为像素G11的运动向量。在此情况下，总共四个像素，即当前帧的输入图像中的像素G11、当前帧的输入图像中的依据运动向量mv确定的像素G12、以及前一帧的输入图像中的依据运动向量mv确定的像素G13和G14，充当类别抽头。

这里，像素G12是当前帧的输入图像中的位于下述位置的像素：该位置相对于充当基准的像素G11在与运动向量mv相反的方向上偏离了一个等于运动向量mv的预定比率的量，例如偏离了3/4MV的距离。

像素G13是前一帧的输入图像中的位于下述位置的像素：该位置相对于与当前帧中的像素G11位于相同位置的像素G11′在与运动向量mv相反的方向上偏离了距离MV。也就是说，像素G13是这样一个像素：在当前帧的输入图像中的像素G11处显示的运动物体在前一帧的输入图像中被显示在该像素处。因此，在前一帧的输入图像中，在像素G13处显示的运动物体在运动向量mv所指示的方向上移动了与运动向量mv的大小MV相同的距离，并且在当前帧的输入图像中被显示在像素G11处。

另外，像素G14是前一帧的输入图像中的位于下述位置的像素：该位置相对于与像素G11位于相同位置的像素G11′在与运动向量mv相反的方向上偏离了一个等于运动向量mv的预定比率的量，例如偏离了3/4MV的距离。

这样，类别抽头提取单元22提取当前帧的输入图像中与关注像素位于相同位置的像素G11、在空间上接近像素G11的像素G12、以及前一帧的输入图像中的在时间上接近像素G11的像素G13和G14，作为类别抽头。

如图3A至3C所示，预测抽头提取单元24提取像素G11至G14(这是与类别抽头相同的像素)并且还提取与这些像素相邻的像素，作为预测抽头。参考图3B和3C，水平方向指示输入图像的水平方向，垂直方向指示输入图像的垂直方向。

也就是说，如图3B的左部所示，当前帧的输入图像中与像素G11相邻(在像素G11的左边、右边、上边和下边)的像素G15-1至G15-4充当预测抽头。如图3B的右侧所示，前一帧的输入图像中与像素G13相邻(在像素G13的左边、右边、上边和下边)的像素G16-1至G16-4充当预测抽头。

如图3C的左部所示，当前帧的输入图像中与像素G12相邻(在像素G12的左边、右边、上边和下边)的像素G17-1至G17-4充当预测抽头。如图3C的右侧所示，前一帧的输入图像中与像素G14相邻(在像素G14的左边、右边、上边和下边)的像素G18-1至G18-4充当预测抽头。

这样，预测抽头提取单元24提取总共二十个像素来作为预测抽头，这二十个像素是在空间上或时间上接近输入图像中与关注像素位于相同位置的像素的像素G11至G18-4。

返回参考图2所示的流程图，在步骤S17中，积和计算单元26通过将来自预测抽头提取单元24的构成预测抽头的像素的像素值乘以来自系数保存单元25的转换系数，来执行线性耦合，从而预测性地计算关注像素的像素值。

在步骤S18中，图像生成设备11判定是否已对显示图像的所有像素执行了预测性计算。也就是说，当显示图像的所有像素都已分别被选择为关注像素并且这些像素的像素值已被获得时，判定已经对所有像素执行了预测性计算。

当在步骤S18中判定尚未对所有像素执行预测性计算时，流程返回到步骤S11，并且上述流程被重复。也就是说，显示图像中尚未被选择为关注像素的像素被选择为新的关注像素，并且该关注像素的像素值被获得。

相反，当在步骤S18中判定已对所有像素执行了预测性计算时，积和计算单元26根据所获得的显示图像的像素的像素值来生成显示图像的显示图像信号，并将该显示图像信号提供给显示单元27。流程前进到步骤S19。

在步骤S19中，显示单元27基于从积和计算单元26提供来的显示图像信号对显示图像进行显示。显示处理完成。从而，一帧的显示图像被显示在显示单元27上。然后，显示处理被重复执行，并且每帧的显示图像被顺序显示。

这样，图像生成设备11根据输入图像的运动向量从输入图像中提取类别抽头，并且基于类别抽头和运动向量对每个关注像素进行分类。利用依据类别划分的结果确定的转换系数和根据运动向量从输入图像中提取的预测抽头，图像生成设备11预测性地计算关注像素的像素值，从而获得显示图像。

这样，通过利用根据运动向量从输入图像中提取的预测抽头和利用运动向量确定的基于类别的转换系数来生成显示图像，可以利用简单的处理来生成并显示不会使得观察者感觉到运动模糊的图像。也就是说，可以更容易地改善图像的恶化图像质量。

接下来，将描述图1所示的积和计算单元26执行的预测性计算和对系数保存单元25中记录的转换系数的学习。

例如，作为类别划分适应性处理，执行以下操作。也就是说，从输入图像信号中提取预测抽头，并且利用预测抽头和转换系数，通过执行预测性计算来获得(预测)显示图像的像素的像素值(以下在必要时称为高图像质量像素)。

例如，当线性一次预测性计算被用作预定的预测性计算时，利用式(1)中所示的线性一次式(linear primary equation)来获得高图像质量像素的像素值：

y = Σ_{i = 1}^{N} w_{i} x_{i} \cdot \cdot \cdot (1)

其中xi表示输入图像信号的、构成高图像质量像素的像素值y的预测抽头的第i个像素(以下在必要时称为低图像质量像素)的像素值，并且wi表示将与第i个低图像质量像素(的像素值)相乘的第i个转换系数。在式(1)中，假定预测抽头是由N个低图像质量像素x1，x2，...，xN构成的。

或者，取代式(1)中所示的线性一次式，可以利用二次或高次线性函数来获得高图像质量像素的像素值y。或者，可以不使用线性函数而是使用非线性函数来获得高图像质量像素的像素值y。

现在，当第j个样本高图像质量像素的像素值的真实值为yj，并且利用式(1)获得的真实值yj的预测值由yj′表示时，其预测误差ej由式(2)表达：

e_j＝(y_j-y_j′) …(2)

现在，由于式(2)中的预测值yj′是根据式(1)获得的，因此式(2)中的yj′根据式(1)来替换，从而获得式(3)：

e_{j} = (y_{j} - (Σ_{i = 1}^{N} w_{i} x_{j, i})) \cdot \cdot \cdot (3)

其中xj，i表示构成第j个样本高图像质量像素的预测抽头的第i个低图像质量像素。

其在式(3)(或(2))中的预测误差ej为零的转换系数wi对于预测高图像质量像素是最优的。但是，一般难以对每个高图像质量像素都获得这样的转换系数wi。

因此，当例如最小平方方法被用作表示转换系数wi最优的标准时，可以通过使式(4)所表达的平方误差的总和E最小化来获得最优转换系数wi：

E = Σ_{j = 1}^{J} {(y_{j} - Σ_{i = 1}^{N} w_{i} x_{j, i})}^{2} \cdot \cdot \cdot (4)

其中J表示高图像质量像素yj和构成该高图像质量像素yj的预测抽头的低图像质量像素xj，1，xj，2，...，xj，N的集合的样本数目(用于学习的样本的数目)。

式(4)中的平方误差的总和E的最小值由在总和E对转换系数wi取偏微分时得到零的转换系数wi给出，如式(5)中所示：

\frac{&PartialD; E}{&PartialD; w_{i}} = 2 e_{1} \frac{&PartialD; e_{1}}{&PartialD; w_{i}} + 2 e_{2} \frac{&PartialD; e_{2}}{&PartialD; w_{i}} + \cdot \cdot \cdot + 2 e_{J} \frac{&PartialD; e_{J}}{&PartialD; w_{i}} = 0 (i = 1,2, \cdot \cdot \cdot, N) \cdot \cdot \cdot (5)

与之不同，当式(3)对转换系数wi取偏微分时，获得以下式(6)：

\frac{&PartialD; e_{j}}{&PartialD; w_{1}} = - x_{j, 1}, \frac{&PartialD; e_{j}}{&PartialD; w_{2}} = - x_{j, 2}, \cdot \cdot \cdot, \frac{&PartialD; e_{j}}{&PartialD; w_{N}} = - x_{j, N}, (j = 1,2, \cdot \cdot \cdot, J) \cdot \cdot \cdot (6)

根据式(5)和(6)，获得下面的式(7)：

Σ_{j = 1}^{J} e_{j} x_{j, 1} = 0, Σ_{j = 1}^{J} e_{j} x_{j, 2} = 0, \cdot \cdot \cdot Σ_{j = 1}^{J} e_{j} x_{j, N} = 0 \cdot \cdot \cdot (7)

通过用式(3)来替换式(7)中的ej，式(7)可利用式(8)中所示的正规方程式来表达：

可以利用例如扫出法(Guass-Jordan消元法)来求解式(8)中所示的正规方程式中的转换系数wi。

通过逐个类别地列出并求解式(8)中所示的正规方程式，可以为每个类别获得转换系数wi(使平方误差的总和E最小化的转换系数wi)。也就是说，可以为关注像素的每个类别获得能够估计出关注像素的在统计上最接近真实值的亮度级别(像素值)的转换系数wi。

图1所示的积和计算单元26可以通过利用上述的每个类别的转换系数wi，通过计算式(1)来从输入图像信号获得显示图像信号。

接下来，图4示出了执行学习以通过逐个类别地列出并求解式(8)中所示的正规方程式来获得转换系数wi的学习设备的结构示例。

学习设备71包括关注像素提取单元81、学生图像生成单元82、运动向量检测单元83、类别抽头提取单元84、类别划分单元85、预测抽头提取单元86、计算单元87以及系数生成单元88。

充当用于获得转换系数的教师图像的教师图像信号的输入图像信号被提供给学习设备71的关注像素提取单元81和学生图像生成单元82。这里，教师图像指的是在用于学习处理的图像中，利用转换系数最终将获得的图像样本所构成的图像，也就是由高图像质量像素yj构成的图像。在学习处理中，由用于获得教师图像的图像样本构成的图像，即由低图像质量像素构成的图像，将被称为学生图像。因此，教师图像对应于图像生成设备11中的显示图像，学生图像对应于图像生成设备11中的输入图像。

关注像素提取单元81每次一个像素地按顺序将基于所提取的教师图像信号的教师图像中的像素之一视为将要注意的关注像素，从教师图像信号中提取关注像素(更具体地说就是提取关注像素的像素值)，并且将关注像素(或者说其像素值)提供给计算单元87。

利用所提供的教师图像信号，学生图像生成单元82生成学生图像的学生图像信号，并将该学生图像信号提供给运动向量检测单元83、类别抽头提取单元84和预测抽头提取单元86，其中该学生图像被用于获得转换系数并且是质量低于基于教师图像信号的教师图像的图像。

例如，作为具有运动模糊的输入图像的视觉图像被生成作为学生图像。视觉图像指的是在前一帧的输入图像被显示并且随后当前帧的输入图像被显示的情况下，在从前一帧的输入图像被显示时到当前帧的输入图像被显示时的时段中观察显示单元27的观察者的眼睛所看到的图像。也就是说，当输入图像被按原样显示在显示单元27上时，取决于显示单元27的特性，被预测将被观察输入图像的观察者所感觉到的图像是视觉图像。

基于来自学生图像生成单元82的学生图像信号，运动向量检测单元83检测学生图像中的运动向量，并且将运动向量提供给类别划分单元85、类别抽头提取单元84和预测抽头提取单元86。

利用来自运动向量检测单元83的运动向量，联系教师图像中的关注像素，类别抽头提取单元84从来自学生图像生成单元82的学生图像信号中提取学生图像的一些像素作为类别抽头。类别抽头提取单元84将所提取的类别抽头提供给类别划分单元85。

利用来自运动向量检测单元83的运动向量和来自类别抽头提取单元84的类别抽头，类别划分单元85将关注像素分类到某个类别，并且将指示该类别的类别代码提供给计算单元87。

利用来自运动向量检测单元83的运动向量，联系教师图像中的关注像素，预测抽头提取单元86从来自学生图像生成单元82的学生图像信号中提取学生图像的一些像素作为预测抽头。预测抽头提取单元86将所提取的预测抽头提供给计算单元87。

把从关注像素提取单元81提供来的关注像素与从预测抽头提取单元86提供来的预测抽头相关联，计算单元87根据来自类别划分单元85的类别代码，对关注像素和构成预测抽头的像素执行加法。

也就是说，教师图像数据中的关注像素的像素值yj，(学生图像数据中构成)预测抽头(的像素的像素值)xj，i、以及指示关注像素的类别的类别代码被提供给计算单元87。

对于与类别代码相关的每个类别，利用预测抽头(学生图像信号)xj，i，计算单元87与式(8)左侧矩阵中的学生图像信号的乘法(xj，ixj，i)以及对通过该乘法获得的乘积进行的加法相对应的计算。

另外，对于与类别代码相关的每个类别，利用预测抽头(学生图像信号)xj，i和教师图像信号yj，计算单元87执行与式(8)右侧向量中的学生图像信号xj，i和教师图像信号yj的乘法(xj，iyj)以及对通过该乘法获得的乘积进行的加法相对应的计算。

也就是说，计算单元87存储为充当先前关注像素的教师图像信号获得的、式(8)左侧矩阵的分量(∑xj，ixj，i)和式(8)右侧向量的分量(∑xj，iyj)。对于充当新的关注像素的教师图像信号，计算单元87将利用教师图像信号yj+1和学生图像信号xy+1，i计算的相关分量xj+1，ixj+1，i或xj+1，iyj+1加到矩阵的分量(∑xj，ixj，i)或向量的分量(∑xj，iyj)(即，执行式(8)中∑的所表示的加法)。

计算单元87将教师图像信号的所有像素视为关注像素并且执行上述的加法，从而为每个类别列出(生成)式(8)中所示的正规方程式，该正规方程式随后被提供给系数生成单元88。

系数生成单元88通过求解利用计算单元87执行的加法获得的每个类别的正规方程式(的矩阵系数)，来获得每个类别的最优转换系数wi，并且记录所获得的最优转换系数wi。

接下来，图5是示出图4所示的学生图像生成单元82的更详细的示例性结构的框图。

学生图像生成单元82包括运动向量检测单元111、运动补偿单元112、响应模型保存单元113、运动补偿单元114以及积分单元115。

运动向量检测单元111检测所提供的教师图像中的运动向量，并将检测到的运动向量提供给运动补偿单元112和运动补偿单元114。

运动补偿单元112利用所提供的教师图像和从运动向量检测单元111提供来的运动向量来执行运动补偿，并且生成过去图像，过去图像是与时间上在充当所提供的教师图像的输入图像之前一个图像的前一帧的输入图像相对应(相关)的图像。运动补偿单元112将教师图像和所生成的过去图像提供给响应模型保存单元113。

这里，过去图像是与下述输入图像相当的图像：该输入图像是通过在与运动物体的运动向量所指示的方向相反的方向上移动运动物体(该运动物体在充当所提供的教师图像的输入图像中运动)而生成的，并且比所提供的输入图像靠前一帧。

响应模型保存单元113预先保存着指示出图像生成设备11的显示单元27的发光特性的模型，例如在构成显示单元27的显示屏幕的每个像素的亮度值从某个亮度值改变成一个不同的亮度值时表示亮度值的时间变化的响应模型。当显示单元27利用例如LCD实现时，显示单元27的响应模型是LCD的响应模型。当其中每个像素的亮度值为最低的黑图像被显示在显示单元27上之后，其中每个像素的亮度值为最高的白图像被显示。在这种情况下，利用高速相机或光探测器来测量每个像素的亮度值的时间变化，从而生成显示单元27的响应模型。

利用所保存的响应模型和从运动补偿单元112提供来的教师图像和过去图像，在过去图像被显示在显示单元27上并且随后充当教师图像的输入图像被显示在显示单元27上的情况下，响应模型保存单元113生成过渡图像，过渡图像是在所显示的图像被从过去图像切换到输入图像(教师图像)时显示单元27上显示的暂态图像。响应模型保存单元113把从运动补偿单元112提供来的教师图像和过去图像以及所生成的过渡图像提供给运动补偿单元114。

例如，当过去图像被显示在显示单元27上并且随后输入图像(教师图像)被显示在显示单元27上时，构成显示单元27上显示的图像(即，显示单元27的显示屏幕)的每个像素的像素值根据响应模型所指示的亮度值的变化，从显示过去图像时的亮度值逐渐改变成显示输入图像时的亮度值。

在显示单元27上显示的图像被从过去图像切换到输入图像期间的时段中的预定时刻在显示单元27上显示的图像充当过渡图像。响应模型保存单元113在预定时刻生成例如十六个过渡图像。换言之，过渡图像是在过去图像的帧和输入图像的帧之间的帧中显示的图像。

运动补偿单元114通过利用从运动向量检测单元111提供来的运动向量以及从响应模型保存单元113提供来的教师图像、过去图像和过渡图像执行运动补偿来获得跟踪像素的像素值，并将所获得的跟踪像素的像素值提供给积分单元115。

现在，将描述跟踪像素。当过去图像被显示在显示单元27上并且随后充当教师图像的输入图像被显示在显示单元27上时，作为观察显示单元27的观察者在从显示过去图像时到显示输入图像时的时段中感觉到的图像的视觉图像是过去图像、过渡图像和输入图像的平均图像。

也就是说，例如，当其中运动物体在显示屏幕上按预定方向运动的图像被显示在显示单元27上时，观察者的眼睛跟随该运动物体。从而，过去图像、过渡图像和输入图像中显示运动物体的预定部分的像素的亮度值的平均值，更具体地说也就是这些图像中被观察者的眼睛所跟随的像素的亮度值的平均值，充当视觉图像中显示运动物体的该预定部分的像素的亮度值。

在以下描述中，过去图像、过渡图像和输入图像的经历了平均计算以便获得视觉图像中的预定像素的亮度值(像素值)的像素，也就是被预测会被观察者的眼睛跟随的像素，被称为跟踪像素。因此，对于视觉图像的各个像素，运动补偿单元114获得使过去图像、过渡图像和输入图像的跟踪像素按各自的亮度值发光的像素值，并将所获得的像素值作为跟踪像素的像素值提供给积分单元115。

积分单元115通过对从运动补偿单元114提供来的跟踪像素的像素值进行积分来生成视觉图像，并将所生成的视觉图像作为学生图像提供给运动向量检测单元83、类别抽头提取单元84和预测抽头提取单元86。也就是说，积分单元115对于视觉图像的每个像素获得与该像素相关的跟踪像素的亮度值的平均值，并将所获得的平均值视为视觉图像中该像素的像素值，从而生成视觉图像，更具体地说也就是视觉图像信号。

与提供给图像生成设备11的相同的输入图像信号，也就是说通过拍摄拍摄对象的图像而获得并且没有经历特定处理的输入图像信号，作为教师图像信号被提供给学习设备71。该输入图像信号是每次一帧地提供的，并且至少两帧被提供。当教师图像信号被提供给学习设备71时，学习设备71利用所提供的教师图像信号生成学生图像信号，并且开始根据教师图像信号和学生图像信号获得转换系数的学习处理。

下面，参考图6所示的流程图，将描述学习设备71执行的学习处理。

在步骤S41中，学生图像生成单元82通过基于所提供的教师图像信号执行学生图像生成处理来生成充当学生图像的视觉图像，并将所生成的学生图像提供给运动向量检测单元83、类别抽头提取单元84和预测抽头提取单元86。学生图像生成处理将在下文中详细描述。

在步骤S42中，关注像素提取单元81将基于所提供的教师图像信号的教师图像信号中的某个像素视为关注像素，并且从教师图像信号中提取该关注像素，更具体地说也就是该关注像素的像素值。关注像素提取单元81将所提取的关注像素提供给计算单元87。

在步骤S43中，运动向量检测单元83利用从学生图像生成单元82提供来的帧的学生图像(学生图像信号)和该帧的前一帧的学生图像检测从学生图像生成单元82提供来的帧的学生图像中与关注像素位于相同位置的像素的运动向量。

此次要处理的帧将被称为当前帧，在时间上位于当前帧之前一帧的帧将被称为前一帧。运动向量检测单元83保存着上次提供的前一帧的学生图像信号。例如，运动向量检测单元83通过执行例如块匹配或梯度方法，利用当前帧的学生图像信号和前一帧的学生图像信号，来检测当前帧的学生图像中与关注像素位于相同位置的像素的运动向量。运动向量检测单元83将检测到的运动向量提供给类别划分单元85、类别抽头提取单元84和预测抽头提取单元86。

在步骤S44中，基于从运动向量检测单元83提供来的运动向量，类别划分单元85生成依据运动向量的大小(绝对值)确定的运动代码。运动代码是二进制数据(比特值)，并且用于对关注像素进行分类。

在步骤S45中，类别抽头提取单元84基于来自运动向量检测单元83的运动向量和来自学生图像生成单元82的学生图像信号，联系教师图像中的关注像素，从学生图像中提取类别抽头，并且将类别抽头提供给类别划分单元85。也就是说，类别抽头提取单元84保存着前一帧的学生图像信号。利用前一帧的学生图像信号和当前帧的学生图像信号，类别抽头提取单元84提取在时间上或空间上位置接近当前帧的学生图像信号中与关注像素位于相同位置的像素的一些像素，更具体而言也就是这些像素的像素值，来作为类别抽头。

例如，类别抽头提取单元84提取学生图像中的下述像素来作为类别抽头：这些像素与类别抽头提取单元22从输入图像中提取的类别抽头相对于关注像素具有相同的位置关系。也就是说，当图3A所示的当前帧和前一帧的图像对应于学生图像，并且像素G11是与教师图像中的关注像素位于相同位置的像素时，像素G11至G14被提取作为类别抽头。

在步骤S46中，类别划分单元85向从类别抽头提取单元84提供来的类别抽头应用ADRC处理。

在步骤S47中，类别划分单元85通过基于所生成的运动代码和作为ADPC处理的结果而获得的ADRC代码对关注像素进行分类来确定关注像素的类别，并且将指示所确定的类别的类别代码提供给计算单元87。

在步骤S48中，预测抽头提取单元86基于来自运动向量检测单元83的运动向量和来自学生图像生成单元82的学生图像信号，从学生图像中提取预测抽头，并且将预测抽头提供给计算单元87。也就是说，预测抽头提取单元86保存前一帧的学生图像信号。利用前一帧的学生图像信号和当前帧的学生图像信号，预测抽头提取单元86提取在时间上或空间上位置接近当前帧的学生图像中与关注像素位于相同位置的像素的一些像素，更具体而言是这些像素的像素值，来作为类别抽头。

例如，预测抽头提取单元86提取学生图像中的下述像素来作为预测抽头：这些像素与预测抽头提取单元24从输入图像中提取的预测抽头相对于关注像素具有相同的位置关系。也就是说，当图3A所示的当前帧和前一帧的图像对应于学生图像，并且像素G11是与教师图像中的关注像素位于相同位置的像素时，像素G11至G18-4被提取作为预测抽头。

在步骤S49中，在把从关注像素提取单元81提供来的关注像素与从预测抽头提取单元86提供来的预测抽头关联起来的同时，计算单元87利用式(8)中所示的为与来自类别划分单元85的类别代码相关的类别制定的正规方程式，来对关注像素和构成预测抽头的像素执行加法。

在步骤S50中，计算单元87判定是否已对所有像素执行了加法。例如，当已经用当前帧的教师图像的所有像素作为关注像素执行了加法时，判定已经对所有像素执行了加法。

当在步骤S50中判定尚未对所有像素执行加法时，流程返回到步骤S42，并且上述流程被重复。也就是说，教师图像中尚未被选择为关注像素的像素被选择为新的关注像素，并且加法被执行。

相反，当在步骤S50中判定已经对所有像素执行了加法时，计算单元87把为每个类别制定的正规方程式提供给系数生成单元88。流程前进到步骤S51。

在步骤S51中，系数生成单元88通过利用扫出法等等对从计算单元87提供来的该类别的正规方程式求解来获得每个类别的转换系数wi，并且记录转换系数wi。从而，获得了用于预测每个类别的关注像素的像素值的转换系数wi。这样获得的转换系数wi被记录在图像生成设备11的系数保存单元25中，并且被用于生成显示图像。

这样，通过利用输入图像作为教师图像并且利用视觉图像作为学生图像执行学习来获得转换系数，可以利用更简单的处理来获得用于将输入图像转换成更高质量的显示图像的转换系数。利用这样获得的转换系数，可以将输入图像转换成更高质量的显示图像，并且可以显示更高质量的显示图像。结果，可以更容易地改善图像的恶化图像质量。

在以上描述中，描述了这样的示例，其中，一帧的教师图像的像素分别充当关注像素，并且获得转换系数。或者，可以利用多帧的教师图像来获得转换系数。在这种情况下，这些帧的教师图像的像素分别充当关注像素，并且正规方程式被逐类别地列出。

现在参考图7所示的流程图，将描述学生图像生成处理，这是与图6的步骤S41中的处理相关的处理。

在步骤S81中，利用所提供的教师图像，运动向量检测单元111通过执行例如块匹配或梯度方法来检测运动向量，并且将运动向量提供给运动补偿单元112和运动补偿单元114。例如，利用前一帧的教师图像和此次新提供的当前帧的教师图像，运动向量检测单元111检测当前帧的教师图像中的每个像素的运动向量。

在步骤S82中，基于所提供的教师图像和从运动向量检测单元111提供来的运动向量，运动补偿单元112利用双三次滤波器等等执行像素以下精度的运动补偿，并且生成过去图像。运动补偿单元112将所提供的教师图像和所生成的过去图像提供给响应模型保存单元113。

例如，如图8A所示，当在上次提供的前一帧的教师图像和此次新提供的当前帧的教师图像之间检测教师图像中的运动物体OB1的运动，也就是运动物体OB1的运动向量MV1时，如图8B所示，当前帧的教师图像中的运动物体OB1在与所检测到的运动相反的方向上运动，从而生成过去图像。

在图8A和图8B中，垂直方向指示时间，并且水平方向指示空间方向，即图像中的位置。另外，在图8A和图8B中，一个圆指示一个像素。

参考图8A，上部的像素阵列指示前一帧的教师图像(输入图像)，下部的像素阵列指示当前帧的教师图像(输入图像)。水平布置着前一帧和当前帧的教师图像中的黑像素(黑圆)的区域指示在教师图像中运动的运动物体OB1。运动物体OB1随着时间向左运动。

因此，运动向量检测单元111检测运动物体OB1的运动向量1，其由图8A中的箭头指示。例如，运动向量MV1是向左运动量为MV1的向量。

当检测到运动物体OB1的运动时，运动补偿单元112如图8B所示根据当前帧的教师图像和检测到的运动向量MV1生成过去图像。参考图8B，上部的像素阵列指示所生成的过去图像，下部的像素阵列指示当前帧的教师图像。

运动补偿单元112通过使已检测到的在当前帧的教师图像中运动的像素(如图8A中的箭头所示)(即运动物体OB1)在与检测到的运动向量MV1相反的方向上移动一个等于运动向量MV1的量，来生成过去图像。从而，与前一帧的教师图像(输入图像)基本相同的图像被生成作为过去图像。

前一帧的教师图像可被按原样用作过去图像。但是，当通过执行运动补偿来生成过去图像时，由于运动量为一个像素以下的运动物体的运动或者噪声分量，而不生成帧间差异，最好通过执行运动补偿来生成过去图像。为了检测运动向量，除了在当前帧一帧前的一帧教师图像之外，还可以使用时间上在当前帧的两帧前的一帧教师图像。

返回参考图7所示的流程图，在步骤S83中，响应模型保存单元113利用预先保存的响应模型以及从运动补偿单元112提供来的教师图像和过去图像来生成过渡图像。响应模型保存单元113把从运动补偿单元112提供来的教师图像和过去图像以及所生成的过渡图像提供给运动补偿单元114。

例如，响应模型保存单元113保存着图9所示的响应模型。这里，图9中的响应模型示出了充当显示单元27的LCD的响应特性。在图9中，LCD中的一个像素的亮度值在纵坐标上绘出，并且时间在横坐标上绘出。

曲线L71指示出当亮度值从98变到0时像素的亮度值的时间变化。在0ms之后，也就是在亮度值改变之后，亮度值以基本线性的方式减小。曲线L72是曲线L71的反转拷贝。也就是说，曲线L72是与曲线L71关于指示亮度值50的水平直线对称的曲线。

另外，曲线L73指示出在亮度值从0变到98时像素的像素值的时间变化。在0ms之后，也就是在亮度值改变之后，亮度值逐渐增大。特别地，曲线L73在从0ms到5ms的区间中指示出亮度值的突然增大。

例如，响应模型保存单元113使用下述曲线以及曲线L71来作为显示单元27的响应模型：该曲线在每个时刻的亮度值是通过将在该时刻曲线L72的亮度值和在该时刻曲线L72的亮度值相加并且将总和除以2而获得的，也就是说该曲线是通过对曲线L72和L73取平均而获得的。

响应模型保存单元113利用上述响应模型生成过渡图像。例如，当根据当前帧的教师图像生成图8B所示的过去图像时，如图10所示，生成过去图像和当前帧的教师图像之间的过渡图像。在图10中，垂直方向指示时间，并且水平方向指示空间方向，即图像中的位置。另外，在图10中，一个圆指示一个像素。

参考图10，顶部的像素阵列(即顶部的水平像素阵列)指示过去图像，而底部的像素阵列指示当前帧的教师图像。过去图像和教师图像之间的水平像素阵列指示所生成的过渡图像。在图10所示的示例中，生成了十五个过渡图像。

也就是说，十五帧的过渡图像被生成作为与前一帧的教师图像相对应的过去图像和当前帧的教师图像之间的帧(相位)的图像。在图10中，像素阵列所表示的过渡图像的位置越高，过渡图像就越早，也就是说，过渡图像的帧(相位)与前一帧就越接近。

在图10中，在过去图像、过渡图像和教师图像(输入图像)中，布置垂直方向上的像素被认为是位于相同位置的像素。

例如，在区间A71内，过去图像的像素具有较高的亮度值，而教师图像的像素具有较低的亮度值。换言之，在区间A71内过去图像的像素是白像素(亮像素)，并且在区间A71内教师图像的像素是黑像素(暗像素)。从而在区间A71内过渡图像的像素的亮度值随着时间减小。也就是说，在区间A71内，在时间上较接近当前帧的帧的过渡图像(较靠近底部的过渡图像)的像素具有较低的亮度值。

在区间A72内，过去图像的像素和教师图像的像素具有相同的亮度值。从而，在区间A72内过渡图像的像素的像素值是不随时间变化的。也就是说，在区间A72内，任何帧的过渡图像的像素都具有与教师图像的像素相同的亮度值。

在区间A73内，过去图像的像素具有较低的亮度值，而教师图像的像素具有较高的亮度值。也就是说，在区间A73内，在时间上较接近当前帧的帧的过渡图像(较靠近底部的过渡图像)的像素具有较高的亮度值。

这样，当在教师图像和过去图像中位于相同位置的像素的亮度值不同时，也就是说，当教师图像中的像素的亮度值随时间变化时，过渡图像中位于相关位置的像素的亮度值是根据亮度值的时间变化来确定的，该时间变化由响应模型指示。

例如，当响应模型保存单元113保存着图9所示的响应模型，并且当从显示与前一帧的图像相对应的过去图像的显示时刻到显示当前帧的教师图像的显示时刻的时间段为24ms时，如果教师图像中某个位置处的像素的亮度值为0并且过去图像中相关位置处的像素的亮度值为98，则前一帧和当前帧之间的中间帧(即在前一帧的图像的显示时刻之后12ms的显示时刻上的帧)的过渡图像中(与教师图像中的像素相关的)相关位置处的像素的像素值是使得亮度值为30的像素值。

在图10所示的示例中，生成了十五个过渡图像，并且将一帧划分成十六个部分。或者，可以将一帧划分成四个部分或64个部分。当把一帧划分成更多个部分时，可以获得更准确的视觉图像。

返回参考图7所示的流程图，在步骤S84中，运动补偿单元114利用双三次滤波器等等来执行像素以下精度的运动补偿，并且通过使用从运动向量检测单元111提供来的运动向量以及从响应模型保存单元113提供来的教师图像、过去图像和过渡图像来跟踪像素的像素值。

也就是说，运动补偿单元114通过使用从运动向量检测单元111提供来的运动向量执行像素以下精度的运动补偿，并且计算从响应模型保存单元113提供来的教师图像、过去图像和过渡图像的跟踪像素的像素值。当运动补偿单元114对于视觉图像(该视觉图像是将要获得的图像并且目前并不存在；因此，该视觉图像是虚拟地假设的)的所有像素获得了跟踪像素的像素值时，运动补偿单元114将计算出的跟踪像素的像素值提供给积分单元115。

一般来说，根据经验可以明白，人眼跟随帧的中间相位。换言之，当一帧的图像和下一帧的图像被顺序显示时，在显示第一帧的图像的时刻和显示下一帧的图像的时刻之间的中间时刻显示的虚拟帧将被称为中间帧。人眼将中间帧的图像感觉为人眼看到的图像，即视觉图像。

由于观察者的眼睛跟随图像中的运动物体，观察者的视线移动的方向和图像中的运动物体的运动向量的方向是相同的方向。因此，利用当前帧的教师图像的运动向量，可以指定过去图像和过渡图像中估计将被观察者眼睛跟随的像素。这些像素充当跟踪像素，基于这些跟踪像素可以生成视觉图像。

例如，当生成了图10所示的过渡图像时，如图11所示，可以通过利用运动向量执行运动补偿来获得视觉图像的每个像素的跟踪像素。在图11中，垂直方向指示时间，并且水平方向指示空间方向，即图像中的位置。另外，在图11中，一个圆指示一个像素。另外，在图11中，与图10所示对应的部分被赋予相同的标号，对其的详细描述被省略。

参考图11，顶部的水平像素阵列指示过去图像，底部的水平像素阵列指示当前帧的教师图像。过去图像和教师图像之间的水平像素阵列指示所生成的过渡图像。

例如，将描述要计算视觉图像中与过渡图像中的像素G51位于相同位置的像素的像素值的情况。包括像素G51的过渡图像是过去图像和教师图像之间的中间相位处的过渡图像。还假定，过去图像中由像素G52表示的运动物体的一部分在教师图像中由像素G53显示。还假定，像素G53的运动向量(即指示观察者眼睛的运动轨迹并且将像素G52与像素G53相连的直线)上的像素(观察者的眼睛所跟随的像素)，是位于包括像素G51的区域R11内的像素。

在图11所示的示例中，过去图像、过渡图像和教师图像中的每一个的位于区域R11内的像素的数目对于过去图像、过渡图像和教师图像中的每一个是一个。

在此情况下，由于区域R11内的像素是观察者的眼睛所跟随的像素，所以位于区域R11内的像素充当视觉图像中与像素G51位于相同位置的像素的跟踪像素。因此，视觉图像中的像素的像素值可通过计算过去图像、过渡图像和教师图像的区域R11内的像素的像素值的平均值来获得。

由于位于区域R11内的像素的数目不一定对于每个图像都是一个，所以每个图像中的跟踪像素的像素值实际上是通过执行像素以下精度的运动补偿来获得的。也就是说，跟踪像素的像素值是根据接近区域R11的一些像素的像素值获得的。

返回参考图7所示的流程图，当计算视觉图像中的每个像素的跟踪像素的像素值时，在步骤S85中，积分单元115通过对从运动补偿单元114提供来的跟踪像素的像素值进行积分来生成视觉图像。积分单元115将所生成的视觉图像(视觉图像信号)作为学生图像提供给运动向量检测单元83、类别抽头提取单元84和预测抽头提取单元86。学生图像生成处理完成。流程前进到图6中的步骤S42。

例如，积分单元115对于视觉图像中的一个像素，计算过去图像、过渡图像和输入图像中与视觉图像中的该像素相关的跟踪像素的像素值的平均值，并且将计算出的平均值视为视觉图像中该像素的像素值。积分单元115以这种方式计算视觉图像中的每个像素的像素值，从而生成视觉图像。

这样，学生图像生成单元82基于充当教师图像的输入图像生成视觉图像，来作为学生图像，其中该视觉图像是当输入图像被按原样显示在显示单元27上时预测将被人眼感觉到的图像。充当学生图像的视觉图像是根据正确亮度级别下的无运动模糊输入图像生成的并且根据显示单元27的特性和人眼感觉特性而附加有运动模糊的图像。

当用这样生成的视觉图像作为学生图像并且用输入图像作为教师图像来执行学习处理时，可以获得用于把使得观察者感觉到在显示单元27上显示的视觉图像的图像转换成使得观察者感觉输入图像被显示在显示单元27上的图像(即没有运动模糊的鲜明图像)的转换系数。

因此，当图像生成设备11利用该转换系数来转换输入图像时，可以获得能够被观察者感觉为没有运动模糊的鲜明图像的显示图像。

也就是说，例如，诸如过驱动之类的技术针对由于显示设备的特性引起的图像质量恶化来对输入图像进行补偿。与之不同，图像生成设备11针对被观察显示单元27的观察者感觉到的并且是由观察者的视觉特性导致的图像的图像质量恶化，来对输入图像进行补偿。因此，可以显示使得观察者感觉到更接近输入图像的图像的显示图像。另外，由于不像插黑技术中那样插入黑图像，所以屏幕不会变暗。

保持型显示设备中由运动模糊导致的图像质量的恶化发生在显示器的响应速度变为零时。因此，图像生成设备11可以通过利用输入图像执行类别划分适应性处理来生成显示图像，从而可靠地改善由于运动模糊而恶化的图像质量。

与仅利用输入图像来生成图像的情况相比，通过利用输入图像和根据输入图像生成的视觉图像，可以生成更高质量的图像。例如，当视觉图像和输入图像之间的差异被加到输入图像并且所得到的图像被显示在显示单元27上时，观察者这个所得到的图像的观察者的眼睛所看到的该图像应当就好像输入图像被显示时那样。也就是说，该图像确实看起来像显示图像。

由于视觉图像是根据输入图像生成的，因此毕竟应当仅利用输入图像来生成显示图像。因此，应当仅利用输入图像来生成用于将输入图像转换成显示图像的转换系数。

学习设备71根据输入图像生成视觉图像，并且根据视觉图像中的一些像素的像素值和输入图像中的关注像素的像素值来获得转换系数。此情况下使用的视觉图像中的一些像素，即构成预测抽头的像素，被认为是在时间上或空间上接近所提供的帧的视觉图像中与关注像素位于相同位置的像素的一些像素。另外，如图3B和图3C所示，大约二十个像素被用作预测抽头。

之所以能够获得用于即使在只使用大约二十个像素时也获得使观察者感觉正在显示鲜明图像的图像的转换系数是因为以下原因。也就是说，充当学生图像的运动模糊图像包括与运动量相对应的运动物体的多个部分或者多个像素的混合。因此，预测关注像素所必需的元素被包括在学生图像中与关注像素位于相同位置的像素的环境中。基本上，为了预测关注像素，并不需要许多像素。

例如，假定充当拍摄对象的运动物体的图像是利用充当预定基准的基准速度的15/1的快门速度来拍摄的。通过该图像拍摄操作获得的所拍摄图像相当于通过用快门速度作为基准速度在时间上连续拍摄的五个部分图像的平均，如图12所示。

参考图12，一个矩形指示部分图像中的一个像素，并且水平的矩阵阵列指示一个部分图像。在像素上写的字符“A”至“H”指示充当拍摄对象的运动物体的部分。例如，其上写有字符“A”的矩形指示部分图像中显示运动物体的部分A的像素。显示部分A的该像素也将被称为像素A。从顶部到底部的部分图像将被称为帧F1至F5的部分图像。部分图像的位置越高，部分图像的帧就越早。

例如，所拍摄的图像中与帧F3的部分图像的像素C位于相同位置的像素充当目标像素。目标像素的像素值是帧F1至F5的部分图像中与目标像素位于相同位置的像素的像素值。也就是说，目标像素的像素值是通过将下述像素值的总和除以5来获得的：帧F1中的像素E的像素值、帧F2中的像素D的像素值、帧F3中的像素C的像素值、帧F4中的像素B的像素值、以及帧F5中的像素A的像素值。这样，所拍摄的图像是包括这些帧的部分图像的混合的图像，即运动模糊的图像。

这里，将描述利用学习处理来获得用于从充当学生图像的所拍摄图像生成无运动模糊的教师图像的转换系数的情况。由于教师图像是没有运动模糊的图像，例如，当教师图像是相位与帧F3的部分图像相同的图像时，帧F3的部分图像对应于教师图像。

例如，运动物体的部分C在充当教师图像的帧F3的部分图像中被显示在与所拍摄图像中的目标像素位于相同位置的像素处。因此，当教师图像中与目标像素位于相同位置的像素充当关注像素时，如果包括部分C的元素在内的像素被从所拍摄图像中提取出来作为用于获得关注像素的预测抽头，则用于预测关注像素的像素值的转换系数应当利用所提取的预测抽头来更准确地获得。也就是说，只需要将帧F1至F5的部分图像中显示部分C的至少一些像素以及所拍摄图像中位于相同位置的像素视为预测抽头。

特别地，一般已经知道，用于更准确地获得关注像素的转换系数可通过将所拍摄图像中位于包括部分C的元素在内的区域的极边缘处的像素视为预测抽头来获得。在图12所示的示例中，所拍摄图像中与帧F1的部分图像中的像素C和帧F5的部分图像中的像素C位于相同位置的像素充当包括部分C的元素在内的区域的极边缘处的像素。

所拍摄图像的包括部分C的这种元素在内的区域应当是以目标像素为中心并且处于与中心的距离为目标像素的运动向量的大小的范围内的区域。因此，当与目标像素的距离为目标像素的运动向量的大小的范围内的像素充当预测抽头时，应当获得用于准确预测关注像素的转换系数。因此，在学习设备71(或者图像生成设备11)中，如果图3A至图3C所示的图像充当学生图像，那么学生图像(或输入图像)中与关注像素位于相同位置的像素G11、与像素G11相邻的像素、与像素G11的距离为运动向量mv的大小的k倍(其中0＜k≤1)的像素G12、以及与像素G12相邻的像素被选择作为预测抽头。

特别地，在学习时，由于利用这些预测抽头执行学习处理，因此获得了这样的转换系数：其中，将与和关注像素更紧密相关的像素(预测抽头)相乘的系数变大。因此，利用转换系数，可以利用更少的预测抽头来更准确地预测关注像素，从而改善了运动模糊去除效果。另外，由于可以利用更少的预测抽头来预测性地计算关注像素，所以可利用具有更小尺寸的硬件来实现图像生成设备11。

在图12所示的示例中，在时间上在所拍摄图像的帧(当前帧)之前和之后的帧的所拍摄图像中存在包括部分C的元素在内的像素。因此，当时间上不同于当前帧的帧中包括部分C的元素在内的像素被用作预测抽头时，可以准确地预测关注像素。每个帧的所拍摄图像中包括部分C的元素在内的区域是根据所拍摄图像(目标像素)的运动向量获得的，这与当前帧的情况一样。

因此，当图3A至图3C所示的图像充当学生图像时，学习设备71(或者图像生成设备11)提取前一帧的学生图像(或输入图像)的像素G13、与像素G13相邻的像素、前一帧的学生图像(或输入图像)中的像素G14、以及与像素G14相邻的像素，来作为预测抽头。这里，像素G13是位于下述位置的像素：该位置相对于学生图像(或输入图像)中与关注像素位于相同位置的像素G11′在与运动向量mv相反的方向上偏离了与运动向量mv的大小相等的距离。像素G14是位于下述位置的像素：该位置相对于像素G11′偏离了等于运动向量mv的大小、的k倍的距离(其中0＜k≤1)。

这样，在学习处理和类别划分适应性处理中，可以通过用在空间上或时间上位置接近与关注像素位于相同位置的像素并且处于学生图像或输入图像中的像素作为预测抽头，来更准确地预测关注像素。

因此，在学习处理和类别划分适应性处理中充当预测抽头的像素并不限于图3A至图3C所示的示例中的那些。任何像素都可充当预测抽头，只要它在空间上或时间上位置接近与关注像素位于相同位置的像素并且处于学生图像或输入图像中即可。

例如，如图13所示，从在类别划分适应性处理时提供给图像生成设备11的输入图像中，可以提取在时间上或空间上位置接近像素G11的像素G81至G85以及与这些像素G81至G85相邻的像素，来作为预测抽头。在图13中，与图3所示的那些相对应的部分被赋予相同的标号，并且对其的详细描述被省略。在图13中，在顶部，水平像素(圆)阵列指示时间上在当前帧之后一帧的帧(以下称之为后一帧)的输入图像。

例如，假定像素G12是当前帧的输入图像中位于下述位置的像素：该位置相对于像素G11在与运动向量mv相反的方向上偏离了等于运动向量mv的大小MV的k倍的距离(其中0＜k≤1)。在此情况下，像素G81是当前帧的输入图像中位于下述位置的像素：该位置相对于像素G11在运动向量mv的方向上偏离了距离kMV。像素G82是前一帧的输入图像中位于下述位置的像素：该位置相对于像素G13在与运动向量mv相反的方向上偏离了距离kMV。

像素G83是位于下述位置的像素：该位置相对于后一帧的输入图像中与像素G11位于相同位置的像素G11”在运动向量mv的方向上偏离了距离MV。像素G84是后一帧的输入图像中位于下述位置的像素：该位置相对于像素G83在与运动向量mv相反的方向上偏离了距离kMV。像素G85是后一帧的输入图像中位于下述位置的像素：该位置相对于像素G83在运动向量mv的方向上偏离了距离kMV。

这样，可以利用像素G11至G14、像素G81至G85、以及在垂直和水平方向上与这些像素相邻的像素中的一些作为预测抽头，来更准确地预测关注像素。因为类似的原因，像素G11至G14和像素G81至G85中的一些可充当类别抽头。

以上已经描述了学习设备71的学生图像生成单元82根据充当教师图像的输入图像来生成过去图像和过渡图像，并且根据过去图像、过渡图像和教师图像来生成充当学生图像的视觉图像。但是，如图14所示，一些帧的教师图像的平均可充当学生图像。在图14中，垂直方向指示时间，并且一个圆指示教师图像或学生图像的一帧。

例如，参考图14，假定左侧的帧F11至F13是教师图像的时间上连续的帧，并且帧F12是教师图像的当前帧。在此情况下，通过对帧F12的教师图像、时间上在帧F12之前一帧的帧F11的教师图像、以及时间上在帧12之后一帧的帧13的教师图像取平均而获得的图像充当与帧F12处于相同相位的帧F14的学生图像。也就是说，这些教师图像中位于相同位置的像素的像素值的平均值充当学生图像中与这些像素位于相同位置的像素的像素值。

这样，通过对时间上连续的帧的教师图像取平均而获得的图像是其中附加生成了运动模糊的当前帧的教师图像。当利用通过用图14所示的示例中生成的学生图像执行学习处理而获得的转换系数来转换输入图像时，可以预期，输入图像本身中包括的运动模糊的量减小到1/3。利用通过用学生图像执行学习处理而获得的转换系数进行的图像转换对应于在用相机拍摄图像时对快门速度的转换。

以上已经描述了通过执行学习处理来从教师图像生成学生图像。或者，可以从学生图像生成教师图像。在这种情况下，学习设备71例如包括图15所示的组件。在图15中，与图4所示的那些相对应的部分被赋予相同的标号，对其的详细描述被省略。

图15所示的学习设备71与图4所示的学习设备71的不同之处在于，图15所示的学习设备71包括教师图像生成单元141而不是学生图像生成单元82。充当学生图像的输入图像被输入到图15所示的学习设备71。该学生图像被提供给教师图像生成单元141、运动向量检测单元83、类别抽头提取单元84和预测抽头提取单元86。作为学生图像输入的输入图像是与输入到图像生成设备11的输入图像相同的图像。

教师图像生成单元141利用所提供的学生图像来生成教师图像，并且将教师图像提供给关注像素提取单元81。具体而言，教师图像生成单元141根据充当学生图像的输入图像生成视觉图像，并且将通过把输入图像和视觉图像之间的差异加到输入图像而获得的图像视为教师图像。该教师图像是这样的图像：当教师图像被按原样显示在图像生成设备11的显示单元27上时，该图像使观察者感觉输入图像被显示。

更具体而言，教师图像生成单元141包括图16所示的组件。也就是说，教师图像生成单元141包括运动向量检测单元171、运动补偿单元172、响应模型保存单元173、运动补偿单元174、积分单元175以及差异补偿单元176。

在教师图像生成单元141中，输入的学生图像被提供给运动向量检测单元171、运动补偿单元172和差异补偿单元176。由于教师图像生成单元141中的运动向量检测单元171到积分单元175与图5所示的运动向量检测单元111至积分单元115相同，所以对其的描述被省略。也就是说，利用运动向量检测单元171至积分单元175，生成了充当学生图像的输入图像的视觉图像。所生成的视觉图像被从积分单元175提供给差异补偿单元176。

差异补偿单元176通过基于所提供的充当学生图像的输入图像和从差异补偿单元176提供来的视觉图像执行差异补偿来生成教师图像，更具体而言是生成教师图像信号，并且将教师图像(教师图像信号)提供给关注像素提取单元81。

现在参考图17所示的流程图，将描述图15所示的学习设备71执行的学习处理。

当学生图像信号被提供给学习设备71时，在步骤S111中，教师图像生成单元141执行教师图像生成处理。教师图像生成单元141利用所提供的学生图像信号来生成教师图像信号，并且将教师图像信号提供给关注像素提取单元81。教师图像生成处理将在下文中详细描述。

当通过执行教师图像生成处理来生成教师图像时，然后执行步骤S112至S121中的流程，并且学习处理完成。由于该流程与图6中从步骤S42至步骤S51的流程相同，因此对其的详细描述被省略。

也就是说，对利用教师图像和学生图像列出的针对每个类别的正规方程式求解以获得转换系数，并将所获得的转换系数记录在系数生成单元88中。这样获得的转换系数被记录在图像生成设备11的系数保存单元25中，并且被用于通过执行类别划分适应性处理来生成显示图像。

这样，学习设备71从学生图像生成教师图像，并且利用教师图像和学生图像来获得转换系数。

这样，通过从学生图像生成教师图像并且利用教师图像和学生图像获得转换系数，可以利用更简单的处理来获得用于将输入图像转换成更高质量的显示图像的转换系数。因此，利用所获得的转换系数，可以更容易地改善图像的恶化图像质量。

现在参考图18所示的流程图，将描述教师图像生成处理，这是与图17的步骤S111中的处理相关的处理。

由于步骤S151至S155与图7中的步骤S81至S85相同，因此对其的描述将被省略。也就是说，根据作为学生图像提供的输入图像，生成输入图像的过去图像和过渡图像。根据过去图像、过渡图像和输入图像，生成视觉图像。所生成的视觉图像被从积分单元175提供给差异补偿单元176。

在步骤S156中，差异补偿单元176执行差异补偿并且基于所提供的学生图像和从积分单元175提供来的视觉图像来生成教师图像。差异补偿单元176将所生成的教师图像提供给关注像素提取单元81。教师图像生成处理完成。流程前进到图17中的步骤S112。

例如，对于学生图像的每个像素，差异补偿单元176获得学生图像中的目标像素的像素值和视觉图像中与目标像素位于相同位置的像素的像素值之间的差异。差异补偿单元176进一步将所获得的差异加到学生图像中的目标像素的像素值，并且将所得到的值视为教师图像中与学生图像中的目标像素位于相同位置的像素的像素值。

这样，教师图像生成单元141根据充当学生图像的输入图像生成视觉图像，并且进一步利用所生成的视觉图像生成教师图像。当利用这样生成的教师图像来执行学习处理时，可以获得用于将输入图像转换成使得观察者感觉输入图像被显示在显示单元27上的图像(即没有运动模糊的鲜明图像)的转换系数。

例如，假定预定图像被表示为x，并且用于将显示单元27上显示的图像转换为观察显示单元27上显示的图像的观察者所感觉到的图像的函数被表示为视觉滤波器函数f(x)。视觉滤波器函数f(x)的反函数被表示为f-1(x)，显示单元27上显示的图像被表示为x′，并且当图像x′被显示在显示单元27上时观察者感觉到的图像被表示为x″。

此时，当图像x被显示在显示单元27上时，图像x′＝图像x，因此图像x″＝f(x)。当利用通过将图像x(即输入图像)视为学生图像并且将该图像x代入反函数f-1(x)中而获得的图像(即，通过将输入图像和视觉图像之间的差异加到输入图像而获得的图像)作为教师图像来执行学习处理时，获得用于利用反函数f-1(x)来执行变换的转换系数。

利用这样获得的转换系数，对图像x执行类别划分适应性处理，从而获得图像f-1(x)。当该图像f-1(x)被显示在显示单元27上时，观察者所感觉到的图像x″变成图像x″＝f(f-1(x))≌x。从而，在观察者看来，没有运动模糊的图像x被显示在显示单元27上。

但是，该方法在生成教师图像f-1(x)时导致误差。也就是说，所生成的教师图像f-1(x)可能不是显示出希望观察者最终感觉到的图像的图像。因此，与图4所示的学习设备71执行的学习处理一样，当在运动模糊图像f(x)充当学生图像并且作为希望观察者最终感觉到的输入图像的图像x充当教师图像的情况下获得用于利用反函数f-1(x)执行转换的转换系数时，所获得的转换系数具有更小的误差。也就是说，可以获得用来获得下述图像的转换系数：该图像使观察者感觉到具有更少量运动模糊的图像。

在以上描述中，描述了这样的示例，其中，利用转换系数将输入图像转换成与输入图像具有相同帧速率的显示图像。但是，当这种其中已被去除运动模糊的显示图像被显示时，会发生所谓的跳跃(jerkiness)，并且显示图像中的运动物体的运动的平滑性减小。

因此，可以生成具有比输入图像更高的帧速率的显示图像，从而使得观察者会感觉好像运动物体在显示图像中更平滑地运动。在这种情况下，例如，如图19所示，生成具有输入图像的两倍那么高的帧速率的显示图像。在图19中，一个圆指示输入图像或显示图像的一帧，并且垂直方向指示时间。

在图19所示的示例中，假定帧F31至F34是时间上连续的输入图像的帧，并且这些帧的输入图像以时间t为间隔被显示。还假定这些帧被显示的顺序是按显示时间的升序显示帧F31至F34。

对帧F31至F34的输入图像执行类别划分适应性处理，以生成双倍帧速率的显示图像，更具体而言也就是时间上连续的帧F41至F46的显示图像。假定这些帧被显示的顺序是按显示时间的升序显示帧F41至F46，并且显示图像的显示时间间隔为t/2。

例如，当帧F32的输入图像是充当处理目标的当前帧的输入图像时，帧31(这是当前帧的前一帧)的输入图像以及帧F32的输入图像被处理以生成帧F41和F42的显示图像。

另外，帧的输入图像与帧的显示图像是异相的。也就是说，帧的显示时间是不同的。例如，当帧F31的输入图像的显示时间为t0时，帧32的输入图像的显示时间为(t0+t)。与之不同，帧F41的显示时间为(t0+t/4)，并且帧F42的显示时间为(t0+3t/4)。

帧F41的显示图像和帧F42的显示图像都是根据帧F31和F32的输入图像来生成的。但是，这些显示图像彼此是异相的。因此，根据相对于当前帧的相对相位位置，需要不同的转换系数。这是因为，显示图像中充当关注像素的像素与输入图像中充当预测抽头和类别抽头的像素之间的相对位置关系根据要生成的显示图像相对于当前帧的输入图像的相对相位关系而变化。

在当前帧和前一帧之间处于不同相位的两个帧的显示图像之中，处于更远离当前帧的相位的帧的显示图像将被称为前相位帧的显示图像，并且处于更靠近当前帧的相位的帧的显示图像将被称为后相位帧的显示图像。例如，当当前帧为帧F2时，前相位帧为帧F41，后相位帧为帧F42。

这样，当要生成帧速率为输入图像两倍的显示图像时，准备用于生成前相位帧的显示图像的前相位转换系数和用于生成后相位帧的显示图像的后相位转换系数。

生成这种前相位转换系数和后相位转换系数的学习设备例如包括图20所示的组件。

学习设备201包括关注像素提取单元81、运动向量检测单元83、类别抽头提取单元84、类别划分单元85、预测抽头提取单元86、计算单元87、系数生成单元88以及学生图像生成单元211。在图20中，与图4所示的那些相对应的部分被赋予相同的标号，对其的详细描述被省略。

充当教师图像的输入图像被提供给学习设备201。该输入图像被提供到学习设备201的关注像素提取单元81和学生图像生成单元211。学生图像生成单元211利用所提供的当前帧的教师图像和时间上在当前帧一帧前的一帧教师图像来生成学生图像，并且将该学生图像提供给运动向量检测单元83、类别抽头提取单元84和预测抽头提取单元86。

更具体而言，学生图像生成单元211包括图21所示的组件。也就是说，学生图像生成单元211包括平均图像生成单元241、运动向量检测单元242、运动补偿单元243、响应模型保存单元244、运动补偿单元245以及积分单元246。

平均图像生成单元241生成平均图像，该平均图像是通过对教师图像(即，所提供的当前帧的教师图像和时间上在当前帧一帧前的一帧教师图像)取平均而获得的图像，平均图像生成单元241并且将该平均图像提供给运动向量检测单元242和运动补偿单元243。也就是说，平均图像生成单元241保存着上次提供的前一帧的教师图像。利用所保存的前一帧的教师图像和所提供的当前帧的教师图像(这是此次提供的)，平均图像生成单元241生成平均图像。平均图像中的像素的像素值是前一帧和当前帧的教师图像中位于相同位置的像素的像素值的平均值。

由于运动向量检测单元242至积分单元246与图5所示的运动向量检测单元111至积分单元115相同，因此对其的描述被省略。也就是说，当平均图像生成单元241所生成的平均图像被提供给运动向量检测单元242和运动补偿单元243时，运动向量检测单元242至积分单元246利用该平均图像来为该平均图像生成充当学生图像的视觉图像。

现在参考图22所示的流程图，将描述学习设备201执行的学习处理。

在步骤S181中，学生图像生成单元211通过利用充当所提供的教师图像的输入图像执行学生图像生成处理来生成学生图像，并将所生成的学生图像提供给运动向量检测单元83、类别抽头提取单元84和预测抽头提取单元86。学生图像生成处理将在下文中详细描述。

在步骤S182中，关注像素提取单元81将所提供的教师图像中的某个像素视为关注像素，从教师图像信号中提取关注像素，并且将关注像素提供给计算单元87。

在步骤S183中，运动向量检测单元83利用从学生图像生成单元211提供来的帧的学生图像和该帧的前一帧的学生图像来检测从学生图像生成单元211提供来的帧的学生图像中与关注像素相关的像素的运动向量。

当此次从学生图像生成单元211提供来的学生图像的帧充当当前帧并且当前帧的前一帧充当前一帧时，该学生图像中的与关注像素的像素指的是这样的像素：该像素在当前帧的学生图像中，并且充当前一帧的学生图像中的像素的运动目的地。具体而言，这是这样的一个像素：它使得关注像素位于连接运动前的像素和运动后的像素的运动向量上。

也就是说，假定当前帧的学生图像中与前一帧的学生图像中的预定像素位于相同位置的像素将被称为运动源像素，并且当前帧的学生图像中充当前一帧的学生图像中的该预定像素的运动目的地的像素，即当前帧的学生图像中显示在该预定像素处显示的那部分运动物体的像素，将被称为运动目的地像素。在此情况下，连接当前帧的学生图像中的运动源像素和运动目的地像素的向量成为运动目的地像素的运动向量。当当前帧的学生图像中与关注像素位于相同位置的像素在运动目的地像素的运动向量上时，运动目的地像素成为与关注像素相关的像素。

学生图像中与关注像素相关并且以上述方式获得的像素的运动向量被从运动向量检测单元83提供给类别抽头提取单元84、类别划分单元85和预测抽头提取单元86。

在步骤S184中，类别划分单元85基于来自运动向量检测单元83的运动向量来生成运动代码。

在步骤S185中，类别抽头提取单元84联系教师图像中的关注像素，基于来自运动向量检测单元83的运动向量和来自学生图像生成单元211的学生图像，从学生图像中提取类别抽头。

例如，当要通过执行学习处理来生成后相位转换系数时，如图23A所示，当前帧的学生图像中与关注像素G111相关的像素G112、当前帧的学生图像中的像素G113、以及前一帧的学生图像中的像素G114和像素G115被提取作为类别抽头。在图23A中，垂直方向指示时间，并且垂直方向指示学生图像或教师图像中的每个像素的位置。一个圆指示一个像素。

像素G112是当前帧的学生图像中与关注像素G111相关的像素。像素G113是位于下述位置的像素：该位置相对于像素G112在与像素G112的运动向量mv21相反的方向上的距离为运动向量mv21的大小MV21的k倍(其中0＜k≤1)。

像素G114是位于下述位置的像素：该位置相对于前一帧的学生图像中与像素G112位于相同位置的像素在与运动向量mv21相反的方向上距离为kMV21。像素G115是位于下述位置的像素：该位置相对于前一帧的学生图像中的像素G114在运动向量mv21的方向上的距离为kMV21。

以这种方式从学生图像中提取的构成类别抽头的像素G112至G115被从类别抽头提取单元84提供到类别划分单元85。

对于充当类别抽头的像素G112至G115，像素G112至G115以及与它们水平和垂直相邻的像素被提取作为预测抽头。也就是说，如图23B的左部所示，当前帧的学生图像中的像素G112以及与像素G112相邻(在像素G112的左边、右边、上边和下边)的四个像素被提取作为预测抽头。另外，如图23B的右部所示，前一帧的学生图像中的像素G114以及与像素G114相邻(在像素G114的左边、右边、上边和下边)的四个像素被提取作为预测抽头。

另外，如图23C的左部所示，当前帧的学生图像中的像素G113以及与像素G113相邻(在像素G113的左边、右边、上边和下边)的四个像素被提取作为预测抽头。如图23C的右部所示，前一帧的学生图像中的像素G115以及与像素G115相邻(在像素G115的左边、右边、上边和下边)的四个像素被提取作为预测抽头。在图23B和图23C中，充当预测抽头的像素带有斜线阴影。

这样，学习设备201提取在空间上或时间上接近学生图像中与关注像素位于相同位置的像素的一些像素，来作为类别抽头或预测抽头。

返回参考图22所示的流程图，当类别抽头被提取时，然后，步骤S186至S191中的流程被执行，并且学习处理完成。由于该流程与图6中从步骤S46至S51的流程相同，因此对其的详细描述被省略。在步骤S188中，例如，图23B和图23C所示的像素G112至G115以及与其相邻的像素被提取作为预测抽头。

这样，学习设备201根据充当教师图像的输入图像生成了充当学生图像的视觉图像，并且利用教师图像和学生图像获得了针对每个相位的转换系数，即，前相位转换系数或后相位转换系数。用于获得前相位转换系数的学习处理和用于获得后相位转换系数的学习处理是分开执行的。

这样，通过用输入图像作为教师图像并且用视觉图像作为学生图像获得转换系数，可以利用更简单的处理来获得用于将输入图像转换成更高质量的显示图像的转换系数。因此，利用所获得的转换系数，可以更容易地改善图像的恶化图像质量。另外，当利用针对每个相位的转换系数来将输入图像转换成显示图像时，可以获得帧速率为输入图像两倍的显示图像，从而抑制了跳跃的发生。

现在参考图24所示的流程图，将描述学生图像生成处理，这是与图22的步骤S181中的处理相关的处理。

在步骤S221中，平均图像生成单元241利用此次提供的帧的教师图像和时间上在该帧一帧前的一帧教师图像来生成平均图像，并将该平均图像提供给运动向量检测单元242和运动补偿单元243。

例如，如图25所示，时间上连续的两个帧F61和F62的教师图像被取平均，以生成处于帧F61和F62之间的相位的帧F71的平均图像。在图25中，垂直方向指示时间，并且一个圆指示教师图像或平均图像的一帧。

在图25所示的示例中，获得了运动模糊量为教师图像的两倍的平均图像。帧F61的教师图像充当根据所生成的帧F71的平均图像获得的学生图像的后相位帧。也就是说，当根据帧F71的平均图像获得的学生图像和帧F71的前一帧的学生图像被用于学习时，在学习后相位转换系数时，帧F61的输入图像被用作教师图像；并且在学习前相位转换系数时，帧F61的前一帧的输入图像被用作教师图像。

返回参考图24所示的流程图，当生成平均图像时，然后执行步骤S222至S226中的流程。由于该流程与图7中从步骤S81至S85的流程相同，因此对其的详细描述被省略。也就是说，根据所生成的平均图像，生成针对该平均图像的视觉图像来作为学生图像。

在步骤S226中，生成学生图像。当学生图像被从积分单元246提供到运动向量检测单元83、类别抽头提取单元84和预测抽头提取单元86时，学生图像生成处理完成，并且流程前进到图22中的步骤S182。

这样，根据教师图像生成了帧速率为教师图像一半的平均图像，并且根据平均图像生成了充当学生图像的视觉图像。

利用由学习设备201通过上述方式生成的前相位转换系数和后相位转换系数来将输入图像转换成显示图像的图像生成设备例如包括图26所示的组件。

图像生成设备271包括类别抽头提取单元22、类别划分单元23、预测抽头提取单元24、积和运算单元26、显示单元27、运动向量检测单元281以及系数保存单元282。在图26中，与图1所示的那些相对应的部分被赋予相同的标号，对其的详细描述被省略。

输入图像被提供到图像生成设备271的运动向量检测单元281、类别抽头提取单元22和预测抽头提取单元24。运动向量检测单元281把要生成的显示图像中的某个像素视为关注像素，并且基于所提供的输入图像来检测输入图像中与关注像素相关的像素的运动向量。

输入图像中与关注像素相关的像素是这样的像素：在输入图像的像素之中，该像素与学生图像中在学习处理时与关注像素相关的像素相对于关注像素具有相同的位置关系。例如，当图23A所示的像素G111是显示图像中的关注像素，并且像素G112是所提供的帧的输入图像中的像素时，输入图像中与关注像素相关的像素是像素G112。

运动向量检测单元281将检测到的运动向量提供给类别抽头提取单元22、类别划分单元23和预测抽头提取单元24。

系数保存单元282保存着由学习设备201生成的前相位转换系数和后相位转换系数。系数保存单元282根据来自类别划分单元23的类别代码，将所保存的前相位转换系数或后相位转换系数提供给积和计算单元26。

当输入图像被提供给具有上述构造的图像生成设备271时，图像生成设备271开始生成并显示一显示图像的显示处理。下面，参考图27所示的流程图，将描述图像生成设备271执行的显示处理。

在步骤S251中，运动向量检测单元281把要生成的显示图像中的某个像素视为关注像素，并且利用所提供的帧的输入图像和所提供的帧的前一帧的输入图像，通过执行例如块匹配或梯度方法，来检测所提供的帧的输入图像中与关注像素相关的像素的运动向量。运动向量检测单元281将检测到的运动向量提供给类别划分单元23、类别抽头提取单元22和预测抽头提取单元24。

然后，步骤S252至S259中的流程被执行，并且显示处理完成。由于该流程与图2中从步骤S12至S19的流程相同，因此对其的详细描述被省略。

在时间上或空间上接近输入图像中与关注像素位于相同位置的像素的一些像素被提取作为类别抽头或预测抽头。例如，当图23A所示的像素G111是显示图像中的关注像素，并且像素G112是所提供的帧的输入图像中与关注像素相关的像素时，像素G112至G115被从输入图像中提取作为类别抽头。像素G112至G115以及与之相邻的像素被从输入图像中提取作为预测抽头。

另外，当要生成前相位帧的显示图像时，系数保存单元282将类别代码所指定的前相位转换系数提供给积和计算单元26。类似地，当要生成后相位帧的显示图像时，系数保存单元282将类别代码所指定的后相位转换系数提供给积和计算单元26。

这样，图像生成设备271根据所提供的输入图像生成了前相位显示图像或后相位显示图像，并且将前相位或后相位显示图像显示在显示单元27上。生成并显示前相位或后相位显示图像的显示处理是逐个帧地执行的。

在以上描述中，已经描述了在前相位或后相位转换系数学习处理时，学生图像是根据充当教师图像的输入图像生成的。但是，在学习处理时，可根据输入图像生成学生图像和教师图像。

在这种情况下，例如，学习设备包括如图28所示的组件。图28所示的学习设备311包括平均图像生成单元241、教师图像生成单元141、关注像素提取单元81、运动向量检测单元83、类别抽头提取单元84、类别划分单元85、预测抽头提取单元86、计算单元87以及系数生成单元88。在图28中，与图15、20和21中所示的那些相对应的部分被赋予相同的标号，对其的详细描述被适当地省略。

输入图像被提供到学习设备311的平均图像生成单元241和教师图像生成单元141。平均图像生成单元241根据所提供的输入图像生成平均图像，并将所生成的平均图像作为学生图像提供给运动向量检测单元83、类别抽头提取单元84和预测抽头提取单元86。

教师图像生成单元141根据所提供的输入图像生成视觉图像，并且把通过将输入图像和视觉图像之间的差异加到输入图像而获得的图像视为教师图像。该教师图像是这样的图像：当教师图像被按原样显示在图像生成设备271的显示单元27上时，该图像使得观察者感觉输入图像被显示。教师图像生成单元141将所生成的教师图像提供给关注像素提取单元81。

现在参考图29所示的流程图，将描述学习设备311执行的学习处理。利用该学习设备311，生成前相位或后相位转换系数。

在步骤S291中，教师图像生成单元141通过利用所提供的输入图像执行教师图像生成处理来生成教师图像，并且将所生成的教师图像提供给关注像素提取单元81。由于教师图像生成处理与图17的步骤S111中的处理(也就是参考图18所示的流程图描述的处理)相同，所以对其的详细描述被省略。

在步骤S292中，平均图像生成单元241根据所提供的输入图像生成学生图像，并将所生成的学生图像提供给运动向量检测单元83、类别抽头提取单元84和预测抽头提取单元86。也就是说，平均图像生成单元241利用此次提供的帧的输入图像和时间上在该帧一帧前的一帧输入图像来生成平均图像，并将该平均图像视为学生图像。

当学生图像被生成时，然后，步骤S293至S302中的流程被执行，并且学习处理完成。由于该流程与图22中步骤S182至S191的相同，因此对其的详细描述被省略。

这样，学习设备311根据所提供的输入图像生成学生图像和教师图像，并且获得针对每个相位的转换系数，即前相位转换系数或后相位转换系数。用于获得前相位转换系数的学习处理和用于获得后相位转换系数的学习处理是分开执行的。

这样，通过根据所提供的输入图像生成学生图像和教师图像并且获得转换系数，可以利用更简单的处理来获得用于将输入图像转换成更高质量的显示图像的转换系数。因此，利用所获得的转换系数，可以更容易地改善图像的恶化图像质量。

上述一系列处理可用硬件或软件来执行。当这一系列处理要用软件来执行时，构成该软件的程序被从程序记录介质安装到嵌入在专用硬件中的计算机或者例如能够通过使用安装于其中的各种程序来执行各种功能的通用个人计算机中。

图30是示出通过使用程序来执行上述一系列处理的计算机的硬件结构示例的框图。

在该计算机中，中央处理单元(CPU)501、只读存储器(ROM)502和随机访问存储器(RAM)503由总线504互连。

另外，输入/输出接口505连接到总线504。包括键盘、鼠标和麦克风的输入单元506、包括显示器和扬声器的输出单元507、包括硬盘和非易失性存储器的记录单元508、包括网络接口的通信单元509、以及驱动包括磁盘、光盘、磁光盘或半导体存储器在内的可移动介质511的驱动器510连接到输入/输出接口505。

在具有上述构造的计算机中，例如，CPU 501经由输入/输出接口505和总线504把记录在记录单元508中的程序加载到RAM 503中，并且执行该程序，从而执行上述的一系列处理。

计算机(CPU 501)所执行的程序例如是通过将其记录在可移动介质511上或者经由有线或无线传输介质来提供的，其中该可移动介质511是包括磁盘(包括柔性盘)、光盘(包括致密盘只读存储器(CD-ROM)或数字多功能盘(DVD))、磁光盘或半导体存储器在内的封装介质，所述传输介质例如是局域网(LAN)、因特网或数字卫星广播。

可通过将可移动介质511安装到驱动器510上来经由输入/输出接口505将该程序安装到记录单元508中。或者，可经由有线或无线传输介质在通信单元509处接收该程序并将其安装到记录单元508中。或者，可将该程序预先安装在ROM 502或记录单元508中。

计算机所执行的程序可以是用来根据本说明书中描述的顺序按时序执行处理的程序，或者可以是用来并行地或者在必要时(例如在被调用时)执行处理的程序。

本发明的实施例不限于上述实施例，在不脱离本发明的范围的情况下，可进行各种修改。

本申请包含与2008年7月27日向日本专利局提交的日本在先专利申请JP 2008-173459中公开的内容相关的主题，特此通过引用将该在先申请的全部内容并入。

本领域的技术人员应当理解，取决于设计要求和其他因素，可以进行各种修改、组合、子组合和变更，只要它们处于所附权利要求或其等同物的范围之内。

Claims

1.一种系数生成设备，该系数生成设备生成用于将输入图像的输入图像信号转换成显示图像的显示图像信号的转换系数，其中当该显示图像被显示在预定的显示装置上时观察者感觉好像该输入图像被显示一样，该系数生成设备包括：

过去图像生成装置，用于基于用来获得所述转换系数的、与所述显示图像相关的教师图像的教师图像信号和在所述教师图像中检测到的运动向量，来生成与所述教师图像一帧前的一帧教师图像相关的过去图像的过去图像信号；

过渡图像生成装置，用于基于所述教师图像信号和所述过去图像信号，在所述过去图像并且随后所述教师图像将被显示在所述显示装置上的情况下，生成在显示从所述过去图像切换到所述教师图像的时段中将被显示在所述显示装置上的过渡图像的过渡图像信号；

视觉图像生成装置，用于利用所述过去图像信号、所述过渡图像信号、所述教师图像信号以及所述运动向量，通过获得所述过去图像、所述过渡图像和所述教师图像中被预测在显示从所述过去图像切换到所述教师图像的时段中所述观察者的眼睛将跟随的像素的像素值的平均值，并且将所述平均值视为在所述教师图像被显示在所述显示装置上时所述观察者感觉到的视觉图像中的像素的像素值，来生成所述视觉图像的视觉图像信号，所述视觉图像充当与所述输入图像相关的学生图像，该学生图像被用来获得所述转换系数；以及

计算装置，用于利用所述教师图像中的关注像素的像素值以及依据在所述学生图像中检测到的运动向量确定的并且与所述学生图像中与所述关注像素位于相同位置的像素在空间上或时间上接近的像素的像素值，来获得所述转换系数。

2.根据权利要求1所述的系数生成设备，其中，所述过渡图像生成装置利用指示所述显示装置的发光特性的模型、所述教师图像信号和所述过去图像信号来生成所述过渡图像信号。

3.根据权利要求2所述的系数生成设备，其中，所述计算装置包括：

类别抽头提取装置，用于从所述学生图像的学生图像信号中提取依据在所述学生图像中检测到的运动向量确定的并且与所述学生图像中与所述关注像素位于相同位置的像素在空间上或时间上接近的一些像素的像素值，来作为用于将所述关注像素分类到多个类别之一的类别抽头；

类别划分单元，用于基于在所述学生图像中检测到的运动向量的大小和所述类别抽头来对所述关注像素进行分类；

预测抽头提取装置，用于从所述学生图像信号中提取依据在所述学生图像中检测到的运动向量确定的并且与所述学生图像中与所述关注像素位于相同位置的像素在空间上或时间上接近的一些像素的像素值，来作为用于预测所述关注像素的预测抽头；和

系数生成装置，用于通过相对于所述关注像素的像素值和所述预测抽头，求解针对所述关注像素的类别制定的正规方程式，来获得用于所述多个类别中的每一个类别的转换系数，所述正规方程式表示所述关注像素的像素值、所述预测抽头和所述转换系数之间的关系。

4.一种用于系数生成设备的系数生成方法，该系数生成设备生成用于将输入图像的输入图像信号转换成显示图像的显示图像信号的转换系数，其中当该显示图像被显示在预定的显示装置上时观察者感觉好像该输入图像被显示一样，该系数生成设备包括：

过去图像生成装置，用于生成与用来获得所述转换系数的、与所述显示图像相关的教师图像的一帧前的一帧教师图像相关的过去图像的过去图像信号，

过渡图像生成装置，用于在所述过去图像并且随后所述教师图像将被显示在所述显示装置上的情况下，生成在显示从所述过去图像切换到所述教师图像的时段中将被显示在所述显示装置上的过渡图像的过渡图像信号，

视觉图像生成装置，用于生成在所述教师图像被显示在所述显示装置上时所述观察者感觉到的视觉图像的视觉图像信号，所述视觉图像充当与所述输入图像相关的学生图像，该学生图像被用来获得所述转换系数，以及

计算装置，用于利用所述教师图像中的关注像素的像素值以及依据在所述学生图像中检测到的运动向量确定的并且与所述学生图像中与所述关注像素位于相同位置的像素在空间上或时间上接近的像素的像素值，来获得所述转换系数，

所述系数生成方法包括以下步骤：

利用所述过去图像生成装置，基于所述教师图像的教师图像信号和在所述教师图像中检测到的运动向量，来生成所述过去图像的过去图像信号；

利用所述过渡图像生成装置，基于所述教师图像信号和所述过去图像信号，来生成所述过渡图像的过渡图像信号；

利用所述视觉图像生成装置，利用所述过去图像信号、所述过渡图像信号、所述教师图像信号以及在所述教师图像中检测到的运动向量，通过获得所述过去图像、所述过渡图像和所述教师图像中被预测在显示从所述过去图像切换到所述教师图像的时段中所述观察者的眼睛将跟随的像素的像素值的平均值，并且将所述平均值视为所述视觉图像中的像素的像素值，来生成所述视觉图像的视觉图像信号；以及

利用所述计算装置，利用所述关注像素的像素值以及与所述学生图像中与所述关注像素位于相同位置的像素在空间上或时间上接近的像素的像素值，来获得所述转换系数。

5.一种用于使系数生成设备执行包括以下步骤的处理的程序，该系数生成设备生成用于将输入图像的输入图像信号转换成显示图像的显示图像信号的转换系数，其中当该显示图像被显示在预定的显示装置上时观察者感觉好像该输入图像被显示一样：

基于用来获得所述转换系数的、与所述显示图像相关的教师图像的教师图像信号和在所述教师图像中检测到的运动向量，来生成与所述教师图像一帧前的一帧教师图像相关的过去图像的过去图像信号；

在所述过去图像并且随后所述教师图像将被显示在所述显示装置上的情况下，基于所述教师图像信号和所述过去图像信号，生成在显示从所述过去图像切换到所述教师图像的时段中将被显示在所述显示装置上的过渡图像的过渡图像信号；

利用所述过去图像信号、所述过渡图像信号、所述教师图像信号以及所述运动向量，通过获得所述过去图像、所述过渡图像和所述教师图像中被预测在显示从所述过去图像切换到所述教师图像的时段中所述观察者的眼睛将跟随的像素的像素值的平均值，并且将所述平均值视为在所述教师图像被显示在所述显示装置上时所述观察者感觉到的视觉图像中的像素的像素值，来生成所述视觉图像的视觉图像信号，所述视觉图像充当与所述输入图像相关的学生图像，该学生图像被用来获得所述转换系数；以及

利用所述教师图像中的关注像素的像素值以及依据在所述学生图像中检测到的运动向量确定的并且与所述学生图像中与所述关注像素位于相同位置的像素在空间上或时间上接近的像素的像素值，来获得所述转换系数。

6.一种图像生成设备，该图像生成设备将输入图像的输入图像信号转换成显示图像的显示图像信号，其中当该显示图像被显示在预定的显示装置上时观察者感觉好像该输入图像被显示一样，该图像生成设备包括：

预测抽头提取装置，用于把要生成的显示图像中的关注像素视为第一关注像素，并且从所述输入图像信号中提取依据在所述输入图像中检测到的运动向量确定的并且与所述输入图像中与所述第一关注像素位于相同位置的像素在空间上或时间上接近的一些像素的像素值，来作为用于预测所述第一关注像素的预测抽头；以及

预测性计算装置，用于通过对预先获得的转换系数和所述预测抽头执行线性耦合来预测性地计算所述第一关注像素的像素值，

其中，所述转换系数是利用下述各项获得的：

与所述显示图像相关的教师图像中的第二关注像素的像素值，以及

依据在与所述输入图像相关的学生图像中检测到的运动向量确定的并且与所述学生图像中与所述第二关注像素位于相同位置的像素在空间上或时间上接近的像素的像素值，并且

其中，所述学生图像是在所述教师图像被显示在所述显示装置上时所述观察者感觉到的视觉图像，所述视觉图像是利用下述各项生成的：

所述教师图像的教师图像信号，

与所述教师图像一帧前的一帧教师图像相关的过去图像的过去图像信号，所述过去图像是基于所述教师图像信号和在所述教师图像中检测到的运动向量而生成的，

在所述过去图像并且随后所述教师图像将被显示在所述显示装置上的情况下，在显示从所述过去图像切换到所述教师图像的时段中将被显示在所述显示装置上的过渡图像的过渡图像信号，所述过渡图像是基于指示所述显示装置的发光特性的模型、所述教师图像信号和所述过去图像信号而生成的，以及

在所述教师图像中检测到的运动向量，

并且所述视觉图像是通过下述操作来生成的：获得所述过去图像、所述过渡图像和所述教师图像中被预测在显示从所述过去图像切换到所述教师图像的时段中所述观察者的眼睛将跟随的像素的像素值的平均值，并且将所述平均值视为所述视觉图像中的像素的像素值。

7.根据权利要求6所述的图像生成设备，还包括：

类别抽头提取装置，用于从所述输入图像信号中提取依据在所述输入图像中检测到的运动向量确定的并且与所述输入图像中与所述第一关注像素位于相同位置的像素在空间上或时间上接近的一些像素的像素值，来作为用于将所述第一关注像素分类到多个类别之一的类别抽头；以及

类别划分单元，用于基于在所述输入图像中检测到的运动向量的大小和所述类别抽头来对所述第一关注像素进行分类，

其中，所述预测性计算装置利用预先针对所述第一关注像素的类别获得的转换系数来预测性地计算所述第一关注像素的像素值。

8.根据权利要求7所述的图像生成设备，其中，通过以下操作来针对所述多个类别中的每一个类别获得所述转换系数：

从所述学生图像的学生图像信号中提取依据在所述学生图像中检测到的运动向量确定的并且与所述学生图像中与所述第二关注像素位于相同位置的像素在空间上或时间上接近的一些像素的像素值，来作为类别抽头，

基于在所述学生图像中检测到的运动向量的大小和从所述学生图像信号中提取的类别抽头来对所述第二关注像素进行分类，

从所述学生图像信号中提取依据在所述学生图像中检测到的运动向量确定的并且与所述学生图像中与所述第二关注像素位于相同位置的像素在空间上或时间上接近的一些像素的像素值，来作为预测抽头，以及

通过相对于所述第二关注像素的像素值和从所述学生图像信号中提取的预测抽头，求解针对所述第二关注像素的类别制定的正规方程式，来获得所述转换系数，所述正规方程式表示所述第二关注像素的像素值、从所述学生图像信号中提取的预测抽头和所述转换系数之间的关系。

9.一种用于图像生成设备的图像生成方法，该图像生成设备将输入图像的输入图像信号转换成显示图像的显示图像信号，其中当该显示图像被显示在预定的显示装置上时观察者感觉好像该输入图像被显示一样，该图像生成设备包括：

预测抽头提取装置，用于把要生成的显示图像中的关注像素视为第一关注像素，并且从所述输入图像信号中提取依据在所述输入图像中检测到的运动向量确定的并且与所述输入图像中与所述第一关注像素位于相同位置的像素在空间上或时间上接近的一些像素的像素值，来作为用于预测所述第一关注像素的预测抽头，以及

预测性计算装置，用于通过对预先获得的转换系数和所述预测抽头执行线性耦合来预测性地计算所述第一关注像素的像素值，所述图像生成方法包括以下步骤：

利用所述预测抽头提取装置从所述输入图像信号中提取所述预测抽头；以及

利用所述预测性计算装置，通过对所述转换系数和所述预测抽头执行线性耦合来预测性地计算所述第一关注像素的像素值，

其中，所述转换系数是利用下述各项获得的：

所述教师图像的教师图像信号，

在所述教师图像中检测到的运动向量，

10.一种用于使图像生成设备执行包括以下步骤的处理的程序，该图像生成设备将输入图像的输入图像信号转换成显示图像的显示图像信号，其中当该显示图像被显示在预定的显示装置上时观察者感觉好像该输入图像被显示一样：

把要生成的显示图像中的关注像素视为第一关注像素，并且，从所述输入图像信号中提取依据在所述输入图像中检测到的运动向量确定的并且与所述输入图像中与所述第一关注像素位于相同位置的像素在空间上或时间上接近的一些像素的像素值，来作为用于预测所述第一关注像素的预测抽头；以及

通过对预先获得的转换系数和所述预测抽头执行线性耦合来预测性地计算所述第一关注像素的像素值，

其中，所述转换系数是利用下述各项获得的：

所述教师图像的教师图像信号，

在所述教师图像中检测到的运动向量，

11.一种系数生成设备，该系数生成设备生成用于将输入图像的输入图像信号转换成显示图像的显示图像信号的转换系数，其中当该显示图像被显示在预定的显示装置上时观察者感觉好像该输入图像被显示一样，该系数生成设备包括：

平均图像生成装置，用于基于用来获得所述转换系数的、与所述显示图像相关的教师图像的教师图像信号，来生成通过对所述教师图像和所述教师图像一帧前的一帧教师图像取平均而获得的平均图像的平均图像信号；

过去图像生成装置，用于基于所述平均图像信号和在所述平均图像中检测到的运动向量，来生成与所述平均图像一帧前的一帧平均图像相关的过去图像的过去图像信号；

过渡图像生成装置，用于基于所述平均图像信号和所述过去图像信号，在所述过去图像并且随后所述平均图像将被显示在所述显示装置上的情况下，生成在显示从所述过去图像切换到所述平均图像的时段中将被显示在所述显示装置上的过渡图像的过渡图像信号；

视觉图像生成装置，用于利用所述过去图像信号、所述过渡图像信号、所述平均图像信号以及所述运动向量，通过获得所述过去图像、所述过渡图像和所述平均图像中被预测在显示从所述过去图像切换到所述平均图像的时段中所述观察者的眼睛将跟随的像素的像素值的平均值，并且将所述平均值视为在所述平均图像被显示在所述显示装置上时所述观察者感觉到的视觉图像中的像素的像素值，来生成所述视觉图像的视觉图像信号，所述视觉图像充当与所述输入图像相关的学生图像，所述学生图像被用来获得所述转换系数；以及

12.根据权利要求11所述的系数生成设备，其中，所述过渡图像生成装置利用指示所述显示装置的发光特性的模型、所述平均图像信号和所述过去图像信号来生成所述过渡图像信号。

13.根据权利要求12所述的系数生成设备，其中，所述计算装置包括：

14.一种用于系数生成设备的系数生成方法，该系数生成设备生成用于将输入图像的输入图像信号转换成显示图像的显示图像信号的转换系数，其中当该显示图像被显示在预定的显示装置上时观察者感觉好像该输入图像被显示一样，该系数生成设备包括：

平均图像生成装置，用于基于用来获得所述转换系数的、与所述显示图像相关的教师图像的教师图像信号，来生成通过对所述教师图像和所述教师图像一帧前的一帧教师图像取平均而获得的平均图像的平均图像信号，

过去图像生成装置，用于生成与所述平均图像一帧前的一帧平均图像相关的过去图像的过去图像信号，

过渡图像生成装置，用于在所述过去图像并且随后所述平均图像将被显示在所述显示装置上的情况下，生成在显示从所述过去图像切换到所述平均图像的时段中将被显示在所述显示装置上的过渡图像的过渡图像信号，

视觉图像生成装置，用于生成在所述平均图像被显示在所述显示装置上时所述观察者感觉到的视觉图像的视觉图像信号，所述视觉图像充当与所述输入图像相关的学生图像，所述学生图像被用来获得所述转换系数，以及

所述系数生成方法包括以下步骤：

利用所述平均图像生成装置来生成所述平均图像信号；

利用所述过去图像生成装置，基于所述平均图像的平均图像信号和在所述平均图像中检测到的运动向量来生成所述过去图像的过去图像信号；

利用所述过渡图像生成装置，基于所述平均图像信号和所述过去图像信号来生成所述过渡图像的过渡图像信号；

利用所述视觉图像生成装置，利用所述过去图像信号、所述过渡图像信号、所述平均图像信号以及在所述平均图像中检测到的运动向量，通过获得所述过去图像、所述过渡图像和所述平均图像中被预测在显示从所述过去图像切换到所述平均图像的时段中所述观察者的眼睛将跟随的像素的像素值的平均值，并且将所述平均值视为所述视觉图像中的像素的像素值，来生成所述视觉图像的视觉图像信号；以及

15.一种用于使系数生成设备执行包括以下步骤的处理的程序，该系数生成设备生成用于将输入图像的输入图像信号转换成显示图像的显示图像信号的转换系数，其中当该显示图像被显示在预定的显示装置上时观察者感觉好像该输入图像被显示一样：

基于用来获得所述转换系数的、与所述显示图像相关的教师图像的教师图像信号，来生成通过对所述教师图像和所述教师图像一帧前的一帧教师图像取平均而获得的平均图像的平均图像信号；

基于所述平均图像信号和在所述平均图像中检测到的运动向量，来生成与所述平均图像一帧前的一帧平均图像相关的过去图像的过去图像信号；

基于所述平均图像信号和所述过去图像信号，在所述过去图像并且随后所述平均图像将被显示在所述显示装置上的情况下，生成在显示从所述过去图像切换到所述平均图像的时段中将被显示在所述显示装置上的过渡图像的过渡图像信号；

利用所述过去图像信号、所述过渡图像信号、所述平均图像信号以及所述运动向量，通过获得所述过去图像、所述过渡图像和所述平均图像中被预测在显示从所述过去图像切换到所述平均图像的时段中所述观察者的眼睛将跟随的像素的像素值的平均值，并且将所述平均值视为在所述平均图像被显示在所述显示装置上时所述观察者感觉到的视觉图像中的像素的像素值，来生成所述视觉图像的视觉图像信号，所述视觉图像充当与所述输入图像相关的学生图像，所述学生图像被用来获得所述转换系数；以及

16.一种图像生成设备，该图像生成设备将输入图像的输入图像信号转换成显示图像的显示图像信号，其中当该显示图像被显示在预定的显示装置上时观察者感觉好像该输入图像被显示一样，该图像生成设备包括：

预测抽头提取装置，用于把要生成的显示图像中的关注像素视为第一关注像素，并且，从所述输入图像信号中提取依据在所述输入图像中检测到的运动向量确定的并且与所述输入图像中与所述第一关注像素位于相同位置的像素在空间上或时间上接近的一些像素的像素值，来作为用于预测所述第一关注像素的预测抽头；以及

其中，所述转换系数是利用下述各项获得的：

其中，所述学生图像是在平均图像被显示在所述显示装置上时所述观察者感觉到的视觉图像，所述视觉图像是利用下述各项生成的：

通过对所述教师图像和所述教师图像一帧前的一帧教师图像取平均而获得的平均图像的平均图像信号，所述平均图像是基于所述教师图像的教师图像信号而生成的，

与所述平均图像一帧前的一帧平均图像相关的过去图像的过去图像信号，所述过去图像是基于所述平均图像信号和在所述平均图像中检测到的运动向量而生成的，

在所述过去图像并且随后所述平均图像将被显示在所述显示装置上的情况下，在显示从所述过去图像切换到所述平均图像的时段中将被显示在所述显示装置上的过渡图像的过渡图像信号，所述过渡图像是基于指示所述显示装置的发光特性的模型、所述平均图像信号和所述过去图像信号而生成的，以及

在所述平均图像中检测到的运动向量，

并且所述视觉图像是通过下述操作来生成的：获得所述过去图像、所述过渡图像和所述平均图像中被预测在显示从所述过去图像切换到所述平均图像的时段中所述观察者的眼睛将跟随的像素的像素值的平均值，并且将所述平均值视为所述视觉图像中的像素的像素值。

17.根据权利要求16所述的图像生成设备，还包括：

18.根据权利要求17所述的图像生成设备，其中，通过以下操作来针对所述多个类别中的每一个类别获得所述转换系数：

19.一种用于图像生成设备的图像生成方法，该图像生成设备将输入图像的输入图像信号转换成显示图像的显示图像信号，其中当该显示图像被显示在预定的显示装置上时观察者感觉好像该输入图像被显示一样，该图像生成设备包括：

预测抽头提取装置，用于把要生成的显示图像中的关注像素视为第一关注像素，并且，从所述输入图像信号中提取依据在所述输入图像中检测到的运动向量确定的并且与所述输入图像中与所述第一关注像素位于相同位置的像素在空间上或时间上接近的一些像素的像素值，来作为用于预测所述第一关注像素的预测抽头，以及

其中，所述转换系数是利用下述各项获得的：

在所述平均图像中检测到的运动向量，

20.一种用于使图像生成设备执行包括以下步骤的处理的程序，该图像生成设备将输入图像的输入图像信号转换成显示图像的显示图像信号，其中当该显示图像被显示在预定的显示装置上时观察者感觉好像该输入图像被显示一样：

其中，所述转换系数是利用下述各项获得的：

在所述平均图像中检测到的运动向量，

21.一种系数生成设备，该系数生成设备生成用于将输入图像的输入图像信号转换成显示图像的显示图像信号的转换系数，其中当该显示图像被显示在预定的显示设备上时观察者感觉好像该输入图像被显示一样，该系数生成设备包括：

过去图像生成单元，被配置为基于用来获得所述转换系数的、与所述显示图像相关的教师图像的教师图像信号和在所述教师图像中检测到的运动向量，来生成与所述教师图像一帧前的一帧教师图像相关的过去图像的过去图像信号；

过渡图像生成单元，被配置为基于所述教师图像信号和所述过去图像信号，在所述过去图像并且随后所述教师图像将被显示在所述显示设备上的情况下，生成在显示从所述过去图像切换到所述教师图像的时段中将被显示在所述显示设备上的过渡图像的过渡图像信号；

视觉图像生成单元，被配置为利用所述过去图像信号、所述过渡图像信号、所述教师图像信号以及所述运动向量，通过获得所述过去图像、所述过渡图像和所述教师图像中被预测在显示从所述过去图像切换到所述教师图像的时段中所述观察者的眼睛将跟随的像素的像素值的平均值，并且将所述平均值视为在所述教师图像被显示在所述显示设备上时所述观察者感觉到的视觉图像中的像素的像素值，来生成所述视觉图像的视觉图像信号，所述视觉图像充当与所述输入图像相关的学生图像，所述学生图像被用来获得所述转换系数；以及

计算单元，被配置为利用所述教师图像中的关注像素的像素值以及依据在所述学生图像中检测到的运动向量确定的并且与所述学生图像中与所述关注像素位于相同位置的像素在空间上或时间上接近的像素的像素值，来获得所述转换系数。

22.一种图像生成设备，该图像生成设备将输入图像的输入图像信号转换成显示图像的显示图像信号，其中当该显示图像被显示在预定的显示设备上时观察者感觉好像该输入图像被显示一样，该图像生成设备包括：

预测抽头提取单元，被配置为把要生成的显示图像中的关注像素视为第一关注像素，并且从所述输入图像信号中提取依据在所述输入图像中检测到的运动向量确定的并且与所述输入图像中与所述第一关注像素位于相同位置的像素在空间上或时间上接近的一些像素的像素值，来作为用于预测所述第一关注像素的预测抽头；以及

预测性计算单元，被配置为通过对预先获得的转换系数和所述预测抽头执行线性耦合来预测性地计算所述第一关注像素的像素值，

其中，所述转换系数是利用下述各项获得的：

其中，所述学生图像是在所述教师图像被显示在所述显示设备上时所述观察者感觉到的视觉图像，所述视觉图像是利用下述各项生成的：

所述教师图像的教师图像信号，

在所述过去图像并且随后所述教师图像将被显示在所述显示设备上的情况下，在显示从所述过去图像切换到所述教师图像的时段中将被显示在所述显示设备上的过渡图像的过渡图像信号，所述过渡图像是基于指示所述显示设备的发光特性的模型、所述教师图像信号和所述过去图像信号而生成的，以及

在所述教师图像中检测到的运动向量，

23.一种系数生成设备，该系数生成设备生成用于将输入图像的输入图像信号转换成显示图像的显示图像信号的转换系数，其中当该显示图像被显示在预定的显示设备上时观察者感觉好像该输入图像被显示一样，该系数生成设备包括：

平均图像生成单元，被配置为基于用来获得所述转换系数的、与所述显示图像相关的教师图像的教师图像信号，来生成通过对所述教师图像和所述教师图像一帧前的一帧教师图像取平均而获得的平均图像的平均图像信号；

过去图像生成单元，被配置为基于所述平均图像信号和在所述平均图像中检测到的运动向量，来生成与所述平均图像一帧前的一帧平均图像相关的过去图像的过去图像信号；

过渡图像生成单元，被配置为基于所述平均图像信号和所述过去图像信号，在所述过去图像并且随后所述平均图像将被显示在所述显示设备上的情况下，生成在显示从所述过去图像切换到所述平均图像的时段中将被显示在所述显示设备上的过渡图像的过渡图像信号；

视觉图像生成单元，被配置为利用所述过去图像信号、所述过渡图像信号、所述平均图像信号以及所述运动向量，通过获得所述过去图像、所述过渡图像和所述平均图像中被预测在显示从所述过去图像切换到所述平均图像的时段中所述观察者的眼睛将跟随的像素的像素值的平均值，并且将所述平均值视为在所述平均图像被显示在所述显示设备上时所述观察者感觉到的视觉图像中的像素的像素值，来生成所述视觉图像的视觉图像信号，所述视觉图像充当与所述输入图像相关的学生图像，所述学生图像被用来获得所述转换系数；以及

24.一种图像生成设备，该图像生成设备将输入图像的输入图像信号转换成显示图像的显示图像信号，其中当该显示图像被显示在预定的显示设备上时观察者感觉好像该输入图像被显示一样，该图像生成设备包括：

预测抽头提取单元，被配置为把要生成的所述显示图像中的关注像素视为第一关注像素，并且从所述输入图像信号中提取依据在所述输入图像中检测到的运动向量确定的并且与所述输入图像中与所述第一关注像素位于相同位置的像素在空间上或时间上接近的一些像素的像素值，来作为用于预测所述第一关注像素的预测抽头；以及

其中，所述转换系数是利用下述各项获得的：

其中，所述学生图像是在平均图像被显示在所述显示设备上时所述观察者感觉到的视觉图像，所述视觉图像是利用下述各项生成的：

在所述过去图像并且随后所述平均图像将被显示在所述显示设备上的情况下，在显示从所述过去图像切换到所述平均图像的时段中将被显示在所述显示设备上的过渡图像的过渡图像信号，所述过渡图像是基于指示所述显示设备的发光特性的模型、所述平均图像信号和所述过去图像信号而生成的，以及

在所述平均图像中检测到的运动向量，