CN100525390C - 信号处理设备和信号处理方法 - Google Patents

Abstract

一种信号处理单元使从一种采用CMOS传感器等的三-传感器系统的传感器单元输出的第一图像信号经受信号处理，从而获得高图像质量的第二图像信号。三个传感器被放置在适于信号处理单元进行信号处理的位置上。适合的放置位置已经通过预先执行的学习而获得。在一种安排中，信号处理单元评估第二图像信号，并根据评估结果来控制三个传感器的放置位置。在另一种安排中，第一信号在预定区域中被评估，并且根据评估结果改变预定区域的传感器的特性。在另一种安排中，传感器单元根据第一图像信号的级别分布来控制。本发明可被应用到静态或视频数字照相机中。

Description

信号处理设备和信号处理方法

本申请是2004年7月30日提交的申请号为200410095944.8、发明名称为“信号处理设备和信号处理方法，程序和记录介质”的发明申请的分案申请。

技术领域

本发明涉及一种信号处理设备和一种信号处理方法，以及一种程序和它的记录介质，尤其涉及一种图像拾取设备，一种信号处理设备和信号处理方法，以及一种程序和它的记录介质，藉此例如为图像信号的信号处理获得适当的图像信号，并且图像信号受信号处理的控制，从而产生高质量图像信号。

背景技术

图像拾取设备的一个实例是数字照相机(静态的或视频)，其具有传感器装置(或成像装置)，诸如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)成像器(亦称为＂CMOS传感器＂)，例如它们接收物体光(来自物体的光)并输出与所接收的光量相对应的图像信号。传感器装置充当一种这样的传感器，即通过感测来自物体的光并对其执行光电变换而以电信号的形式输出对应于该物体光的图像信号。

例如，使用传感器装置的方式有许多种，诸如单-传感器系统和三-传感器系统。对于单-传感器系统而言，滤色器传导R(红)、G(绿)和B(蓝)光，例如以称为拜尔矩阵(Bayer array)的模式排列的光学滤光器，并且R、G或B光之一被投射入传感像素。因此，传感器的每一个像素接收R、G或B之一的光，并且为一个像素输出具有R、G或B之一的信号分量的图像信号。由此，对于单-传感器系统而言，构成从传感器获得的图像的每一个像素都只具有R、G或B的一个信号分量，因此随后对每个像素不具有的信号分量执行内插。例如，注意到一个像素只包含R信号(分量)，通过一个邻近的只具有G信号的像素和一个邻近的只具有B信号的像素来预测所关心的像素的G信号和B信号(例如，请参看，公开号为2002-135797的日本未审查专利申请)。

此外，还有称为插值算法(demosaic)的信号处理，其中将从单一CCD获得的只具有R、G或B信号之一的像素转换为具有所有R、G和B信号的像素(例如，参见国际公开No.00/49812)。

另一方面，对于三-传感器系统而言，该传感器装置配置有三个传感器，每一个用于R、G和B，因此R传感器接收R光，G传感器接收G光，而B传感器接收B光，以致输出每个像素都具有R信号、G信号和B信号三个分量的图像信号。

此刻，对于具有三-传感器系统的图像拾取设备而言，请注意某一光线，该所关心的光线通过一个棱镜被分成R、G和B光，从而R传感器接收R光，G传感器接收G光，而B传感器接收B光。因此，用于R、G和B的每个传感器被置于光学上等效(相同)的位置上，以便在用于每个R、G和B的每个传感器上的相同位置处接收所关心光线的R、G和B光。请注意，已经提出在图像拾取设备中如此放置G传感器，即，使其相对于R传感器和B传感器偏移1/2像素，以便获得在垂直方向上提高了分辨率的图像信号(例如，请参看，专利申请号为08-256345的日本未审查专利申请)。

此外，对于普通设备来说，像电荷耦合器件(以下简称为＂CCD＂)或互补金属氧化物半导体(CMOS)成像器(以下简称为＂CMOS传感器＂，或＂CMOS＂)这样的感测装置的输出被放大，以获得适当级别(level)的图像信号。

传感器装置的输出由诸如AGC(自动增益控制器)此类的放大器放大。然而，在物体的对比度很大的情况下，可能存在使用信号放大器难于获得适当的图像信号级别的情形。因此，公开号为06-086155的日本未审查专利申请公开了一种方法，其通过使用具有不同增益的两个放大器放大传感器装置的输出，从而轻易地放大一个宽的动态范围。

现在，传感器装置的后续过程中，通常执行信号处理以便改善传感器装置输出的图像信号的图像质量。也就是说，传感器装置(成像装置)的CCD或CMOS传感器接收入射光(在预定的曝光时间期间，对应于像素的范围之内的物体光)，并输出对应于所接收光量的图像信号。因此，可以说传感器好像是在预定的曝光时间期间内，对与像素相对应的范围内的持续光进行时间序列或空间序列采样，并且输出作为图像信号(像素值)的采样结果。

在这种方式下，传感器装置输出的图像信号是时间序列和空间序列持续光的采样结果，这意味着将丢失包含在原始光中的一部分信息。因此，与原始光相比较而言，传感器装置输出的图像信号在图像质量(即信息量)方面将有所衰减。这就是为什么要在传感器装置的后续过程中要执行信号处理，以提高与原始光相比较而言其图像质量已衰减了的图像信号的图像质量。

目前，对于通常配置而言，传感器装置被制造为不对后续过程中执行的信号处理给予任何考虑，并且其输出图像信号的操作也不对后续过程中执行的信号处理给予任何考虑。因此，传感器装置具有与后续过程中中执行的信号处理无关的属性，即传感器装置没有考虑后续过程中执行的信号处理。如此，不仅使得传感器装置具有与后续过程中执行的信号处理的无关的属性，而且也使得以统一的方式输出图像信号，这意味着通过在传感器装置的后续过程中执行信号处理所能改善的图像质量的程度是有限的。

相反地，如果传感器装置能够输出适于在后续过程中执行信号处理的图像信号，那么通过信号处理可以获得更高图像质量的图像信号。

发明内容

根据上述观点而提出本发明，并且由此，本发明的一个目的是获得适于信号处理的图像信号并执行图像信号的信号处理，藉此能够获得高质量图像信号。

根据本发明第一个方面，一种信号处理设备包括：传感器装置，用于感测信息并输出与该信息相对应的信号；以及信号处理装置，用于使传感器装置输出的信号经受信号处理；其中该传感器装置被设置成与信号处理相对应的属性。

一种相应于本发明第一个方面的信号处理方法，包括：获取步骤，用于感测信息并获取由传感器装置输出与该信息相对应的信号；以及信号处理步骤，使传感器装置输出的信号经受信号处理；其中传感器装置被设置成与信号处理相对应的属性。

一种相应于本发明第一个方面的计算机可读程序，包括：获取步骤代码，该步骤用于感测信息，并获取由传感器装置输出的与该信息相对应的信号；以及信号处理步骤代码，该步骤用于使传感器装置输出的信号经受信号处理；其中传感器装置被设置成与信号处理相对应的属性。

一种相应于本发明第一个方面的记录介质存储有计算机可读程序，其中该程序包括：获取步骤代码，该步骤用于感测信息，并获取由传感器装置输出的与该信息相对应的信号；以及信号处理步骤代码，该步骤用于使传感器装置输出的信号经受信号处理；其中传感器装置被设置成与信号处理相对应的属性。

使用根据本发明第一个方面的信号处理设备、信号处理方法、程序和相应的记录介质，在感测信息并输出与该信息相对应的信号的传感器装置所输出的信号上执行信号处理。在该情况下，传感器装置被设置成与信号处理相对应的属性。

根据本发明第二个方面，一种信号处理设备包括：传感器装置，具有至少一个用于感测光并输出与该光相对应的图像信号的第一分量的第一传感器，和用于输出该图像信号的第二分量的第二传感器；以及信号处理装置，使从传感器装置的输出中获得的第一数字图像信号经受信号处理并输出第二数字图像；其中通过预先执行的学习，将第一和第二传感器设置在与信号处理相对应的放置状态。

一种相应于本发明第二个方面的信号处理方法，包括：获取步骤，用于获取由具有至少感测光并输出与该光相对应的图像信号的第一分量的第一传感器和输出该图像信号的第二分量的第二传感器的传感器装置输出的图像信号；和信号处理步骤，用于使从传感器装置的输出中获得的第一数字图像信号经受信号处理，并输出第二数字图像信号；其中通过预先执行的学习，将第一和第二传感器设置在与信号处理相对应的放置状态。

一种相应于本发明第二方面的计算机可读程序，包括：获取步骤代码，用于获得由具有至少感测光并输出与该光相对应的图像信号的第一分量的第一传感器和输出该图像信号的第二分量的第二传感器的传感器装置输出的图像信号，和信号处理步骤代码，用于使从传感器装置的输出中获得的第一数字图像信号经受信号处理，并输出第二数字图像信号；其中通过预先执行的学习，将第一和第二传感器设置在与信号处理相对应的放置状态上。

一种相应于本发明第二方面的记录介质存储了一种计算机可读程序，其中该程序包括：获取步骤代码，用于获得由具有至少感测光并输出与该光相对应的图像信号的第一分量的第一传感器和输出该图像信号的第二分量的第二传感器的传感器装置输出的图像信号；以及信号处理步骤代码，用于使从传感器装置的输出中获得的第一数字图像信号经受信号处理，并输出第二数字图像信号；其中通过预先执行的学习将第一和第二传感器设置在与信号处理相对应的放置状态上。

对于根据本发明第二方面的信号处理设备和信号处理方法、程序和相应于该程序的记录介质，所述信号处理是在第一数字图像信号上执行的，藉此输出第二数字图像信号，其中第一数字图像信号是从具有至少一个感测光并输出与该光相对应的图像信号的第一分量的第一传感器和输出该图像信号的第二分量的第二传感器的传感器装置的输出获得的。在这种情况下，通过预先执行的学习，第一和第二传感器被放置在与信号处理相对应的放置状态上。

根据本发明的第三方面，一种信号处理设备包括：信号处理装置，用于使从感测信息并输出与该信息相对应的信号的传感器装置输出的信号经受信号处理；控制装置，用于控制传感器装置的属性；评估装置，用于评估有关具有由控制装置所控制的属性的传感器装置的输出进行信号处理的结果；以及确定装置，用于根据评估装置的评估结果确定与该信号处理相对应的传感器装置的属性，并输出该属性的信息。

一种相应于本发明第三方面的信号处理方法，包括：信号处理步骤，用于使从感测信息并输出与该信息相对应的信号的传感器装置输出的信号经受信号处理；控制步骤，用于控制传感器装置的属性；评估步骤，用于评估有关对具有在控制步骤中所控制的属性的传感器装置的输出进行信号处理的结果；以及，确定步骤，用于根据评估步骤的评估结果确定与信号处理相对应的传感器装置的属性，并输出该属性的信息。

一种相应于本发明第三方面的计算机可读程序，包括：信号处理步骤代码，使从感测信息并输出与该信息相对应的信号的传感器装置输出的信号经受信号处理的信号处理；控制步骤代码，用于控制传感器装置的属性；评估步骤代码，用于评估有关对具有在控制步骤中所控制的属性的传感器装置的输出进行信号处理的结果；以及，确定步骤代码，用于根据代码的评估结果确定与信号处理相对应的传感器装置的属性，并输出该属性的信息。

一种相应于本发明第三方面的记录介质存储了一种计算机可读程序，其中该程序包括：信号处理步骤代码，用于使从感测信息并输出与该信息相对应的信号的传感器装置输出的信号经受信号处理；控制步骤代码，用于控制传感器装置的属性；评估步骤代码，用于评估有关对具有在控制步骤中所控制的属性的传感器装置的输出进行信号处理的结果；以及，确定步骤代码，用于根据代码的评估结果确定与该信号处理相对应的传感器装置的属性，并输出该属性的信息。

对于根据本发明第三方面的信号处理设备、信号处理方法、程序和相应于该程序的记录介质，其中信号处理是在感测信息并输出与该信息相对应的信号的传感器装置输出的信号上执行的，而在另一方面，传感器装置的属性被控制，并且评估在具有被控制属性的传感器装置的输出上进行的信号处理的结果。根据评估结果确定与信号处理相对应的传感器装置的属性，并输出该属性的信息。

根据本发明第四方面，一种信号处理设备，包括：信号处理装置，使从传感器装置的输出中获得的第一数字图像信号经受信号处理，该传感器装置具有至少一个感测光并输出与该光相对应的图像信号的第一分量的第一传感器和用于输出该图像信号的第二分量的第二传感器；控制装置，用于控制第一和第二传感器的放置状态；评估装置，用于评估对传感器装置的输出进行信号处理所获得的第二数字图像信号，其中，第一和第二传感器的放置状态由控制装置控制；并且根据评估装置的评估结果确定与该信号处理相对应的第一和第二传感器的放置状态，并输出放置状态的信息。

一种相应于本发明第四方面的信号处理方法，包括：信号处理步骤，用于使从传感器装置获得的信号经受信号处理，该传感器装置具有至少一个感测光并输出与该光相对应的图像信号的第一分量的第一传感器和输出图像信号的第二分量的第二传感器；控制步骤，用于控制第一和第二传感器的放置状态；评估步骤，用于评估通过对传感器装置的输出进行信号处理所获得的第二数字图像信号，其中第一和第二传感器的放置状态是在控制步骤中控制的；以及确定步骤，用于根据评估步骤的评估结果确定与该信号处理相对应的第一和第二传感器的放置状态，并输出该放置状态的信息。

一种相应于本发明第四方面的计算机可读程序，包括：信号处理步骤代码，使从传感器装置的输出中获得的信号经受信号处理，该传感器装置具有至少一个感测光并输出与该光相对应的图像信号的第一分量的第一传感器和输出图像信号的第二分量的第二传感器；控制步骤代码，用于控制第一和第二传感器的放置状态；评估步骤代码，用于评估对传感器装置的输出进行信号处理所获得的第二数字图像信号，其中第一和第二传感器的放置状态是在控制步骤中控制的；以及确定步骤代码，用于根据评估步骤的评估结果，确定与该信号处理相对应的第一和第二传感器的放置状态，并输出该放置状态的信息。

一种相应于本发明第四方面的记录介质存储了一种计算机可读程序，其中该程序包括：信号处理步骤代码，用于使从传感器装置的输出中获得的信号经受信号处理，该传感器装置具有至少一个感测光并输出与该光相对应的图像信号的第一分量的第一传感器和输出图像信号的第二分量的第二传感器；控制步骤代码，用于控制第一和第二传感器的放置状态；评估步骤代码，用于评估通过对传感器装置的输出进行信号处理所获得的第二数字图像信号，其中第一和第二传感器的放置状态是在控制步骤中控制的；以及确定步骤代码，用于根据评估步骤的评估结果，确定与该信号处理相对应的第一和第二传感器的放置状态，并输出该放置状态的信息。

对于根据本发明第四方面的信号处理设备、方法、程序和相应于该程序的记录介质，所述信号处理是在第一数字图像信号上执行的，该第一数字图像是从具有至少一个用于感测光并输出与该光相对应的图像信号的第一分量和输出该图像信号的第二分量及输出第二数字图像信号的传感器的输出中获得的，藉此输出第二数字图像信号，而另一方面，控制第一和第二传感器的放置状态，并评估通过在具有所控制的放置状态的传感器装置的输出上执行信号处理而获得第二数字图像。根据评估结果确定与信号处理相对应的第一或第二传感器装置的放置状态，并输出该放置状态的信息。

根据本发明第五个方面，一种信号处理设备包括：图像转换装置，使从成像装置的输出中获得的第一数字图像经受图像转换处理，该成像装置具有至少一个获得图像信号的第一分量的第一传感器和获得图像信号的第二分量并输出第二数字图像信号的第二传感器；评估装置，用于评估第二数字图像信号；控制装置，根据评估装置的评估控制第一和第二传感器至少一个的放置状态。

一种相应于本发明第五方面的信号处理方法，包括：图像转换步骤，使从成像装置的输出中获得的第一数字图像经受图像转换处理，该成像装置具有至少一个获得图像信号的第一分量的第一传感器和获得图像信号的第二分量并输出第二数字图像信号的第二传感器；评估步骤，用于评估第二数字图像信号；以及控制步骤，用于根据评估步骤的评估控制第一和第二传感器至少一个的放置状态。

一种相应于本发明第五方面的计算机可读程序，该程序包括：图像转换步骤代码，用于使从成像装置的输出中获得的第一数字图像经受图像转换处理，该成像装置具有至少一个获得图像信号的第一分量的第一传感器和获得图像信号的第二分量并输出第二数字图像信号的第二传感器；评估步骤代码，评估第二数字图像信号；以及控制步骤代码，用于根据评估步骤的评估控制第一和第二传感器至少一个的放置状态。

一种相应于本发明第五方面的记录介质存储了一种计算机可读程序，其中该程序包括：图像转换步骤代码，使从成像装置的输出中获得的第一数字图像经受图像转换处理，该成像装置具有至少一个获得图像信号的第一分量的第一传感器和获得图像信号的第二分量并输出第二数字图像信号的第二传感器；评估步骤代码，评估第二数字图像信号；以及控制步骤代码，用于根据评估步骤的评估控制第一和第二传感器至少一个的放置状态。

对于根据本发明第五方面的信号处理设备、信号处理方法、程序和相应于该程序的记录介质，该图像转换处理是在第一数字图像上执行的，该第一数字图像信号是从具有至少一个获得图像信号的第一分量的第一传感器和获得图像信号的第二分量并输出第二数字图像信号的第二传感器的成像装置的输出中获得的。此外，评估第二数字图像信号，并根据评估控制第一和第二传感器中的至少一个的放置状态。

根据本发明第六方面，一种信号处理设备包括：参数获取装置，用于获得预定的参数；控制装置，用于控制具有至少一个获取图像信号的第一分量的第一传感器和根据预定参数获取图像信号的第二分量的第二传感器的成像装置的第一传感器或第二传感器中的至少一个的放置状态；以及图像转换装置，用于使从成像装置的输出中获得的第一数字图像信号经受与预定参数相对应的图像转换处理，并输出第二数字图像信号。

一种相应于本发明第六方面的信号处理方法，包括：获取步骤，用于获得预定的参数；控制步骤，用于控制具有至少一个获取图像信号的第一分量的第一传感器和根据预定参数获取图像信号的第二分量的第二传感器的成像装置的第一传感器或第二传感器中的至少一个的放置状态；以及图像转换步骤，用于使从成像装置的输出中获得的第一数字图像信号经受与预定参数相对应一个的图像转换处理，并输出第二数字图像信号。

一种相应于本发明第六方面的计算机可读程序，包括：获取步骤代码，用于获得预定的参数；控制步骤代码，用于控制具有至少一个获取图像信号的第一分量的第一传感器和根据预定参数获取图像信号的第二分量的第二传感器的成像装置的第一传感器或第二传感器中的至少一个的放置状态；以及图像转换步骤代码，使从成像装置的输出中获得的第一数字图像信号经受与预定参数的图像转换处理，并输出第二数字图像信号。

一种相应于本发明第六方面的记录介质存储了一种计算机可读程序，其中该程序包括：获取步骤代码，用于获得预定的参数；控制步骤代码，控制具有至少一个获取图像信号的第一分量的第一传感器和根据预定参数获取图像信号的第二分量的第二传感器的成像装置的第一传感器或第二传感器中的至少一个的放置状态；以及图像转换步骤代码，使从成像装置的输出中获得的第一数字图像信号经受与预定参数相对应的图像转换处理，并输出第二数字图像信号。

对于根据本发明第六方面的信号处理设备、信号处理方法、程序和相应于该程序的记录介质而言，具有至少一个获取图像信号的第一分量的第一传感器和获取图像信号的第二分量的第二传感器的成像装置的第一传感器或第二传感器中的至少一个的放置状态根据预定参数控制，并且在从成像装置的输出获得的第一数字图像信号上执行与预定参数相对应的图像转换处理，藉此输出第二数字图像信号。

根据本发明第七方面，一种信号处理设备包括：获取装置，用于获得预定的参数；图像转换装置，使从具有至少一个获得图像信号的第一分量的第一传感器和获得图像信号的第二分量并输出第二数字图像信号的第二传感器的成像装置的输出中获得的第一数字图像经受图像处理；控制装置，用于控制第一或第二传感器中的至少一个的放置状态；评估装置，用于评估第二数字图像信号；以及存储装置，与评估装置的评估相对应以关联的方式存储预定参数和第一或第二传感器的放置状态。

一种相应于本发明第七方面的信号处理方法，包括：获取步骤，用于获得预定的参数；图像转换步骤，使从具有至少一个获得图像信号的第一分量的第一传感器和获得图像信号的第二分量并输出第二数字图像信号的第二传感器的成像装置的输出中获得的第一数字图像经受图像处理；控制步骤，用于控制第一或第二传感器中的至少一个的放置状态；评估步骤，用于评估第二数字图像信号；以及存储步骤，与评估装置的评估相对应以关联的方式存储预定参数和第一或第二传感器的放置状态。

一种相应于本发明第七方面的计算机可读程序，包括：获取步骤代码，用于获得预定的参数；图像转换步骤代码，使从具有至少一个获得图像信号的第一分量的第一传感器和获得图像信号的第二分量并输出第二数字图像信号的第二传感器的成像装置的输出中获得的第一数字图像经受图像处理；控制步骤代码，控制第一或第二传感器中的至少一个的放置状态；评估步骤代码，评估第二数字图像信号；以及存储步骤代码，与评估装置的评估相对应以关联的方式存储预定参数和第一或第二传感器的放置状态。

一种相应于本发明第七方面的存储介质存储了一种计算机可读程序，其中程序包括：获取步骤代码，用于获得预定的参数；图像转换步骤代码，使从具有至少一个获得图像信号的第一分量的第一传感器和获得图像信号的第二分量并输出第二数字图像信号的第二传感器的成像装置的输出中获得的第一数字图像经受图像处理；控制步骤代码，控制第一或第二传感器中的至少一个的放置状态；评估步骤代码，评估第二数字图像信号；以及存储步骤代码，与评估装置的评估相对应以关联的方式存储预定参数和第一或第二传感器的放置状态。

对于根据本发明第七方面的信号处理设备、信号处理方法、程序和相应于该程序的记录介质，该图像处理是在第一数字图像上执行的，该第一数字图像信号是从具有至少一个获得图像信号的第一分量的第一传感器和获得图像信号的第二分量并输出第二数字图像信号的第二传感器的成像装置的输出中获得的。此外，控制第一和第二传感器中的至少一个的放置状态，评估第二数字图像信号，并且与该评估相对应，以关联的方式存储预定参数和第一或第二传感器的放置状态。

根据本发明第八方面，一种信号处理设备包括：图像转换装置，使从具有多个光电转换装置的传感器装置的输出中获得的第一数字图像信号经受图像转换处理，并输出第二数字图像信号；以及评估装置，评估预定区域的第一数字图像信号；其中与预定区域的第一数字图像信号相对应的一部分传感器装置被改变为与在评估装置所进行的评估相对应的特性(capability)。

一种相应于本发明第八方面的信号处理方法，包括：图像转换步骤，使从具有多个光电转换装置的传感器装置的输出中获得的第一数字图像信号经受图像转换处理，并输出第二数字图像信号；以及评估步骤，评估预定区域的第一数字图像信号；其中与预定区域的第一数字图像信号相对应的一部分传感器装被改变为与在评估步骤所进行的评估相对应的特性。

一种相应于本发明第八方面的计算机可读程序，包括：图像转换步骤代码，使从具有多个光电转换装置的传感器装置的输出中获得的第一数字图像信号经受图像转换处理，并输出第二数字图像信号；以及评估步骤代码，评估预定区域的第一数字图像信号；其中与预定区域的第一数字图像信号相对应的一部分传感器装被改变为与在评估步骤所进行的评估相对应的特性。

一种相应于本发明第八方面的存储介质存储了一种计算机可读程序，其中该程序包括：图像转换步骤代码，使从具有多个光电转换装置的传感器装置的输出中获得的第一数字图像信号经受图像转换处理，并输出第二数字图像信号；以及评估步骤代码，用于评估预定区域的第一数字图像信号；其中与预定区域的第一数字图像信号相对应的一部分传感器装被改变为与在评估步骤所进行的评估相对应的特性。

对于根据本发明第八方面的信号处理设备、信号处理方法、程序和相应于该程序的记录介质而言，图像转换处理是在从传感器装置的输出获得的第一数字图像上执行的，并输出第二数字图像信号。另一方面，评估预定区域的第一数字图像信号，以及与预定区域的第一数字图像信号相对应的一部分传感器装置被改变为与预定区域的第一数字图像信号的评估相对应的特性。

根据本发明第九方面，一种执行将第一图像信号转换为第二图像信号的信号处理的信号处理设备，包括：类分类装置，根据把来自物体的物体光转换为图像信号的成像装置输出的第一图像信号的级别分布将第二图像信号分到多个类中的一个之中；控制装置，根据第一图像信号的级别分布控制成像装置；抽头因数输出装置，为通过学习所获得的每一个类输出抽头因数；以及计算装置，通过使用由控制装置控制的成像装置输出的第一图像信号和类分类装置获得的类的抽头因数来执行计算以获得第二图像信号。

一种相应于本发明第九方面的执行将第一图像信号转换为第二图像信号的信号处理的信号处理方法，包括：类分类步骤，根据把来自物体的物体光转换为图像信号的成像装置输出的第一图像信号的级别分布将第二图像信号分到多个类中的一个之中；控制步骤，根据第一图像信号的级别分布控制成像装置；抽头因数输出步骤，为通过学习所获得的每一个类输出抽头因数；计算步骤，通过使用在控制步骤中所控制的成像装置输出的第一图像信号和类分类步骤中获得的类的抽头因数来执行计算以获得第二图像信号。

一种相应于本发明第九方面的执行将第一图像信号转换为第二图像信号的信号处理的计算机可读程序，包括：类分类步骤代码，根据把来自物体的物体光转换为图像信号的成像装置输出的第一图像信号的级别分布将第二图像信号分到多个类中的一个之中；控制步骤代码，根据第一图像信号的级别分布控制成像装置；抽头因数输出步骤代码，为通过学习所获得的每一个类输出抽头因数；计算步骤代码，通过使用在控制步骤中所控制的成像装置输出的第一图像信号和类分类步骤中获得的类的抽头因数来执行计算以获得第二图像信号。

一种相应于本发明第九方面的执行将第一图像信号转换为第二图像信号的信号处理的存储介质，其存储了一种计算机可读程序，其中该程序包括：类分类步骤代码，根据把来自物体的物体光转换为图像信号的成像装置输出的第一图像信号的级别分布将第二图像信号分到多个类中的一个之中；控制步骤代码，根据第一图像信号的级别分布控制成像装置；抽头因数输出步骤代码，为通过学习所获得的每一个类输出抽头因数；计算步骤代码，通过使用在控制步骤中所控制的成像装置输出的第一图像信号和类分类步骤中获得的类的抽头因数来执行计算以获得第二图像信号。

对于根据本发明第九方面的信号处理设备、信号处理方法、程序和相应于该程序的记录介质而言，根据把来自物体的物体光转换为图像信号的成像装置输出的第一图像信号的级别分布来执行将第二图像信号分到多个类中之一的类分类，并且根据第一图像信号的级别分布控制成像装置。此外，为通过学习所获得的每一个类输出抽头因数，并使用控制装置控制的成像装置输出的第一图像信号和类分类装置获得的类的抽头因数来执行计算，藉此获得第二图像信号。

根据本发明第十方面，一种执行将第一图像信号转换为第二图像信号的信号处理的信号处理设备，包括：类分类装置，根据把来自物体的物体光转换为图像信号的成像装置输出的第一图像信号的级别分布将第二图像信号分到多个类中的一个之中；活动检测装置，检测第一图像信号的活动；控制装置，根据第一图像信号的活动控制成像装置；抽头因数输出装置，为通过学习所获得的每一个类输出抽头因数；以及计算装置，通过使用由控制装置控制的成像装置输出的第一图像信号和类分类装置获得的类的抽头因数来执行计算以获得第二图像信号。

一种相应于本发明第十方面的执行将第一图像信号转换为第二图像信号的信号处理的信号处理方法，包括：类分类步骤，根据把来自物体的物体光转换为图像信号的成像装置输出的第一图像信号的级别分布将第二图像信号分到多个类中的一个之中；活动检测步骤，检测第一图像信号的活动；控制步骤，根据第一图像信号的活动控制成像装置；抽头因数输出步骤，为通过学习所获得的每一个类输出抽头因数；计算步骤，通过使用在控制步骤所控制的成像装置输出的第一图像信号和类分类步骤中获得的类的抽头因数来执行计算以获得第二图像信号。

一种相应于本发明第十方面的执行将第一图像信号转换为第二图像信号的信号处理的计算机可读程序，包括：类分类步骤代码，根据把来自物体的物体光转换为图像信号的成像装置输出的第一图像信号的级别分布将第二图像信号分到多个类中的一个之中；检测步骤代码，检测第一图像信号的活动；控制步骤代码，根据第一图像信号的活动控制成像装置；抽头因数输出步骤代码，为通过学习所获得的每一个类输出抽头因数；计算步骤代码，通过使用在控制步骤中控制的成像装置输出的第一图像信号和类分类步骤中获得的类的抽头因数来执行计算以获得第二图像信号。

一种相应于本发明第十方面的执行将第一图像信号转换为第二图像信号的信号处理的存储介质，其存储了一种计算机可读程序，其中该程序包括：类分类步骤代码，根据把来自物体的物体光转换为图像信号的成像装置输出的第一图像信号的级别分布将第二图像信号分到多个类中的一个之中；活动检测步骤代码，根据第一图像信号的级别分布检测成像装置；抽头因数输出步骤代码，为通过学习所获得的每一个类输出抽头因数；计算步骤代码，通过使用在控制步骤中控制的成像装置输出的第一图像信号和类分类步骤中获得的类的抽头因数来执行计算以获得第二图像信号。

对于根据本发明第十方面的信号处理设备、信号处理方法、程序和相应于该程序的记录介质，根据把来自物体的物体光转换为图像信号的成像装置输出的第一图像信号的级别分布来执行将第二图像信号分到多个类中之一的分类。此外，检测第一图像信号的活动，并且根据第一图像信号的活动控制成像装置。为通过学习所获得的每一类输出抽头因数，并使用控制装置控制的成像装置输出的第一图像信号和类分类装置获得的类的抽头因数来执行计算，藉此获得第二图像信号。

根据本发明第十一方面，一种执行将第一图像信号转换为第二图像信号的信号处理的信号处理设备，包括：类分类装置，根据把来自物体的物体光转换为图像信号的成像装置产生的第一图像信号的级别分布将第二图像信号分到多个类中的一个之中；参数输出装置，输出表示第二图像信号的分辩率的参数；控制装置，根据该参数控制成像装置；抽头因数生成装置，从通过学习所获得的因数种子数据和该参数中为每一个类产生抽头因数；以及计算装置，通过使用控制装置控制的成像装置输出的第一图像信号和类分类装置获得的类的抽头因数来执行计算以获得第二图像信号。

一种相应于本发明第十一方面的执行将第二图像信号转换为第二图像信号的信号处理的信号处理方法，包括：类分类步骤，根据把来自物体的物体光转换为图像信号的成像装置输出的第二图像信号的级别分布将第二图像信号分到多个类中的一个之中；参数输出步骤，输出表示第二图像信号的分辩率的参数；控制步骤，根据该参数控制成像装置；抽头因数生成步骤，从通过学习所获得的因数种子数据和该参数中为每一个类产生抽头因数；计算步骤，通过使用在控制步骤中控制的成像装置输出的第一图像信号和在类分类步骤中获得的类的抽头因数来执行计算以获得第二图像信号。

一种相应于本发明第十一方面的执行将第一图像信号转换为第二图像信号的信号处理的计算机可读程序，包括：类分类步骤代码，根据把来自物体的物体光转换为图像信号的成像装置产生的第一图像信号的级别分布将第二图像信号分到多个类中的一个之中；参数输出步骤代码，输出表示第二图像信号的分辩率的参数；控制步骤代码，根据该参数控制成像装置；抽头因数生成步骤代码，从通过学习所获得的因数种子数据和该参数中为每一个类产生抽头因数；计算步骤代码，通过使用在控制步骤中控制的成像装置输出的第一图像信号和在类分类步骤中获得的类的抽头因数来执行计算以获得第二图像信号。

一种相应于本发明第十一方面的执行将第一图像信号转换为第二图像信号的信号处理的存储介质，其存储了产生计算机可读程序，其中该程序包括：类分类步骤代码，根据把来自物体的物体光转换为图像信号的成像装置产生的第一图像信号的级别分布将第二图像信号分到多个类中的一个之中；参数输出步骤代码，输出表示第二图像信号的分辩率的参数；控制步骤代码，根据该参数控制成像装置；抽头因数生成步骤代码，从通过学习所获得的因数种子数据和该参数中为每一个类产生抽头因数；计算步骤代码，通过使用在控制步骤中控制的成像装置输出的第一图像信号和在类分类步骤中获得的类的抽头因数来执行计算以获得第二图像信号。

对于根据本发明第十一方面的信号处理设备、信号处理方法、程序和相应于该程序的记录介质而言，根据把来自物体的物体光转换为图像信号的成像装置输出的第一图像信号的级别分布来执行将第二图像信号分到多个类中的一个之中的分类。此外，输出表示第二图像信号的分辩率的参数，以及根据该参数控制成像装置。此外，从通过学习所获得的因数种子数据和该参数中为每一个类产生抽头因数，使用在控制步骤中控制的成像装置输出的第一图像信号和在类分类步骤中获得的类的抽头因数来执行计算，藉此获得第二图像信号。

附图说明

图1示出了已应用本发明的图像拾取设备的一个具体实施例的配置实例的方框图；

图2示出了信号处理单元4和输出单元5的配置实例的方框图；

图3示出了传感器单元1的配置实例的方框图；

图4示出了信号处理单元11的配置实例的方框图；

图5是描述图像拾取设备的操作的流程图；

图6示出了图像转换单元31的配置实例的方框图；

图7示出了因数输出单元124的配置实例的方框图；

图8示出了学习抽头因数的学习设备的配置实例的方框图；

图9是描述学习抽头因数的学习过程的流程图；

图10是描述图像转换单元31的处理的流程图；

图11示出了作为学习放置位置上学习设备的图像拾取设备的第一具体实施例的配置实例的方框图；

图12示出了传感器231的配置实例的方框图；

图13A到13D是描述控制R感光器单元256、G感光器单元256G和B感光器单元256B的放置位置的框图；

图14示出了评估单元235的配置实例的方框图；

图15示出了位置确定单元236的配置实例的方框图；

图16是描述图像拾取设备作为学习设备的学习过程的流程图；

图17示出了已应用本发明的计算机的配置实例的方框图；

图18示出了已应用本发明的图像拾取设备的第二具体实施例的配置实例的方框图；

图19示出了信号处理单元404和输出单元405的配置实例的方框图；

图20示出了传感器单元401的配置实例的方框图；

图21A到21D是描述控制R感光器单元423R、G感光器单元423G和B感光器单元423RB的放置位置的框图；

图22是说明信号处理单元411的配置实例的方框图；

图23是说明评估单元433的第一配置实例的方框图；

图24是说明偏移量和相关值之间的关系的框图；

图25是描述图像拾取设备的操作的流程图；

图26是描述评估单元433所进行的评估处理的流程图；

图27是说明已应用本发明的图像拾取设备的第三具体实施例的配置实例的方框图；

图28是说明信号处理单元411的配置实例的方框图；

图29是说明图像转换单元431的配置实例的方框图；

图30是说明因数输出单元124的另一配置实例的方框图；

图31是描述抽头因数更新处理的流程图；

图32是说明学习因数种子数据的学习设备的第一配置实例的方框图；

图33是描述学习因数种子数据的学习方法的框图；

图34是描述学习因数种子数据的学习过程的流程图；

图35是描述学习因数种子数据的学习方法的框图；

图36是说明学习因数种子数据的学习设备的第二配置实例的方框图；

图37是说明信号处理单元411的配置实例的方框图；

图38是说明控制单元211的配置实例的方框图；

图39是描述图像拾取设备的操作的流程图；

图40是说明学习参数表的学习设备的配置实例的方框图；

图41是说明位置确定单元535的配置实例的方框图；

图42是描述学习一种参数表的学习过程的流程图；

图43是描述对位置确定单元535进行评估处理的流程图；

图44是说明已应用本发明的图像拾取设备的第四具体实施例的配置实例的方框图；

图45A和45B是描述传感器单元601根据信号处理单元601输出的控制信号而在特性上变化的框图；

图46是说明传感器601的配置实例的方框图；

图47是说明信号处理单元604的配置实例的方框图；

图48是说明级别评估单元623的第一配置实例的方框图；

图49是描述图像拾取设备的操作的流程图；

图50是描述级别评估单元623的处理的流程图；

图51是描述图像拾取设备的操作的流程图；

图52是说明级别评估单元623的第二配置实例的方框图；

图53是说明级别评估单元623的第三配置实例的方框图；

图54是说明图像转换处理目标的区域的框图；

图55是说明已应用本发明的传感器系统的第五具体实施例的配置实例的方框图；

图56是说明DRC电路802的第一配置实例的方框图；

图57A和57B分别是说明分类抽头和预测抽头的框图；

图58A到58C是说明已应用本发明的传感器系统的配置实例的框图；

图59A和59B是描述控制聚光镜852的位置的框图；

图60A和60B是描述分类代码的框图；

图61是描述DRC电路802的处理的流程图；

图62是描述控制信息产生处理的流程图；

图63A到63C是描述控制聚光镜852的位置的框图；

图64是描述控制信息产生处理的流程图；

图65是说明DRC电路802的第二配置实例的方框图；

图66A和66B是描述分类抽头的动态范围的框图；

图67是描述DRC电路802的处理的流程图；

图68是描述控制信息产生处理的流程图；

图69是描述控制信息产生处理的流程图；以及

图70是说明DRC电路802的第三配置实例的方框图。

具体实施方式

接下来，将描述本发明的具体实施例。

第一具体实施例

图1示出了已应用本发明的图像拾取设备的第一具体实施例的配置实例。请注意图1所示的这个图像拾取设备可以是例如数字式静态照相机或摄像机。假定在这里该图像拾取设备是一种数字摄像机。

传感器单元1包括多个与像素相对应的光电转换元件，用于感测从物体发出的物体光，并输出与该物体光相对应的图像信号。也就是说，传感器单元1接收物体光并向信号调整单元2提供与所接收的光量相对应的电信号形式的图像信号。

信号调整单元2执行相关的复式抽样(CDS)，以消除包含在传感器单元1输出的图像信号中的所谓的复位噪音，并且将获得的作为处理结果的图像信号提供给A/D转换单元3。A/D转换单元3对信号调整单元2提供的图像信号执行模数转换，即量化图像信号并将所获得的作为其结果的数字图像信号提供给信号处理单元4。

信号处理单元4将A/D转换单元3提供的数字图像信号(以下简称为＂图像信号＂)作为第一图像信号，并使第一图像信号经受预定的图像转换处理，并向输出单元5输出作为其结果的数字图像信号作为第二图像信号。

输出单元5接收信号处理单元4输出的第二图像信号，并输出这些第二图像信号。也就是说，输出单元5从未示出的输出端输出来自信号处理单元4的第二图像信号，或者将其显示在未示出的监视器上。此外，输出单元5将第二图像信号存储在未示出的记录介质中，诸如光盘、磁盘、磁光盘、磁带，半导体存储器等等，或者通过如电话线、因特网、局域网或其他的如电缆或无线传输介质发送这些图像信号。

对于上述配置的图像拾取设备而言，物体光是在传感器单元1处接收的，并且通过信号调整单元2和A/D转换单元3，将与所接收到的光量相对应的电信号形式的图像信号提供给信号处理单元4。信号处理单元4使传感器单元1通过信号调整单元2和A/D转换单元3提供的图像信号作为第一图像信号经受信号处理，该信号处理是像例如通过提高分辩率来提高图像质量的图像转换处理，并且将已藉此提高了图像质量的第二图像信号提供给输出单元5。在输出单元5中，输出信号处理单元4提供的第二图像信号。

此时，传感器单元1被设置为与在信号处理单元4处执行的信号处理相对应的属性，即设置属性以使从传感器单元1输出适合于信号处理单元4执行信号处理的图像信号。

更具体地说，传感器单元1是一种三-传感器系统传感器装置，例如包括三个用于获得图像信号的R、G和B分量(随后所述的R感光器单元23R、G感光器单元23G和B感光器单元23B)的传感器。因此，传感器单元1为每个像素输出具有R信号、G信号和B信号三个分量的图像信号。此外，事先通过随后所描述的学习来获得用于从传感器单元1输出适合于信号处理单元4执行信号处理的图像信号的与传感器单元1的属性有关的信息，并且将传感器单元1设置为该属性。具体地说，传感器单元1的三个传感器中的一个或多个传感器的放置状态被设置为下述状态：即由此传感器单元1输出适于信号处理单元4执行信号处理的图像信号，即被设置为与信号处理单元4执行的信号处理相对应的放置状态。此刻，传感器放置状态包括传感器的放置位置，和传感器的空间角度(转动状态)。然而，请注意对于当前具体实施例而言，为了便于描述，传感器单元1的传感器的放置位置将被作为传感器单元1的属性利用。当然，这并不意味着传感器的空间角度不能同样作为传感器单元1的属性来使用。

如上所述，传感器单元1被设置为与信号处理单元4执行的信号处理相对应的属性，藉此传感器单元1输出适于信号处理单元4执行信号处理的图像信号。从而，在信号处理单元4使图像信号经受信号处理可以获得高质量图像信号。

图2是说明图1所示的信号处理单元4和输出单元5的配置实例的方框图；

信号处理单元4包括三个信号处理单元，11R、11G和11B。信号处理单元11R接收A/D转换单元3提供的具有R、G和B信号的第一图像信号，并使该第一图像信号经受信号处理，藉此获得第二图像信号的R信号(分量)将其输出到输出单元5。信号处理单元11G接收A/D转换单元3提供的具有R、G和B信号的第一图像信号，并使第一图像信号经受信号处理，藉此获得第二图像信号的G信号(分量)将其输出到输出单元5。信号处理单元11B接收A/D转换单元3提供的具有R、G和B信号的第一图像信号，并使第一图像信号经受信号处理，藉此获得第二图像信号的B信号(分量)，然后将其输出到输出单元5。

输出单元5包括输出单元12R、12G和12B。输出单元12R、12G和12B分别接收并输出信号处理单元11R、11G和11B输出的第二图像信号的R信号、G信号和B信号。请注意，在下文中，只要适当的时候，信号处理单元11R、11G和/或11B也可以是整体或个体，简称为＂信号处理单元11＂。

接着，图3是说明图1和2所示的传感器单元1的配置实例的方框图；物体光射入透镜21，并且透镜21通过棱镜22将物体光聚集到R感光器单元23R、G感光器单元23G和B感光器单元23B的每一个上。也就是说，射入透镜21中的物体光被发射到棱镜22。棱镜22将来自透镜21的物体光分解为R、G和B光，并且分别沿R感光器单元23R、G感光器单元23G和B感光器单元23B所处位置的方向发射R、G和B光。

R感光器单元23R、G感光器单元23G和B感光器单元23B被配置为光电转换装置，像例如光电二级管此类，其从棱镜22接收R、G和B光，并藉此产生作为与所接收的光量相对应的电信号形式的R信号、G信号和B信号，然后将这些信号输出到信号调整单元2。

可以用于R感光器单元23R、G感光器单元23G和B感光器单元23B的装置的一个实例是CCD(电荷耦合器件)。但是，请注意R感光器单元23R、G感光器单元23G和B感光器单元23B绝非仅限于CCD，其也可以使用CMOS传感器，或HARP(高增益雪崩冲击非晶态光电导体)来替换，该HARP是利用发生在a-Se(非晶态硒)半导体的光电导靶中的电子雪崩现象的显象管。

对于上述配置的传感器单元1而言，R感光器单元23R、G感光器单元23G和B感光器单元23B的放置位置被设置到适于在信号处理单元4的信号处理单元11R、11G和11B中进行信号处理的图像信号的RGB信号被输出的位置上。也就是说，R感光器单元23R、G感光器单元23G和B感光器单元23B被放置在与信号处理单元4执行信号处理相对应的位置上。此刻，例如通过执行随后所描述的学习来事先获得与信号处理单元4执行信号处理相对应的R感光器单元23R、G感光器单元23G和B感光器单元23B的放置位置。

在这里为了便于描述，假定整个R感光器单元23R的放置位置已被设置到通过学习获得的位置上。此外，假定整个G感光器单元23G和B感光器单元23B的放置位置已被设置到通过学习获得的位置上。然而，应注意为了将R感光器单元23R的每一像素放置在通过学习获得的位置上，可以使用MEMS(微机电系统)技术来进行安排，由此所利用的R感光器单元23R是一个在其中像素的放置位置基本可以改变(移动)的感光器单元，R感光器单元23R的每一像素的放置位置都是通过学习预先获得的，且对应于在信号处理单元4处进行的信号处理。这对于G感光器单元23G和B感光器单元23B也同样成立。

接着，图4是示出了2所示的信号处理单元11的配置实例；已向信号处理单元11R、11G和11B提供由传感器1输出的并经过图像校正单元2和A/D转换单元3的作为第一图像信号的图像信号。

信号处理单元11R包括图像转换单元31R。提供给信号处理单元11R的第一图像信号被提供给图像转换单元31R。图像转换单元31R使第一图像信号经受图像转换处理，以例如通过提高分辩率来提高图像质量，并向输出单元5提供作为信号处理结果的具有提高图像质量的R数字图像信号作为第二图像信号的R信号。

信号处理单元11G包括图像转换单元31G。提供给信号处理单元11G的第一图像信号被提供给图像转换单元31G。图像转换单元31G使第一图像信号经受图像转换处理，以例如通过提高分辩率来提高图像质量，并向输出单元5提供作为信号处理结果的具有提高图像质量的G数字图像信号作为第二图像信号的G信号。

信号处理单元11B包括图像转换单元31B和图像存储单元32B。提供给信号处理单元11B的第一图像信号被提供给图像转换单元31B。图像转换单元31B使第一图像信号经受图像转换处理，以例如通过提高分辩率来提高图像质量，并向输出单元5提供作为信号处理结果的具有提高图像质量的B数字图像信号作为第二图像信号的B信号。

应注意，图像转换单元31R、31G和31B具有相同的配置，并因此可视情况而合称或分称为＂图像转换单元31＂。

紧接着，将参考图5中的流程图来描述图1和2所示的图像拾取设备的操作。

对于图像拾取设备来说，首先，在步骤S1中，信号处理单元4从传感器单元1获得将要经受信号处理的第一图像信号。也就是说，在步骤S1中，传感器单元1接收物体光，然后执行光电转换，藉此获得电信号形式的图像信号(即，使物体成像)，并将图像信号提供给信号调整单元2。信号调整单元2使传感器单元1提供的图像信号经受CDS处理，然后将这些图像信号提供给A/D转换单元3。A/D转换单元3对信号调整单元2提供的图像信号执行A/D转换，然后将其作为第一图像信号提供给信号处理单元4，从而，信号处理单元4获得第一图像信号，然后，流程步骤S1进行到步骤S2。

在步骤S2中，在信号处理单元4处，信号处理单元11的图像转换单元31(图4)使A/D转换单元3提供的第一图像信号经受作为信号处理的图像转换处理，藉此在第一图像信号之上产生图像质量提高的第二图像信号，然后流程进行到步骤S3。

在步骤S3中，信号处理单元11输出在步骤S2获得的第二图像信号给输出单元5，藉此完成一个帧(或场)的处理。对于图像拾取设备而言，重复根据图5的流程图的处理，直到例如用户下达停止图像拾取的命令。

如上所述，传感器单元1(图3)的R感光器单元23R、G感光器单元23G和B感光器单元23B的放置位置已被设置到适于在信号处理单元4(信号处理单元11R、11G和11B)进行信号处理的RGB图像信号被输出的位置上。也就是说，R感光器单元23R、G感光器单元23G和B感光器单元23B被放置在与信号处理单元4的信号处理相对应的位置上。因此，适于在信号处理单元4进行信号处理的图像信号从传感器单元1输出，如此通过使图像信号经受信号处理可以获得高质量图像。

接着，图6是说明图4所示的图像转换单元31的配置实例的方框图。图像转换单元31使提供给其的第一图像信号经受图像转换处理，并输出通过图像转换处理而获得的第二图像信号。

此刻，如果我们例如说，第一图像信号是低分辨率图像信号，而第二图像信号是高分辨率图像信号，那么图像转换处理可以说成是分辩率提高处理。此外，如果我们例如说，第一图像信号是低-S/N(信号/噪音，信噪比)图像信号，而第二图像信号是高-S/N图像信号，那么图像转换处理可以说成是噪音去除处理。此外，如果我们例如说，第一图像信号是预定大小的图像信号，而第二图像信号是大于或小于第一图像信号的大小的图像信号，那么图像转换处理也可以说成是图像缩放(扩大或缩小)处理。

在图像转换单元31中，要经受图像转换处理的第一图像信号被提供给预测抽头提取单元121和特征提取单元122。

预测抽头提取单元121顺序地获得构成第二图像信号的像素作为所关心像素，并且进一步提取构成第一图像信号的几个像素(其像素值)作为预测抽头。具体地说，预测抽头提取单元121从第一图像信号提取在第一图像信号中的与所关心的像素相对应的第一图像信号中的某一像素(例如，第一图像信号中的最接近所关心的空间序列和时间序列像素的像素)的邻近空间序列或时间序列的多个像素，作为预测抽头。预测抽头提取单元121然后将有关所关心的像素的预测抽头提供给计算单元125。

特征提取单元122使用第一图像信号提取所关心像素的特征，并将该特征提供给类分类单元123。可被使用的所关心像素的实例包括第一图像信号中的与所关心的像素相对应的第一图像信号中某一像素的邻近空间序列或时间序列的多个像素的像素值的级别分布，等等。

类分类单元123执行类分类，以根据来自特征提取单元122的所关心像素的特征，将所关心的像素分到多个类中的一个，并且将作为结果所获得的与该类相对应的分类代码提供给因数输出单元124。也就是说，在所关心的像素的特征由学者值，或通过量化学者值而获得的量化值表示时，类分类单元123输出学者值本身作为分类代码。此外，在所关心像素的特征由多个分量构成的矢量值表示时，类分类单元123输出通过量化矢量值而获得的值，或是通过ADRC(自适应动态范围编码)获得的值作为分类代码。

此刻，对于K位ADRC而言，例如检测构成表示所关心像素的特征的矢量值的分量的最大值MAX和最小值MIN，并且使用作为一组的局部动态范围的DR＝MAX-MIN，根据这个动态范围DR将构成所关心像素的特征的分量再次量化成K位。也就是说，最小值MIN被从构成所关心像素的特征的分量中减去，并且被减的值除(被量化)DR/2K。在其中根据预定顺序排列构成所关心像素的特征的K位分量的一位串被作为ADRC代码输出。因此，在表示所关心像素的特征的矢量值经受1位ADRC处理的情况下，构成所关心像素的特征的每个分量除以最大值MAX和最小值MIN的平均值(舍入到小数)，借此每个分量变为一个位(即，二进位化)。其中以预定顺序排列1位分量的位串被作为ADRC代码输出。类分类单元123输出例如通过对所关心像素的特征进行ADRC处理所获得的ADRC代码作为分类代码。

因数输出单元124存储每一类的抽头因数，并且此外对已存储的抽头因数，向计算单元125输出类分类单元123提供的分类代码的类的抽头因数。应当注意的是，在这里抽头因数等于在数字滤波器中的所谓抽头中乘以输入数据的因数。

计算单元125获得预测抽头提取单元121输出的预测抽头和因数输出单元124输出的抽头因数，并且使用预测抽头和抽头因数执行预定的预测计算，以获得所关心像素的真实值的预测值。因此，计算单元125获得并输出所关心像素的像素值(更准确地说，或它的预测值)，即构成第二图像信号的像素的像素值。

接着，图7是说明图6所示的因数输出单元124的配置实例的方框图。在图7中，因数输出单元124包括因数存储器181。因数存储器181存储通过随后所述学习而预先获得的每个类的抽头因数。一旦类分类单元123已将分类代码提供到该因数存储器181，因数存储器181就读出该分类代码的抽头因数，并将其提供给计算单元125。

接着，将描述在图6所示的计算单元125中执行的预测计算和用于预测计算的存储在图7所示的因数存储器181中的抽头因数的学习。

假定我们有作为第二图像信号的高图像质量图像信号和作为第一图像信号的低质量信号，该低质量信号是通过使用降低其分辨率的LPF(低通滤波器)对高图像质量图像信号进行过滤而获得。现在我们将考虑这样的例子，即从低图像质量图像信号提取预测抽头，并根据预定的预测计算，使用预测抽头和抽头因数来获得高图像质量像素的像素值。

例如使用线性基本预测计算作为预定的预测计算，通过以下线性基本表达式可以获得高图像质量像素的像素值y。

$y=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{w}_n{x}_n---\left(1\right)$

其中x_n表示构成有关高图像质量像素y的预测抽头的第n个低图像质量图像信号像素的像素值(以下视情况称为＂低图像质量像素＂)，和w_n表示要与第n个低图像质量像素的像素值相乘的第n个抽头因数。请注意，在表达式(1)中，预测抽头包括N个低图像质量像素x₁、x₂等等直到x_n。

此刻，高图像质量像素的像素值y可以通过二次表达式或更高阶的表达式来获得，而不是表达式(1)的线性基本表达式。

对于由y_k表示的第k个采样的高图像质量像素的像素值的真实值和从表达式1获得的真实值y_k的预测值y_k′而言，它的预测误差e_k如以下表达式示出。

e_k＝y_k-y_k′　　　　　　　(2)

在这里，表达式(2)中的预测值y_k′是根据表达式(1)获得的，因此根据表达式(1)代入表达式(2)的y_k′中而得到下列表达式。

$e_k=y_k-\left(\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{w}_n{x}_{n,k}\right)---\left(3\right)$

请注意，在表达式(3)中，x_n，k表示构成有关第k个采样的高图像质量像素的预测抽头的第n个低图像质量像素。

此刻，虽然在表达式(3)(或在表达式(2))中具有预测误差e_k为0的抽头因数w_n对于预测高图像质量像素是最佳的，但是为所有高图像质量像素获得像抽头因数w_n这样的抽头因数通常是很困难的。因此，使用作为最佳抽头因数w_n的标准表示的最小平方法，可以通过最小化下列表达式表示的误差平方和E来获得最佳抽头因数w_n。

$E=\underset{k=1}{\overset{k}{\mathrm{\Σ}}}{e_k}^2---\left(4\right)$

其中K表示多组高图像质量像素y_k和构成有关高图像质量像素y_k的预测抽头的低图像质量像素x_1，k、x_2，k等直到x_n，k的采样数量(即，学习采样的数量)。

使用w_n获得表达式(4)中的误差平方和E的最小值(极小值)，其中使用抽头因数w_n对和E进行偏微分而得到0，如表达式(5)所示。

$\frac{\∂E}{\∂w_n}=e_1\frac{\∂e_1}{\∂w_n}+e_2\frac{\∂e_2}{\∂w_n}+\·\·\·+e_k\frac{{\∂e}_n}{\∂w_n}=0(n=\mathrm{1,2},\·\·\·\·,N)---\left(5\right)$

因此，使用w_n对上述表达式(3)进行偏微分而给出了下列表达式。

$\frac{{\∂e}_k}{\∂w_1}=-x_{1,k},\frac{{\∂e}_k}{\∂w_2}=-x_{2,k},\·\·\·,\frac{{\∂e}_k}{\∂w_N}=-x_{N,k},(k=\mathrm{1,2},\·\·\·,K)---\left(6\right)$

下列表达式是根据表达式(5)和(6)获得的。

$\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{e}_k{x}_{1,k}=0,\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{e}_k{x}_{2,k}=0,\·\·\·\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{e}_k{x}_{N,.k}=0---\left(7\right)$

将表达式(3)代入表达式(7)中的e_k中，从而使得表达式(7)表示为表达式(8)的正规方程式。

例如，使用消去计算(高斯-乔丹消去法)，表达式(8)的正规方程式可以解算出抽头因数w_n。为每个类解算表达式(8)的正规方程式，使得能够为每个类获得最佳抽头因数w_n(在这种情况下，该抽头因数使误差平方和E最小)。

紧接着，图8说明执行学习以通过为每个类解算表达式(8)的正规方程式而获得每个类的抽头因数w_n的学习设备的配置实例。

用于学习抽头因数w_n的学习图像信号被输入学习设备。在这里，学习图像信号的一个实例为高分辨率的高图像质量图像信号。学习图像信号被提供给学习设备的导师数据生成单元131和学生数据生成单元133。

导师数据生成单元131从供给其的学习图像信号中生成导师数据，并将它们提供给导师数据存储单元132。也就是说，在这里，导师数据生成单元131将高图像质量图像信号作为学习图像信号不加变化的提供到导师数据存储单元132作为导师数据。导师数据存储单元131存储由导师数据生成单元131生成的作为导师数据的高图像质量图像信号。

学生数据生成单元133从学习图像信号中生成学生数据，并将这个学生数据提供给学生数据存储单元134。也就是说，学生数据生成单元133执行作为学习图像信号的高图像质量图像信号的过滤，以便降低它的分辨率，藉此生成低图像质量图像信号并作为学生数据提供给学生数据存储单元134。学生数据存储器134存储来自于学生数据生成单元133的学生数据。

预测抽头提取单元135连续地获得作为所关心导师像素的像素，这些像素构成作为存储在导师数据存储单元132中的导师数据的高图像质量图像信号，并从构成作为存储在学生数据存储单元134中的学生数据的低图像质量图像信号的低图像质量像素中提取预定的一个像素，藉此设置一个预测抽头，该预测抽头具有与图6所示的预测抽头提取单元121配置的预测抽头相同的抽头结构，并提供给加法单元38。

与所关心的导师像素相对应，特征提取单元136以与图6所示特征提取单元122同样的方式使用构成低图像质量图像信号的低图像质量像素来提取所关心导师像素的特征，并提供给类分类单元137，该低图像质量图像信号作为存储在学生数据存储单元134中的学生数据。

根据特征提取单元136输出的所关心的导师像素的特征，类分类单元137执行与图6所示的类分类单元123相同的类分类，并且向加法单元138输出与所获得的作为结果的类相对应的分类代码。

类分类单元137输出的有关所关心导师像素的分类代码被提供给加法单元138。加法单元138从导师数据存储单元132中读出所关心的像素，并为类分类单元137提供的每个分类代码执行有关所关心的导师像素和学生数据的相加，该学生数据构成预测抽头提取单元135提供的关于所关心的导师像素所配置的预测抽头。

也就是说，向加法单元138提供存储在导师数据存储单元132中的导师数据y_k、从预测抽头提取单元135输出的预测抽头x_0，k和从类分类单元137输出的分类代码。

对于类分类单元137提供的与分类代码相对应的每个类而言，加法单元138使用预测抽头(学生数据)x_n，k执行计算，该计算等于表达式(8)的矩阵左边中的学生数据的一个与另一个(x_n，kx_n’，k)的乘积和其相加和(∑)。

同样，对于类分类单元137提供的与分类代码相对应的每个类而言，加法单元138使用预测抽头(学生数据)x_n，k和导师数据y_k执行计算，该计算等于表达式(8)右侧的矢量中的学生数据x_n，k和导师数据y_k的乘积(x_n，k，y_k)和其相加和(∑)。

也就是说，加法单元138在它的存储器(未示出)中存储的表达式(8)所获得的将早先的作为所关心导师像素的有关导师数据的其左侧矩阵分量(∑x_n，k x_n’，k)和右侧分矢量(∑x_n，k y_k)，并加上矩阵分量(∑x_n，kx_n’，k)或分矢量(∑x_n，ky_k)、有关作为所关心的导师像素的新的导师数据的相应分量x_n，k-1、x_n’，k-1或x_n，k-1y_k-1，使用导师数据y_k-1和学生数据x_n，k-1计算相应分量x_n，k-1x_n’，k-1或x_n，k-1或x_n，k-1y_k-1(即执行表达式(8)表示的求和的加法)。

加法单元138使用导师数据存储单元132存储的所有导师数据作为所关心导师像素来执行这一加法，以便为每个类构成表达式(8)给出的正规方程式，然后输出该正规方程式给抽头因数计算单元139。抽头因数计算单元139为每个类解算加法单元138提供的正规方程式，从而为每个抽头获得并输出最佳抽头因数w_n。

图7所示的因数存储器181为通过图8所示的学习设备而获得的每个类存储抽头因数w_n。

请注意，对于上述方案而言，学习图像信号是作为与没有变化的第二图像信号相对应的导师数据获得的，以及其中已经降低了学习图像信号的分辨率的低图像质量图像信号作为与第一图像信号相对应的学生数据，根据此执行抽头因数的学习，因此可以启动图像转换处理而获得抽头因数，其中可以实现对第一图像信号进行分辨率提高处理从而将其处理为具有提高的分辨率的第二图像信号。

此刻，依赖于与第一图像信号相对应的学生数据的图像信号和与第二图像信号相对应的导师数据的图像信号是如何选择的，可以获得用于各种类型的图像转换处理的抽头因数。

也就是说，例如，对于其中高图像质量图像信号被作为导师数据，并且噪音是被附加在导师数据高图像质量图像信号上以产生被作为学生数据的带有噪音的图像信号的安排中，执行学习处理，藉此可以获得执行图像转换处理的抽头因数，该图像转换处理是将第一图像信号转换为已去除了(或减少)包含在其中的噪音的第二图像信号的去除处理。

同样，例如，对于这样的方案而言，即其中所给出的图像信号作为导师数据以及减少作为导师数据的图像信号所具有的像素数量的图像信号而产生作为学生数据的图像信号，或者其中所给出的图像信号作为学生数据以及根据预定减少比例减少作为学生数据的图像信号所具有的像素数量的图像信号以产生作为导师数据的图像信号，执行学习处理，藉此可以获得执行图像转换处理的抽头因数，该图像转换处理为缩放处理，其将第一图像信号转换为被扩大或减小的第二图像。此外，以某一方式设置作为导师数据和学生数据的图像信号，允许获得执行各种图像转换处理的抽头因数，诸如像素数量的转换、高宽比的转换等。

紧接着，将参考图9的流程来描述通过图8所示的学习设备执行的处理，即学习处理。

首先，在步骤S51中，导师数据生成单元131和学生数据生成单元133分别从学习图像信号产生导师数据和学生数据，然后输出。也就是说，导师数据生成单元131未作改变而输出学习图像信号作为导师数据。同样，学生数据生成单元133使用LPF以预定的切断频率过滤该学习图像信号，藉此为每个帧生成并输出有关导师数据(学习图像信号)的学生数据。

导师数据生成单元131输出的导师数据被提供给导师数据存储单元132并存储在其中，而学生数据生成单元133输出的学生数据被提供给学生数据存储单元134并存储在其中。

随后，流程进行到步骤S52，在该步骤中，从存储在导师数据存储单元132中的导师数据中，预测抽头提取单元135取出作为还没有被作为所关心的导师像素的一个所关心的导师像素。此外，在步骤S52中，预测抽头提取单元135从存储在学生数据存储单元134中的学生数据设置关于所关心的导师像素的预测抽头，然后将其提供给加法单元138，然后流程进行到步骤S53。

在步骤S53中，特征提取单元136使用学生数据存储单元134存储的学生数据提取所关心的导师像素的特征，然后将其提供给类分类单元137，然后流程进行到步骤S54。

在步骤S54中，类分类单元137根据来自于特征提取单元136的与所关心的导师像素有关的所关心特征的像素执行所关心导师像素的分类，并向加法单元138输出藉此获得的与该类相对应的分类代码，然后流程进行到步骤S55。

在步骤S55中，加法单元138为类分类单元137提供的分类代码从导师数据存储单元132中读出所关心的导师像素，执行表达式(8)的相加，该相加有关所关心的导师像素和构成预测抽头提取单元135提供的有关所关心的导师像素所配置的预测抽头，于是流程进行到步骤S56。

在步骤S56中，确定预测抽头提取单元135是否在导师数据存储单元132中存储了还没有作为所关心的导师像素的导师数据。如果在步骤S56所作的确定是预测抽头提取单元135在导师数据存储单元132中仍存储有还没有作为所关心的导师像素的导师数据，那么对于还没有作为所关心导师像素的导师数据，预测抽头提取单元135返回到步骤S52，并重复执行相同的处理。另一方面，如果步骤S56所作的确定是预测抽头提取单元135在导师数据存储单元132中不再有还没有作为所关心的导师像素的导师数据，那么加法单元138为迄今为止通过处理所已经获得的每个类将表达式(8)的左侧矩阵和右侧矢量提供给计算单元139，接着流程进行到步骤S57。

在步骤S57中，抽头因数计算单元139为加法单元138提供的每个类解算构成表达式(8)的左侧矩阵和右侧矢量的每个类的正规方程式，藉此为每个类获得并输出抽头因数w_n，接着结束处理。

虽然可能存在这种情况，即由于学习图像信号的数量不够等原因，不能获得为获得抽头因数所需的正规方程式的数量，但是例如可安排抽头因数计算单元139为这样的类输出缺省的抽头因数。

图7所示的因数存储器181为如上述那样所获得的每个类存储抽头因数。然而，应注意图4所示的图像转换单元31R的因数存储器181存储通过执行只使用图像信号的R信号作为导师数据和图像信号的R、G和B信号作为学生数据的学习所获得的抽头因数。同样，图4所示的图像转换单元31G的因数存储器181存储通过执行只使用图像信号的G信号作为导师数据和图像信号的R、G和B信号作为学生数据的学习所获得的抽头因数。另外，图4所示的图像转换单元31B的因数存储器181存储通过执行只使用图像信号的B信号作为导师数据和图像信号的R、G和B信号作为学生数据的学习所获得的抽头因数。

接着，将参考图10中的流程图来描述由图6所示的图像转换单元31执行的图像转换处理。请注意，参考图10所描述的图像转换处理是在图5的步骤S2中执行的处理。

在步骤S61中，预测抽头提取单元121将构成第二图像信号的还没有作为所关心像素的一个像素作为所关心的像素，并且提取构成第一图像信号的几个像素(事实上，像素的像素值)作为预测抽头，该像素用于预测第二图像信号的所关心的像素的像素值，然后流程进行到步骤S62。

在步骤S62中，特征提取单元122使用第一图像信号提取所关心像素的特征，并将该特征提供给类分类单元123，然后流程进行到步骤S63。在步骤S63中，类分类单元123根据特征提取单元122提供的所关心的像素的特征执行用于将所关心像素分类在多个类中的一个的类分类处理，并提供与作为处理结果所获得的类相对应的分类代码给因数输出单元124，然后流程进行到步骤S64。在步骤S64中，因数输出单元124读出类分类单元123提供的分类代码的类的抽头因数，然后将其输出给计算单元125，然后流程进行到步骤S65。

在步骤S65，计算单元125使用抽头提取单元121提供的预测抽头和从因数输出单元124输出的所关心像素的类的抽头因数来执行表达式(1)的计算，藉此获得所关心像素的像素值。

图像转换单元31为作为一屏(即，一帧或场)的所关心像素的第二图像信号的所有像素执行步骤S61到S65的处理，然后流程返回。

接着，图11说明作为用于执行学习传感器单元1属性信息的学习设备的图像拾取设备的布置的配置实例，该传感器单元1用于输出适于图1所示的信号处理单元4执行的信号处理的图像信号，该属性信息即有关R感光器单元23R、G感光器单元23G和B感光器单元23B的放置状态的信息，其与信号处理单元4执行的信号处理相对应。传感器单元231具有多个与像素相对应的光电转换设备，以检测投射入其中的物体光，并且输出与物体光相对应的图像信号。也就是说，传感器单元231接收物体光并获得与所接收光量相对应的电信号形式的图像信号，然后将其提供给信号调整单元232和238。

请注意，如下所述，安排传感器单元231以能够获得等于图1所示的传感器单元1获得的图像信号(以下视情况也称为＂正常图像信号＂)和高质量图像信号，该高质量图像信号(以下视情况也称为＂评估图像信号＂)用于随后描述的评估单元235，其等于图1所示的信号处理单元输出的第二图像信号。传感器单元231向信号调整单元232提供正常图像信号，并将评估图像信号提供给信号调整单元238。

同时，将来自于控制器240的控制信号提供给传感器单元231。传感器单元231的属性根据控制器240提供的控制信号变化，并且根据变化的属性来获得与物体光相对应的正常图像信号。

如同图1中的信号调整单元2一样，信号调整单元232使传感器单元231输出的正常图像信号经受CDS处理，并将获得的作为处理结果的图像信号提供给A/D转换单元233。

如同图1中的A/D转换单元3一样，A/D转换单元233使信号调整单元232提供的正常图像信号经受A/D转换，即采样及量化正常图像信号，并将作为处理结果而获得的数字图像信号作为第一图像信号提供给信号处理单元234。

以与图2所示的信号处理单元4相同的方式设置信号处理单元234，并且使来自于A/D转换单元233的第一图像信号经受像图6到图10所述信号处理的图像转换处理，藉此获得第二图像信号(R、G和B信号)并将此提供给评估单元235。

向评估单元235提供来自于信号处理单元234的第二图像信号，以及控制器240提供的控制传感器单元231的属性的控制信号和来自于A/D转换单元239的评估图像信号。评估单元235使用A/D转换单元239提供的评估图像信号评估信号处理单元234提供的第二图像信号，并且在获得该评估时，关联该评估和控制信号表示的传感器单元231的属性，也就是说，在获得第一图像信号时，关联该评估和表示传感器单元231的属性的属性信息，这是在信号处理单元234处进行信号处理的目的，以便获得评估后的第二图像信号。此外，评估单元235将该组第一图像信号的评估和属性信息提供给位置确定单元236。

当获得适于在信号处理单元234进行信号处理的第一图像信号时，位置确定单元236根据评估单元235提供的该组的第二图像信号的评估和属性信息确定传感器231单元的属性，即与信号处理单元234处的信号处理相对应(因此传感器单元1的属性与图1所示的信号处理单元4的信号处理相对应)的传感器单元231的属性，并且将标识属性的属性信息提供给位置存储单元237。位置存储单元237存储位置确定单元236提供的属性信息。

如同信号调整单元232一样，信号调整单元238使传感器单元231输出的评估图像信号经受CDS处理，并且将作为处理结果获得的评估图像信号提供给A/D转换单元239。但是，请注意，由于信号调整单元232处理正常图像信号，信号调整单元238处理图像质量高于正常图像信号的评估图像信号，因此信号调整单元238具有比信号调整单元232高的能力，以便保持评估图像信号的图像质量。

如同A/D转换单元233一样，A/D转换单元239使信号调整单元238提供的评估图像信号经受A/D转换，即采样和量化评估图像信号，并且将作为其结果而获得的数字评估图像信号提供给评估单元235。但是，请注意，由于A/D转换单元233处理正常图像信号，A/D转换单元239处理图像质量高于正常图像信号的评估图像信号，因此A/D转换单元239具有比A/D转换单元233高的能力(例如，比A/D转换单元233更多的量化位或更高的采样频率)，以便保持评估图像信号的图像质量。

控制器240向传感器单元231和评估单元235提供用于控制传感器单元241的属性的控制信号。

接着，图12示出图11所示的传感器单元231的配置实例。物体光投射入透镜251中，然后透镜251通过半反射镜252和棱镜253将物体光聚集在评估R感光器单元255R、评估G感光器单元255G和评估B感光器单元255B上，同时通过半反射镜252和棱镜254将物体光聚集在R感光器单元256R、G感光器单元256G和B感光器单元256B上。

也就是说，投射入透镜251中的物体光被发射到半反射镜252。半反射镜252将一部分物体光从透镜251反射到棱镜253，并且将剩余部分发送到棱镜254。

棱镜253将来自于半反射镜252的物体光分离为R、G和B光，并将R、G和B光发射到评估R感光器单元255R、评估G感光器单元255G和评估B感光器单元255B各自所在位置的方向上。评估R感光器单元255R、评估G感光器单元255G和评估B感光器单元255B设置有光电转换单元，诸如光电二极管等等，以便从棱镜253接收R、G和B光，并获得相应于所接收的光量的电信号形式的R信号、G信号和B信号。然后，由R信号、G信号和B信号组成的图像信号然后被作为评估图像信号输出到信号调整单元238(图11)。评估R感光器单元255R、评估G感光器单元255G和评估B感光器单元255B的实例包括CCD、CMOS传感器、HARP等等。

棱镜254将来自于透镜251的物体光分离成RGB光，并在R感光器单元256R、G感光器单元256G和B感光器单元256B各自所在的位置的方向上发射R、G和B光。R感光器单元256R、G感光器单元256G和B感光器单元256B设置有光电转换单元，诸如光电二极管等等，以便从棱镜254接收R、G和B光，并获得与所接收的光量相对应的电信号形式的R信号、G信号和B信号。由R信号、G信号和B信号组成的图像信号然后被作为正常图像信号输出到信号调整单元232(图11)。R感光器单元256R、G感光器单元256G和B感光器单元256B的实例包括CCD、CMOS传感器、HARP等。然而，R感光器单元256R、G感光器单元256G和B感光器单元256B优选地具有与图3所示的R感光器单元23R、G感光器单元23G和B感光器单元23B相同的特性。

R控制单元257R、G控制单元257G和B控制单元257B每一个都根据控制器240(图11)提供的控制信号对R感光器单元256R、G感光器单元256G和B感光器单元256B的放置位置的移动进行控制，藉此改变传感器单元251的属性。

现在，为了便于描述，我们在此假定R控制单元257R控制整个R感光器单元256R的放置位置，G控制单元257G控制整个G感光器单元256G的放置位置，以及B控制单元257B控制整个B感光器单元256B的放置位置。然而，应注意，例如使用MEMS技术，允许R感光器单元256R的像素的放置位置能够基本上被改变(移动)，藉此可以独立地控制R感光器单元256R的单个像素的放置位置。这对于G感光器单元256G和G控制单元257G，以及B感光器单元256B以及B控制单元257B同样成立。

同样，评估R感光器单元255R、评估G感光器单元255G和评估B感光器单元255B具有比获得正常图像信号的R感光器单元256R、G感光器单元256G和B感光器单元256B高的特性，由于藉此将获得高质量的评估图像信号。也就是说，评估R感光器单元255R、评估G感光器单元255G和评估B感光器单元255B具有例如比R感光器单元256R、G感光器单元256G和B感光器单元256B宽的动态范围、更多的数量或像素，等等。

接着，将参考图13A到13D描述由图12所示的R控制单元257R、G控制单元257G和B控制单元257B对R感光器单元256R、G感光器单元256G和B感光器单元256B中每一个的控制。

图13A所示的R感光器单元256R、图13B所示G感光器单元256G和图13C所示的B感光器单元256B每一个都具有有限区域的像素(相应于一个光电二极管等等)，并输出与在每个像素处所接收的光量相对应的图像信号。请注意，在图13A到13D中，像素是每边为有限长度的正方形。

在这里，R感光器单元256R、G感光器单元256G和B感光器单元256B的像素的每个位置各自由像素的正方形的重心表示，并且R感光器单元256R、G感光器单元256G和B感光器单元256B的像素分别由点、圆和X表示。以制造图像拾取设备的观点来看，诸如摄像机或静态照相机，例如R感光器单元256R、G感光器单元256G和B感光器单元256B的相应像素的位置完全在光学上相匹配。也就是说，R感光器单元256R、G感光器单元256G和B感光器单元256b被全部排列在光学等效位置上，以便通过相应的像素接收光线的R、G和B射线。

R控制单元257R、G控制单元257G和B控制单元257B根据控制器240(图11)提供的控制信号分别移动R感光器单元256R、G感光器单元256G和B感光器单元256B的放置位置，该放置位置为传感器单元241的属性。也就是说，R感光器单元256R、G感光器单元256G和B感光器单元256B的放置位置不是固定的而是可移动的，并且因此传感器单元241中的R感光器单元256R、G感光器单元256G和B感光器单元256B的相应像素没必要在光学上相同的位置上。

如图13D所示，对于作为参考的R感光器单元256R的像素的位置(图13A和13D所示的点)而言，在G感光器单元256G的像素位置的水平方向和垂直方向上偏移度(图13B和13D所示的圆圈)被表示为Ph_G和Pv_G，在B感光器单元256B的像素位置的水平方向和垂直方向上偏移度(图13C和13D所示的X)被表示为Ph_B和Pv_B。

R控制单元257R、G控制单元257G和B控制单元257B根据控制器240提供的控制信号移动R感光器单元256R、G单元256G和B感光器单元256B的放置位置，以便实现Ph_G、Pv_G、Ph_B和Pv_B的偏移量。

现在，在这种情况下，在其中可做一些安排，例如，R感光器单元256R的位置是固定的，只移动G感光器单元256G和B感光器单元256B。或者，可在其中做另一种安排，即除R控制单元257R外，G控制单元257G和B控制单元257B中的一个是固定的，移动剩余的两个，此外可在其中做这样的安排，即可以移动所有的R感光器单元256R、G感光器单元256G和B感光器单元256B。

同样，在图12所示的传感器单元241中，虽然评估R感光器单元255R、评估G感光器单元255G和评估B感光器单元255B在光学上具有相同位置的像素位置，但可以移动R感光器单元256R、G感光器单元256G和B感光器单元256B的放置位置。也就是说，对于评估R感光器单元255R、评估G感光器单元255G和评估B感光器单元255B被全部置于光学上等效的位置上，如此光线的R、G和B射线由相应的像素接收。

图14说明图11所示的评估单元235的配置实例。评估单元235包括图像存储单元261、相关性计算单元262和评估值存储单元263。图像存储单元261为传感器231通过信号调整单元238和A/D转换单元239提供的某一物体光存储评估图像信号。

相关性计算单元262使用图像存储单元261中存储的评估图像信号评估从正常图像信号获得的第二图像信号，该第二图像信号相应于存储在图像存储单元261中的信号处理单元234提供的评估图像信号，即相关性计算单元262获得信号处理单元234提供的第二图像信号和存储在图像存储单元261中的评估图像信号之间的相关值，并且将其的相关值提供到评估值存储单元263，作为信号处理单元234提供的评估结果或第二图像信号的评估值。

此时，第二图像信号和评估图像信号的一个帧(场)之间的相关值的实例是第二图像信号和评估图像信号之间的位于相同位置的部分或全部像素的差分的绝对值之和的倒数。

除了来自于相关性计算单元262的第二图像信号的评估值，还向评估值存储单元263提供控制器240输出的控制信号。由控制器240输出的控制信号表示当用于获得相关性计算单元262输出的第二图像信号的评估值的第一图像已通过传感器单元231获得时，该传感器231的属性，即图12所示的R控制单元257R、G控制单元257G和B控制单元257B的放置位置。评估值存储单元263以相关的方式存储放置位置和来自于相关性计算单元262的第二图像信号的评估值。评估值存储单元263为有关预先设定的多个位置(以下简称为”设定位置”)的每个位置的多个图像的每个第二图像信号存储评估值，该设定位置有关R感光器单元256R、G感光器单元256G和B感光器单元256B的位置，然后将评估值提供给位置确定单元236(图11)。

请注意，在这里，图11所示的控制器240输出作为用于控制传感器241(图12)的R感光器单元256R、G感光器单元256G和B感光器单元256B的放置位置的控制信号，该信号表示在G感光器单元256G的像素位置的水平方向和垂直方向上的偏移量Ph_G和Pv_G，和在B感光器单元256B的像素位置的水平方向和垂直方向上的偏移量Ph_B和Pv_B(这些偏移量Ph_G、Pv_G、Ph_B和Pv_B可以建成为＂偏移量P＂)。

接着，图15是说明图11所示的位置确定单元236的配置实例；

向评估值整合单元271提供有关多个设定位置的多个第二图像信号的每个的评估值，该评估值由评估单元235的评估值存储单元263输出。评估值整合单元271为多个设定位置的每个位置的多个第二图像信号的每个图像信号的有关设定位置整合评估值，并且将通过整合所获得的评估值(以下视情况也称为＂整合评估值＂)提供给最佳位置确定单元272。

最佳位置确定单元272根据评估值整合单元271提供的多个设定位置的每个位置的整合评估值确定与要在信号处理单元234进行信号处理相对应的设定位置，即确定图12所示的R感光器单元256R、G感光器单元256G和B感光器单元256B的放置位置，并且将该放置位置作为在信号处理单元234处(以及信号处理单元4)进行信号处理的最佳位置提供给位置存储单元237(图11)。

接下来，将参考图16所示的流程图来描述图11所示的图像拾取设备的最佳位置的学习过程(学习过程)。

首先，在步骤S201中，控制器240将所关心组的多个放置位置中所关心的一个放置位置作为图12所示的传感器单元241的R感光器单元256R、G感光器单元256G和B感光器256B放置位置，并且将表示所关心的放置位置的控制信号提供给图14所示的评估单元235的评估值存储单元263。此外，在步骤S201中，控制器240将表示所关心的放置位置的控制信号提供给传感器单元241的R控制单元257R、G控制单元257G和B控制单元257B，并将R感光器单元257R、G感光器单元257G和B感光器单元257B的放置位置移动到所关心的放置位置，接着流程进行到步骤S202。

在步骤S202中，信号处理单元234获得传感器单元231输出的图像信号。也就是说，在步骤S202中，传感器单元231接收物体光，然后执行光电转换，藉此获得作为电信号的图像信号(即，使物体成像)，并将图像信号提供给信号调整单元232和238。信号调整单元232使传感器单元231提供的图像信号经受CDS处理，并且将这些图像信号提供给A/D转换单元233。A/D转换单元233对信号调整单元232提供的图像信号进行A/D转换，并将其作为第一图像信号提供给信号处理单元234。另一方面，信号调整单元238使传感器单元231提供的图像信号经受CDS处理，并且将这些图像信号提供给A/D转换单元239。A/D转换单元239对信号调整单元238提供的图像信号进行A/D转换，并将其作为评估图像信号提供给评估装置235。

也就是说，在传感器单元231处，放置在所关心的放置位置上的R感光器单元256R、G感光器单元256G和B感光器单元256B获得与入射物体光相对应的正常图像信号。通过信号调整单元232和A/D转换单元233向信号处理单元234提供该正常图像信号。

此外，在传感器231处，评估R感光器单元255R、评估G感光器单元255G和评估B感光器单元255B获得同样与入射物体光相对应的评估图像信号。通过信号调整单元238和A/D转换单元239向评估单元235提供评估图像信号。在图14所示的评估单元235处，在图像存储单元261中存储评估图像信号。

然后，流程从步骤S202进行到步骤S203，信号处理单元234使通过A/D转换单元232提供的第一图像信号经受与图1所示的信号处理单元4执行的信号处理相同的图像转换处理，藉此获得具有在第一图像信号之上改善了图像质量的第二图像信号，并将第二图像信号提供给评估单元235，然后流程进行到步骤S204。

在步骤S204中，评估单元235执行评估信号处理单元234提供的第二图像信号的评估处理，然后流程进行到步骤S205。也就是说，在图14所示的评估单元235处，相关性计算单元262从存储在图像存储单元261中的评估图像信号中读出评估图像信号作为所关心的评估图像信号，该评估图像信号从与用于获得信号处理单元234提供的第二图像信号的正常的图像信号的物体光相同的物体光中获得。此外，相关性计算单元262获得信号处理单元234提供的第二图像信号和所关心的评估图像信号之间的相关值，并将该相关值作为信号处理单元234提供的第二图像信号的评估值提供给评估值存储单元263。

评估值存储单元263将来自于相关性计算单元262的第二图像信号的评估值与刚才前面的步骤S201中的控制器240提供的所关心的设定位置的控制信号关联起来，并存储与所关心的设定位置关联的评估值。

在步骤S205中，控制器240确定预定数目的帧中的每个帧是否已获得有关所关心的设定位置的评估值。如果在步骤S205中确定预定数目的帧中的每个帧还没有获得有关所关心的设定位置的评估值，那么流程返回步骤S202，传感器单元231在那时接收入射物体光，并施行光电转换，以便获得电信号形式的图像信号，然后重复相同的处理。

同样，如果在步骤S205中确定预定数目的帧中的每个帧已获得有关所关心的设定位置的评估值，那么流程进行到步骤S206，并且控制器240确定所有多个设定位置是否已被作为所关心的设定位置。

如果在步骤S206中确定还并非所有的多个设定位置都被作为所关心的设定位置，那么流程返回步骤S201，控制器240测定还没有被作为所关心的设定位置的多个设定位置之一，并随后重复相同的处理。

同样，如果在步骤S206中确定所有多个设定位置都被作为所关心的设定位置，即如果为预定数目的帧中的每个帧已经获得与多个设定位置中的每个设定位置相对应的评估值，并将其存储在图14所示的评估单元235的评估值存储单元263中，那么评估值存储单元263将已为预定数目的帧的每个图像获得的与多个设定位置中的每个设定位置相对应的评估值提供给位置确定单元236，然后流程进行到步骤S207。

在步骤S207，图15所示的位置确定单元236的评估值整合单元271为多个设定位置中的每个设定位置整合已为预定数目的帧的每个图像获得的与多个设定位置中的每个设定位置相对应的评估值，从而获得多个设定位置中的每个设定位置的整合评估值，然后将其提供给最佳位置确定单元272。也就是说，评估值整合单元271获取某一设定位置，获得例如为预定数目的图像帧中的每个图像帧获得的评估值的平均值、极大值、最小值等等，作为所关心的设定位置的整合评估值，并将其提供给最佳位置确定单元272。

流程从步骤S207进行到步骤S208，在此最佳位置确定单元272根据评估值整合单元271提供的多个设定位置的每个设定位置的整合评估值确定与信号处理单元234的信号处理相对应的设定位置，即图12所示的传感器单元241中的R感光器单元256R、G感光器单元256G和B感光器单元256B的放置位置。

也就是说，在步骤S208中，最佳位置确定单元272例如从评估值整合单元271提供的多个设定位置中的每个设定位置的整合评估值中获得最大值，并且确定与最大整合评估值相对应的设定位置，将其作为与信号处理单元234的信号处理相对应的设定位置，即为图1所示的信号处理单元4的信号处理而放置图3所示的R感光器单元23R、G感光器单元23G和B感光器单元23B的最佳放置位置。

此外，在步骤S208中，最佳位置确定单元272在位置存储单元237中存储表示最佳位置的信息(相当于上述的属性信息)，然后结束流程。

在图1所示的传感器单元1中，R感光器单元23R、G感光器单元23G和B感光器单元23B(图3)被放置在通过上述学习过程所存储在位置存储器237中的信息所表示的最佳位置上。因此，对于图1所示的传感器单元1，可以获得适于在信号处理单元4进行信号处理的图像信号，并且对从传感器单元1获得的图像信号执行信号处理又使得能够获得高图像质量的图像信号。

在上述实例中，第二图像信号被描述为通过获得第二图像信号和评估图像信号之间的相关性来评估的，但是应注意，例如可以根据第二图像信号的S/N来执行。此外，可以从外部输入第二图像信号的评估。也就是说，可以实施这样的安排，其中显示第二图像信号，并且例如由观察显示图像的用户输出第二图像信号的评估。

接下来，可以由专用硬件或软件来执行上述的由信号处理单元4和234、评估单元235、位置确定单元236、控制器240等执行的一系列处理。在使用软件执行这一系列处理的情况下，构成该软件的程序被安装在微型电脑、通用计算机等等中。

现在，图17说明要在其中安装用于执行上述系列处理程序的计算机的配置实例。

该程序可以存储在硬盘305或ROM 303中，这些都是计算机内置的记录介质。或者，该程序还可以临时或永久地存储在可移去存储介质311上，诸如软磁盘、CD-ROM(压缩光盘只读存储器)；MO(磁光盘)盘；DVD(数字化通用光盘)、磁盘、半导体存储器等等。这样的一种可移动记录介质311可以作为所谓的压缩软件提供。

除了从这种可移动记录介质311向计算机安装程序之外，可以从下载站点通过卫星、诸如数字广播卫星无线地，或者通过诸如LAN(局域网)或因特网此类的网络有线地将该程序传送到计算机中，计算机使用通信单元308接收所传送的程序，并将其安装在内置硬盘305中。

计算机具有内置的CPU(中央处理器)302。输入/输出接口310通过总线301连接于CPU 302，并且当用户通过使用由诸如键盘、鼠标、麦克风等此类组成的输入单元307来输入命令，通过输入/输出接口310，相应的执行存储在ROM(只读存储器)303中的程序。或者，CPU 302可以将存储在硬盘305上、或通过卫星或网络传送的由通信单元308接收并安装在硬盘305上、或者从装配在驱动器309上的可移动记录介质311中读出并安装在硬盘305上的程序载入RAM(随机存取存储器)304以便执行。因此，CPU 302根据上述流程或上述方框图的配置执行处理。然后，CPU 302根据需要使用输入/输出接口310从由LCD(液晶显示器)或扬声器构成的输出单元306输出，或者从通信单元308传送处理结果，或将其存储在硬盘305中，等等。

现在，在当前的说明书中，以程序代码的形式描述处理步骤以使计算机执行并不需按流程图给出的时间序列顺序处理的各种处理，可以并行或单独地被执行(例如，并行处理或基于对象的处理)。此外，该程序可由单机或多个计算机来处理。而且，可将该程序传送到远程计算机上执行。

请注意，信号处理单元4和234可以执行除了上述图像转换处理之外的用于获得第二图像信号的处理，诸如使第一图像信号经受数字钳位处理、白色均衡调整处理、伽马校正处理、线性内插处理，等等。

同时，虽然所描述的当前具体实施例为传感器单元1和231使用所谓的三-传感器装置，但是传感器单元1和231也可以使用单-传感器、双-传感器、或四个或以上的传感器系统。

此外，对于当前具体实施例，已相对于传感器单元1和231作出了描述，传感器单元1和传感器231感测光并输出与该光相对应的图像信号，但是，可以在其中作这样的安排，即传感器单元1和231是感测声音的麦克风，并且其输出与该声音相对应的音频信号，或者传感器单元1和232是感测例如温度或加速度等其它类型的信息并输出与该信息相对应的信号的传感器。尽管这样，请注意，根据所感测的信息类型，在传感器单元1和231的后阶段所执行的信号处理不同。

同样，除了R感光器单元23R、G感光器单元23G和B感光器单元23B的放置状态之外，传感器单元1(和传感器231同样)的属性的实例包括用于将光聚集在像素上的片上透镜的放置位置，与每个像素已存储的电荷相对应的电压(电流)放大率，等等。

第二具体实施例

接下来，将描述本发明的第二具体实施例。

图18说明已应用本发明的图像拾取设备的第二具体实施例的配置实例。该图18所示的图像拾取设备例如可以是数字静态照相机或数字摄像机。

同图1所示的传感器单元1一样，传感器401包括与像素相对应的多个光电转换单元，其用于感测投射到其中的物体光，并向信号调整单元402输出与所接收光量相对应的电信号形式的图像信号。同样，与图1所示的传感器单元1不同，传感器单元401根据信号处理单元404提供的控制信号来改变它的状态。

信号调整单元402执行CDS处理以去除包含在传感器401输出的图像信号中的复位噪音，并且将作为处理结果所获得的图像信号提供给A/D转换单元403。A/D转换单元403对信号调整单元402提供的图像信号执行A/D转换，即通过采样量化图像信号并将作为结果所获得的数字图像提供给信号处理单元404。

信号处理单元404将A/D转换单元403提供的数字图像信号(以下简称为＂图像信号＂)作为第一图像信号，并使第一图像信号经受预定的图像转换处理，并向输出单元405输出作为其结果所获得的数字图像信号作为第二图像信号。同样，信号处理单元404对作为它的结果所获得的第二图像信号进行评估，并将与该评估相对应的控制信号提供给传感器单元401，以控制传感器单元401的状态。

输出单元405接收信号处理单元404输出的第二图像信号，并输出这些第二图像信号。也就是说，输出单元405从未示出的输出端输出来自信号处理单元404的第二图像信号，或者将其显示在未示出的监视器上。此外，输出单元405将第二图像信号存储在未示出的记录介质中，诸如光盘、磁盘、磁光盘、磁带，半导体存储器等等，或者通过像电话线、因特网、局域网或其他像电缆或无线传输介质发送这些图像信号。

对于上述配置的图像拾取设备来说，在传感器单元401处接收物体光，并通过信号调整单元402和A/D转换单元403将与所接收光量相对应的电信号形式的图像信号提供给信号处理单元404。信号处理单元404使传感器401通过信号调整单元402和A/D转换单元403提供的图像信号作为第一图像信号经受诸如图像转换处理此类的信号处理，并向输出单元405输出藉此已提高图像质量的第二图像信号，该图像转换处理例如通过提高分辨率来提高图像质量。在输出单元405中，输出信号处理单元404提供的第二图像信号。

同样，信号处理单元404评估通过使来自于传感器单元401的第一图像信号经受图像转换处理所获得的第二图像信号。此外，信号处理单元404向传感器401提供与其评估相对应的控制信号以控制传感器401的状态。

传感器401根据信号处理单元404提供的控制信号改变其状态，并输出在遵循改变的状态下所获得的图像信号。

传感器401是一种三-传感器成像传感器装置，例如包括三个用于获得图像信号的R、G和B分量的传感器(随后所述的R感光器单元23R、G感光器单元23G和B感光器单元23B)。因此，传感器单元1为每个像素输出具有R信号、G信号和B信号三个分量的图像信号。传感器401根据信号处理单元404提供的控制信号来改变三个传感器中的一个或多个传感器的放置状态。因此，传感器401的传感器放置状态是由信号处理单元404提供的控制信号来控制的。此刻，传感器放置状态包括传感器的放置位置和传感器的姿态(转动状态)。然而，请注意对于当前具体实施例，为了便于描述，将进行有关使用来自于信号处理单元404的控制信号控制传感器或传感器单元401的放置位置的描述。也应注意传感器的姿态同样可以控制。

图19说明图18所示的信号处理单元404和输出单元405的配置实例。信号处理单元404包括三个信号处理单元411R、411G和411B。信号处理单元411R接收A/D转换单元403提供的具有R、G和B信号的第一图像信号，并使第一图像信号转换经受图像转换处理，藉此获得第二图像信号的R信号(分量)，然后将该R信号输出到输出单元405。信号处理单元411G接收A/D转换单元403提供的具有R、G和B信号的第一图像信号，并使第一图像信号转换经受图像转换处理，藉此获得第二图像信号的G信号(分量)，然后将该G信号输出到输出单元405。信号处理单元411G同样对第二图像信号的G信号进行评估，并根据这个评估控制传感器单元401的各传感器的放置状态。信号处理单元411B接收A/D转换单元403提供的具有R、G和B信号的第一图像信号，并使第一图像信号转换经受图像转换处理，藉此获得第二图像信号的B信号(分量)，然后将该B信号输出到输出单元405。

注意，在这里，信号处理单元411G对第二图像信号的G信号进行评估，获得向输出单元405提供的第二图像信号的B信号(分量)。然而，虽然安排信号处理单元411G对第二图像信号的G信号进行评估，并根据该评估控制传感器或传感器单元401的放置状态，但是也可以通过评估第二图像信号的R信号或B信号中的任一个而不是评估G信号来对传感器单元401进行控制，或者也可以对第二图像信号的R、G和B信号的两个或多个信号进行评估。

输出单元405包括输出单元412R、412G和412B。输出单元412R、412G和412B分别接收并输出信号处理单元411R、411G和411B输出的第二图像信号的R信号、G信号和B信号。请注意，在下文中，只要适当的时候，信号处理单元411R、411G和/或411B也可以是合称或分称为＂信号处理单元411＂。

接着，图20是说明图18和19所示的传感器单元401的配置实例；物体光射入透镜421中，并且透镜421通过棱镜422将物体光聚集到R感光器单元423R、G感光器单元423G和B感光器单元423B的每一个上。也就是说，投射入透镜421中光被发射到棱镜422中。棱镜422将来自于透镜421的物体光分解为R、G和B光，并且沿相应于R感光器单元423R、G感光器单元423G和B感光器单元423B所处位置的方向发射R、G和B光。

R感光器单元423R、G感光器单元423G和B感光器单元423B被配置为光电转换装置，像例如光电二级管此类，其从棱镜422接收R、G和B光，并藉此产生与所接收光量相对应的电信号形式的R信号、G信号和B信号，然后将这些信号输出到信号调整单元402。

可以用于R感光器单元423R、G感光器单元423G和B感光器单元423B装置的一个实例是CCD(电荷耦合器件)。然而，请注意R感光器单元423R、G感光器423G和B感光器423B并不限于CCD，也可以用CMOS传感器或HARP来替换。

R控制单元424R、G控制单元424G和B控制单元424B其每一个都根据信号处理单元411G提供的控制信号对R感光器单元423R、G感光器单元423G和B感光器单元423B放置位置的移动进行控制。

在这里为了便于描述，假定整个R感光器单元423R的位置已被设置到由R控制单元424R获得的位置上。此外，假定整个G感光器单元423G和B感光器单元423B的放置位置已被设置到由G控制单元424G和B控制单元424B获得的位置上。但是，应注意可以使用MEMS技术来进行安排，借此所利用的R感光器单元423R是一个在其中像素的放置位置基本可以改变(移动)的感光器单元，因此R控制单元424R可以个别地控制R感光器单元423R的每个像素的放置位置。这对于G感光器单元423G、G控制单元424G、B感光器单元423B和B控制单元424B也同样成立。

接下来，将参考附图21A到21D来描述图21所示的使用R控制单元424R、G控制单元424G和B控制单元424B对R感光器单元423R、G感光器单元423G和B感光器单元423B中的每一个所进行的控制。

图21A所示的R感光器单元423R、图21B所示的G感光器单元423G和图21C所示的B感光器单元423B，其每个都具有有限区域(相应于一个光电二极管等等)的像素，并输出在每个像素与所接收的光量相对应的图像信号(像素值)。请注意，在图21A到21D中，所述像素是每个边都具有有限长度的正方形。

在这里，R感光器单元423R、G感光器单元423G和B感光器单元423B的像素的位置每一个由作为像素的正方形的重心表示，并且R感光器单元423R、G感光器单元423G和B感光器单元423B的像素分别由点、圆和X代表。接近表明图像拾取设备，诸如摄像机或静态照相机，R感光器单元423R、G感光器单元423G和B感光器单元423B的例如相应像素的位置全部在光学上匹配。也就是说，R感光器单元423R、G感光器单元423G和B感光器单元423B被全部放置在光学上等效位置上，以使光线的R、G和B射线由相应的像素接收。

R控制单元424R、G控制单元424G和B控制单元424B其分别根据信号处理单元411G(图11)提供的控制信号对R感光器单元423R、G感光器单元423G和B感光器单元423B的位置移动进行控制。也就是说，R感光器单元423R、G感光器单元423G和B感光器单元423B的放置位置不是固定的而是可移动的，并因此传感器401中的R感光器单元423R、G感光器单元423G和B感光器单元423B的相应像素没有必要在光学上相同的位置上。

如图21D所示，对于作为参考的R感光器单元423R的像素的位置(图13A和13D的点所示)而言，在G感光器单元423G的像素位置的水平方向和垂直方向上的偏移量(由图21所示的圆表示)被表示为Ph_G和Pv_G，而在B感光器单元423B的像素位置的水平方向和垂直方向上的偏移量(由图21中的X表示)被表示为Ph_B和Pv_B。

R控制单元424R、G控制单元424G和B控制单元424B根据信号处理单元411G提供的控制信号移动R感光器单元423R、G单元423G和B感光器单元423B得放置位置，以便实现偏移量Ph_G、Pv_G、Ph_B、Pv_B。

现在，在这种情况下，在其中可做一些安排，例如，R感光器单元423R的位置是固定的，只移动感光器单元423G和B感光器单元423B。或者，可在其中另一个安排，即R感光器单元423R、G感光器单元423G和B感光器单元423B中除R感光器单元423R之外的另一个感光器单元是固定的，而剩余的两个可以移动，此外可在其中做这样的安排，即可以移动所有的R感光器单元423R、G感光器单元423G和B感光器单元423B。

接下来，图22说明图19所示的信号处理单元411的配置实例。信号处理单元411R、411G和411B已提供来自传感器401并通过信号调整单元402和A/D转换单元403的图像信号作为第一图像信号。

信号处理单元411R包括图像转换单元431R和图像存储单元432R。提供给信号处理单元411R的第一图像信号被提供给图像转换单元431R。图像转换单元431R使第一图像信号经受图像转换处理，以例如通过提高分辩率来提高图像质量，并向图像存储单元432R提供具有作为信号处理结果的提高图像质量的R数字图像信号作为第二图像信号的R信号。

图像存储单元432R临时存储图像转换单元431R提供的第二图像信号。此外，图像存储单元432R根据信号处理单元411G的评估单元433提供的用于选择图像的选择信息从所存储的第二图像信号中读出第二图像信号，并将读出的第二图像信号提供给输出单元405。

信号处理单元411G包括图像转换单元431G、图像存储单元432G和评估单元433。提供给信号处理单元411G的第一图像信号被提供给图像转换单元431G。图像转换单元431G使第一图像信号经受图像转换处理，以例如通过提高分辩率来提高图像质量，并向图像存储单元432G和评估单元433提供具有作为信号处理结果的提高图像质量的G数字图像信号作为第二图像信号的G信号。

图像存储单元432G临时存储图像转换单元431G提供的第二图像信号。此外，图像存储单元432G根据信号处理单元411G的评估单元433提供的用于选择图像的选择信息从所存储的第二图像信号中读出第二图像信号，并将读出的第二图像信号提供给输出单元405。

评估单元433对图像转换单元431G提供的第二图像信号的G信号进行评估，并且向传感器单元401提供相应于评估的控制信号，藉此控制传感器401的R感光器单元423R、G感光器单元423G和B感光器单元423B的放置位置(图20)。此外，评估单元433将相应于第二图像信号的评估的选择信息提供给图像存储单元432G，并进一步将相同的选择信息提供给信号处理单元411R的图像存储单元432R和信号处理单元411B的图像存储单元432B。

信号处理单元411B包括图像转换单元431B和图像存储单元432B。提供给信号处理单元411B的第一图像信号被提供给图像转换单元431B。图像转换单元431B使第一图像信号经受图像转换处理，以例如通过提高分辩率来提高图像质量，并向图像存储单元432B提供具有作为信号处理结果的提高图像质量的B数字图像信号作为第二图像信号的B信号。

图像存储单元432B临时存储图像转换单元431B提供的第二图像信号。此外，图像存储单元432B根据信号处理单元411G的评估单元433提供的用于选择图像的选择信息从所存储的第二图像信号中读出第二图像信号，并将读出的第二图像信号提供给输出单元405。

请注意，图像转换单元431R、431G和431B具有相同的配置，因此可视情况，合称或分称为＂图像转换单元431＂。此外，应注意图像存储单元432R、432G和432B具有相同的配置，因此视情况，可合称或分称为＂图像存储单元432＂。

接着，图23说明图22所示的评估单元433的配置实例；评估单元433包括存储单元441、相关性计算单元442、确定评估单元443和控制信号输出单元444，并且评估图像转换单元431G提供的第二图像信号的G信号的图像质量。

更具体地说，图像存储单元441临时存储图像转换单元431G提供的第二图像信号。相关性计算单元442计算图像转换单元431G上次提供的第二图像信号和图像转换单元431G这次提供的第二图像信号之间的相关性，并将作为计算结果获得的相关值提供给确定评估单元443。

确定评估单元443根据相关性计算单元442提供的相关值来评估图像转换单元431G输出的第二图像信号，并获得效果为第二图像信号的图像质量是高，或是低的评估结果。此外，确定评估单元443将第二图像信号的评估结果提供给控制信号输出单元444，并根据该评估结果向图22所示的图像存储单元432R、432G和432B输出选择信息。

控制信号输出单元444向传感器401的R控制单元424R、G控制单元424G和B控制单元424B提供控制传感器401的R感光器单元423R、G感光器单元423G和B感光器单元423B(图20)的放置位置的控制信号，该控制信号与来自确定评估单元443的第二图像信号的评估结果相对应。因此，R感光器单元423R、G感光器单元423G和B感光器单元423B的放置位置得到控制。

对于如上述设置的评估单元433而言，存储单元441连续地存储图像转换单元431G提供的第二图像信号。当相关性计算单元442接收图像转换单元431G提供的新的第二图像信号时，其计算这些第二图像信号和图像转换单元431G上次提供的并存储在存储单元441中的第二图像信号之间的相关值。

此时，第二图像信号的两个帧(场)之间的相关值的实例是两个图像信号之间的位于相同位置的部分或所有像素的差分绝对和的倒数。

相关性计算单元442将获得的相关值提供给确定评估单元443。确定评估单元443根据相关性计算单元442提供的相关值来评估图像转换单元431G输出的第二图像信号，并获得效果为第二图像信号的图像质量是高，或是低的评估结果。如果确定评估单元443获得的效果为第二图像信号的图像质量是低的评估结果，那么确定评估单元443将评估结果提供给控制信号输出单元444。

如图21所示，当接收到效果为第二图像信号的图像质量为低的评估结果时，控制信号输出单元444向传感器401提供与评估结果相对应控制传感器401的R感光器单元423R、G感光器单元423G和B感光器单元423B(图20)的放置位置的控制信号，即，参考R感光器单元423R的像素位置，改变G感光器单元423G的像素位置的偏移量值Ph_G和Pv_G，以及B感光器单元423B的像素位置的偏移量值Ph_B和Pv_B的控制信号。现在，对于具有当前偏移量Ph_G、Pv_G、Ph_B和Pv_B为分量的四维矢量而言，它的分量表示为矢量P(Ph_G、Pv_G、Ph_B、Pv_B)，以及四维无穷小矢量表示为Δp，在成像某一帧时，控制信号输出单元444新设置一个还没被设置的矢量P+Δp，并输出用于控制R感光器单元423R、G感光器单元423G和B感光器单元423B偏移到与矢量P+Δp的分量值相匹配的位置的控制信号。此时，无穷小矢量Δp的分量例如可以是随机数。

在这种情况下，根据控制信号输出单元444提供的控制信号移动传感器401的R感光器单元423R、G感光器单元423G或B感光器单元423B(图20)的放置位置。此外，传感器401的R感光器单元423R、G感光器单元423G和B感光器单元423B随其移动接收物体光，并输出与所接收的光量相对应的图像信号。通过信号调整单元402和A/D转换单元403，由传感器401输出的图像信号被作为新的第一图像信号提供给信号处理单元411。图22所示的信号处理单元411的图像转换单元431使新的第一图像信号经受图像转换处理，并将作为图像转换处理的结果所获得的新的第二图像信号提供给图像存储单元432并存储在其中。此外，图像转换单元431R将新的第二图像信号提供给评估单元433。

评估单元433的相关性计算单元442从图像转换单元431R接收新的第二图像信号，并计算该第二图像信号和图像转换单元431G上次提供的并存储在存储器411中的第二图像信号之间的相关值，该相关值将提供给确定评估单元443。

通过重复上述处理，确定评估单元443获得从以偏移量Ph_G、Pv_G、Ph_B和Pv_B成像的第一图像信号中获得的第二图像信号的相关值。

现在，图24说明对于每个值，偏移量Ph_G、Pv_G、Ph_B和Pv_B之间的关系和使用从以偏移量Ph_G、Pv_G、Ph_B和Pv_B成像的第一图像信号中获得的第二图像信号的相关值。相关值表示由某一偏移量Ph_G、Pv_G、Ph_B和Pv_B得到的第二图像信号和由偏移量Ph_G’、Pv_G’、Ph_B’和Pv_B’得到的第二图像信号之间的相关性，该偏移量Ph_G’、Pv_G’、Ph_B’和Pv_B’由相应于上述无穷小矢量Δp的无穷小量来偏移。

因此，某一偏移量Ph_G、Pv_G、Ph_B、Pv_B的低相关值表示由偏移量Ph_G、Pv_G、Ph_B、Pv_B得到的第二图像信号是具有模糊边缘而没有锐化的低图像质量。另一方面，某一偏移量Ph_G、Pv_G、Ph_B、Pv_B的高相关值表示由偏移量Ph_G、Pv_G、Ph_B、Pv_B得到的第二图像信号是具有锐化边缘的高图像质量。

因此，如果相关性计算单元442提供的相关值是低的，那么图23所示的确定评估单元443将第二图像信号的图像质量评估为低，相反如果相关值是高的，例如如果如图24所示的那样获得最大值(或最高值)，那么将第二图像信号的图像质量评估为高。如果评估结果是第二图像信号的图像质量为高，那么确定评估单元443向图像存储单元432输出效果为获得这些评估结果时所用来计算相关值的两个第二图像信号中的一个将要被选择的选择信息(图22)。

在图像存储单元432R、432G和432B处，根据该选择信息的第二图像信号，即关于所获评估结果是图像质量为高的第二图像信号，从上述存储的第二图像信号中读出，并将其提供给输出单元405。

接下来，将参考图25中的流程图来描述图18和19所示的图像拾取设备的操作。

对于图像拾取设备而言，首先，在步骤S101中，传感器401接收物体光，然后执行光电转换，藉此获得电信号形式的图像信号(即，使物体成像)，并且将图像信号提供给信号调整单元402。信号调整单元402使传感器单元401提供的图像信号经受CDS处理，然后将这些信号提供给A/D转换单元403。A/D转换单元403对信号调整单元402提供的图像信号执行A/D转换，然后作为第一图像信号提供给信号处理单元404，因此，信号处理单元404获得第一图像信号，从而流程从S101进行到步骤S102。

在步骤S102中，在信号处理单元404处，信号处理单元411的图像转换单元431(图22)使来自于A/D转换单元403的第一图像信号经受作为信号处理的图像转换处理，藉此在第一图像信号之上产生图像质量提高的第二图像信号，并提供给图像存储单元432并存储在其中。此外，在步骤S102中，图像转换单元431G将作为图像转换处理的结果所获得的第二图像信号提供给评估单元433，从而流程进行到步骤S103。

在步骤S103中，评估单元433执行用于对图像转换单元431G提供的第二图像信号进行评估的评估处理，然后流程进行到步骤S104。在步骤S104中，评估单元433确定所获评估结果是图像质量为高的第二图像是否已经获得。

在步骤S104中，如果确定在步骤S104中，如果确定所获评估结果是图像质量为低的第二图像已被获得，那么流程进行到步骤S105，而且评估单元433将向传感器401提供控制信号以指定偏移量Ph_G、Pv_G、Ph_B和Pv_B，藉此移动传感器单元401的R感光器单元423R、G感光器单元423G或B感光器单元423B(图20)的放置位置，然后流程返回步骤S101。

在步骤S101中，在先前步骤S105中已移动到的放置位置处为传感器单元401的R感光器单元423R、G感光器单元423G或感光器单元423B中的每一个获得图像信号，并且重复相同的处理。

在步骤S104中，如果确定所获评估结果是图像质量为高的第二图像信号已被获得，那么评估单元433向图像存储单元432提供产生评估结果的第二图像信号将被选择的选择信息，然后流程进行到步骤S106。

在步骤S106中，图像存储单元432R、432G和432B根据评估单元433提供的选择信息从在步骤S102状态下存储的剩余第二图像信号中选择并读出第二信号，即高图像质量的第二图像信号，并输出到输出单元405，从而图像数据的一个帧(或场)的处理结束。图像拾取设备根据图25的流程图重复处理，例如直到用户给出图像拾取停止指令。

接下来，将参考图26的流程图来描述图25的在步骤S103中由图23所示的评估单元433执行的评估处理。

在评估处理中，首先，在步骤S311中，存储单元411存储在前步骤S102中图像转换单元431G提供的第二图像信号(图25)，并且相关性计算单元442接收这些第二图像信号。此外，在步骤S311中，相关性计算单元442计算图像转换单元431G提供的第二图像信号和存储单元441在先前步骤S311中存储的第二图像信号之间的相关值，并将相关值提供到确定评估单元443，然后流程进行到步骤S312。

在步骤S312中，在取得用于获得相关值的两个第二图像信号之一时，确定评估单元443临时存储相关性计算单元442以与偏移量Ph_G、Pv_G、Ph_B和Pv_B相关的形式提供的相关值，然后流程进行到步骤S313。此时，当取得用于获得相关性计算单元422提供的相关值的两个第二图像信号之一时，确定评估单元443从控制信号输出单元444获得偏移量Ph_G、Pv_G、Ph_B和Pv_B。

在步骤S313中，对于迄今为止在步骤S312存储的相关值和偏移量之间的关系，确定评估单元443确定是否已获得相关值的最大值。如果在步骤S313中确定还没有获得相关值的最大值，那么流程进行到步骤S314，确定评估单元443做出效果为第二图像信号是低图像质量的图像信号的评估，然后流程返回图25中的步骤S104。

在这种情况下，在图25的步骤S104中，确定评估单元443确定还没有获得效果为图像质量是高的评估结果，并因此将评估结果，即效果为第二图像信号是低图像质量的评估结果提供给控制信号输出单元444。在步骤S105中，控制信号输出单元444接收效果为第二图像信号是低图像质量的评估结果，并向传感器单元401提供与该评估结果相对应的用于指定新的偏移量Ph_G、Pv_G、Ph_B和Pv_B的控制信号。

返回步骤S26，如果在步骤S313中确定已经获得相关值的最大值，那么流程进行到步骤S315，确定评估单元443做出效果为第二图像信号是高图像质量的评估，然后流程返回图25中的步骤S104。

在这种情况下，在图25的步骤S104中，如果确定所获评估结果是图像质量为高的第二图像信号已被获得，那么评估单元433向图像存储单元432提供效果为产生评估结果的第二图像信号将被选择的选择信息，然后流程进行到步骤S106。

在步骤S106中，图像存储单元432R、432G和432B根据评估单元433提供的选择信息从在步骤S102状态下存储的剩余第二图像信号中选择并读出第二信号，即具有高图像质量的第二图像信号。

如上所述，对第二数字图像信号进行评估，根据评估结果控制偏移量Ph_G，Pv_G，Ph_B，和Pv_B，如此控制传感器单元401的R感光器单元423R、G感光器单元423G和B感光器单元423B(图20)的放置位置，因此对于具有放置在与偏移量Ph_G、Pv_G、Ph_B和Pv_B相对应的位置上的R感光器单元423R、G感光器单元423G和B感光器单元423B的传感器单元401而言，输出适于在图像转换单元431进行图像转换处理的图像信号，从而在图像转换单元431可以获得高图像质量的第二图像信号。

虽然在上述描述中，在步骤S313中获得的相关值是最大值的情况下，做出效果为第二图像信号是高图像质量的评估结果，但是可以应用一个替换的安排，其中如果在步骤S313中获得的相关值的最大值超过了预定阈值的最大值，那么做出效果为第二图像信号是高图像质量的评估结果。

同样，在上述情况中，第二图像信号是以根据相关值评估的形式描述的，但是可以使用替换的安排，其中根据相对于偏移量Ph_G、Pv_G、Ph_B和Pv_B的每个值获得的第二图像信号的S/N来对第二图像信号进行评估。此外，可以从外部输入第二图像信号的评估。也就是说，例如可以实施这样的安排，其中显示第二图像信号，并且例如通过观察所显示图像的用户输出第二图像信号的评估。

此外，可以对有关的偏移量进行安排，其中预先准备几个值，获得有关所有几个偏移量值的相关值，当获得最高相关值时，在图25的步骤S106中输出两个图像信号之一。

同样，可以做这样的安排，即在一个帧(场)时期之内尽可能多次的执行图25中的步骤S101到S105的循环，并且在图25的步骤S106中，当获得在循环处理期间所获得的相关值的最高相关值时，输出两个图像信号之一。

图22所示的图像转换单元431的设置与图4所示的图像转换单元31相同，因此在这里省略了对它的描述(请参照图6至10及对它的描述)。

第三具体实施例

紧接着，图27是说明已应用本发明的图像拾取设备的第三具体实施例的配置实例。请注意，相应于图18或19中的那些部件以相同的附图标记给出，并且视情况省略了其中的描述。简单地说，除了进一步提供的操作单元185之外，根据图27所示的第三具体实施例的图像拾取设备基本上与根据图18和19所示的第二具体实施例的图像拾取设备相同。

操作单元185是例如通过用户操作的按钮，并且向信号处理单元404输出与该操作相对应的参数。图27中的信号处理单元404配置有信号处理单元411R、411G和411B，如图19所说明的那样。

图28说明组成图27所示的信号处理单元404的信号处理单元411R、411G和411B的配置实例。请注意，与图22中的那些部件相对应的部件以相同的附图标记表示，并且视情况省略了其中的描述。就所关心的信号处理单元411R、411G和411B而言，它们都是以与图22所示的相同方式配置的，但是在此所作安排的不同点在于从操作单元185输出的参数被提供给图像转换单元431(由431R、431G和431B组成)，使用图像转换单元431施行与该参数相对应的图像转换处理。

图29是说明图28所示的图像转换单元431的配置实例。请注意，与图6中的那些部件相对应的部件以相同的附图标记表示，并且视情况省略了其中的描述。在这里，图22所示的图像转换单元431具有与图4所示的图像转换单元31相同的配置，而且图4所示的图像转换单元31已以图6到图10的方式描述过了。然而，操作单元185输出的参数被提供给因数输出单元124。

图30是说明图29所示的因数输出单元124的另一配置实例。在这里同样使用相同的参考数字来表示与图7所示的那些部件相对应的部件。

虽然图7所示的安排包括因数输出单元124，存储通过预先学习而获得的每个类的抽头因数，但是对于图30中的安排而言，因数输出单元124为每个类从好似作为种子的抽头种子数据和预定参数中生成能够产生所希望质量的图像的抽头因数。

因数存储器181为每个类存储因数生成单元182提供的抽头因数。一旦类分类单元123提供分类代码，因数存储器181从为每个类存储的抽头因数中读取分类代码表示的类的抽头因数，并输出到计算单元125。

因数生成单元182根据存储在因数种子存储器183中的因数种子数据和存储在参数存储器184中的参数为每个类生成抽头因数，该抽头因数被提供给因数存储器181并通过覆盖而被存储。

因数种子存储器183为每个类存储通过学习随后描述的因数种子数据而获得的因数种子数据。因数种子数据是作为生成抽头因数的种子的数据。

如果用户运行操作单元185，参数存储器184就根据该操作通过覆盖来存储操作单元185输出的参数。

对于图30所示的因数输出单元124而言，对于每个抽头存储(设置)在因数存储器181中的抽头因数，即计算单元125使用的每个类的抽头因数而言，根据用户对操作单元185所作的操作对其进行更新。

现在，将参考附图31的流程图来描述为每个类更新抽头因数的处理，该处理是在图30所示的因数输出单元124处执行的，即抽头因数更新处理。

首先，在步骤S171中，参数存储器184确定操作单元185是否已提供了参数，并且当在步骤S171中确定操作单元185已提供参数，那么流程进行到步骤S172，其中参数存储器184通过覆盖存储所提供的参数，然后流程进行到步骤S173。

此外，如果在步骤S171中确定操作单元185还没有提供参数，那么跳过步骤S172，流程进行到步骤S173。

因此，对于参数存储器184而言，如果操作单元185由用户操作并且操作单元185提供了与用户操作相对应的参数，那么以提供的参数更新所存储的内容。

在步骤S173中，因数生成单元182为每个类从因数种子存储器183中读出因数种子数据，并且从参数存储器184中读出参数，藉此获得因数种子数据和参数，并根据因数种子数据和参数为每个类获得抽头因数。然后流程进行到步骤S174，在这里，因数生成单元182将每个类的抽头因数提供给因数存储器181，并通过覆盖存储。流程从步骤S174返回到S171，此后重复相同的处理。

因此，在图29中的图像转换单元431处，使用以该参数更新的抽头因数来利用先前的表达式(1)执行将第一图像信号转换为第二图像信号的图像转换处理，即与该参数相对应的图像转换处理。

请注意，在图31中，如果新的参数在参数存储器184中被覆盖，那么将执行步骤S173和S174中的处理，否则将被跳过。

紧接着，将对有关在因数生成单元182处生成抽头因数和学习要被存储在因数种子存储器183中的因数种子数据作出描述。

假定我们有高图像质量的图像信号作为第二图像信号和低质量信号作为第一图像信号，该低质量信号通过使用降低分辨率的LPF(低通滤波器)对高图像质量图像信号进行过滤获得。现在我们将考虑这样的例子，即从低图像质量图像信号提取预测抽头，并根据预定的预测计算，例如表达式(1)的线性基本预测计算，使用预测抽头和抽头因数来获得高图像质量像素的像素值。

此时，高图像质量像素的像素值y可以通过二次表达式或更高的表达式来获得，而非线性基本表达式(1)。

另一方面，在因数生成单元182处，根据存储在因数种子存储器183中的因数种子数据和存储在参数存储器184中的参数生成抽头因数w_n，在此假定使用因数种子数据和参数来利用下列表达式执行因数生成单元182处的抽头因数w_n的生成。

$w_n=\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\β}}_{m,n}{z}^{m-1}---\left(9\right)$

其中β_m，n表示用于获得第n个抽头因数w_n的第m个因数种子数据，而z表示参数。请注意，在表达式(9)中，使用M个因数种子数据β_n，1、β_n，2等直到β_n，M来获得抽头因数w_n。

现在，应当理解从因数种子β_m，n和参数z中获得抽头因数w_n的表达式并不仅限于表达式(9)。

在表达式(9)中的由参数z确定z^m-1的值通过引入一个新的变量t_m来使用下列表达式定义。

t_m＝z^m-1(m＝1，2，...M)　　　　　　(10)

将表达式(10)代入表达式(9)中产生下列表达式。

$w_n=\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\β}}_{m,n}{t}_m---\left(11\right)$

根据表达式(11)，通过因数种子数据β_m，n和变量的t_m线性基本表达式来获得抽头因数w_n。

此刻，高图像质量像素的像素值的第k个采样的真实值为y_k，以及真实值y_k的预测值为y_k′，预测误差e_k使用下列表达式表达。

e_k＝y_k-y_k′　　　　　　(12)

此刻，表达式(12)中的预测值y_k′是根据表达式(1)获得的，因此根据表达式(1)将y_k′代入表达式(12)而得到下列表达式(1)。

$e_k=y_k-\left(\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{w}_n{x}_{n,k}\right)---\left(13\right)$

其中x_n，k表示构成有关高图像质量像素的第k个采样的预测抽头的第n个低图像质量像素。

将表达式(11)代入表达式(13)的W_n中产生下列表达式。

$e_k=y_k-\left(\underset{n=1}{\overset{N}{\mathrm{\Σ}}}\left(\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\β}}_{m,n}{t}_m\right)x_{n,k}\right)---\left(14\right)$

此刻，对于预测高图像质量像素而言，其中在表达式(14)中的预测误差e_k是0的因数种子数据β_m，n是最佳的，但是对于所有高图像质量像素而言，要获得这样的因数种子数据β_m，n一般是困难的。

因此，例如可以利用最小平方法并最小化误差平方和E来获得其中因数种子数据β_m，n是最佳的范围。

$E=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{e_k}^2---\left(15\right)$

其中K表示高图像质量像素y_k和低图像质量像素x_1，k、x_2，k等直到x_N，k的组的采样数量(即，学习采样的数量)，该低图像质量像素构成有关高图像质量像素y_k的预测抽头。

使用β_m，n获得表达式(15)中的误差平方和E的最小值(极小值)，其中使用因数种子数据β_m，n对和E进行偏微分而得到0，如表达式(16)所示。

$\frac{\∂E}{\∂{\mathrm{\β}}_{m,.n}}=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}2\·\frac{\∂e_k}{\∂{\mathrm{\β}}_{m,n}}\·e_k=0---\left(16\right)$

将表达式(13)代入表达式(16)中产生下列表达式。

$\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{t}_m{x}_{n,k}{e}_k=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{t}_m{x}_{n,k}(y_k-\left(\underset{n=1}{\overset{N}{\mathrm{\Σ}}}\left(\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\β}}_{m,n}{t}_m\right)x_{n,k}\right)=0---\left(17\right)$

我们同样如公式(18)和(19)那样来定义X_{i，p，j，q}和y_i，p

$X_{i,p,j,q}=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{x}_{i,k}{t}_p{x}_{j,k}{t}_q$

(i＝1，2，…，N：j＝1，2，…，N：p＝1，2，…，M：q＝1，2，…，M)　　(18)

$Y_{i,p}=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{x}_{i,k}{t}_p{y}_k---\left(19\right)$

在该情况中，公式(17)通过使用X_{i，p，j，q}和y_i，p而能够表达为如公式(20)所示的正规方程式。

例如，使用消去计算(高斯-乔丹消去法)，表达式(20)的正规方程式可以解算出因数种子数据β_m，n。

图29所示的因数种子存储器183存储通过其中运用大量的高图像质量像素y₁、y₂等直到y_K作为学习的导师的导师数据，和构成高图像质量像素每一个y_k的预测抽头的低图像质量像素x_1，k、x_2，k等直到x_N，k作为学习的学生的学生数据，来解算表达式(20)的学习所获得的因数种子数据β_m，n。因数生成单元182根据表达式(9)从因数种子数据β_m，n和存储在参数存储器184中的参数z中生成抽头因数w_n。计算单元125然后使用抽头因数w_n和构成有关所关心像素的预测抽头的低图像质量像素(第一图像信号的像素)x_n计算表达式(1)，该所关心像素是高图像质量像素，藉此获得所关心像素的近似预测值，该所关心像素是高图像质量像素。

紧接着，图32说明通过设置和解算表达式(20)的正规方程式来获得因数种子数据β_m，n的学习设备的配置实例。请注意，相应于图8中的那些部件以相同的附图标记表示，并且视情况省略了其中的描述。

用于学习因数种子数据β_m，n的学习图像信号被输入学习设备。例如，高图像质量图像信号可以用于学习图像信号。

在学习设备中，学习图像信号被提供给导师数据生成单元131和学生数据生成单元133。导师数据生成单元131从供给其的学习图像信号中生成导师数据，然后将导师数据提供给导师数据存储单元132。也就是说，在此，导师数据生成单元131将高图像质量图像信号作为学习图像信号不加变化的提供给导师数据存储单元132作为导师数据。导师数据存储单元132存储由导师数据生成单元132生成的作为导师数据的高图像质量图像信号。

学生数据生成单元133从学习图像信号中生成学生数据，并将学生数据提供给学生数据存储单元134。也就是说，学生数据生成单元133对作为学习图像信号的高图像质量图像信号执行过滤，以便降低它的分辨率，藉此生成低图像质量图像信号，并且将该低图像质量图像信号作为学生数据提供给学生数据存储单元134。

此时，除了向学生数据生成单元133提供学习图像信号之外，还向其提供向图30中的参数存储器184提供的参数z的范围内的多个值，这些值由参数生成单元191提供。也就是说，如果我们假定可以将参数z的范围假定为0到Z范围内的实数，那么从参数生成单元191向学生数据生成单元133提供例如z＝0、1、2，等等直到Z。

此外，学生数据生成单元133使用LPF，相应于提供给其的参数z，以预定的切断频率来过滤作为学习图像信号的高图像质量图像信号，藉此生成作为学生数据的低图像质量图像信号。

因此，在这种情况下，在学生数据生成单元133处，根据作为学习图像信号的高图像质量图像信号，生成了具有不同分辨率的作为学生数据的Z+1种类型的低图像质量图像信号，如图33所示。请注意例如参数Z值越高，用于过滤高图像质量图像信号所使用的LPF的切断频率就越高，藉此生成作为学生数据的低图像质量图像信号。因此，参数z的值越大，与其相对应的低图像质量图像信号的分辩率就越高。

同样，对于本实例而言，为了便于描述，在学生数据生成单元133生成低图像质量图像信号，在其中分辩率在高图像质量图像信号的水平方向和垂直方向上已降低了相应于参数z的数量。

返回图32，学生数据存储单元134存储学生数据生成单元133提供的学生数据。

预测抽头提取单元135连续地获得作为所关心导师像素的像素，所述像素构成作为存储在导师数据存储单元132中的导师数据的高图像质量图像信号，并从构成作为存储在学生数据存储单元134中的作为学生数据的低图像质量图像信号的低图像质量像素中提取预定的一个，藉此配置一个预测抽头，该预测抽头具有与通过图29所示的预测抽头提取单元121所配置的预测抽头相同的配置，将预测抽头提供给加法单元192。

相对于所关心的导师像素而言，特征提取单元136以与图29所示特征提取单元122相同的方式使用存储在学生数据存储单元134中的作为学生数据的低图像质量像素来提取所关心导师像素的特征，并将这些特征提供给类分类单元137。

请注意，预测抽头提取单元135和特征提取单元136接收参数生成单元191生成并提供的参数z，而且预测抽头提取单元135和特征提取单元136使用相应于参数生成单元191提供的参数z所生成的学生数据构成预测抽头或提取所关心导师像素的特征(在此，是使用具有相应于参数z的LPF的切断频率生成作为学生数据的低图像质量信号)。

根据特征提取单元136输出的所关心的导师像素，类分类单元137执行与图29所示的类分类单元123相同的类分类，并且向加法单元192输出与类分类结果的类相对应的分类代码。

加法单元192从导师数据存储单元132中读出所关心的导师像素，并为类分类单元137的每个类执行有关所关心的导师像素和学生数据以及当产生学生数据时参数z的相加，该学生数据构成有关预测抽头提取单元135提供的所关心的导师像素设置的预测抽头。

也就是说，向加法单元192提供存储在导师数据存储单元132中的导师数据y_k、预测抽头提取单元135输出的预测抽头x_i，k(x_j，k)、和从类分类单元137中输出的分类代码，以及由参数生成单元191提供的生成用于配置预测抽头的学生数据的参数z。

同样，对于每个与类分类单元137提供的分类代码相对应的类而言，加法单元192使用预测抽头(学生数据)x_i，k(x_j，k)和参数z执行计算，该计算等于用于获得表达式(20)左侧矩阵中的表达式(18)所定义的分量x_{i，p，j，q}的学生数据和参数z的乘法(x_i，kt_px_j，kt_q)，以及它们的加法(∑)。请注意，表达式(18)中的t_p是根据表达式(10)从参数z中计算出来的。这对于表达式(18)中的t_q来说也是成立的。

同样，对于每个与类分类单元137提供的分类代码相对应的类而言，加法单元192使用预测抽头(学生数据)x_i，k、导师数据y_k和参数z执行计算，该计算等于用于获得表达式(20)右侧的矢量中的表达式(19)中所定义的分量y_i，p的学生数据x_i，k、导师数据y_k和参数z的乘法(x_i，kt_py_k)，以及它们的加法(∑)。请注意，表达式(19)中的t_p是根据表达式(10)从参数z中计算出来的。

也就是说，加法单元192在它的存储器(未示出)中存储有关将导师数据看作先前感兴趣的导师像素而获得的表达式(20)的左侧矩阵分量x_{i，p，j，q}和右侧分矢量y_i，p，并加上与矩阵分量x_{i，p，j，q}或分矢量y_i，p相对应的有关作为所关心导师像素获得的新导师数据的分量x_i，kt_px_j，kt_q或分量x_i，kt_py_k，使用导师数据y_k、学生数据x_i，k(x_j，k)和参数z计算相应分量x_i，kt_px_j，kt_q或x_i，kt_py_k(即，执行表达式(18)中的分量x_{i，p，j，q}或表达式(19)中的分量y_i，p的相加和所表示的加法)。

对于参数z的所有值0、1等等直到Z，加法单元192使用导师数据存储单元132存储所有导师数据作为所关心的导师像素执行这个加法，以便为每个类构成表达式(20)给出的正规方程式，然后将正规方程式提供给抽头因数计算单元193。抽头因数计算单元193解算加法单元192所提供的每个类的正规方程式，并因此为每个类获得并输出因数种子数据β_m，n。

参数生成单元191生成多个值z＝0、1、2等等直到Z，要提供给图30中的参数存储器184的参数z的范围可以如上述假定，并将这些值提供给学生数据生成单元133。此外，参数生成单元191将生成的参数z提供给预测抽头提取单元135、特征提取单元136和加法单元192。

接下来，将参考图34的流程图来描述图32所示的学习设备执行的处理(学习过程)。

首先，在步骤S181中，导师数据生成单元131和学生数据生成单元133分别从学习图像信号中生成导师数据和学生数据，将后将它们输出。也就是说，导师数据生成单元131不加变化的输出学习图像信号作为导师数据。同样，向学生数据生成单元133提供通过参数生成单元191生成的具有z+1值的参数z，并且学生数据生成单元133，与使用LPF以与参数生成单元191生成的具有z+1个值(0、1等等直到z)的参数z相对应的切断频率过滤学习图像信号，藉此生成并输出有关每个帧的导师数据(学习图像信号)的学生数据的z+1个帧。

导师数据生成单元131输出的导师数据被提供给导师数据存储单元132并被存储在导师数据存储单元132中，学生数据生成单元133输出的学生数据被提供给学生数据存储器134并存储在其中。

随后，流程进行到步骤S182，在这里，参数生成单元191将参数z设置到初值、例如零，并且将这个参数z提供给预测抽头提取单元135、特征提取单元136和加法单元192，然后流程进行到S183。在步骤S183中，预测抽头提取单元135从存储在导师数据存储单元132中的导师数据中获得还没有被作为所关心的导师像素获得的一个所关心的导师像素。此外，在步骤S183中，与所关心的导师像素相对应，预测抽头提取单元135从学生数据存储单元134所存储的学生数据中配置关于参数生成单元191输出的参数z的预测抽头，(通过使用与参数z相对应的切断频率的LPF过滤与作为所关心的导师像素的导师数据相对应的学习图像信号而生成学生数据)，并将其提供给加法单元192，然后流程进行到步骤S184。

在步骤S184中，特征提取单元136使用学生数据存储器134存储的与参数生成单元191输出的参数z有关的学生数据提取所关心的导师像素的特征，然后将其提供给类分类单元137，然后流程进行到步骤S185。

在步骤S185中，类分类单元137根据有关来自于特征提取单元136的所关心的导师像素的所关心特征的像素执行所关心导师像素的分类，并输出藉此获得的与该类相对应的分类代码给加法单元192，然后流程进行到步骤S186。

在步骤S186中，加法单元192从导师数据存储单元132中读出所关心的导师像素，并且使用所关心的导师像素、预测抽头提取单元135提供的预测抽头和参数生成单元191输出的参数z来计算表达式(20)的左侧矩阵分量x_i，kt_px_j，kt_q和右侧分矢量x_i，kt_py_k。此外，对已获得的矩阵分量和分矢量，加法单元192在类分类单元137的分类代码的矩阵分量和分矢量上加上与其相对应的从所关心的像素、预测抽头和参数z获得的矩阵分量x_i，kt_px_j，kt_q和分矢量x_i，kt_py_k，然后流程进行到步骤S187。

在步骤S187中，参数生成单元191确定输出的参数z是否等于Z可以假定的最大值。如果在步骤S187中确定参数z不等于(即，小于)Z可以假定的最大值，那么流程进行到步骤S188，参数生成单元191使参数z加1，并向预测抽头提取单元135、特征提取单元136和加法单元192输出新的参数z。然后流程返回步骤S183，随后重复相同的处理。

同样，如果在步骤S187中确定参数z等于Z可以假定的最大值，那么流程进行到步骤S189，并且预测抽头提取单元135确定是否还有没有作为所关心的导师像素的导师数据存储在导师数据存储单元132中。如果确定还没有作为所关心的导师像素获得的导师数据仍然还存储在导师数据存储单元132中，那么预测抽头提取单元135携带还没有作为所关心的导师像素的导师数据返回步骤S182，并重复相同的处理。

另一方面，如果在步骤S189中确定导师数据存储单元132不再有还没有作为所关心的导师像素的导师数据，那么加法单元192向抽头因数计算单元193提供迄今为止通过处理已获得的每个类的表达式(20)的左边矩阵和右侧矢量，然后流程进行到步骤S190。

在步骤S190中，抽头因数计算单元193为加法单元192提供的每个类解算构成表达式(20)的左侧矩阵和右侧矢量的每个类的正规方程式，藉此获得并输出每个类的因数种子数据β_m，n，接着结束处理。

虽然可能存在这种情况，即由于学习图像信号的数量不够等原因，不能获得为获得因数种子数据所需的正规方程式的数量，例如可安排因数种子计算单元193为这样的类输出缺省的因数种子数据。

此时，对于图32所示学习设备而言，已将学习描述为以高图像质量图像信号作为导师数据的学习图像信号和通过相应于参数z来降低高图像质量图像信号的分辩率而获得低图像质量图像信号作为学生数据，从表达式(11)的因数种子数据β_m，n所表示的抽头因数w_n、相应于参数z的变量t_n和学生数据X_n中直接获得因数种子数据β_m，n而执行的，该抽头因数w_n使由表达式(1)的线性基本表达式预测的导师数据的预测值y的误差平方和最小化，如图33所示；然而，因数种子数据β_m，n的学习并不限于这些，例如也可以替代地使用图35所示而执行。

也就是说，对于图35所示的安排而言，同图33的情况类似，作为学习图像信号的高图像质量图像信号作为导师数据，和通过使用与参数z相对应的切断频率的LPF降低高图像质量图像信号的水平方向和垂直方向分辨率而获得的低图像质量图像信号作为学生数据，首先，为参数z的每个值(在这里，z＝0、1等等直到Z)从抽头因数w_n和学生数据x_n获得抽头因数w_n，该抽头因数w_n使由表达式(1)的线性基本表达式预测的导师数据的预测值y的误差平方和最小化。此外对于图35中的安排而言，获得的抽头因数w_n作为导师数据而参数z作为学生数据，为获得因数种子数据β_m，n而执行学习，该因数种子数据β_m，n使作为导师数据的抽头因数w_n的预测值的误差平方和最小化，而该抽头因数w_n是使用表达式(11)通过因数种子数据β_m，n和相应于参数z的变量t_n预测的。此时，通过解算表达式(8)的正规方程式，可以为每个类的每个参数值(z＝0、1等等直到Z)获得给出由表达式(11)的线性基本预测表达式预测的导师数据的预测值y的误差平方和E的最小(最小的)值的抽头因数w_n，如图8所示的学习设备的情况。

此时，从因数种子数据β_m，n中获得抽头因数和与参数z相对应的变量t_n，如表达式(11)所表示的那样。这意味着，对于从表达式(11)获得的抽头因数w_n′而言，其中由表达式(11)获得的最佳抽头因数w_n和抽头因数w_n′之间的误差e_n是0的因数种子数据β_m，n是用于预测下列表达式(21)所示的最佳抽头因数w_n的最佳因数种子数据β_m，n，但是对于所有抽头因数W_n来说获得这种因数种子数据β_m，n一般是困难的。

e_n＝w_n-w_n′　　　　　　　(21)

通过表达式(11)可以将表达式(21)修改为下列表达式。

$e_n=w_n-\left(\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\β}}_{m,n}{t}_m\right)---\left(22\right)$

此时，在这种情况下将采用最小平方法作为指示因数种子数据β_m，n是最佳的标准，可以通过最小化下列表达式中的误差平方和E来获得最佳因数种子数据β_m，n。

$E=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{e_n}^2---\left(23\right)$

使用因数种子数据β_m，n来获得表达式(23)中的误差平方和E的最小值(极小值)，其中使用因数种子数据β_m，n对和E进行偏微分产生0，如表达式(24)所示。

$\frac{\∂E}{\∂{\mathrm{\β}}_{m,n}}=\underset{m=1}{\overset{M}{\mathrm{\Σ}}}2\frac{\∂e_n}{\∂{\mathrm{\β}}_{m,n}}\·e_n=0---\left(24\right)$

将表达式(22)代入表达式(24)中产生下列表达式。

$\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{t}_m(w_n-\left(\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\β}}_{m,n}{t}_m\right))=0---\left(25\right)$

现在，让我们定义表达式(26)和(27)中的x_i，j和y_i。

$X_{i,j}=\underset{z=0}{\overset{Z}{\mathrm{\Σ}}}{t}_i{t}_j$ 　　(i＝1，2，…，M：j＝1，2，…，M)　　　　(26)

$Y_i=\underset{z=0}{\overset{Z}{\mathrm{\Σ}}}{t}_i{w}_n---\left(27\right)$

在这种情况下，使用x_i，j和y_i表达式(25)可以由表达式(28)所示的正规方程式给出。

例如，同样表达式(28)的正规方程式可以通过使用消去法(高斯-乔丹消去法)来解算出种子数据β_m，n。

接下来，图36说明学习设备的配置实例，其用于执行学习以通过给出并解算表达式(28)中的正规方程式来获得因数种子数据β_m，n。请注意，与图8或32中相对应的那些部件以相同的参考标记表示，并且视情况省略了其中的描述。

有关类分类单元137输出的所关心的导师像素的分类代码和参数生成单元191输出的参数z被提供给加法单元138。加法单元138从导师数据存储单元132中读出所关心的导师像素，并为类分类单元137提供的每个分类代码和参数生成单元191输出的参数z的每一个值执行有关所关心的导师像素和学生数据的相加，该学生数据构成相对于预测抽头提取单元135提供的所关心的导师像素设置的预测抽头。

也就是说，向加法单元138提供存储在导师数据存储单元132中的导师数据y_k、预测抽头提取单元135输出的预测抽头x_m，k、类分类单元137输出的分类代码，以及用于生成配置预测抽头x_n，k的学生数据的参数z，该参数已由参数生成单元191输出。

对于每个与类分类单元137提供的分类代码相对应的类和参数生成单元191输出的每个参数z值而言，加法单元138使用预测抽头(学生数据)x_n，k执行计算，该计算等于表达式(8)的左边矩阵中的学生数据的一个与另一个的相乘(x_n，kx_n’，k)和相加(∑)。

同样，对于每个与类分类单元137提供的分类代码相对应的类和参数生成单元191输出的每个参数Z值而言，加法单元138使用预测抽头(学生数据)x_n，k和导师数据y_k执行计算，该计算等于于表达式(8)右边矢量中的学生数据x_n，k和导师数据y_k的乘积(x_n，kx_n，k)和相加和(∑)。

也就是说，加法单元138在它的存储器(未示出)中存储表达式(8)的所获得的将早先的作为所关心导师像素的有关导师数据的其左边矩阵分量(∑x_n，kx_n’k)和右侧分矢量(∑x_n，ky_k)，并加上矩阵分量(∑x_n，kx_n’k)或分矢量(∑x_n，ky_k)、有关作为所关心的导师像素获取新的导师数据的相应分量x_n，k-1、x_n′，k-1或x_n，k-1y_k-1，使用导师数据y_k-1和学生数据x_n，k-1计算的相应分量x_n，k-1x_n′，k或x_n，k-1y_k-1(即执行表达式(8)表示的求和的加法)。加法单元138使用导师数据存储单元132存储的所有导师数据作为所关心导师像素来执行这个加法，以便为每个类和参数z的每个值构成表达式(8)给出的正规方程式，然后将正规方程式给抽头因数计算单元139。抽头因数计算单元139使用参数z的每个值为每个类解算加法单元138提供的正规方程式，从而为每个类获得并输出具有参数z的每个值的最佳抽头因数w_n，然后将其提供给加法单元201。

加法单元201为每个类执行有关参数z(或相应其的变量t_m)和最佳抽头因数W_n的相加。也就是说，加法单元201使用通过表达式(10)从参数z中获得的变量t_i(t_j)执行计算，该计算等于与参数z相对应的变量与另一个变量t_i(t_j)的相乘(t_it_j)以及它的相加，以获得定义在表达式(26)中的分量X_i，j，该表达式在表达式(28)中左侧的矩阵中。

应理解，一旦充分的话，仅由参数z确定分量X_i，j且不与类有关，因此分量X_i，j的计算实际上不需要为每个类执行。

此外，加法单元201使用通过表达式(10)从参数z获得的变量t_i和最佳抽头因数Wn执行计算，该计算等于与参数z相对应的变量t_i和最佳抽头因数的乘法(t_iw_n)以及它们的和，该参数z用于获得定义在表达式(28)中的右侧的矢量中的表达式(27)中的分量y_i。

加法单元201为每个类获得由表达式(26)表示的分量X_i，j和由表达式(27)表示的分量y_i，并为每个类设置表达式(28)的正规方程式，以及将正规方程式提供给因数种子计算单元202。因数种子计算单元202为每个类解算加法单元201提供的表达式(28)，藉此为每个类获得并输出因数种子数据β_m，n。

图30所的因数种子存储器183可以被安排为上述获得的类存储因数种子数据β_m，n。

此时，对于图30所示的因数输出单元124而言，可以对其进行安排，其中例如不向因数种子存储器183提供图36所示的抽头因数计算单元139输出的参数z每个值的已存储在存储器的最佳抽头因数w_n，和根据存储在参数存储器184中的参数z选择的存储在存储器中并设置在因数存储器181中的最佳抽头因数。然而，在这种情况下，存储器具有与参数z可假定的值成比例的特性是必要的。相反地，对于提供因数种子存储器183以存储因数种子数据的安排中，因数种子存储器183的存储特性并不依赖于参数z可假定的值，从而可使用小特性的存储器作为因数种子存储器183。此外，在存储因数种子数据β_m，n时，通过表达式(9)从和参数z的值中生成的抽头因数w_n，因此可以根据参数z的值获得可以说是连续的抽头因数w_n。因此，可以较少步骤的方式调整计算单元125输出的作为第二图像信号的高图像质量图像信号的图像质量。

请注意，对于上述方案而言，学习图像信号被作为与未加变化的第二图像信号相对应的导师数据，并且其中已经降低了学习图像信号的分辨率的低图像质量图像信号被作为与第一图像信号相对应的学生数据，根据此执行因数种子数据的学习，因此可以启动图像转换处理而获得因数种子数据，其中可以实现对第一图像信号进行分辨率提高处理从而将其处理为具有提高的分辨率的第二图像信号。

在这种情况下，在图像转换单元431处，根据参数z可以提高图像信号的水平方向分辨率和垂直方向分辨率。因此，在这种情况下，可以说参数z是与分辩率相对应的参数。

此刻，依赖于如何选择与第一图像信号相对应的学生数据的图像信号和与第二图像信号相对应的导师数据的图像信号，可以获得用于各种类型的图像转换处理的因数种子数据。

也就是说，例如，对于其中高图像质量图像信号被作为导师数据的方案中，与参数z相对应的噪音是被附加在导师数据高图像质量图像信号上以产生作为学生数据的带有噪音的图像信号，执行学习处理，藉此可以获得执行图像转换处理的因数种子数据，该图像转换处理是将第一图像信号转换为已去除了(或减少)包含其中的噪音的第二图像信号的噪音去除处理。

同样，例如，对于这样的方案而言，即其中所给出的图像信号作为导师数据以及减少将具有作为导师数据的图像信号所具有的像素数量的图像信号而产生作为学生数据的图像信号，或者其中所给出的图像信号作为学生数据以及根据预定减少比例减少作为学生数据的图像信号所具有的像素数量的图像信号以产生作为导师数据图像信号，执行学习处理，藉此可以获得执行图像转换处理的因数种子数据，该图像转换处理为缩放处理，其将第一图像信号转换为被扩大或减小的第二图像。

当在因数种子存储器183中，为噪音去除处理存储因数种子数据，或者为缩放处理存储因数种子数据时，可以在图像转换单元31处执行与参数z相对应的噪音去除或缩放(扩大或减少)。

在上述情况中，抽头因数w_n通过β_1，nz⁰+β_2，nz¹+…+β_M，nz^M-1定义，如表达式(9)所表示那样，使用表达式(9)获得与参数z相对应的提高水平方向和垂直方向分辨率的抽头因数w_n，但是可以为抽头因数w_n作这样的安排，其中水平方向分辨率和垂直方向分辨率都与各自的参数z_x和z_y相对应而独立提高的。

也就是说，抽头因数w_n是通过这样来定义的，例如三次表达式

β_1，nz_x ⁰z_y ⁰+β_2，nz_x ¹z_y ⁰+β_3，nz_x ²z_y ⁰+β_4，nz_x ³z_y ⁰+β_5，nz_x ⁰z_y ¹

+β_6，nz_x ⁰z_y ²+β_7，nz_x ⁰z_y ³+β_8，nz_x ¹z_y ¹+β_9，nz_x ²z_y ¹+β_10，nz_x ¹z_y ²

而不是表达式(9)，而且定义在表达式(10)中的变量t_m是通过

t₁＝z_x ⁰z_y ⁰，t₂＝z_x ¹z_y ⁰，t₃＝z_x ²z_y ⁰，t₄＝z_x ³z_y ⁰，t₅＝z_x ⁰z_y ¹，

t₆＝z_x ⁰z_y ²，t₇＝z_x ⁰z_y ³，t₈＝z_x ¹z_y ¹，t₉＝z_x ²z_y ¹，t₁₀＝z_x ¹z_y ²

来定义的，而不是表达式(10)。同样，在这种情况下，抽头因数w_n最后可以表示为表达式(11)，从而使用作为学生信号的图像信号的学习可以在学习设备(图32和36)处执行，其中导师信号的水平方向分辨率和垂直方向分辨率都已经与参数zx和zy相对应地降低，藉此获得因数种子数据β_m，n，从而可以获得与各自参数z_x和z_y相对应独自的来提高水平方向分辨率和垂直方向分辨率的抽头因数w_n。

其他实例除了与水平方向分辨率和垂直方向分辨率相对应的各自参数z_x和z_y之外还包括引入与时间序列分辨率相对应的参数z_t，藉此能够获得用于与各自参数z_x、z_y和z_t相对应的提高水平方向分辨率、垂直方向分辨率、时间序列分辨率的抽头因数w_n。

同样，对于缩放处理而言，同样可以与分辩率提高处理相同的方式获得用于在水平方向或垂直方向上缩放与参数z相对应的扩大百分比(减少百分比)的抽头因数w_n，或者获得用于在水平方向和垂直方向上独立的缩放与各自的参数z_x和z_y相对应的扩大百分比(减少百分比)的抽头因数w_n。

此外，对于学习设备(图32和36)而言，可以通过与参数z_x相对应地降低导师数据的水平方向和垂直方向分辨率来执行学习，并且将噪音增加到与参数z_y相对应的导师数据，以及将获得因数种子数据β_m，n的图像信号作为作为学生数据，借此可以获得与参数z_x相对应的提高水平方向分辨率和垂直方向分辨率的抽头因数W_n，并且也与参数z_y相对应的执行噪音去除。

图28所示的图像转换单元431R的因数种子存储器183(图30)存储因数种子数据，该因数种子数据是通过仅使用作为导师数据的图像信号的R信号和所有作为学生数据的图像信号的R、G和B信号的学习获得的。同样，图28所示的图像转换单元431G的因数种子存储器183(图30)存储只使用作为导师数据的图像信号的G信号和所有作为学生数据的图像信号的R、G和B信号的学习所获得的因数种子数据。以同样的方式，图28所示的图像转换单元431B的因数种子存储器183(图30)存储只使用作为导师数据的图像信号的B信号和所有学生数据的图像信号的R、G和B信号的学习所获得的因数种子数据。

接着，图37说明组成图27所示的组成信号处理单元404的信号处理单元411R、411G和411B的另一配置实例。请注意，相应于图28中的那些部件以相同的附图标记表示，并且视情况省略了其中的描述。也就是说，图37所示的信号处理单元411R、411G和411B是以图28所示的相同方式布置的，除了没有提供图像存储单元432R、432G和432B，而且提供控制单元211，该控制单元211代替评估单元433。

在图37中，向控制单元211提供操作单元185输出的参数，而不是图像转换单元431G输出的第二图像信号。控制单元211获得操作单元185输出的参数，并控制传感器单元401(图20)的R感光器单元423R、G感光器单元423G和B感光器单元423B的放置位置。

图38说明图37所示的控制单元211的配置实例。控制信号输出单元221获得操作单元185提供的参数，并识别偏移量Ph_G、Pv_G、Ph_B和Pv_B，该等偏移量与从操作单元185获得的参数有关，该参数存储在参数表存储单元222的参数表中。此外，控制信号输出单元221以与上述控制信号输出单元444相同的方式将向传感器单元401提供用于指定使用参数表识别的偏移量Ph_G、Pv_G、Ph_B和Pv_B的控制信号，藉此控制传感器单元401(图20)的R感光器单元423R、G感光器单元423G和B感光器单元423B的放置位置。

参数表存储单元222存储由操纵操作单元185输入的参数相关的参数表，以及在根据参数获得适合图像转换处理的图像信号时代表了传感器单元401的R感光器单元423R，G感光器单元423G和B感光器单元423B的放置位置的偏移量Ph_G，Pv_G，Ph_B，和Pv_B。参数表通过后面描述的参数表学习被事先获得。

相应地，在控制信号输出单元221，向传感器单元401提供用于指定与从操作单元185获得的参数相关联的偏移量Ph_G，Pv_G，Ph_B，和Pv_B的控制信号来控制传感器单元401(图20)的R感光器单元423R，G感光器单元423G和G感光器单元423B的放置位置，因此与从操作单元185获得的参数相对应的适合于图像转换处理的图像信号是传感器单元401输出。使这样的图像信号经受与从操作单元185获得的参数相对应的图像转换处理，可以获得具有更高质量的图像信号。

接下来，参考图39中的流程图，图27中所示的图像拾取设备的操作将参考图37中所示的对信号处理单元411的配置进行描述，其组成了图27中所示的信号处理单元404。

首先，在步骤S191中，控制单元211(图38)的控制信号输出单元221获得操作单元185输出的参数，且流程进入步骤S192。在步骤S192中，控制单元211识别从操作单元185处获得的与参数有关的偏移量Ph_G，Pv_G，Ph_B，和Pv_B，在参数表存储单元222里存储的参数表中为指定传感器单元401的偏移量Ph_G，Pv_G，Ph_B，和Pv_B提供控制信号，流程进入步骤S193。相应地，控制传感器单元401的R感光器单元423R，G感光器单元423G和B感光器单元423B的放置位置被。

在步骤S193中，传感器单元401接收物体光，并进行光电转换，从而获得电信号形式的图像信号(即，使物体成像)，并把图像信号提供给信号调整单元402。信号调整单元402使传感器单元401提供的图像信号经受CDS处理并把这些提供给A/D转换单元403。A/D转换单元403使信号调整单元402提供的图像信号经受A/D转换，然后作为第一图像信号提供给信号处理单元411，且流程从步骤S193进入步骤S194。

就是说，这种情况下，传感器单元401(图20)的R感光器单元423R，G感光器单元423G和B感光器单元423B放置位置的是与操作单元185输出的参数相关联的偏移量Ph_G，Pv_G，Ph_B，和Pv_B相对应的位置。相应地，在步骤S193中，与操作单元185输出的参数相对应的适合于图像转换处理的图像信号从传感器单元401输出，且向信号处理单元411提供该图像信号作为第一图像信号。

在步骤S194中，信号处理单元411(图37)的图像转换单元431(图29)使A/D转换单元403提供的第一图像信号经受作为与操作单元185输出的参数相对应的信号处理的图像转换处理，从而在第一图像信号之上产生图像质量提高的第二图像信号，然后流程进入步骤S195。

现在，如前面所提到的，提供给图像转换单元431的第一图像信号是与操作单元185输出的参数相对应的适合于图像转换处理的图像信号，相应地，在步骤S194中，使第一图像信号经受与操作单元185获得的参数相对应的图像转换处理以便获得更高图像质量的图像信号。

在步骤S195中，图像转换单元431向输出单元405输出所获得的图像转换处理的第二图像信号，从而完成但一个帧(或场)的处理。采用图像拾取设备，重复根据图39的流程图，直到例如用户下达停止图像拾取的命令。

接下来，图40阐明了学习设备的配置实例，用于执行图38中所示的存储在参数表存储单元222中的参数表的学习。

传感器单元531，信号调整单元532，和A/D转换单元533与图27中所示的传感器单元401，信号调整单元402和A/D转换单元403相同的方式配置。然而，应注意，通过图27中所示的图像拾取设备，传感器单元401(图20)的R感光器单元423R，G感光器单元423G和B感光器单元423B的放置位置是由信号处理单元404(或者说是，构成处理单元404的信号处理单元411G)的控制单元211输出的控制信号进行控制的，通过图40中所示的学习设备，传感器单元531的每个与R感光器单元423R，G感光器单元423G和B感光器单元423B相对应的感光器单元的放置位置(此后，视情况指代“传感器单元531中的放置位置”)由控制器537输出的控制信号所控制。

图像转换单元534以与图29中所示的图像转换单元431(431G)相同的方式进行配置。然而，图29所示的图像转换单元431执行与操作单元185输出的参数相对应的图像转换处理，图40中所示的图像转换单元534在A/D转换单元533输出的第一图像信号上执行与控制器537输出的参数相对应的图像转换处理。

位置确定单元535获得控制器537输出的参数所指定的控制信号和偏移量Ph_G、Pv_G、Ph_B、和Pv_B(此后视情况简称“偏移量P”)。另外，位置确定单元535从图像转换处理单元534获得第二图像信号，该第二图像信号使在与控制器537输出的控制信号相对应的传感器单元531的放置位置处(即，由控制信号指定的偏移量P代表的状态)成像的第一图像信号经受与控制器537输出的参数相对应的信号转换处理(此后也可视情况称为“与控制信号和参数相对应的第二图像信号”)。然后位置确定单元535评估图像转换单元534提供的第二图像信号，与评估结果相对应，将控制器537输出的参数和控制信号指示的偏移量P相关联，并把这些提供给位置存储单元536。

位置存储单元536以参数和偏移量P组的形式存储从位置确定单元535提供的参数和偏移量P。位置存储单元536存储控制器537输出的参数z的多个值中的每一个所相关的参数和偏移量组，并且参数表是参数和偏移量组的列表。

控制器537产生一些参数z可以假定的值，例如，z＝0，1，2，等等直到z，这和图32中的参数生成单元191的方式一样。另外，对于每个产生的参数值，控制器537产生一些偏移量P可以假定的值(P₁，P₂，等等直到P_N，其中N是一个大于或等于2的值)，控制器537然后顺序将产生的参数值做为所关心的参数值，且把所关心的参数值z，和所产生的与所关心的参数值相对应的偏移量P的多个值中的每一个值提供给位置确定单元535。另外，控制器537向位置确定单元535和传感器单元531提供指定偏移量P的控制信号。

图41阐明了图40中所示的位置确定单元535的配置实例。位置确定单元535包括，存储单元541，相关性计算单元542，和确定评估单元543。存储单元541，相关性计算单元542和确定评估单元543每个都是与图23中所示的存储单元441，相关性计算单元442和确定评估单元443的相同的方式配置的。

然而应注意，也向确定评估单元543提供参数(所关心的参数值)和从控制器537(图40)输出的偏移量的输入。与图23中所示的确定评估单元443相同，确定评估单元543对从图像转换单元534(图40)输出的第二图像信号进行评估，该评估基于从相关性计算单元542提供的相关值，并输出评估结果是第二图像信号的图像质量是高或低。另外，确定评估单元543根据评估结果把从控制器537提供的参数和偏移量相关联，并把关联的参数和偏移量组提供给位置存储单元536(图40)。

接下来，采用图40中所示的学习设备的参数表学习处理将参考图42中的流程进行描述。

首先，在步骤S320中，控制器537从参数z所能假定的范围中选择一个值作为所关心参数值z，并把该值提供给位置确定单元535(图41)的图像转换单元534和确定评估单元543。同样在步骤S320中，图像转换单元534和确定评估单元543从控制器537获的所关心的参数值z，流程进入步骤S321。

在步骤S321中，传感器单元531接收物体的光，并进行光电转换，藉此获得电信号(即，使物体成像)形式的图像信号，并把该图像信号提供给信号调整单元532。信号调整单元532使传感器单元531提供的图像信号经受CDS处理并把这些提供给A/D转换单元533，A/D转换单元533使信号调整单元532提供的图像信号经受A/D转换，然后作为第一图像信号提供给信号处理单元534，流程从步骤S321进入步骤S322。

在步骤322中，图像转换单元534使A/D转换单元533提供的第一图像信号经受与控制器537获得的所关心参数值z相对应的图像转换处理，从而在第一图像信号之上产生图像质量提高的第二图像信号，进而流程进入步骤S323。

在步骤323中，位置确定单元535评估图像转换单元534提供的第二图像信号，流程进入步骤S324。在步骤S323中所执行的评估过程将稍后参考图43进行详细的描述。

在步骤324中，位置确定单元535(图41)的确定评估单元543确定是否获得第二图像信号的图像质量为高的评估结果为，如刚刚所述的步骤S323中的第二图像信号的评估结果。

如果在步骤S324中，确定第二图像信号的图像质量为高的评估结果还没有获得，流程进入步骤S325，控制器537把指定偏移量P的控制信号提供给传感器单元531，由此改变(移动)传感器单元531的放置位置被改变。注意，控制器537以图23中所示的控制信号输出单元444相同的方式来设置控制信号所估计的偏移量P，举例来说。另外，在步骤324中，控制器537也把提供给传感器单元531的偏移量P提供给位置确定单元535的确定评估单元543，流程返回步骤S321。

在步骤S321中，以其放置位置在先前的步骤S325中已经被改变的传感器单元531来获得图像信号，随后，重复步骤S321到S325。

由于步骤S321到S325的循环，图像转换单元534使由传感器单元531的多个放置位置的每一个获得的第一图像信号经受与所关心参数值z相对应的图像转换处理，由此产生作为与所关心参数值z相对应的图像转换处理结果的第二图像信号。另外，与有关所关心参数值z而获得的多个偏移量相对应的每个第二图像信号在步骤S323中被评估。注意，如果是在步骤S320后第一次执行步骤S231，传感器单元531以默认的放置位置来获得图像信号。

随后，如果在步骤S324中，确定已经获得第二图像信号的图像质量为高的评估结果，流程进入步骤S326，并且当获得评估结果时，位置确定单元535的确定评估单元543把所关心参数值z和控制器537提供的偏移量P相关联，即，以与所关心参数值z相关联的方式，向位置存储单元536提供并存储当获得表示已获得高质量评估结果的与第二图像信号相对应的第一图像信号时指示传感器单元531的放置状态的偏移量P，以及有关的所关心参数值z和偏移量P。相应地，位置存储单元536存储了偏移量P，由此与所关心参数值z相对应的适合于图像转换处理的第一图像信号(此后简称为“最佳偏移量”)。

然后流程从步骤S326进入步骤S327，这里控制器537把参数z可以假定的范围内的所有数值做为所关心的参数值z，并根据最佳偏移量P是否已被获得来完成确定。如果在参数z可假定的范围内的所有值都考虑的情况下，在步骤S327中确定没有获得最佳偏移量P，则流程返回步骤S320，在这里控制器537从参数z可假定的范围内再挑选一个没有被做用作过所关心参数值的数值做为新的所关心参数值，同样的处理重复进行。

同样，如果在参数z可假定的范围内的所有的值都被考虑的情况下，在步骤S327中确定获得了最佳偏移量P，即，如果参数表已经被存储在位置存储单元536中，该参数表是一些参数z可假定范围内多个数值中的每个数值和其最佳偏移量P组，则流程结束。

如前所述，与参数z相对应的图像转换处理是关于传感器单元531在与多个偏移量P的每一个相对应的位置上获得的每个第一图像信号来执行的，对于参数z的多个值中的每个值，通过图像转换处理获得的第二图像信号被评估，并且获得最佳偏移量P，该最佳偏移量P是在获得高图像质量的第二图像信号时的偏移量；相应地，可以获得参数表，该参数表是在获得与参数z相对应的适合图像转换处理的第一图像信号时，参数z和最佳偏移量P的关联关系。如图37至图39所示，第一图像信号，基于参数表与操作单元185输出的参数z相对应的偏移量所代表的位置上由传感器单元401在该放置位置进行成像，从而，与参数z相对应的适合于图像转换处理的图像信号就能被获得，相应地，具有更高图像质量的第二图像信号就可获得了。

注意，通过图42中的学习过程，可以为参数z可假定范围内的一些值获得参数表，因此，存储在图38中所示的参数表存储单元222中的参数表可以不存储与操作单元185输出的参数一样的值。这种情况下，通过对存储在参数表存储单元222中的参数表中的参数和偏移量的线性内插或相似方法，控制信号输出单元221获得与操作单元185输出的参数相对应的偏移量。

接下来，在图42中的步骤S323中的由图41所示的位置确定单元535执行的评估处理将参考图43中的流程图进行描述。

对于该评估处理，首先，在步骤S330中，存储单元541存储由在前面步骤S322(图42)图像转换单元534提供的第二图像信号，且相关性计算单元542接收这些第二图像信号。另外，在步骤S330中，相关性计算单元542计算从图像转换单元534提供的第二图像信号和在前一步骤S330中由存储单元541存储的第二图像信号之间的相关值，流程进入步骤S331。

在步骤S331中，确定评估单元543临时存储相关性计算单元542提供的相关值，某种程度上，当用于获得相关值的两个第二图像信号中选择一个时，和偏移量P相关联，流程进入步骤S332。现在，在从用于获得相关性计算单元542提供的相关值的两个第二图像信号中选择一个时，确定评估单元543从图40所示的控制器537获得偏移量P。

在步骤S332中，对于迄今为止在步骤S331中存储的相关值和偏移量之间的关系，确定评估单元543确定是否已经为相关值获得最大值。如果步骤S332中确定没有为相关值获得最大值，流程进入步骤S333，确定评估单元543作出效果为第二图像信号是低图像质量的评估，流程返回图42中的步骤S324。

这种情况下，在图42的步骤S324中，确定评估单元543确定没有获得效果为图像质量为高的评估结果，流程进入步骤S325。在步骤S325中，控制器537向传感器单元531提供与评估结果相对应的用于指定新偏移量的控制信号，并把该偏移量P提供给确定评估单元543。

返回图43中的步骤S332，如果在步骤S332中确定已经为相关值获得最大值，流程进入步骤S334，确定评估单元543作出效果为第二图像信号具有高图像质量的评估，流程返回图42中的步骤S324。

这种情况下，在图42的步骤S324中，确定有关其所获的评估结果是图像质量为高的第二图像信号已被获得，流程进入步骤S326。在步骤S326中，确定评估单元543把所关心的参数值z和在获得评估结果时控制器537提供的偏移量P相关联，即，在有关其所获评估结果的效果为图像质量为高(最佳偏移量)的第二图像信号相对应而获得的第一图像信号时，代表传感器单元401的放置状态的偏移量P，并且相关的有效参数值z和最佳偏移量被提供和存储在位置存储单元536中。

在前面所述的情况中，根据下述安排进行描述，其中，如果在步骤S332中已经获得相关值的最大值，则做出效果为第二图像信号是高图像质量的评估，但是，也可以作另一种安排，其中如果在步骤S332中获得一个等于或高于预定阈值的相关值的最大值，则做出效果为第二图像信号是高图像质量的评估。

同样，在前面所述的情况中，根据下述安排进行描述，其中，在基于相关值作出第二图像信号的评估，然而，可以作另一种安排，其中例如，基于有关偏移量Ph_G、Pv_G、Ph_B、和Pv_B的每个值而获得的第二图像信号的S/N等来进行评估。另外，第二图像信号的评估可能从外部被输入。就是说，例如，可能作一种安排，其中显示第二图像信号，并且例如通过观察所显示图像的用户输出第二图像信号的评估。

前面描述的由信号处理单元404，图像转换单元534，位置确定单元535、控制器537，等等进行的一系列处理可以由专门的硬件或软件执行。当用软件来执行该一系列的处理时，参考图17，如前所述，组成该软件的程序将被安装在微型计算机上，一种通用计算机上，等等。

同时注意到，除了前面所述的图像转换处理外，图像转换单元431和534可以执行获得第二图像信号的处理，比如使第一图像信号经受数字钳位处理，白色均衡调整处理、伽马校正处理、线性内插处理，等等。

同样，当现有实施例被描述为传感器单元401和531采用所谓的三-传感器装置，则单-传感器，二-传感器，或四或更多传感器系统可以被应用到传感器单元401和531上。

此外，当在上述安排中，使用第二图像信号的G信号对该第二图像信号进行评估时，也可以使用R信号或B信号或R，G和B信号中的两个或多个对第二图像信号进行评估。

第四具体实施例

接下来，本发明的第四具体实施例将参考图44进行描述。图44说明了已应用本发明的图像拾取设备的第四具体实施例的配置实例。图44所示的图像拾取设备可以是例如数字式静态照相机或摄像机，同图18所示的图像拾取设备。

传感器单元601包括，多个与像素相对应的光电转换元件，用于接收通过未示出的光学系统投射到其中的物体光，并向信号调整单元602提供与该物体光相对应的电信号形式的图像信号。此外，传感器单元601根据信号处理单元604提供的控制信号改变其特性。

为消除包含在传感器单元601输出的图像信号中的复位噪音，信号调整单元602执行CDS处理，同图18中的信号调整单元402，并把获得的作为处理结果的图像信号提供给A/D转换单元603。A/D转换单元603对信号调整单元602提供的图像信号执行A/D转换，同图18中的A/D转换单元403，即，通过采样量化图像信号，并将作为其结果而获得的数字图像信号提供给信号处理单元604。

信号处理单元604将A/D转换单元603提供的数字图像信号(此后简称为“图像信号”)当作第一图像信号，并使第一图像信号经受预定的图像转换处理，并向输出单元605输出做为其结果的数字图信号作为第二图像信号。同样，信号处理单元604对一屏的预定区域(一帧或场)中的第一图像信号进行评估，并把控制信号提供给与评估相对应的传感器单元601。

输出单元605接收信号处理单元604输出的第二图像信号，同图18中的输出单元405，并输出这些第二图像信号。也就是说，输出单元605从未示出的外部终端输出来自信号处理单元604的第二图像信号，或显示在未示出的监视器上。同样，输出单元605将第二图像信号存储在未示出的记录介质中，诸如光盘、磁盘、磁光盘、磁带，半导体存储器等等，或者通过像电话线、因特网、局域网或其他像电缆或无线传输介质发送这些图像信号。

对于上述配置的图像拾取设备来说，在传感器单元601处接收物体光，并通过信号调整单元602和A/D转换单元603将与所接收光量相对应的电信号形式的图像信号提供给信号处理单元604。信号处理单元604使传感器601通过信号调整单元602和A/D转换单元603提供的图像信号作为第一图像信号经受诸如图像转换处理此类的信号处理，并向输出单元605输出藉此已提高图像质量的第二图像信号，该图像转换处理例如通过提高分辨率来提高图像质量。在输出单元605中，输出信号处理单元604提供的第二图像信号。

同样，信号处理单元604以其一屏的预定的区域评估来自于传感器单元601的第一图像信号。也就是说，信号处理单元604对来自传感器单元601的第一图像信号的每一屏进行评估。另外，与该评估相对应，信号处理单元604向传感器单元601提供控制信号。

与预定区域的第一图像信号相对应，传感器单元601改变一屏(整个感光面)的每个像素的特性。而后，传感器单元601输出从改变特性的像素获得的图像信号。

接下来，将根据信号处理单元604输出的控制信号，描述传感器单元的特性变化。如前所述，从传感器单元601输出的图像信号在A/C转换单元603被量化。相应地，如果一屏中的预定区域是平面的，相应地，预定区域的图像信号的信号级别的变化是足够小的以适合图45A所示的A/D转换单元603执行的量化中的量化步幅，预定区域中的图像信号在A/D转换单元603处都被量化为同样的值，滤掉微小的变化。在信号处理单元604上被量化为相同值的数字图像信号上执行图像转换处理不可能产生高分辨率的图像。

相应地，信号处理单元604为改变传感器单元601的特性提供控制信号，从而改变传感器单元601的特性，以使合适的图像信号可以通过图像转换处理而被输出，即，以使通过图像转换处理能产生高分辨率图像的图像信号能被输出，举例来说。

也就是说，信号处理单元604对传感器单元601输出的预定区域的图像信号进行评估，并且如果图像信号的信号级别的变化被认为与图45A所示的一样小，传感器单元601的特性将被改变，以便从传感器单元601输出的图像信号的信号级别的变化是较大的，如图45B所示。这种情况下，在其中信号级别的变化明显的图像信号被输入到信号处理单元604，且对此图像信号上进行图像转换处理，从而获得高分辨率的图像。

图46阐明了一种采用变化特性的传感器单元601的配置实例。传感器单元601具有排列在水平和垂直方向大量像素，从而组成了一种感光面。例如，每个像素都由感光器单元611和控制器单元612组成，如图46所示。

感光器单元611被配置为例如光电二极管等光电转换设备，以便向控制单元612输出与所接收的光量相对应的电信号。控制单元612是由晶体管等组成的，用于通过预定放大率把来自感光器单元611的电信号进行放大，并输出到信号调整单元602。同样，向控制单元612提供来自信号处理单元604的控制信号，且控制单元612控制放大率，由此来自感光器单元601的电信号根据控制信号进行放大。

控制单元612根据来自信号处理单元604的控制信号改变放大率做为其特性，以便输出适于在信号处理单元604上进行图像转换处理的具有变化了的信号级别的图像信号。

现在，由像素组成的具有感光器单元611和控制单元612的传感器单元601可以通过在CMOS传感器上应用MEMS技术被配置，举例来说。然而，应该理解，传感器单元601决不限于CMOS传感器，其也可以使用CCD，或HARP来替换，该HARP是利用发生在a-Se半导体的光电导靶中的电子雪崩现象的显象管。同样，传感器单元601也可以由具有放大单元的设备组成，该放大单元用于为整个的或者一个或更多像素的递增放大图像信号，以便根据控制信号改变放大单元的放大率。

接下来，图47阐明了一种对图44中所示的信号处理单元604的配置实例。在图47中，信号处理单元604包括，图像转换单元621，图像校正单元622，和级别评估单元623。

从传感器单元601输出的图像信号通过信号调整单元602和A/D转换单元603提供给信号处理单元604作为第一图像信号。该第一图像信号被提供给图像转换单元621和级别评估单元623。

图像转换单元621使第一图像信号经受图像转换处理以提高图像质量，例如诸如提高分辨率，并将提高质量的数字图像信号做为第二图像信号提供给图像校正单元622。

已经向图像校正单元622提供来自图像转换单元621的第二图像信号，以及来自级别评估单元623的放大率信息和区域信息。基于由级别评估单元623提供的放大率信息和区域信息，图像校正单元622校正来自图像转换单元621的第二图像信号，并将校正后的第二图像信号提供给输出单元605。

级别评估单元623通过一屏的一部分的预定区域来评估第一图像信号。另外，级别评估单元623确定放大率，由此图46所示的控制单元执行放大操作，并且把指示放大率的放大信息，和指示执行评估的区域的区域信息提供给图像校正单元622。同样，做为控制信号，级别评估单元623把放大信息提供给控制单元612的组成预定区域的像素，其出自组成传感器单元601的像素。

也就是说，级别评估单元623评估在一屏中的每个区域的第一图像信号是否适合图像校正单元621的图像校正处理。特别地，级别评估单元623识别每个预定区域的第一图像信号的信号级别(亮度或颜色)，并评估信号级别变化是大还是小。另外，在有关所获评估为信号级别的变化太小时，级别评估单元623为组成区域的像素的放大率制定一个较大值，并且同样在有关所获评估为信号级别的变化太大时，级别评估单元623为组成区域的像素的放大率制定一个较小值，并把代表放大率的放大信息提供给每个区域的像素的控制单元612(图46)做为控制信号。

如图46中所示的控制单元612，感光器单元611的输出信号以来自级别评估单元623的控制信号的放大率进行放大，相应地，适合在图像转换单元621上进行图像转换处理的具有信号级别变化的图像信号从传感器单元601输出。

另一方面，在级别评估单元623处，被做为控制信号提供给传感器单元601的控制单元612的放大率信息，和表示按由放大信息代表的放大率执行放大操作的像素所组成的区域的区域信息被相互关联，并被提供给图像校正单元622。图像校正单元622，根据由级别评估单元623提供的放大率信息和区域信息，校正由图像转换单元621使第一图像信号经受图像转换处理而获得的第二图像信号。

也就是说，通过与和区域信息有关的放大率信息所表示的放大率相对应的增益，区域信息指示区域的第一图像信号的值和从传感器单元601的感光器单元611输出的信号的值不同。相应地，图像校正单元622校正该区域的第二图像信号，该区域的区域信息由和区域信息有关的放大信息所指示的放大率所代表，以便产生能获得与图像信号本应获得的增益相同的第二图像信号，这通过对从传感器单元601的感光器单元611输出的信号进行图像转换处理而获得。特别地，通过和区域信息有关的放大信息指示的放大率成比例的值来衰减增益，图像校正单元622校正区域信息指示的区域的第二图像信号。

注意，通过级别评估单元623，做为评估增量的预定区域可以是这个屏幕(区域的帧)，或由单个或多个像素组成的区域。

现在，在级别评估单元623处，如果做为评估增量的预定区域是一个像素或多个像素，但不是整个一屏，对第一图像信号的图像转换处理在图像转换单元621进行，该第一图像信号对每个预定区域有不同的放大率。当在图像转换单元621实施不同类型的计算时，如果计算是对具有不同放大率的第一图像信号来执行，则在执行计算时有必要考虑放大率的不同。这里，为了简化描述，让我们假设在级别评估单元623处将要做为评估增量的预定区域为整个屏幕。

接下来，图48阐明了图47中所示的级别评估单元623的第一配置实例。在图48中，级别评估单元623由评估像素提取单元631，占用程度计算单元632，和放大率确定单元633组成。

向评估像素提取单元631提供来自传感器单元601的第一图像信号，经由信号调整单元602和A/D转换单元603到信号处理单元604。评估像素提取单元631提取被用作评估第一图像信号的一屏的像素做为评估像素，并把这些提供给占用程度计算单元632。占用程度计算单元632计算作为评估增量的一屏上的评估像素的占用程度，并把这个提供给放大率确定单元633。

在放大率确定单元633，根据占用程度计算单元632提供的占用程度，作为评估增量的一屏的第一图像信号被评估，且确定一个与评估相对应的放大率作为与传感器单元601的一屏的图像信号相对应的像素的控制单元612的放大率。另外，放大率确定单元633把指示这个放大率的放大率信息提供给传感器单元601(或其控制单元612)做为控制信号。另外，放大率确定单元633把放大率信息和代表一屏的区域信息相关联提供给图像校正单元622，该区域以由放大率信息所指示的放大率进行放大操作的像素组成(图47)。

接下来，图44中所示的图像拾取设备的操作将参考图49中的流程图进行描述。

对于该图像拾取设备，首先，在步骤S401中，传感器单元601的感光器单元611接收物体光并进行光电转换，从而获得电信号信号形式的第一图像信号(使物体成像)，控制单元612以预定的放大率放大该图像信号，被放大的信号提供给信号调整单元602，流程进入步骤S402。注意，如果是在打开图像拾取设备的电源后第一次采集图像，传感器单元601的控制单元612的放大率是一个默认值。

在步骤S402中，信号调整单元602使传感器单元601提供的一屏图像信号经受信号调整，如CDS处理，然后把这些提供给A/D转换单元603，且流程进入步骤S403。在步骤S403中，A/D转换单元603使来自信号调整单元602的一屏图像信号经受图像转换，然后做为第一图像信号提供给信号处理单元604，且流程进入步骤S404。

在步骤S404中，信号处理单元604(图47)的级别评估单元623对由A/D转换单元603提供的一屏第一图像信号进行评估，并为图46中所示的控制单元612确定放大率。另外，在步骤S404中，级别评估单元623把指示其放大率的放大信息，和指示与评估被执行有关的一屏的区域信息提供给图像校正单元622，并把放大率信息提供给组成传感器601的一屏的像素的控制单元612做为其控制信息，且流程进入步骤S405。现在，在步骤S404中进行的详细处理将稍后被描述。

在步骤S405中，传感器单元601中的每个像素的控制单元612控制放大率，由此，根据在先前步骤S404中级别评估单元623提供的控制信号，感光器单元611的输出被放大了，且流程进入步骤S406。

在步骤S406中，由信号处理单元604(图47)的图像转换单元621执行关于A/D转换单元603提供的第一图像信号的图像转换处理，具有在第一图像信号上提高了图像质量的第二图像信号被提供给图像校正单元622，且流程进入步骤S407。

在步骤S407中，基于在先步骤S404中的级别评估单元623提供的放大率信息和区域信息，图像校正单元622对图像转换单元621提供的图像信号进行校正，已被校正的第二图像信号被提供给输出单元605，且流程进入步骤S408。

在步骤S408中，输出单元605输出由信号处理单元604的图像校正单元622提供的第二图像信号，因而，完成有关一屏图像的处理。也就是说，对于图44中的图像拾取设备，重复根据图49中一个图像屏幕的处理的流程，直到例如用户下达停止图像拾取的命令。

相应地，在接下来的步骤S401中，从传感器单元601的感光器单元611输出的图像信号以前面的处理的步骤S404中所控制的放大率进行放大，相应地，适合图像转换处理的第一图像信号被提供给图像转换单元621。

接下来，图49中的步骤S404的评估处理将参考图50中的流程图进行描述，首先，在步骤S421中的评估处理中，级别评估单元(图48)的评估像素提取单元631从作为评估增量的组成一屏的像素中提取像素作为评估像素，用于评估该屏的第一图像信号的像素。这就是说，评估像素提取单元631从组成一屏的像素中提取例如具有比第一级别要高的第一图像信号级别的像素，和具有比第二级别要低的级别的像素做为评估像素。

现在，对于第一级别，一个接近和等于或比第一图像信号可以假定的最大值要小的值可以被使用。同样，对于第二级别，一个接近和等于或比第一图像信号可以假定的最小值要大的值可以被使用。在下面的描述中，第一图像信号中具有比第一级别高的级别的像素将视情况称为“高级别像素”，并且第一图像信号中具有比第二级别低的级别的像素视情况称为“低级别像素”。

在步骤S421中，评估像素提取单元631从做为评估增量的组成一屏的像素中，提取高级别像素和低级别像素做为评估像素，并把该评估像素提供给占用程度计算单元632，且流程进入步骤S422。

步骤S422中，在作为评估增量的一屏中，占用程度计算单元632计算由评估像素提取单元631在步骤S421提供的每个高级别像素和低级别像素的占用比率，作为高级别占用程度和低级别占用程度，把它们提供给放大率确定单元633，且流程进入步骤S423。

在步骤S423中，根据占用程度单元632提供的高级别占用程度和低级别占用程度，放大率确定单元633对作为评估增量的一屏第一图像信号进行评估，且依据该评估确定放大率做为与一屏图像信号相对应的像素的控制单元612的放大率。

也就是说，如果高级别占用程度足够大于低级别占用程度，这意味着在一屏中存在着大量的高级别像素，所以放大率确定单元633做出的评估为一屏的第一图像信号不适合于在图像转换单元621进行图像转换处理，且给放大率确定了一个比当前值低的值做为控制其单元612的放大率。同样，如果低级别占用程度足够大于高级别占用程度，这意味着在一屏中存在着大量低级别像素，所以放大率确定单元633做出的评估为一屏的第一图像信号不适合于在图像转换单元621进行图像转换处理，且给放大率限定了一个比当前值高的值做为控制其单元612的放大率。否则，放大率确定单元633做出的评估为，一屏的第一图像信号适合于在图像转换单元621的图像转换处理，且给放大率确定了一个先前值做为控制其单元612的放大率。

在步骤S423中，放大率确定单元633提供指示预定放大率的放大信息给传感器单元601(或其控制单元612)做为控制信号，并且把放大率信息和指示以一屏为区域的区域信息相关联，提供关联的放大率信息和区域信息给图像校正单元622(图47)，该区域以由放大率信息所指示的放大率进行放大操作的像素组成，且流程返回。

这种情况下，在图像转换单元621处具有图像转换处理的合适级别的图像信号从传感器单元601被输出，接下来，具有更高图像质量的第二图像信号能从图像转换处理过程中得到。应该注意，可以作一种安排，即仅为高级别像素确定一个低放大率时，和仅为低级别像素预定一个高放大率。

如图49所示的安排，在步骤S401中，传感器单元601将感光器单元611输出的图像信号以在前面步骤S404控制的放大率进行放大，所以传感器单元601的当前帧或场的图像信号以由被评估的当前帧或场的图像所确定的放大率进行放大。另一方面，可以作一种安排，其中在传感器单元601处以由被评估的当前帧或场的图像所确定的放大率放大当前帧或场的图像信号。

现在，图44中所示的图像拾取设备的操作，将参考一种情况被描述，该情况是传感器单元601处以由被评估的该帧或场的图像所确定的放大率放大当前帧或场的图像信号。这种情况下，图51的步骤S431到S435执行与图49步骤S401到S435相同的处理，且流程进入步骤S436。

在步骤S436中，与图49中的步骤S401相对应的步骤S431，传感器单元601的感光器单元611接收物体光并执行光电转换，从而获得电信号形式的第一图像信号。另外，在步骤S636中，控制单元612以在前步骤S635所控制的放大率来放大由感光器单元611获得的图像信号，并把放大的图像信号经由信号调整单元602和A/D转换单元603提供给信号处理单元604，且流程进入步骤S437。

流程由步骤S437按顺序进行到步骤S439，由此，执行和图49中的步骤S406到S408相同的处理过程，从而完成一帧或场的图像的处理。根据图51中的流程图，重复采用图44所示的图像拾取设备的处理，直到例如用户下达停止图像拾取的命令。

图51中的流程图的处理中，在步骤S431和S436中，传感器单元601在一帧或场的循环中执行两次图像拾取。在步骤S434中，第一次拾取的图像信号被评估，基于评估结果在步骤S435确定第二次拾取的图像信号的放大率。相应地，在传感器单元601，由当前区域的帧的第二次成像获得的图像信号以通过对第一次成像所获得的图像信号进行评估来确定的放大率进行放大。

注意，根据图49中的流程图的处理，对于单帧(场)，传感器单元601只需要执行一次成像，但根据图51中的流程图的处理，对于单帧(场)，传感器单元601需要执行至少两次成像。

接下来，图52阐明了图47中的级别评估单元623的另一种安排。图52中，级别评估单元623包括一种活动性计算单元641和一种放大率确定单元642。

经过A/D转换单元603和信号调整单元602，由传感器单元601提供到信号处理单元604的第一图像信号提供给活动性计算单元641。活动性计算单元641计算作为评估增量的一屏中的第一图像信号的活动性，并把算得的活动性提供给放大率确定单元642。

现在，一个可以采用的一屏的第一信号的活动性的一个实例可以是一屏(即，动态范围)的第一图像信号的最大和最小值的差，第一图像信号中的相邻像素的之差的绝对值的总和，一屏中的第一图像信号的差值，等等。

放大率确定单元642对作为评估增量的一屏中的第一图像信号进行评估，并确定与其评估相对应的放大率作为与传感器单元601的一屏图像信号相对应的像素的控制单元612的放大率。

也就是说，例如如果从活动性计算单元641得到的活动性很大，做出的评估为一屏的第一图像信号不适合于在图像转换单元621进行的图像转换处理，所以放大率确定单元642确定一个较当前放大率低的放大率作为控制单元612的放大率。同样，例如如果从活动性计算单元641得到的活动性很小，做出的评估为一屏的第一图像信号不适合于在图像转换单元621进行图像转换处理，所以放大率确定单元642确定一个较当前放大率高的放大率作为控制单元612的放大率。另外，如果从活动性计算单元641得到的活动性既不大也不小，做出的评估为一屏的第一图像信号适合于在图像转换单元621进行图像转换处理，所以放大率确定单元642确定当前放大率作为控制单元612的放大率。

放大率确定单元642把所确定的放大率所指示的放大信息提供给传感器单元601(其控制单元612)做为控制信号，同样把放大信息和指示一屏的区域信息相关联，该区域由放大率信息所指示的放大率进行放大操作的传感器单元601的像素组成，且该关联的放大率信息和区域信息被提供给了图像校正单元622(图47)。

这种情况下，同样，在图像转换单元621具有图像转换处理的合适级别的图像信号被从传感器单元601输出，而后，具有更高图像质量的第二图像信号就能从图像转换处理获得了。

接下来，图53阐明了图47所述的级别评估单元623的第三配置安排。在图53中，级别评估单元由比较单元651和放大率确定单元652配置。

经过A/D转换单元603和信号调整单元602，从传感器单元601提供给信号处理单元604的第一图像信号被提供给比较单元651。比较单元651把作为评估增量的一屏的第一图像信号和预定的阈值进行比较，并把比较结果提供给放大率确定单元652。和第一图像信号进行比较的阈值的例子是第一阈值，它是为图像转换单元621的图像转换处理目的的一个较小的值，第二阈值是对图像转换处理来说的较大的值。

同样，在比较单元651中与第一和第二阈值进行比较的第一图像信号的例子包括，作为评估增量的一屏的任意第一图像信号，在一屏上拥有最大数量的像素数目的第一图像信号，第一图像信号在一屏上的平均值，等等。

根据与比较单元651提供的阈值进行比较的结果，放大率确定单元652评估作为评估增量的一屏第一图像信号，且确定与评估相对应的放大率作为与一屏图像信号相对应的像素的控制单元612的放大率。

也就是说，如果比较单元651的比较结果指示第一图像信号等于和低于第一阈值，放大率确定单元652做出评估为一屏的第一图像信号不适合图像转换单元621进行图像转换处理，并基于评估确定一个比当前值要高的放大率值做为控制单元612的放大率。同样，如果比较单元651的比较结果指示第一图像信号等于和高于第二阈值，放大率确定单元652做出评估为一屏的第一图像信号不适合图像转换单元621进行图像转换处理，并基于评估确定一个比当前值要低的放大率值做为控制单元612的放大率。另外，如果比较单元651的比较结果指示第一图像信号在第一阈值和第二阈值的范围内，放大率确定单元652做出评估为一屏的第一图像信号适合图像转换单元621进行图像转换处理，并基于评估确定当前值做为控制单元612的放大率。

然后放大率确定单元652把指示所确定的放大率的放大率信息提供给传感器单元601(其控制单元612)做为控制信号，同样，把放大率信息和指示一屏的区域信息相关联，该区域由放大率由放大率信息指示的放大率进行放大操作的传感器单元601的像素所组成，且相关的放大率信息和区域信息被提供给图像校正单元622(图47)。

这种情况下，同样，图像转换单元621的图像转换处理的合适级别的图像信号从传感器单元601被输出，而后，具有更高图像质量的第二图像信号能从图像转换处理获得。

注意，可以作一种安排，其中在单像素增量中执行第一图像信号和阈值的比较，根据比较结果，确定每个像素的放大率。

图47中图像转换单元621的配置与图6中图像转换单元21的配置一样，相应地，其描述将省略(见图6至图10，和相应的描述)。同样，可以对图像拾取设备作一种安排，其中如图27所示的安排一样提供操作单元185，以便使图47中的图像转换单元621的配置和图29(见图29至图36，和相应的描述)中的图像转换单元431的配置相同。如果采用了这种安排的情况下，信号处理单元604提供给传感器单元601做为控制信号的放大率信息所指示的放大率可以根据参数校正。即，放大率可以被校正使得与参数相对应的分辨率越高，放大率的值越大。

同样，前面的描述已经参考一个例子进行了描述，其中，在图像转换处理中，一帧或场的整体由第一图像信号转换为第二图像信号，但其中可以作一种安排，例如，一帧或场的部分区域由第一图像信号转换为第二图像信号，如图54所示。

前面所述的信号处理单元604的一系列处理可由专门的硬件或软件实施。如果以软件来实施这系列处理，参考图17，如前所述，组成软件的程序被安装在一种微型计算机上，一种通用计算机中，等等。

第五具体实施例

下面将描述本发明的第五具体实施例。图55阐明了一种应用本发明的传感器系统的实施例。应该注意，在此术语“系统”用以指代多个设备的一种逻辑配置，和组件设备是否在一个单一的实例中无关。

所述传感器系统配置有CMOS成像器801和DRC(数字现实创建)电路802，和物体(物体光)的感测灯，并输出与物体相对应的高图像质量的图像信号。也就是说，CMOS成像器801接收物体光，并向DRC电路802提供与所接收的光量相对应的电信号形式的图像信号。

DRC电路802对CMOS成像器801提供的图像信号执行信号处理，并获得并输出具有更高图像质量的图像信号(此后视情况称为“高图像质量图像信号”)。另外，DRC电路802基于CMOS成像器801提供的图像信号来控制CMOS成像器801。相应地，控制CMOS成像器801，以便于输出适于DRC电路802进行信号处理的图像信号。

相应地，对于图55中的传感器系统，CMOS成像器801输出适于DRC电路802进行信号处理的图像信号，所以，DRC电路802能通过在这些图像信号上进行信号处理来获得高图像质量的图像信号。

图56阐明了一种图55所示的DRC电路802的第一配置实例。在图56中，DRC电路802包括DRC单元811，用于对CMOS成像器801输出的图像信号进行信号处理，控制单元812，用于根据CMOS成像器801提供的图像信号控制CMOS成像器801。

DRC单元811进行多种信号处理，其中的一个例子是转换图像信号从第一图像信号到第二图像信号的图像转换处理。通过像前面所述的实现图像转换处理相同的配置，可以实现所述图像转换处理，然而，此时，包括对CMOS成像器108的控制的应用CMOS成像器108的实例将被描述，应该注意的是，其中的部分描述和前面的描述相同。

现在，例如，如果我们假设第一图像信号为低分辨率图像信号，且第二图像信号为高分辨率图像信号，图像转换处理可以被说成是对分辨率提高处理。同样，例如，如果我们假设第一图像信号为低S/N(信号/噪音)图像信号，且第二图像信号为高S/N图像信号，图像转换处理可以被说成是噪音去除处理。另外，例如，如果我们假设第一图像信号为预定大小的图像信号，且第二图像信号比第一图像信号的信号要更大或者更小，图像转换处理可以被说成是一种图像缩放(扩大或缩小)处理。相应地，通过图像转换处理，可以实现不同种类的处理，这取决于第一和第二图像信号是如何定义的。

DRC单元811将CMOS成像器108输出的图像信号做为第一图像信号，并把第一图像信号转换成高图像质量图像信号作为第二图像信号。

现在，在DRC单元811，从CMOS成像器108提供的图像信号被做为第一图像信号提供给预测抽头提取单元821和分类抽头提取单元822。预测抽头提取单元821顺序的将组成第二图像信号的像素做为所关心的像素，另外，提取一些用于构成第一图像信号的像素(或更恰当地说，其像素值)做为预测抽头用于预测所关心像素的像素值。

更具体来说，预测抽头提取单元821从第一图像信号提取与所关心的像素相对应的第一图像信号中的某一像素(例如，第一图像信号中的最接近所关心的空间序列和时间序列像素的像素)的邻近空间序列或时间序列的多个像素，作为预测抽头。

分类抽头提取单元822提取组成第一图像信号的一些像素作为分类抽头，用以执行类分类从而将所关心的像素分到多个类中的一个。

现在，预测抽头和分类抽头可以具有相同的抽头结构，或具有不同的抽头结构。同样需要注意的是，分类抽头提取单元822与图6中的特征提取单元122相对应。

预测抽头提取单元821获得的预测抽头被提供给预测计算单元825，且分类抽头提取单元822获得的分类抽头被提供给了分类代码生成单元823。

基于组成来自分类抽头提取单元822的分类抽头的像素的级别分布，分类代码生成单元823把所关心的像素分到到多个类中的一个，并生成与作为其结果的类相对应的分类代码，然后该分类代码被提供给因数生成单元824。应该注意，分类代码生成单元823对应于图6中的类分类单元123。

如前所述，类分类可以通过采用例如ADRC或相似方法进行。通过使用ADRC的方法，组成分类抽头的像素的像素值经受ADRC处理，且所关心的像素的分类遵循合成ARC码而确定。

此刻，对于K位ADRC而言，例如检测构成表示分类抽头的特征的矢量值的分量的最大值MAX和最小值MIN，并且使用作为一组的局部动态范围的DR＝MAX-MIN，根据这个动态范围DR将构成分类抽头的特征的分量再次量化成K位。也就是说，最小值MIN被从构成分类抽头的特征的分量中减去，并且被减的值除(被量化)DR/2K。在其中根据预定顺序排列构成分类抽头的特征的K位分量的一位串被作为ADRC代码输出。因此，在表示分类抽头的特征的矢量值经受1位ADRC处理的情况下，构成分类抽头的特征的每个分量除以最大值MAX和最小值MIN的平均值(舍入到小数)，借此每个分量变为一个位(即，二进位化)。其中以预定顺序排列1位分量的位串被作为ADRC代码输出。类分类单元123输出例如通过对分类抽头的特征进行ADRC处理所获得的ADRC代码作为分类代码。

现在，组成分类抽头的像素的级别分布模式，例如，可以被当作分类代码输出到分类代码生成单元823，不做任何改变。但是，这种情况下，如果分类抽头包括，N个像素的像素值，并且为每个像素的像素值指派K位，由分类代码生成单元823输出的分类代码的个数应该为(2^N)^K，一个与像素的像素值位数K的数值成指数地成比例的非常大的数。

相应地，在分类代码生成单元823上，类分类更适宜通过前面所述的ADRC处理，矢量量化或相似的方法来压缩分类抽头信息的数量来执行。

现在，在分类抽头提取单元822处分类抽头可以从CMOS成像器801输出的图像信号获得，从而分类代码是从分类代码生成单元823得到的。相应地，可以说，分类抽头提取单元822和分类代码生成单元823组成了执行类分类的类分类单元。

因数生成单元824为每个通过学习获得的类存储抽头因数，并从存储的抽头因数中提供(输出)抽头因数给预测计算单元823，该抽头因数存储在与来自分类代码生成单元823的分类代码相对应的地址中(具有从分类代码生成单元823提供的分类代码所表示的类的抽头抽头因数)。现在，抽头因数等于在数字滤波器中的所谓抽头中的输入数据相乘的因数。

预测计算单元825获得预测抽头提取单元821输出的预测抽头，和因数生成单元824输出的抽头因数，并采用预测抽头和抽头因数，为获得所关心像素的真值的预测值执行预定的预测计算。相应地，预测计算单元825输出所关心像素的像素值的预测值，即，组成第二图像信号的像素的像素值。

根据从CMOS成像器801输出的图像信号的级别分布，控制单元812控制CMOS成像器801。更确切地，从CMOS成像器801输出的图像信号中提取的分类抽头的分类代码从分类代码生成单元823提供给控制单元812。在控制单元812，DL(延迟线)826临时存储从分类代码生成单元823提供的分类代码，并把所存储的分类代码提供给移动量控制单元827。移动量控制单元827根据从DL826提供的分类代码来控制CMOS成像器801。

现在，如前所述，分类代码生成单元823通过使分类代码经受ADRC处理来产生分类代码。该分类代码是一个再次量化值的字符串，其中组成从CMOS成像器801输出的图像信号中提取的分类抽头的多个像素的像素值已被再次量化，相应地，可以说代表了组成分类抽头的多个像素，即，从CMOS成像器801输出的图像信号的级别分布。相应地，可以说，根据分类代码控制CMOS成像器801的移动量控制单元827根据CMOS成像器801已输出的图像信号的级别分布控制CMOS成像器801。

接下来，图57A和57B中分别地阐明了预测抽头和分类抽头的抽头结构的实例。图57A阐明了一种分类抽头的抽头结构的实例。图57A中所示的例子具有一种配置了九个像素的分类抽头。就是说，采用图57A中的例子，为与CMOS成像器801输出的图像信号中的所关心的像素相对应的像素配置一种十字型的分类抽头，且在其上，下，左和右方向都有两个相邻的像素。

图57B阐明了一种预测抽头的抽头结构的例子。图57B中所示的例子具有一种配置了13个像素的预测抽头。就是说，采用图57B所示的例子，为与CMOS成像器801输出的图像信号中的所关心的像素相对应的像素配置一种菱形的分类抽头，且在其上，下，左和右的方向都有两个像素，在四个对角线方向各有一个像素。

图56所示的预测计算单元825的预测计算和图6所示的计算单元125的处理过程一样，具体描述在此略去，因为预测计算中使用的抽头因数的学习可以采用和存储在图7中的因数存储器181中的抽头因数的学习方法同样的方式(见图8至图10)。

相应学习设备的配置和图8所示的学习设备的配置一样，然而，应该注意，特征提取单元136采用和分类抽头单元822的抽头配置一样的方式配置分类抽头，它被提供给了类分类单元137。然后类分类单元137产生和分类代码生成单元823一样的分类代码。

接下来，图58A至图58C阐明了一种图55所示的传感器系统的配置例子。图58A是图55的传感器系统的一种平面视图。

传感器系统通过半导体的处理被配置在一种单个的芯片上。在图58A中，CMOS成像器801被构造在一个芯片的右上部分，DRC电路802和其它电路被配置在其他部分。

如图58B所示，CMOS成像器801具有大量在晶格布局中排列的所谓单元，这些单元等同于像素。CMOS成像器801的每个像素具有光电二极管851，聚光镜852，和MEMS单元853，如图58C所示。

光电二极管851接收入射光，并产生并输出与所接收光量相对应的电信号。光电二极管851输出的每个电信号都是单个像素的像素值。

聚光镜852是一种所谓的片上透镜，并被放置在面对光电二极管851的感光面的位置。聚光镜852聚集光束，并把聚集的光束发射到光电二极管851上。在聚光镜852上聚集光束并发射到光电二极管851使在光电二极管852上的光束的使用效率可以被提高。

MEMS单元853是一种配置有MEMS技术的可移动的部分，它容纳着聚光镜852。驱动MEMS单元853将聚光镜852的位置移动至光电二极管的感光面的位置。

注意，虽然CMOS成像器801的每个像素都具有像放大器等一样的电路，但说明中略去了这些。

图56中所示的控制单元812的移动量控制单元827通过驱动MEMS单元853来控制聚光镜852的位置。注意到这些，采用移动量控制单元827的聚光镜852的位置控制将参考图59A至图60B进行描述。

现在，如图58A和59B所示，通过驱动MEMS单元853，聚光镜852的位置可以移动到接近光电二极管851的位置和远离光电二极管851的位置，即，两个位置。另外，如图59A所示，如果聚光镜852的位置远离光电二极管851，将从聚光镜852向光电二极管851发射窄范围的物体光。同样，如图59B所示，如果聚光镜852的位置接近光电二极管851，将从聚光镜852向光电二极管851发射宽范围的物体光。同样，聚光镜852的位置和从聚光镜852发射到光电二极管851的物体光的范围的关系可能与前面所述内容是相反的。

从聚光镜852射出的物体光被光电二极管851接收，与所接收的光量的整数值近似成比例的电信号作为像素值输出。从而，所接收的光量在光电二极管851被整合并作为像素值，所以物体光的微小改变在像素值上被丢弃(即，量化)。在像素值上被丢弃的物体光的微小改变将视情况称为“整合效应”。光电二极管851接收的物体光范围越宽，整合效应越大，这表示物体光中的更多的微小变化被丢弃了，从而获得了具有低分辨率的图像(具有一些移动模糊的图像)。

如果与物体光相对应的图像是一种在级别上(平面部分)具有很小变化的平面图像，噪音变的显著。相应地，这种情况下，由于整合效应，采用光电二极管851在一个较大面积上接收物体光可以使从光电二极管851输出的像素值的图像中包含的噪音减少。

同样，如果与物体光相对应的图像是在级别上(非平面部分)变化很大的图像，由于整合效应，采用光电二极管851在一个较大面积上接收物体光将减轻较大的级别变化并降低分辨率。相应地，这种情况下，采用光电二极管851在一个较窄面积上接收物体光可以使从光电二极管851输出的像素值的图像中的物体光的较大级别变化得到相对真实的反映。

另一方面，在DRC单元811执行的信号处理中(图像转换处理)，由光电二极管851输出的像素值配置预测抽头，且所关心的像素(或其像素值)通过使用该预测抽头的计算被预测出来。相应地，如果从平滑图像中配置(提取)的预测抽头中的像素中包含有噪音，则所关心像素的预测准确率下降了。同样，如果预测抽头中的像素原本已经在级别上有了很大变化，但已被作为级别变化减小的图像像素，则所关心像素的预测准确率会下降。

也就是说，对于平滑(平面)图像，为了执行合适的信号处理以便所关心像素可以以高准确率和从DRC单元811获得的高图像质量图像信号进行预测，预测抽头需要采用具有很少噪音的像素进行配置。同样，对于级别上具有较大变化的图像，预测抽头需要由能如实反映级别变化的像素进行配置。

如前所述，让光电二极管851在一种较宽的范围接收物体光可以减少光电二极管851输出的像素值的图像中所包含的噪音。同样，让光电二极管851在一种较窄的范围接收物体光可以使物体光中的较大的级别变化在光电二极管851输出的像素值的图像中被如实反映。

相应地，为得到平滑的图像光电二极管851在一种较宽范围接收物体光，且对于物体光的级别变化较大的图像，光电二极管851在较窄范围接收物体光，从而DRC单元811可以以高的准确率预测所关心的像素，从而合适的图像处理可以被实施以便获得具有更高图像质量的图像信号。

相应地，移动量控制单元827根据经由DL826从分类代码生成单元823提供的分类代码，控制聚光镜852的位置，如下。

图60A和60B阐明了从分类代码生成单元823输出的分类代码的例子。图60A阐明了通过在图57A所示的十字型分类抽头上执行1位ADRC处理而获得的分类代码。同样，图60B阐明了组成图57A中所示的分类抽头的九个像素的像素值P1至P9，以从像素P1至P9的顺序排列成一个单行。

对于1位ADRC处理，组成分类抽头的像素的像素值由平均值进行再次量化，该平均值为组成分类抽头的像素的最大值MAX(最大像素值)和其最小值MIN(最小像素值)的平均值。也就是说，小于最大MAX和最小值MIN的平均值的像素值变为0，等于或大于此平均值的像素值变为1。

相应地，对于从图像的平滑部分提取的分类抽头，组成分类抽头的像素P1至P9的像素值的变化是很小的，所以在分类代码中相邻的位几乎没有位倒置，例如图60A中的“000000001”。

另一方面，对于从具有较大变化的图像的一部分提取的分类抽头，组成分类抽头的像素P1至P9的像素值的变化是很较大的，所以分类代码由相邻的位的位倒置的次数获得，例如图60B中的“1011010101”。

相应地，对于分类代码，如果相邻位的位倒置的次数较少，可以识别该图像为为平滑图像，如果相邻位的位倒置的次数较大则可以识别级别上有较大变化。

相应地，如果分类代码中的相邻位的位倒置的次数较小，由光电二极管851获得的像素值的图像是平滑的，所以移动量控制单元827控制聚光镜852的位置在图59B所示的接近光电二极管851的位置上，以便光电二极管851在一个较宽范围接收物体光。同样，如果分类代码中的相邻位的位倒置的次数较大，则光电二极管851将获得的像素值的图像具有较大的级别变化，所以移动量控制单元827控制聚光镜852的位置在图59A所示的远离光电二极管851的位置上，以便光电二极管851在一个较窄范围接收物体光。

接下来，图56中所示的DRC电路802的信号处理过程将参考图61进行阐述。这里需要注意，DRC电路811把第N+1个帧(或场)中的一种像素做为所关心的像素，并预测该所关心像素。

这种情况下，在从CMOS成像器801输出的第N个帧的图像信号上，在步骤S511中分类抽头提取单元822以CMOS成像器801输出的第N帧中的所关心像素的位置距离最近的位置上的像素为中心以十字型提取像素做为所关心的像素的分类抽头(图57A)，并把提取的像素提供给分类代码生成单元823，且流程进入步骤S512。这就是说，在此，第N+1帧的图像信号的所关心像素的分类抽头是从第N个帧的图像信号中提取的，就是前面的一帧。

在步骤S512中，分类代码生成单元823通过对由分类抽头提取单元822提供的分类抽头执行1位ADRC处理来获得所关心像素的分类代码，并提供给因数生成单元824，同时经由DL826提供给移动量控制单元827，且流程进入步骤S513。

在步骤S513中，与经由DL826提供的分类代码相对应，移动量控制单元827为控制聚光镜852的位置产生控制信息，且流程进入步骤S514。在步骤S514中，移动量控制单元827遵循在在先步骤S513中产生的控制信息来控制在组成所关心像素的预测抽头的像素的MEMS单元853，从而把像素的聚光镜852移动到接近光电二极管851的位置或远离光电二极管851的位置。

接下来，在第N+1帧的成像定时处，当第N+1个帧的图像信号在CMOS成像器801成像并输出时，流程从步骤S514进行至步骤S515，并且预测抽头提取单元821以CMOS成像器801输出的第N+1个帧中的所关心像素的位置距离最近的位置上的像素为中心以菱形提取像素做为所关心像素的预测抽头(图57B)，并把提取的像素提供给预测计算单元825，且流程进入步骤S516。

就是说，在步骤S514中，做为所关心像素的预测抽头的像素的MEMS单元853被控制了，由此该像素的聚光镜852的位置也被控制。相应地，在步骤S515中，所关心像素的预测抽头包括从像素的光电二极管851输出的像素值，据此方法来控制聚光镜852的位置。

在步骤S516中，因数生成单元824输出由分类代码生成单元823提供的所关心像素的分类代码指示的抽头因数。也就是说，通过前面所述的学习设备中的学习，因数生成单元824为每个预先获得的类存储抽头因数，并相应地为每个类从抽头因数中读取出由所关心的像素的分类代码指示的类的抽头因数。并输出抽头因数给预测计算单元825。

然后流程进入步骤S516至步骤S517，采用预测抽头提取单元821提供的预测抽头和因数生成单元824提供的抽头因数，预测计算单元825执行上面表达式(1)的计算，从而获得了所关心的像素值，且处理过程结束。

从而，上面所述的处理将第N+1帧中的每个像素当作所关心的像素来顺序执行，更进一步，关于第N+2个帧也是这样，等等。

注意，前面所述的安排包括从第N帧提取的所关心的像素的分类抽头，第N帧是第N+1前面的一帧，但是所关心的像素的分类抽头可能被布置从第N+1帧的图像信号中提取，该帧为所关心的像素的帧。

同样，在第N+1个帧中存在某些情况，其中在某一像素#A是所关心的像素的情况下以及在接近该像素的像素#B是所关心的像素情况下，CMOS成像器801的同一像素的聚光镜852被控制到不同的位置。这可以通过当像素#A是所关心的像素的情况下在像素的聚光镜852的位置上和当像素#B是所关心的像素的情况下在像素的聚光镜852的位置上以时间序列在CMOS成像器801处对第N+1帧的图像信号进行成像来解决。

另外，在此所述的安排包括，通过在做为所关心的像素的预测抽头的像素上控制MEMS单元853来控制的聚光镜852的位置，但是也可以作出一种安排其中，例如，只控制有所关心的像素的最接近的像素的聚光镜852的位置，或者控制在所关心的像素的某一范围中的全部像素的聚光镜852的位置，等等。

接下来，图61中的步骤S513中的处理过程(为生成与分类代码相对应的控制信息的控制信息生成处理)将被详细描述，参考图62中的流程图。

首先，在步骤S521中，移动量控制单元827计算所关心的像素的分类代码中的在相邻位的位倒置的次数，且流程进入步骤S522。

如果分类代码是，例如，如图60A所示的“000000001”，这里只有在第8和第9位存在由0到1的倒置，所以计算得到的位倒置的次数是1。同样，如果分类代码是，例如，图60B所示的“101101010”，在第1和第2位存在从1到0的倒置，在第2和第3位存在从0到1的倒置，在第4和第5位存在从1到0的倒置，在第5和第6位存在从0到1的倒置，在第6和第7位存在从1到0的倒置，在第7和第8位存在从0到1的倒置，且在第8和第9位存在从1到0的倒置，所以计算得到的位倒置的次数是7。

在步骤S522中，移动量控制单元827判断所关心的像素的分类代码中的位倒置的次数是否大于一预定的阈值。如果分类代码是上面情况一样的9位(或如果组成分类抽头的像素的个数是九个像素)，采用的预定阈值可以是3，等等，例如。

如果所关心的像素的分类代码中的位倒置的次数被确定为大于预定的阈值，即，比如图60B中所示，如果分类代码是“101101010”，所以位倒置的次数为7，这比预定的阈值3大，流程进入步骤S523，且移动量控制单元827把这个结果理解为接近由CMOS成像器801成像的图像的所关心的像素的位置的级别变化是较大的，且相应地产生控制信息将聚光镜852的位置控制在远离光电二极管851的位置上，即，一个窄范围的物体光射入光电二极管851的位置上，且流程返回。

如果所关心的像素的分类代码中的位倒置的次数被确定为不大于预定的阈值，即，如图60B所示，如果分类代码是“000000001”，所以位倒置的次数为1，这不大于预定的阈值3，流程进入步骤S524，且移动量控制单元827把这个结果理解为接近由CMOS成像器801成像的图像的所关心的像素的位置级别是平滑的，且相应地产生控制信息将聚光镜852的位置控制在接近光电二极管851的位置上，即，一个宽范围的物体光射入光电二极管851的位置上，且流程返回。

然而根据另一种安排，这里已进行了描述，在这个安排中从分类抽头获得分类代码被用作指示接近由CMOS成像器801成像的图像的所关心的像素的位置的级别分布的信息，除了采用分类抽头的安排，其他的安排也可以被制定，比如一种使用接近预测抽头或一种类似所关心的像素的多个任意像素的安排，做为指示接近所关心的像素的位置的级别分布的信息。

同样，在上述情况中，通过控制MEMS单元853，对于聚光镜852的控制被确定在两个位置中的一个上，即，一种接近光电二极管851的位置和一种远离它的位置，但聚光镜852的位置可以被控制在三个或更多的位置上。

图63A至63C阐明了一种安排，其中聚光镜852的位置被控制在三个位置中的一个位置上，该三个位置是距光电二极管851有一定距离并被当作标准位置的位置，一个接近光电二极管851的位置，一个远离光电二极管851的位置。

应该理解，同样在这个安排中，聚光镜852距光电二极管851的位置越远，从聚光镜852射向光电二极管851的物体光的范围就越窄，且聚光镜852距光电二极管851的位置越近，从聚光镜852射向光电二极管851的物体光的范围就越宽。

如图63A至63C所示，当控制聚光镜852的位置到三个位置中的标准位置上，接近光电二极管851的位置和远离光电二极管851的位置时，移动量控制单元827仍然控制与分类代码相对应的聚光镜852的位置。

就是说，如果分类代码中的位倒置的次数较小，且相应地，从CMOS成像器801输出的图像信号中的所关心的像素的位置的周围区域是平滑部分，移动量控制单元827控制聚光镜852的位置在接近光电二极管851的位置上，如图63C所示，以便在光电二极管851上投射一种宽范围的物体光。同样，如果分类代码中的位倒置的次数较大，从CMOS成像器801输出的图像信号中的所关心的像素的位置的周围区域的级别变化较大，移动量控制单元827控制聚光镜852的位置在原理光电二极管851的位置上，如图63A所示，以便在光电二极管851上投射一种窄范围的物体光。而且，如果分类代码中的位倒置的次数既不大又不小，从CMOS成像器801输出的图像信号中的所关心的像素的位置的周围区域的级别变化既不大又不小，即，居中，移动量控制单元827控制聚光镜852的位置在标准位置上，如图63B所示，以便在光电二极管851上投射一种范围不宽也不窄的物体光，即，居中。

接下来，图61中的步骤S513中的控制信息生成处理中，如图63A至图63C所示，聚光镜852的位置被控制在三个位置中的标准位置上、接近光电二极管851的位置，和远离光电二极管851的位置，这将参考图64中的流程图进行详细的描述。

首先，在步骤S531中，移动量控制单元827计算所关心的像素的分类代码中的相邻位的位倒置的次数，且流程进入步骤S532。这里让我们假设组成分类代码码的位的数量是9，和图62中的例子一样。这种情况下，分类代码中的位倒置次数的最小值是0，且最大值是8。

在步骤S532中，移动量控制单元827确定所关心的像素的分类代码中的位倒置次数是否相对较小，比如，在0到2次之间。

在步骤S532中，如果所关心的像素的分类代码中的位倒置次数被判定在0到2次之间，流程进入标准S533，移动量控制单元827认为在CMOS成像器801成像的图像中的所关心的像素的位置周围的级别变化的量较小，并相应地产生控制信息来控制聚光镜852的位置到接近光电二极管851的位置上，即，一个宽范围的物体光射入光电二极管851的位置，且流程返回。

在步骤S532中，如果所关心的像素的分类代码中的位倒置次数被判定不在0到2次之间，流程进入步骤S534，移动量控制单元827判定所关心的像素的分类代码中的位倒置次数是否较大，比如，在6到8次之间。

如果在步骤S534中，所关心的像素的分类代码中的位倒置次数被判定在6到8次之间，流程进入步骤S535，移动量控制单元827认为在CMOS成像器801生成的图像中的所关心的像素的位置周围的级别变化的量较大，并相应地产生控制信息来控制聚光镜852的位置到远离光电二极管851的位置上，即，一个窄范围的物体光射入光电二极管851的位置，且流程返回。

在步骤S534中，如果所关心的像素的分类代码中的位倒置次数被判定不在6到8次之间，流程进入步骤S536，移动量控制单元827判定所关心的像素的分类代码中的位倒置次数是否既不大又不小，比如，在3到5次之间。

如果在步骤S536中，所关心的像素的分类代码中的位倒置次数被判定在3到5次之间，流程进入步骤S537，移动量控制单元827认为在CMOS成像器801生成的图像中的所关心的像素的位置周围的级别变化的量既不大又不小，并相应地产生控制信息来控制聚光镜852的位置在参考位置上，即，一个对于光电二极管851的中间位置，从而一个中间范围的物体光射入光电二极管851，且流程返回。

同样，在步骤S536中，如果所关心的像素的分类代码中的位倒置次数被判定不在6到8次之间，移动量控制单元827把这种情况当作错误，并不产生控制信息而返回。这种情况下，聚光镜852的位置保持在以前的位置上，例如。

如果分类代码具有9-位并根据分类代码中的位倒置的次数来控制聚光镜852的位置，聚光镜852的位置可以有9个之多。

接下来，图65阐明了图55所示的DRC电路802的第二配置的实例。图65中的组件和图56中的组件是一样的，并被用相同的参考标记指示，且视情况将略去描述。就是说，图65所示的DRC电路和图56中的DRC电路的配置基本相同，除了用控制单元862替代了控制单元812。控制单元862包括活动性检测单元876和运动量控制单元877。

由分类抽头提取单元822输出的所关心的像素的分类抽头被提供给了活动性检测单元876。从来自分类抽头提取单元822的所关心的像素的分类抽头中，活动性检测单元876检测CMOS成像器801输出的图像信号中的所关心的像素位置附近的活动，并把活动提供给了移动量控制单元877。这里的活动的例子包括组成所关心的像素的分类抽头的像素的动态范围(组成分类抽头的像素的最大和最小值的差)，组成所关心的像素的分类抽头的相邻像素的之差的绝对值之和，组成所关心的像素的分类抽头的每个像素之差的绝对值之和及其平均值，等等。在这个安排中，组成所关心的像素的分类抽头的像素的动态范围，例如，将被用作活动。

根据活动性检测单元876提供的活动，移动量控制单元877以图56中移动量控制单元827一样的方式控制CMOS成像器。就是说，根据活动性检测单元876提供的活动，移动量控制单元877控制所关心的像素的预测抽头中的像素的聚光镜852的位置。

图66A和66B阐明了从分类抽头提取单元822输出的分类抽头的例子，组成图57A中的分类抽头的9个像素的像素值P1至P9以P1至P9的顺序被排列在了单一的行上。

对于从图像的平滑部分提取的分类抽头，组成分类抽头的像素P1至P9的像素值的变化较小，所以动态范围DR如图66A所示为较小值，比如。

另一方面，对于从具有较大的变化的图像的一部分中提取的分类抽头，组成分类抽头的像素值P1至P9的变化是较大的，所以，例如如图66B所示，动态范围DR是一个较大的值。

相应地，如果分类抽头的动态范围较小，一种平滑的图像可以被认定，并且如果分类抽头的动态范围较大，一种具有较大级别变化的图像可以被认定。

从而，如果分类抽头的动态范围较小，且相应地由光电二极管851获得的图像值的图像是平滑的，移动量控制单元877控制聚光镜852的位置到接近光电二极管851的位置上，如图59B所示，以便在光电二极管851上投射一种宽范围的物体光。同样，如果分类抽头的动态范围较大，且相应地由光电二极管851提供的图像值的图像有较大的级别变化，移动量控制单元877控制聚光镜852的位置到远离光电二极管851的位置上，如图59A所示，以便在光电二极管851上投射一种窄范围的物体光。

接下来，图65中所示的DRC电路802的信号处理过程将参考图67中的流程图进行描述。这里，如图61中的情况，DRC单元811把的N+1个帧(或场)中的某一像素当作所关心的像素，并预测此所关心的像素。

这种情况下，在从CMOS成像器801输出的第N个帧的图像信号上，步骤S541中，分类抽头提取单元822以CMOS成像器801输出的图像信号的第N个帧的所关心的像素的最近的位置上的像素为中心提取十字型像素作为分类抽头的所关心的像素(图57)，并把它提供给分类代码生成单元823和活动性检测单元876，且流程进入步骤S542。这里同样，就是说，第N+1帧的所关心的像素的分类抽头是从前一帧也就是第N帧图像信号中提取的，如图61中的情况。

在步骤S542中，分类代码生成单元823通过执行分类抽头提取单元822提供的分类抽头的1位ADRC处理来获得所关心的像素的分类代码，并把它提供给因数生成单元824，且流程进入步骤S543。

在步骤S543中，活动性检测单元876检测来自分类抽头提取单元822的所关心的像素的分类抽头的动态范围作为活动，把它提供给移动量控制单元877，且流程进入步骤S544。

在步骤S543中，移动量控制单元877产生(确定)控制信息，来根据从活动性检测单元876提供的分类抽头的动态范围控制聚光镜852的位置，且流程进入步骤S545，在步骤S545中，移动量控制单元877根据前一步骤S543中产生的控制信息，控制组成所关心的像素的预测抽头的像素的MEMS单元853，从而，把该像素的聚光镜852的位置移动到了预定位置。

接下来，在第N+1帧的成像定时处，当第N+1帧的图像信号被成像且在CMOS成像器801输出，流程从S545进入S546，且预测抽头提取单元821以CMOS成像器801输出的图像信号的第N个帧的所关心的像素的最近的位置上的像素为中心以菱形提取像素作为分类抽头的所关心的像素(图57B)，并把它提供给预测计算单元825，且流程进入步骤S547。

也就是说，在步骤S545中，做为所关心的像素的预测抽头的某一像素的MEMS单元853被控制了，由此该像素的聚光镜852的位置也被控制。相应地，在步骤S546中，所关心的像素的预测抽头包括从像素的光电二极管851输出的像素值，据此方法来控制聚光镜852的位置。

在步骤S547中，因数生成单元824向预测计算单元825输出由分类代码生成单元823提供的所关心的像素的分类代码的分类抽头因数，且流程进入步骤S548，这里预测计算单元825采用从预测抽头提取单元821提供的预测抽头和因数生成单元824提供的抽头因数执行上面表达式(1)的计算，从而，获得了所关心的像素的像素值，且流程结束。

将N+1帧中的每个像素都做为所关心的像素顺序执行前面所述的处理过程，另外，对于的N+2帧也是这样，等等。

注意，前面所述的安排包括从作为第N+1帧前一帧的第N帧的图像信号中提取所关心的像素的分类抽头，但可能安排从作为所关心的像素的帧的第N+1帧的图像信号中提取所关心像素的分类抽头。

同样，在第N+1帧中存在某些情况，其中在某一像素#A是所关心的像素的情况下以及在接近该像素的像素#B是所关心的像素情况下，CMOS成像器801的同一像素的聚光镜852被控制到不同的位置。这可以通过当像素#A是所关心的像素的情况下在像素的聚光镜852的位置上和当像素#B是所关心的像素的情况下在像素的聚光镜852的位置上以时间序列在CMOS成像器801处对第N+1帧的图像信号进行成像来解决。或，将优先权交给与作为之前或之后作为所关心的像素的像素相对应的聚光镜852的位置。

另外，在此所述的安排包括，通过在做为所关心的像素的预测抽头的像素上控制MEMS单元853来控制的聚光镜852的位置，但是也可以作出一种安排其中，例如，只控制有所关心的像素的最接近的像素的聚光镜852的位置，或者控制在所关心的像素的某一范围中的全部像素的聚光镜852的位置，等等。

接下来，图67的步骤S544中的处理过程(为生成与分类抽头的活动相对应的控制信息的控制信息生成处理)将被详细描述，该描述参考了控制聚光镜的位置在两个位置的一个或另一个上，如图59所示的接近或远离光电二极管851的情况，参考图68中的流程图。

首先，在步骤S551中，移动量控制单元877以最大动态范围规格化所关心的像素的分类抽头的动态范围，且流程进入步骤S552。也就是说，移动量控制单元877以最大动态范围分割分类抽头的动态范围，最大动态范围是从CMOS成像器801输出的图像信号可假定的最大和最小值的差，从而规格化了分类抽头的动态范围。此后，被规格化了的分类抽头的动态范围视情况将被引用为“已规格化的动态范围”。注意，规格化分类抽头的动态范围不一定是必要的。

在步骤S552中，移动量控制单元877确定已规格化的动态范围是否大于一预定的阈值。采用的阈值可以是，例如，0.5等。

在步骤S552中，如果已规格化的动态范围被确定大于预定的阈值，流程进入步骤S553，且移动量控制单元877将此表示为在所关心的像素位置附近，由CMOS成像器801成像的图像级别的变化是很大的，且相应地生成控制信息将聚光镜852的位置控制到远离光电二极管851的位置上，即，一种窄范围的物体光被投射在光电二极管851的位置，且流程返回。

在步骤S552中，如果已规格化的动态范围被确定不大于预定的阈值，流程进入步骤S553，且移动量控制单元877将此表示为在所关心的像素位置附近，由CMOS成像器801成像的图像级别的变化是平滑的，且相应地生成控制信息将聚光镜852的位置控制到接近光电二极管851的位置上，即，一种宽范围的物体光被投射在光电二极管851的位置，且流程返回。

然而，在此描述一种安排，其中，分类抽头的已规格化的动态范围被用作指示由CMOS成像器801成像的图像中的所关心的像素位置附近的活动的信息，除了采用分类抽头的布置，其他布置也可被制定，例如，一种采用在预测抽头或类似所关心像素附近的多个任意像素的最大和最小值之差的作为指示所关心的像素位置附近的活动的信息的安排。

同样，在上述情况中，通过控制MEMS单元853，对聚光镜852的在两个位置中的一个进行的控制，即，接近光电二极管851的位置和远离光电二极管851的位置，但聚光镜852可以被控制在三个或更多的位置上。

接下来，图67的步骤S544中的控制信息生成处理中，如图63A至图63C所示，聚光镜852的位置被控制在三个位置中的一个，即，标准位置、接近光电二极管851的位置，和远离光电二极管851的位置，这将参考图69中的流程图进行详细的描述。

首先，在步骤S561中，通过规格化所关心的像素的分类抽头的动态范围，移动量控制单元877获得作为所关心的像素的分类抽头的动态范围比率的已规格化的动态范围作为最大动态范围，且流程进入步骤S562。

在步骤S562中，移动量控制单元877确定已规格化的动态范围是否相对较小，例如，是个比0.3小的值。

在步骤S562中，如果已规格化的动态范围确定比0.3小，流程进入步骤S563，在此移动量控制单元877将由CMOS成像器801成像的图像在所关心的像素位置附近的级别变化量较小，并相应地产生控制信息将聚光镜852控制在标准位置上，即，让居中范围的物体光投射在光电二极管851的位置，且流程返回。

在步骤S562中，如果已规格化的动态范围被确定为不小于0.3，流程进入步骤S564，且移动量控制单元877确定已规格化的动态范围既不大又不小，比如，大于等于0.3但小于0.6的值。在步骤S564中，如果已规格化的动态范围被认定为大于等于0.3但小于0.6的值，流程进入步骤S565，移动量控制单元877确定由CMOS成像器801成像的图像在所关心的像素位置附近的级别变化量既不大又不小，并相应地产生控制信息来控制聚光镜852在远离距光电二极管851的位置上，即，一种让窄范围的物体光投射在光电二极管851的位置，且流程返回。

在步骤S564中，如果已规格化的动态范围被认定为不是一个大于等于0.3但小于0.6的值，流程进入步骤S566，且移动量控制单元877决定已规格化的动态范围是否相对较大，比如，一个大于0.6的值。

在步骤S566中，如果已规格化的动态范围被认定为是一个大于0.6的值，流程进入步骤S567，移动量控制单元877认为由CMOS成像器801成像的图像在所关心的像素位置附近的级别变化量较大，并相应地产生控制信息将聚光镜852控制在远离光电二极管851的位置上，即，一种让窄范围的物体光投射在光电二极管851的位置，且流程返回。

同样，在步骤S566中，如果已规格化的动态范围被认定为是一个不大于0.6的值，移动量控制单元877把这种情况当作错误处理，并不产生控制信息而返回。这种情况下，聚光镜852的位置保持在以前的位置上，例如。

前面所述的布置包括图56和65中所示的因数生成单元824，它存储通过事先的学习而获得的每个类的抽头因数，但对于因数生成单元824，其为每个类从好似作为种子的抽头种子数据和预定参数中生成能够产生所希望质量的图像的抽头因数。

通过因数种子数据和预定的参数，为每个类生成抽头因数的因数生成单元的配置和图30所示的因数生成单元124的配置一样，所以详细的描述将被略去(见图30至36和其描述)。

同样，与学习设备相对应的配置和图20中所示的学习设备的配置一样，但特征提取单元136配置和分类抽头提取单元822配置的抽头配置相同的分类抽头，并把这些提供给类分类单元137。类分类单元137生成与分类代码生成单元823配置相同的分类代码。

根据与图30所示的分辨率等相对应的参数，如果为每个类在因数输出单元124上生成抽头因数，CMOS成像器801可能根据参数而控制，而不是根据分类代码或分类抽头活动。

图70阐明了DRC电路802的另一种配置的例子，它根据参数来控制CMOS成像器801。注意，与图56或65中相对应的组件由同样的参考标记指示，并视情况略去其描述。简单的说，图70中阐明的DRC电路802基本上和图56所示的一样，不同点在于移动量控制单元917被提供而不是控制单元812的DL826和移动量控制单元827。

图70中，用户操作操作单元985，该单元根据其操作输出参数z给因数生成单元824和移动量控制单元917。因数生成单元824由图30的方法被配置，并基于从操作单元985提供的参数z来为每个类配置抽头因数，并把指示分类代码生成单元823提供的分类代码的抽头因数输出给预测计算单元825。

移动量控制单元917控制与操作单元985提供的参数z相对应的CMOS成像器801。也就是说，如果参数z较大，因数生成单元824产生抽头因数来极大的提高分辨率，并且如果参数z较小，因数生成单元824产生抽头因数来轻微的提高分辨率。对于DRC单元811，如果极大的提高分辨率的抽头因数被使用，组成预测抽头的像素也应该具有高分辨率以适合在DRC单元811执行的信号处理。同样，对于DRC单元811，如果轻微的提高分辨率的抽头因数被使用，组成预测抽头的像素也应该具有不高的分辨率以适合在DRC单元811执行的信号处理。

相应地，如果参数z较大且一个极大的提高分辨率的因数已经产生，移动量控制单元917控制聚光镜852在远离光电二极管851的位置上，以便一个窄范围的物体光射入光电二极管851中。同样，如果参数z较小且一个轻微的提高分辨率的因数已经产生，移动量控制单元917控制聚光镜852在接近光电二极管851的位置上，以便一个宽范围的物体光射入光电二极管851中。

DRC电路802可以通过专门的硬件实现，或通过一个计算机，例如一个包括CPU(中央处理器)，(包括DSP(数字信号处理))和半导体存储器等和微型计算机，来执行如前面所述的处理的程序而实现。

程序可以被安装在计算机中，或被存储在可移动存储介质，如软盘，CD-ROM(压缩光盘只读存储器)，MO(磁光盘)盘，一种DVD(数字化通用光盘)，磁盘，半导体存储器等等，并当作封装软件提供。

除了从这种可移动记录介质相微型计算机安装程序之外，可以从下载站点通过卫星、诸如数字广播卫星无线地，或者通过诸如LAN(局域网)或因特网此类的网络有线地将该程序传送到计算机中，下载并安装。

现在，在本说明书中，在使计算机实现的多个处理的程序代码中描述的处理过程不一定要按流程图中给出时间顺序来处理，器可以并行或单独执行(比如，并行处理或面向对象的处理)。另外，程序可以由单个或多个计算机处理。

如前所述，控制CMOS成像器801以便输出适于DRC单元811进行信号处理的图像信号，所以具有提高图像质量的图像信号可以通过DRC单元811的信号处理而获得。

注意，虽然本实施例采用CMOS成像器(CMOS传感器)来拾取图像，其他的成像方法，比如CCDs，可以被替代使用。

同样，虽然本实施例中CMOS成像器801和DRC电路802被配置在了一个芯片上，CMOS成像器801和DRC电路802也可以被配置在分离的芯片上。

另外，本实施例中，虽然射到入光电二极管851的物体光范围是通过控制聚光镜852的位置来控制的，但控制射入到光电二极管851的物体光范围的方法不局限于此。例如，可以作出一种安排，其中，为CMOS成像器801的每个像素提供采用MEMS技术的膜片，以便射入到光电二极管851的物体光范围能通过调整膜片而被调节。同样，除了控制射入到光电二极管851的物体光范围，光电二极管851接收光的时间量(曝光时间)，等等，也可以被控制。

Claims (20)

1.一种信号处理设备，其执行将第一图像信号转换为第二图像信号的信号处理，该设备包括：

预测抽头提取装置，用于顺序地获得构成第二图像信号的像素作为所关心像素，并且从第一图像信号提取与所关心像素相对应的第一图像信号中的某一像素在空间或时间上邻近的多个像素，作为预测抽头；

类分类装置，用于根据从成像装置输出的第一图像信号的级别分布把第二图像信号分类到多个类中的一个之中，所述成像装置用于把作为来自物体的光的物体光转换为图像信号，该类分类装置包括：

分类抽头提取装置，用于从所述第一图像信号中提取像素作为分类抽头供分类使用，和

分类代码生成装置，用于根据所述分类抽头的像素的动态范围，获取所述分类抽头的像素的1位的级别分布，并生成代表与其级别分布相对应的类的分类代码；

控制装置，用于根据所述第一图像信号的级别分布控制所述成像装置；

抽头因数输出装置，用于对通过学习得到的每一个类输出抽头因数；以及

计算装置，用于获得所述预测抽头提取装置输出的预测抽头和所述抽头因数输出装置输出的抽头因数，并且使用该预测抽头和抽头因数为获得所关心像素的真实值的预测值执行预定的预测计算，从而获得并输出构成第二图像信号的像素的像素值。

2.根据权利要求1的信号处理设备，所述成像装置还包括用于将物体光汇聚到每个像素上的聚光镜，其中所述控制装置控制所述聚光镜的位置。

3.根据权利要求1的信号处理设备，其中所述成像装置是互补金属氧化物半导体传感器。

4.根据权利要求3的信号处理设备，该信号处理设备与所述互补金属氧化物半导体传感器形成为一体。

5.根据权利要求1的信号处理设备，其中所述成像装置是电荷耦合器件。

6.根据权利要求1的信号处理设备，其中与1位级别分布中位倒置的次数相对应，所述控制装置控制所述成像装置。

7.根据权利要求1的信号处理设备，其中与所述分类抽头的所述像素的动态范围相对应，所述控制装置控制所述成像装置。

8.根据权利要求1的信号处理设备，其中所述计算装置执行使用第一图像信号和所述类的抽头因数的计算，该第一图像信号由所述控制装置控制的所述成像装置输出，该类的抽头因数从第一图像信号中一帧或场之前的第一图像信号的级别分布获得。

9.一种信号处理设备，其执行将第一图像信号转换为第二图像信号的信号处理，该设备包括：

预测抽头提取装置，用于顺序地获得构成第二图像信号的像素作为所关心像素，并且从第一图像信号提取与所关心像素相对应的第一图像信号中的某一像素在空间或时间上邻近的多个像素，作为预测抽头；

类分类装置，用于根据从成像装置输出的第一图像信号的级别分布把第二图像信号分类到多个类中的一个之中，所述成像装置用于把作为来自物体的光的物体光转换为图像信号，该类分类装置包括：

分类抽头提取装置，用于从所述第一图像信号中提取像素作为分类抽头供分类使用，和

分类代码生成装置，用于根据所述分类抽头的像素的动态范围，获取所述分类抽头的像素的1位的级别分布，并生成代表与其级别分布相对应的类的分类代码；

活动探测装置，用于探测第一图像信号的活动；

控制装置，用于根据所述第一图像信号的活动控制所述成像装置；

抽头因数输出装置，用于对通过学习获得的每一个类输出抽头因数；以及

计算装置，用于获得所述预测抽头提取装置输出的预测抽头和所述抽头因数输出装置输出的抽头因数，并且使用该预测抽头和抽头因数为获得所关心像素的真实值的预测值执行预定的预测计算，从而获得并输出构成第二图像信号的像素的像素值。

10.根据权利要求9的信号处理设备，所述成像装置还包括用于将物体光汇聚到每个像素上的聚光镜，其中所述控制装置控制所述聚光镜的位置。

11.根据权利要求9的信号处理设备，其中所述成像装置是一种互补金属氧化物半导体传感器。

12.根据权利要求9的信号处理设备，其中所述成像装置是一种电荷耦合器件。

13.根据权利要求9的信号处理设备，其中所述活动探测装置获得预定的第一图像信号的多个像素的动态范围作为所述活动。

14.一种信号处理设备，其执行将第一图像信号转换为第二图像信号的信号处理，该设备包括：

预测抽头提取装置，用于顺序地获得构成第二图像信号的像素作为所关心像素，并且从第一图像信号提取与所关心像素相对应的第一图像信号中的某一像素在空间或时间上邻近的多个像素，作为预测抽头；

类分类装置，用于根据从成像装置输出的第一图像信号的级别分布把第二图像信号分类到多个类中的一个之中，所述成像装置用于把作为来自物体的光的物体光转换为图像信号，该类分类装置包括：

分类抽头提取装置，用于从所述第一图像信号中提取像素作为分类抽头供分类使用，和

分类代码生成装置，用于根据所述分类抽头的像素的动态范围，获取所述分类抽头的像素的1位的级别分布，并生成代表与其级别分布相对应的类的分类代码；

参数输出装置，输出表示所述第二图像信号的分辨率的参数；

控制装置，用于根据所述参数控制所述成像装置；

抽头因数生成装置，从学习而获得的因数种子数据和所述参数为每个类生成抽头因数；以及

计算装置，用于获得所述预测抽头提取装置输出的预测抽头和所述抽头因数生成装置生成的抽头因数，并且使用该预测抽头和抽头因数为获得所关心像素的真实值的预测值执行预定的预测计算，从而获得并输出构成第二图像信号的像素的像素值。

15.根据权利要求14的信号处理设备，所述成像装置还包括用于将物体光汇聚到每个像素上的聚光镜，其中所述控制装置控制所述聚光镜的位置。

16.根据权利要求14的信号处理设备，其中所述成像装置是互补金属氧化物半导体传感器。

17.根据权利要求14的信号处理设备，其中所述成像装置是一种电荷耦合器件。

18.一种信号处理方法，其执行将第一图像信号转换为第二图像信号的信号处理，该方法包括：

预测抽头提取步骤，用于顺序地获得构成第二图像信号的像素作为所关心像素，并且从第一图像信号提取与所关心像素相对应的第一图像信号中的某一像素在空间或时间上邻近的多个像素，作为预测抽头；

类分类步骤，用于根据从成像装置输出的第一图像信号的级别分布把第二图像信号分类到多个类中的一个之中，所述成像装置用于把作为来自物体的光的物体光转换为图像信号，该类分类步骤包括：

分类抽头提取步骤，用于从所述第一图像信号中提取像素作为分类抽头供分类使用，以及

分类代码生成步骤，用于根据所述分类抽头的像素的动态范围，获取所述分类抽头的像素的1位的级别分布，并生成代表与其级别分布相对应的类的分类代码；

控制步骤，用于根据第一图像信号的级别分布来控制所述成像装置；

抽头因数输出步骤，用于对通过学习获得的每一个类输出抽头因数；以及

计算步骤，用于获得在所述预测抽头提取步骤提取的预测抽头和在所述抽头因数输出步骤输出的抽头因数，并且使用该预测抽头和抽头因数为获得所关心像素的真实值的预测值执行预定的预测计算，从而获得并输出构成第二图像信号的像素的像素值。

19.一种信号处理方法，其执行将第一图像信号转换为第二图像信号的信号处理，所述方法包括：

预测抽头提取步骤，用于顺序地获得构成第二图像信号的像素作为所关心像素，并且从第一图像信号提取与所关心像素相对应的第一图像信号中的某一像素在空间或时间上邻近的多个像素，作为预测抽头；

类分类步骤，用于根据从成像装置输出的第一图像信号的级别分布把第二图像信号分类到多个类中的一个之中，所述成像装置用于把作为来自物体的光的物体光转换为图像信号，该类分类步骤包括：

分类抽头提取步骤，用于从所述第一图像信号中提取像素作为分类抽头供分类使用，以及

分类代码生成步骤，用于根据所述分类抽头的像素的动态范围，获取所述分类抽头的像素的1位的级别分布，并生成代表与其级别分布相对应的类的分类代码；

活动探测步骤，探测第一图像信号的活动；

控制步骤，用于根据第一图像信号的活动控制所述成像装置；

抽头因数输出步骤，用于对通过学习获得的每一个类输出抽头因数；以及

计算步骤，用于获得在所述预测抽头提取步骤提取的预测抽头和在所述抽头因数输出步骤输出的抽头因数，并且使用该预测抽头和抽头因数为获得所关心像素的真实值的预测值执行预定的预测计算，从而获得并输出构成第二图像信号的像素的像素值。

20.一种信号处理方法，其用于执行将第一图像信号转换为第二图像信号的信号处理，该方法包括：

预测抽头提取步骤，用于顺序地获得构成第二图像信号的像素作为所关心像素，并且从第一图像信号提取与所关心像素相对应的第一图像信号中的某一像素在空间或时间上邻近的多个像素，作为预测抽头；

类分类步骤，用于根据从成像装置输出的第一图像信号的级别分布把第二图像信号分类到多个类中的一个之中，所述成像装置用于把作为来自物体的光的物体光转换为图像信号，该类分类步骤包括：

分类抽头提取步骤，用于从所述第一图像信号中提取像素作为分类抽头供分类使用，以及

分类代码生成步骤，用于根据所述分类抽头的像素的动态范围，获取所述分类抽头的像素的1位的级别分布，并生成代表与其级别分布相对应的类的分类代码；

参数输出步骤，用于输出表示所述第二图像信号分辨率的参数；

控制步骤，用于根据所述参数控制所述成像装置；

抽头因数生成步骤，用于从学习获得的因数种子数据和所述参数为每个所述类生成抽头因数；以及

计算步骤，用于获得在所述预测抽头提取步骤提取的预测抽头和在所述抽头因数生成步骤生成的抽头因数，并且使用该预测抽头和抽头因数为获得所关心像素的真实值的预测值执行预定的预测计算，从而获得并输出构成第二图像信号的像素的像素值。

Images