CN101631193B - 图像处理设备、图像处理方法 - Google Patents

Abstract

此处所公开的是一种图像处理设备、图像处理方法和程序，该图像处理设备包括：扩大部分，被配置成通过使用周围的像素值进行插值而扩大输入图像；定位部分，被配置成执行通过对输入图像扩大而获得的扩大后图像和在前一操作周期中获得的输出图像的定位；分离部分，被配置成将该输出图像分离为低频成分和高频成分；以及混合加法部分，被配置成将低频成分与扩大后图像混合，并向通过混合而获得的图像加入该高频成分，以产生新的输出图像。

Description

图像处理设备、图像处理方法

技术领域

本发明涉及图像处理设备、图像处理方法和程序，且更具体地，涉及这样的图像处理设备、图像处理方法和程序，通过其，可以获得图像的柔和的分辨率增强(flexible resolution enhance)。 

背景技术

例如，近来，在数码相机领域，图像拍摄器件(image pickup device)(例如，CMOS(complementary metal oxide semiconductor，互补金属氧化物半导体)成像器)的性能和图像处理的性能的提高已经且正在进步。例如，数码相机可以将作为高速连续拍摄的输入图像的多个图像合并，以产生具有高画面质量的图像。作为这样的高画面质量的图像，例如，可以得到执行相机抖动校正的图像、去除噪声以提高S/N比(信噪比)的图像、以及具有增加的像素数量的高分辨率的图像，等等。 

例如，利用其通带为低于奈奎斯特频率的频率区域且使用sinc函数(sin(x)/x)的插值低通滤波器来进行插值，或由样条函数(spline function)等插值，或由某个其它的插值，而执行从单个图像(在下文中有时是指一帧图像)到具有增加的像素数量的图像的产生。 

然而，尽管上面所描述的插值可以增加像素的数量，但其却未能增加分辨率。 

同时，数码相机的图像拍摄器件有时具有拜耳(Bayer)阵列。在这种例子中，例如，在采样去除或移除除了R成分的像素以外的像素的状态下，执行从R(红)、G(绿)、B(蓝)成分中采样R成分。这同样也应用于G成分和B成分。因此，在由拜耳阵列的图像拍摄器件拍摄的图像中，从每个颜色成分的图像中去除某些像素。 

此外，例如，在电视接收器中，有时操作隔行类型的图像。隔行类型的图像(在下文中有时称为隔行图像)被认为是去除了每隔一行的像素的图像。 

如上所述去除了像素的图像的像素值除了信号成分外，还包括混叠成分。 如果对于包括混叠成分的图像执行上面所描述的插值，则作为插值的结果而获得的图像具有显著的混叠成分。 

因此，这样的分辨率增强技术是可用的，其中，合并多个帧，以产生像素数量增加、且具有增强的分辨率的一帧图像。正如上面所描述的这样的分辨率增强技术已被以下文献公开：例如在日本特开No.Hei 09-69755(在下文中称为专利文献1)，其相应于美国专利申请No.6,023,535；日本专利特开No.Hei 08-336046(在下文中称为专利文献3)；日本专利特开No.2007-324789(在下文中称为专利文献3)，其相应于美国专利申请No.2008018786；以及日本专利特开No.2000-216682(在下文中称为专利文献4)，其相应于美国专利No.6,507,859。 

在现有的分辨率增强技术中，通过包括移动检测过程、宽带插值过程和加权加法过程的三个过程来实现图像的分辨率增强。 

在移动检测过程中，所输入的多个帧的图像，也就是输入图像被用于检测图像的移动，以估计采样图像的位置或相位之间(也就是说，在由图像拍摄器件的像素所接收的光的空间位置的采样位置之间)的差。 

此处，例如，可通过梯度方法、块匹配方法和各种其它方法执行移动检测过程。 

在宽带插值过程中，具有较宽的频带以通过包括混叠成分的图像的所有高频成分的低通滤波器被用于对像素或采样点进行插值，以增加像素数量，使得生成增强分辨率的图像。 

例如，在专利文献1或2中，使用所述的具有通带为2倍于奈奎斯特频率的流行的宽带LPF(低通滤波器)而执行宽带插值过程。 

在加权加法过程中，根据相应于多个帧的图像的采样相位的权重，执行高速拍摄的多帧图像的混合，即，权重加法。结果，在恢复了图像的高频成分的同时，采样图像时所产生的混叠成分被消除。 

注意，专利文献1公开了合并具有二维混叠成分的九帧图像、以产生高分辨率图像的技术。专利文献2公开了合并具有一维混叠成分的三帧图像、以产生高分辨率图像的技术。专利文献3和专利文献4公开了这样的技术，用于合并对其进行希尔伯特(Hilbert)变换的两帧图像、以产生高分辨率的图像的IP(Interlace Progressive，隔行逐行)转换，以执行由隔行图像到逐行图像的转换。 

参照图1A到1C进一步描述现有的分辨率增强技术。 

图1A示出了高速拍摄、且在一维(一个空间方向)频率区域中具有不同的采样相位的三个连续帧(在下文中称为帧#1、#2、以及#3)的图像的频谱。 

在图1A中，到频率轴的距离代表信号强度，且围绕频率轴的旋转角度代表相位。 

除了信号成分，帧#1到#3还包括混叠成分，如果对于帧#i(此处，i＝1、2或3)执行宽带插值过程，也就是说，如果利用其使从-fs到fs的频带(即，等于奈奎斯特频率fs/2的两倍)(在图1A中仅仅显示从0到fs的频带)通过的宽带LPF来执行像素的插值，则如图1A所示，获得根据在从-fs到fs(即，等于奈奎斯特频率fs/2的两倍)的频带上采样的相位的、包括信号成分和混叠成分的图像。 

由宽带插值过程获得的图像包括许多由原始图像的像素增加的像素。 

图1B示出了由宽带插值过程获得的帧#1到#3的信号成分的相位，且图1C示出了由宽带插值过程获得的帧#1到#3的混叠成分的相位。 

注意，在图1B和1C中，横轴指示虚轴，而纵轴指示实轴。 

由宽带插值过程获得的三个帧#1到#3的信号成分的相位彼此相符，且例如，如果将帧#1的混叠成分的相位确定为基准，则响应于采样相位与帧#1的差，混叠成分的相位旋转。 

如上所述，响应于采样相位与帧#1的差，通过宽带插值过程获得的三个帧#1到#3的混叠成分的相位旋转。因而，通过利用与帧#1的采样相位的差而确定的权重来执行三个帧#1到#3加权加法，可以去除由宽带插值过程获得的这三个帧#1到#3的混叠成分。 

因此，在现有的分辨率增强技术中，执行利用依照由宽带插值过程获得的这三个帧#1到#3的采样的相位(的差)确定的权重、来执行帧#1到#3的图像的加权加法的加权加法过程，以去除混叠成分。由此，获得包括从-fs到fs的频带的信号成分、且从其中去除混叠成分的图像，也就是高分辨率的图像。 

如上所述，根据现有的分辨率增强过程，通过使用处理原始图像而获得的图像(也就是输入图像)，来恢复超过奈奎斯特频率fs/2的信号成分，其不利用使奈奎斯特频率fs/2的从-fs/2到fs/2的频带通过的LPF，而是利用了使两倍于奈奎斯特频率fs/2的频率通过的宽带LPF。 

注意，根据现有的分辨率增强技术，为了确定将混叠成分减少到零的加 权加法的权重，有时不得不预先确定被用于加权加法的帧的数量。 

在下文中，将成为分辨率增强技术的对象的图像适当地称为输入图像。 

发明内容

在将分辨率增强技术应用于例如电视广播的图像或记录在光盘上的图像的情况下，由于这样的图像具有高信噪比，所以，即使使用少量的帧(例如两个帧或三个帧)作为输入图像，也可以获得高画面质量的图像。 

然而，在对由家用数码相机或数码摄像机拍摄的图像应用分辨率增强技术的情况下，所获取的图像有时包括显著的噪声。 

具体地，由于不足的照明等等，由家用数码相机获得的图像有时信噪比较低。如果像刚才描述的、具有这样低的信噪比的少量图像帧被作用输入图像，则相反，将获得具有显著噪声的图像。 

因而，在将分辨率增强技术应用于由家用相机等获得的图像的情况下，优选使用很多帧作为输入图像。 

然而，取决于例如数码相机的性能、由图像拍摄对象的亮度等确定的曝光时间、以及图像拍摄时的其它条件等等，可被用作输入图像的帧的数量有时增加或减少。 

因此，期望提供可以获得图像的柔和的分辨率增强而不需要依赖于输入图像的数量的图像处理设备、图像处理方法和程序。 

根据本发明的实施例，提供了一种图像处理设备，包括：扩大部件，用于通过使用周围的像素值插值而扩大输入图像；定位部件，用于执行由输入图像的扩大而获得的扩大后图像、以及在前一操作周期中获得的输出图像的定位；分离部件，用于将输出图像分离为低频成分和高频成分；以及混合-加法部件，用于将低频成分与扩大后图像混合，并将高频成分加到通过混合获得的图像中，以产生新的输出图像。 

根据本发明的另一个实施例，提供了一种图像处理方法和使得计算机执行该图像处理方法的程序，该方法包括以下步骤：通过使用周围的像素值插值而扩大输入图像；执行由输入图像的扩大而获得的扩大后图像和在前一操作周期中获得的输入图像的定位；将输入图像分离为低频成分和高频成分；以及将低频成分和扩大后图像混合，并将高频成分加到通过混合所获得的图像中，以产生新的输出图像。 

在所述图像处理设备、方法和程序中，通过使用周围的像素值插值而扩大输入图像，随后，执行扩大后图像和在前一操作周期中获得的输入图像的定位。将输出图像分离为低频成分和高频成分。随后，所述低频成分与扩大后图像混合，并将高频成分加到通过混合所获得的图像中，以产生新的输出图像。 

注意，所述图像处理设备可以是独立设备，或者可以是不同设备的组件或内部块。

此外，可以经由传输介质传送所述程序，或者将所述程序记录到记录介质中/上，以提供该程序。 

采用这样的图像处理设备、方法和程序，可以提高图像的画面质量，且具体地，图像的柔和的分辨率增强是可预期的。 

附图说明

图1A到1C是示出现有的分辨率增强技术的图； 

图2是示出本发明的实施例所采用的图像处理设备的一般配置的框图； 

图3是示出由图2中的图像处理设备执行的图像处理、也就是分辨率增强处理的流程图； 

图4A到4D是示出将不包括混叠成分的输入图像的垂直方向中的像素数量增大到原始像素数量的该数量的两倍的扩大处理的图； 

图5A到5D是示出将不包括混叠成分的输入图像的垂直方向中的像素数量增大到原始像素数量的该数量的四倍的扩大处理的图； 

图6A到6D是示出将包括混叠成分的输入图像的垂直方向中的像素数量增大到原始像素数量的该数量的两倍的扩大处理的图； 

图7A到7D是示出将包括混叠成分的输入图像的垂直方向中的像素数量增大到原始像素数量的该数量的四倍的扩大处理的图； 

图8A和8B是示出用于执行最近邻插值的滤波器的滤波器特性的图； 

图9是示出根据本发明的第一实施例、图2中的图像处理设备的配置示例的框图； 

图10是示出图9中所示的移动检测部分的配置的示例的框图； 

图11A和11B是示出图9中所示的块匹配部分的处理的示意图； 

图12A到12E是示出图9中所示的扩大部分的处理的图； 

图13A到13G是示出图9中所示的定位部分的处理的图； 

图14A到14C是示出图9中所示的分离部分的处理的图； 

图15是示出根据本发明的第二实施例、图2中的图像处理设备的配置示例的框图； 

图16是示出根据本发明的第三实施例、图2中的图像处理设备的配置示例的框图； 

图17是示出根据本发明的第四实施例、图2中的图像处理设备的配置示例的框图； 

图18A到18H是示出图9中所示扩大部分的处理的图； 

图19是示出具有滤波系数为{1/16，2/16，3/16，4/16，3/16，2/16，1/16}的垂直LPF的滤波器特性的图； 

图20是示出图17中所示的扩大部分和定位部分的配置示例的框图； 

图21A到21E是示出由图20中所示的扩大部分在水平方向上对图像所进行的处理的图； 

图22A到22D是示出由图20中所示的定位部分在水平方向上对图像所进行的处理的图； 

图23A到23G是示出由图20中所示的扩大部分在垂直方向上对图像所进行的处理的图； 

图24A到24D是示出由图20中所示的定位部分在垂直方向上对图像所进行的处理的图； 

图25是示出图24A中所示的垂直三次插值滤波器的详细频率特性的图； 

图26A到26C是示出图17中所示的分离部分的处理的图； 

图27A到27C是示出图26A中所示的垂直LPF的滤波器特性的图； 

图28是示出图17中图像处理设备的输出图像的频率特性的示意图； 

图29是示出根据本发明的第五实施例、图2中的图像处理设备的配置示例的框图； 

图30是示出图29中所示的移动检测部分的配置示例的框图； 

图31是示出根据本发明的第六实施例、图2中的图像处理设备的配置示例的框图； 

图32是示出根据本发明的第七实施例、图2中的图像处理设备的配置示例的框图； 

图33是示出根据本发明的第八实施例、图2中的图像处理设备的配置示例的框图； 

图34是示出根据本发明的第九实施例、图2中的图像处理设备的配置示例的框图； 

图35A到35D是示出图34中所示的扩大部分的处理的示意图； 

图36是示出图34中所示的扩大部分的配置示例的框图； 

图37A到37C是示出图34中所示的扩大部分的另一个配置示例的示意图； 

图38是示出图34中所示的分离部分的配置示例的框图； 

图39是示出根据本发明的第十实施例、图2中的图像处理设备的配置示例的框图； 

图40A到40E是示出由图39中所示的扩大部分对图像B所执行的处理的图； 

图41是示出图39中所示的扩大部分的配置示例的框图； 

图42A和42B是示出图39中所示的扩大部分的另一个配置示例的示意图； 

图43A和43B是示出图39中所示的分离部分的处理的示意图； 

图44A到44H是示出由图39中图像处理设备对B图像和R图像所执行的处理的示意图； 

图45A到45C是示出由图39中的图像处理设备对G图像所执行的处理的示意图；以及 

图46是示出应用了本发明实施例的计算机的配置示例的框图。 

具体实施方式

图2示出了应用了本实施例的图像处理设备的一般配置。 

参考图2，图像处理设备从外部接收例如，高速连续拍摄的多于一帧的图像，也就是输入图像。随后，图像处理设备使用向其提供的多于一帧的输入图像，以执行作为分辨率增强处理的图像处理，即，使用向其提供的多于一帧的输入图像，以产生并输出作为具有更高分辨率的图像的输出图像 

在这一点上，图像处理设备包括存储部分11、扩大部分12、定位部分13、分离部分14、混合加法部分15和存储部分16。 

存储部分11接收向其提供的多于一帧的输入图像。存储部分11暂时存储向其提供的多于一帧的输入图像。 

扩大部分12通过使用周围的像素值进行插值，也就是，通过与插入零的零值插值不同的插值、以产生具有大于输入图像的像素数量的像素数量的扩大后图像，而扩大存储在存储部分11中的输入图像，并输出扩大后图像。 

定位部分13执行扩大后图像和通过在下文中描述的混合加法部分15在前一操作周期中获得的输出图像的定位。 

分离部分14将输出图像分离为低频成分和高频成分，并将产生的低频成分和高频成分提供给混合加法部分15。 

混合加法部分15将来自分离部分14的低频成分混入扩大后图像，并将来自分离部分14的高频成分加到所得到的扩大后图像，以产生新的输出图像，并向存储部分16提供新的输出图像。 

存储部分16存储来自混合加法部分15的输出图像，并根据随时的要求将存储的输出图像作为输出到外部。 

图3示出了图像处理，即，图2的图像处理设备执行的分辨率增强处理。 

存储部分11等待向其输入连续拍摄的多于一帧的输入图像中的一帧的输入信号，并在步骤S11存储向其提供的输入图像。随后，处理前进到步骤S12。 

在步骤S12，扩大部分12通过使用周围像素的像素值插值而扩大存储在存储部分11中的输入图像，以产生扩大后图像，并输出扩大后图像。随后，处理前进到步骤S13。 

在步骤S13，定位部分13执行由扩大部分12所产生的扩大后图像和通过混合加法部分15在前一操作周期中获得的输出图像的定位。随后，处理前进到步骤S14。 

在步骤S14，分离部分14将通过混合加法部分15在前一操作周期中获得的输出图像分离为低频成分和高频成分，并将所产生的低频成分和高频成分提供给混合加法部分15。随后，处理前进到步骤S15。 

在步骤S15，混合加法部分15将来自分离部分14的低频成分混入扩大后图像，且随后将高频成分加到作为结果的扩大后图像，以产生新的输出图像，并向存储部分16提供新的输出图像。随后，处理前进到步骤S16。 

在步骤S16，存储部分16存储来自混合加法部分15的新的输出图像。随后，处理前进到步骤S17。 

此时，如果尚未从混合加法部分15获得输出图像，也就是，例如，如果扩大后图像是第一帧的输入图像的扩大后图像，则跳过步骤S13到S15的处理。随后，在步骤S16，向存储部分16存储由扩大部分12获得的扩大后图像，如同其是新的输出图像那样。 

在步骤S17，确定在存储部分11中是否仍有连续拍摄的输入图像中的任何一个。 

如果在步骤S17确定在存储部分11中仍有任何输入图像，也就是，如果新近向存储部分11提供了连续拍摄的多于一帧的输入图像中的一帧输入图像，则处理返回到步骤S11，以重复与上面所描述的那些处理相似的处理。 

因而，如果向图像处理设备提供了连续拍摄的多帧输入图像，则在图像处理设备中，扩大部分12扩大不同帧的输入图像，且定位部分13执行对扩大后图像和输出图像的定位。随后，分离部分14将输出图像分离为低频成分和高频成分，且混合加法部分15将低频成分混入扩大后图像，随后将高频成分加到由混合所获得的图像中，以产生新的输入图像。然后，重复上述操作次序。 

另一方面，如果在步骤S17确定在存储部分11中没有剩余输入图像，也就是，如果使用连续拍摄的多于一帧的输入图像执行步骤S11到S16的处理，则存储部分16向外部输出其中存储的最新的输出图像，作为具有相对于连续拍摄的多于一帧的输入图像而言增强的分辨率的图像，从而结束图像处理。 

注意，不仅当在步骤S17确定没有输入图像剩余时，而且在步骤S16中每次存储新的输出图像时，都执行存储于存储部分16中的输出图像的输出。 

尽管下面将描述图2中的图像处理设备的一个更具体的配置，但在描述之前，将描述扩大输入图像以产生扩大后图像的扩大处理和扩大后图像的分辨率增强处理。 

图4A到4D示出了将输入图像的像素数量增加到原始像素数量的两倍的扩大过程，其中，输入图像在某一个方向(例如垂直方向)上不包括混叠成分。 

根据采样理论，如果信号只具有频带范围在-f到f的频率成分，则如果以2f或更高的采样频率采样信号，则可通过使用LPF(低通滤波器)去除高频成分而完全恢复原始信号。 

现在，如果假设在某一个方向(例如垂直方向)上的输入图像的采样频率为频率fs，则如果输入图像并不包括混叠成分，则其在这一个方向上仅仅包括 从-fs/2到fs/2(在下文中被称为低于fs/2频率的频率)的频带范围的信号成分。 

图4A示出了频率特性，也就是，不包括混叠成分的输入图像的频率成分。 

图4A中，横轴代表频率，而纵轴则代表频率成分的幅度。这同样应用于下文中描述的所有示出频率特性的图。 

现在，在不包括混叠成分的输入图像内的一个方向(例如在垂直方向)中，连续地并排设置有四个像素，使得第i个像素的像素值被表示为y(i)，且因此四个像素的像素值被表示为y(0)、y(1)、y(2)、y(3)。 

为了在垂直方向上将输入图像的像素数量增加为两倍，首先执行零值插值，即，将像素值为0的作为采样点的新像素插入到在垂直方向上的像素中的相邻像素的中间位置。 

在此处的零值插值中，调整原始的像素值，以使得在零值插值之后，像素值的平均值不改变。在当前的情况中，由于像素数量被加倍，所以，在零值插值中，原始像素值加倍，且结果，四个像素的像素值的列表(也就是，y(0)、y(1)、y(2)、y(3))变为七个像素的像素值的另一个列表，也就是，2y(0)，0，2y(1)，0，2y(2)，0，2y(3)。 

上面所描述的零值插值等价于将输入图像的采样频率增加到两倍于原始采样频率fs的频率2fs。尽管在零值插值之前和之后，输入图像的信号成分并不变化，但如果在零值插值之后，将两倍于原始采样频率fs的频率2fs用作新的采样频率，则看起来，在相应于新的采样频率2fs的从-fs到fs的频带(也就是允许通过以采样频率2fs采样而再现的频带)中，将产生混叠成分。 

图4B示出在零值插值之后输入图像的频率特性。 

在图4B中，实曲线表示信号成分，而虚曲线则代表混叠成分。 

在由不包括混叠成分的输入图像的零值插值获得的图像(下文中，由这样的零值插值获得的图像被称为零值插值图像)中，信号成分存在于从-fs/2到fs/2的频带内，在该频带内，如从图4B中所见，任何频率的绝对值均低于奈奎斯特频率fs/2。此外，混叠成分存在于从-fs/2到-fs和fs/2到fs的频率范围中，其超出奈奎斯特频率fs/2。 

为了获得不包括混叠成分的扩大后图像，有必要提取信号成分，也就是去除混叠成分。因而，如果对零值插值图像应用通带为从-fs/2到fs/2的频带(其低于输入图像的奈奎斯特频率fs/2)的LPF，则可以获得不包括混叠成分的扩大后图像。 

图4C示出了通过对零值插值图像应用通带为低于奈奎斯特频率fs/2的从-fs/2到fs/2的频带的LPF而获得的扩大后图像频率特性。 

注意，尽管理想地，通带为低于奈奎斯特频率fs/2的从-fs/2到fs/2的频带的LPF为使用sinc函数的滤波器，也就是，其滤波器系数是由sinc函数的函数值给定的滤波器，但理想化的滤波器具有无限长的抽头长度或者无限大的抽头数。因此，实际上，使用通过对sinc函数应用窗函数而限制其抽头数的LPF。 

为了简化描述，假设使用具有滤波器系数{1/4，1/2，1/4}的LPF作为该LPF。 

此时，滤波器系数为{a，b，c}的滤波器意味着：例如，有限冲激响应(FIR)滤波器，由表达式a×y(t-1)+b×y(t)+c×y(t+1)表示其对三个像素的像素值的列表(y(t-1)，y(t)，y(t+1))中的位置t处的像素的滤波结果。 

在零值插值图像中的七个像素的像素值的列表(2y(0)，0，2y(1)，0，2y(2)，0，2y(3))中，在由滤波器系数为{1/4，1/2，1/4}的滤波器进行滤波后，在像素值为2y(1)的位置处的像素的像素值为1/4×0+1/2×2y(1)+1/4×0＝y(1)。 

同时，在滤波后的像素值2y(1)和2y(2)的像素之间的零值点(即，像素值为0的像素)的像素值为：1/4×2y(1)+1/2×0+1/4×2y(2)＝(y(1)+y(2))/2。 

通过以相似方式确定滤波后其余像素值，在七个像素的像素值的列表(2y(0)，0，2y(1)，0，2y(2)，0，2y(3))的滤波之后的像素值的列表变为(y(0)，(y(0)+y(1))/2，y(1)，(y(1)+y(2))/2，y(2)，(y(2)+y(3))/2，y(3))。 

滤波之后的像素值的列表(y(0)，(y(0)+y(1))/2，y(1)，(y(1)+y(2))/2，y(2)，(y(2)+y(3))/2，y(3))等于被应用到输入图像的像素值的列表(y(0)，y(1)，y(2)，y(3))的被称为线性插值的插值结果。因而，可以认识到，利用滤波之后的像素值，也就是，利用扩大后图像，再现输入图像的信号成分。 

以这种方式，在输入图像不包括任何混叠成分的情况下，可以通过执行将一个像素值为零的新的像素插入到输入图像的每个相邻像素之间的位置的零值插值、并且执行将通带为低于奈奎斯特频率fs/2的-fs/2到fs/2的频带的LPF应用到通过零值插值而获得的零值插值图像的扩大处理，来获得扩大后图像，其具有增加到两倍于输入图像的大小或像素数量，且当再现输入图像的信号成分时不包括任何混叠成分。 

然而，即使对于不包括混叠成分的输入图像应用扩大处理，其分辨率也不能改进，或者，换句话说，可能无法获得包括频率超过奈奎斯特频率fs/2的信号成分的扩大后图像。 

图4D示出了通过将超过奈奎斯特频率fs/2的宽带的LPF(即，宽带LPF(WLPF))应用到零值插值图像所得到的扩大后图像的频率特性。 

如果对不包括混叠成分的输入图像的零值插值图像应用宽带LPF，则将不去除混叠成分，且扩大后图像(图4D)成为零值插值图像(图4B)，也就是这样的图像，其显示出恶化的画面质量(根据外观)，其中，其由于在每个相邻像素之间插入的一个零值点的影响而包括暗条纹图案。 

现在，描述在例如垂直方向的某一个方向上、将不包括混叠成分的输入图像的像素数量增加到四倍于原始像素数量的扩大过程。 

此外，可以参考图4A到4D，以与上面所描述的两倍的扩大过程相似的方式，执行在例如垂直方向的某一个方向上、将不包括混叠成分的输入图像的像素数量增加到四倍于原始像素数量的扩大过程。 

图5A到5D示出了在例如垂直方向的某一个方向上、将不包括混叠成分的输入图像的像素数量增加到四倍于原始像素数量的扩大过程。 

现在，如果假设在例如垂直方向的某一个方向上的输入图像的采样频率为频率fs，则不包括任何混叠成分的输入图像仅在从-fs/2到fs/2的频带范围内包括所述一个方向上的信号成分。 

图5A示出不包括混叠成分且仅包括在-fs/2到fs/2的频带范围的包括信号成分的输入图像的频率特性，其类似于图4A中的频率特性。 

现在，类似于图4A中的情况，如果由y(0)、y(1)、y(2)、以及y(3)代表四个连续并排设置的像素的像素值，则为了将输入图像的像素数量增加到四倍，执行在每个相邻像素之间插入像素值为零的三个新的像素或零值点的零值插值。 

注意，在零值插值中，调整原始像素值，以使得像素值的平均值在零值插值之前和之后不会变化。在当前情况下，由于像素数量增加到四倍，所以，在零值插值中，原始像素值增加到四倍。结果，四个像素的像素值列表(y(0)，y(1)，y(2)，y(3))被转换为13个像素的像素值列表(4y(0)，0，0，0，4y(1)，0，0，0，4y(2)，0，0，0，4y(3))。 

在每个相邻像素之间插入三个零值点的零值插值等价于将输入信号的采 样频率增加到频率4fs，即，四倍于原始采样频率fs。尽管输入信号的信号成分在零值插值之前和之后并不变化，但如果在零值插值之后，将四倍于原始采样频率fs的频率4fs用作新的采样频率，则看起来在对应于新的采样频率4fs的-2fs到2fs的频带中产生混叠成分。 

图5B示出零值插值之后的输入图像的频率特性。 

图5B中，实曲线代表信号成分，而虚曲线代表混叠成分。 

如图5B所示，在对不包括混叠成分的输入图像进行零值插值获得的零值插值图像中，信号成分存在于低于奈奎斯特频率fs/2的从-fs/2到fs/2的频带中。此外，混叠成分存在于超过奈奎斯特频率fs/2的从-fs/2到-2fs和从fs/2到2fs的频率范围内。 

从图5B的零值插值图像中，与图4B中的情形类似地，通过将其通带为低于奈奎斯特频率fs/2的从-fs/2到fs/2的频带的LPF应用到零值插值图像，可以获得不包括混叠成分的扩大后图像。 

图5C示出了通过将其通带为低于奈奎斯特频率fs/2的从-fs/2到fs/2的频带的LPF应用到零值插值图像而获得的扩大后图像的频率特性。 

在这种方式中，在输入图像不包括任何混叠成分的情况下，可以通过执行在输入图像的每个相邻像素之间插入三个零值点的零值插值、以及执行对通过零值插值获得的零值插值图像应用通带为低于奈奎斯特频率fs/2的从-fs/2到fs/2的频带的LPF的扩大处理，而获得扩大后图像，其具有增加到四倍于输入图像大小的大小、且当输入图像的信号成分被再现时不包括任何混叠成分。 

然而，与图4A到4D中的情形相似地，即使对不包括混叠成分的输入图像应用扩大处理，其分辨率并不改进。 

图5D示出了通过对零值插值图像应用宽带LPF所获得的扩大后图像的频率特性，其中，宽带LPF的通带为超过奈奎斯特频率fs/2的从-fs到fs的宽频带。 

如果对不包括混叠成分的输入图像的零值插值图像应用宽带LPF，则不去除混叠成分，且与图4A到4D中的情形相似地，扩大后图像(图5D)仍旧变为显示出恶化的画面质量的图像。 

现在，将描述在例如垂直方向的某一个方向上、将包括混叠成分的输入图像的像素数量增加到原始像素数量的两倍的扩大处理。 

包括混叠成分的输入图像的示例是电视广播的隔行图像，且其可以通过去除每隔一行(也就是，不包括混叠成分的图像的水平行)而产生。 

图6A到6D示出在例如垂直方向的某一个方向上、将包括混叠成分的输入图像的像素数量增加到两倍于原始像素数量的扩大处理。 

现在，如果假设在例如垂直方向的某一个方向上、输入图像的采样频率为频率fs，则如果输入图像包括混叠成分，则在所述一个方向中，在从-fs/2到fs/2的频带范围中的信号成分依照原样地存在，且作为-fs/2到fs/2的频带中的混叠成分，存在绝对值超过-fs/2到fs/2的频带的频带范围内的信号成分。 

图6A示出包括混叠成分的输入图像的频率特性。 

例如，如果利用采样频率fs来采样仅仅具有从-fs到fs的频带范围内的信号成分的图像，则可以获得具有图6A的频率特性的输入图像。 

在图6A的输入图像中，由在从-fs/2到fs/2的频带中的实曲线指示的信号成分依照原样存在，并且，作为由从-fs/2到fs/2的频带内的虚曲线指示的混叠成分，存在从-fs/2到-fs和从fs/2到fs的频带中的信号成分。 

因而，在包括混叠成分的输入图像中，信号成分和混叠成分存在于从-fs/2到fs/2的频带中。 

如果与图4A到4D中的情形相似地，由y(0)、y(1)、y(2)、y(3)表示在例如垂直方向的一个方向上连续并排设置的包括混叠成分的输入图像的像素的像素值，则与在图4A到4D中的情形相似地，为了在垂直方向上将输入图像的像素数量增加至两倍，执行在每个相邻像素之间插入一个零值点的零值插值。 

注意，在零值插值中，调整原始像素值，以使得在零值插值之后，像素值的平均值不会变化。在当前的情形中，由于像素值加倍，所以，原始像素值在零值插值中被加倍，结果，四个像素的像素值列表(y(0)，y(1)，y(2)，y(3))，被转换成另一个七个像素的像素值列表，也就是，(2y(0)，0，2y(1)，0，2y(2)，0，2y(3))。 

在每个相邻像素之间插入一个零值点的零值插值等价于将输入图像的采样频率增加到两倍于原始采样频率fs的频率2fs。尽管在零值插值之后，在图像上(也就是，在零值插值图像上)再现覆盖从-fs到fs的整个频带的信号成分，但混叠成分也被再现。换句话说，在从-fs到fs的频带中，信号成分和混叠成分以混合状态存在。 

图6B示出零值插值之后的输入图像、也就是零值插值图像的频率特性。 

在图6B中，实曲线表示信号成分，而虚曲线表示混叠成分。 

与图4A到4D中的情形相似地，可通过对零值插值图像应用LPF，而获得在其中减少或削弱了混叠成分的扩大后图像，其中，LPF的通带为低于奈奎斯特频率fs/2的从-fs/2到fs/2的频带。 

图6C示出通过对零值插值图像应用LPF而获得扩大后图像的频率特性，其中，LPF的通带为低于奈奎斯特频率fs/2的从-fs/2到fs/2的频带。 

通过对零值插值图像应用LPF，可以削弱从-fs/2到-fs和从fs/2到fs的高频区域内的混叠成分，其中，LPF的通带为低于奈奎斯特频率fs/2的从-fs/2到fs/2的频带。然而，这种情况下，也将削弱从-fs/2到-fs和从fs/2到fs的高频区域中的信号成分。 

即使对包括混叠成分的输入图像的零值插值图像执行应用LPF的扩大处理，其中，LPF的通带为低于奈奎斯特频率fs/2的从-fs/2到fs/2的频带，但是，在如上所述的方式中，不能再现高频成分，也就是从-fs/2到-fs和从fs/2到fs的高频区域中的信号成分。此外，也不可能去除或削弱从-fs/2到fs/2的低频区域中的混叠成分。 

此处，如果采用具有例如{1/4，1/2，1/4}的滤波器系数的LPF作为通带为低于奈奎斯特频率fs/2的从-fs/2到fs/2的频带的LPF，则如同在上面参考图4A到4D所描述的，作为通过LPF对零值插值图像滤波的结果获得的扩大后图像等同于通过对输入图像进行线性插值而获得的扩大后图像。 

如果对具有混叠成分的隔行图像进行线性插值，则出现具有斜线的锯齿，且其源自混叠成分。从具有混叠成分的隔行图像的线性插值而获得的线性插值图像，通过对具有加权调整的多个线性插值图像进行加权加法，可以去除混叠成分。 

因而，也可以通过多个扩大后图像、也就是从多个输入图像获得的多个扩大后图像的加权加法，从作为利用LPF对零值插值图像的滤波的结果而获得的扩大后图像中去除在其中所包括的混叠成分。 

然而，由于已经通过由LPF对零值插值图像进行滤波而去除了高频区域中的信号成分，因此，可以不再现所述信号成分。 

因此，在包括混叠成分的输入图像的扩大处理中，不使用通带为低于奈奎斯特频率fs/2的从-fs/2到fs/2的频率区域的LPF，而使用具有作为其通带 的更宽的频带的宽带LPF，来执行零值插值图像的滤波。 

图6D示出通过对零值插值图像应用宽带LPF而获得的扩大后图像的频率特性。 

宽带LPF使等于奈奎斯特频率fs/2的两倍的从-fs到fs的频带通过，且理想地，其是使用sinc函数的滤波器。 

使采样频率为2fs的零值插值图像的频带从-fs到fs通过的滤波器是：使零值插值图像的所有频率成分通过的全通滤波器。 

因而，通过对零值插值图像应用宽带LPF而获得的扩大后图像为零值插值图像，并且，可以依照原样采用零值插值图像。注意，在该示例中，作为零值插值图像的扩大后图像的画面质量恶化，其中，由于在每个相邻像素之间插入零值点的影响，在其中存在暗条纹图案。 

尽管通过宽带LPF的应用而获得的扩大后图像包括混叠成分，但如从图6D可见，其在高频区域中也包括信号成分。 

因而，通过加权相加多个扩大后图像、以去除包括在扩大后图像中的混叠成分，有可能获得高分辨率的图像，其中，不但低频区域中的信号成分被再现，而且高频区域中的信号成分也被再现，也就是说，有可能执行输入图像的分辨率增强。 

与在上文中参考图6A到6D所描述的情形相似地，也可以执行在例如垂直方向的某一个方向上、将具有混叠成分的输入图像的像素数量增加到原始像素数量的四倍的扩大处理。 

图7A到7D示出了：在例如垂直方向的某一个方向上、将包括混叠成分的输入图像的像素数量增加到原始像素数量的四倍的扩大处理。 

如果假设在例如垂直方向的某一个方向上、输入图像的采样频率为fs，则在包括混叠成分的输入图像中，从-fs/2到fs/2频率区域中的信号成分在所述一个方向上依照原样存在，而在超过从-fs/2到fs/2的频率区域的区域中的信号成分作为从-fs/2到fs/2的频带内的混叠成分存在。 

图7A示出包括混叠成分的输入图像的频率特性。与图6A中的情形相似地，在从-fs/2到fs/2的频带中存在由实曲线指示的信号成分和由虚曲线指示的混叠成分。 

如果与图4A到4D中的情形相似地，将在例如垂直方向的一个方向上连续并排设置的包括混叠成分的输入图像的像素的像素值表示为y(0)、y(1)、 y(2)、y(3)，则为了在垂直方向上将输入图像的像素数量增加到四倍，与图5A到5D中的情形类似地执行在每个相邻像素之间插入三个零值点的零值插值。 

注意，在零值插值中，调整原始像素值，以使得在零值插值之后，像素值的平均值不变化。结果，四个像素的像素值列表(y(0)，y(1)，y(2)，y(3))被转换为另一个十三像素的像素值列表，也就是(4y(0)，0，0，0，4y(1)，0，0，0，4y(2)，0，0，0，4y(3))。 

在每个相邻像素之间插入三个零值点的零值插值等价于将输入图像的采样频率增加到四倍于原始采样频率fs的频率4fs。尽管零值插值之后，在图像上(也就是在零值插值图像上)再现覆盖从-2fs到2fs的整个频带的信号成分，但也再现混叠成分。换句话说，在从-2fs到2fs的频带中，信号成分和混叠成分以混合状态存在。 

图7B示出零值插值之后的输入图像，也就是零值插值图像的频率特性。 

在图7B中，实曲线表示信号成分，而虚曲线表示混叠成分。 

通过对零值插值图像应用LPF，可以获得混叠成分被削弱的扩大后图像，其中，LPF的通带为低于奈奎斯特频率fs/2的从-fs/2到fs/2的频带。 

图7C示出对零值插值图像应用LPF而获得的扩大后图像的频率特性，其中，LPF的通带为低于奈奎斯特频率fs/2的从-fs/2到fs/2的频带。 

通过对零值插值图像应用LPF，可以削弱从-fs/2到-2fs和从fs/2到2fs的高频区域内的混叠成分，其中，LPF的通带为低于奈奎斯特频率fs/2的从-fs/2到fs/2的频带。然而，在这种情况下，在从-fs/2到-fs和从fs/2到fs的高频区域中的信号成分也被削弱。 

因此，在包括混叠成分的输入图像的扩大处理中，不使用通带为低于奈奎斯特频率fs/2的从-fs/2到fs/2的频带的LPF，而使用在上文中参考图6A到6D描述的宽带LPF，来执行零值插值图像的滤波。

图7D示出通过对零值插值图像应用宽带LPF而获得的扩大后图像的频率特性。 

尽管如上文中参考图6A到6D所描述地、宽带LPF理想地是使用sinc函数的滤波器，但如果为了简化描述、假设具有滤波器系数{1/4，1/2，1/4}的LPF被用作所述LPF，则在对13个像素的像素值列表(4y(0)，0，0，0，4y(1)，0，0，0，4y(2)，0，0，0，4y(3))滤波之后的像素值列表为(2y(0)，y(0)，0，y(1)，2y(1)，y(1)，0，y(2)，2y(2)，y(2)，0，y(3)，2y(3))。 

因而，通过对零值插值图像应用宽带LPF所得到的扩大后图像的画面质量恶化，其中，由于零值插值插入的零值点的影响，其中存在暗条纹图案。 

如图7D所示，尽管通过应用宽带LPF而获得的扩大后图像包括混叠成分，但其在高频区域中也包括信号成分。 

因而，通过加权相加多个扩大后图像、以去除包括在扩大后图像中的混叠成分，有可能获得高分辨率图像，其中不仅再现低频区域中的信号成分，而且再现高频区域中的信号成分，也就是说，有可能执行输入图像的分辨率增强。 

如上所述，利用执行向输入图像中插入零值点的零值插值、并对由零值插值所获得的零值插值图像应用宽带LPF(也就是由宽带LPF对该零值插值图像滤波)的扩大处理，可以执行包括混叠成分的输入图像的分辨率增强。在上文中所提到的专利文献1等中公开的现有的分辨率增强技术利用了这样的扩大处理。 

然而，如上文中所描述地，通过对零值插值图像应用宽带LPF所得到的扩大后图像的画面质量恶化，其中包含暗条纹图案。 

具体地，例如，在垂直方向这一个方向上、包含混叠成分的输入图像中具有混叠成分的情况下，通过对通过执行在垂直方向中的每个相邻像素之间插入零值点的零值插值而获得的零值插值图像应用宽带LPF、而获得的扩大后图像包含横向暗条纹，也就是，水平方向中的暗条纹图案。 

另一方面，在垂直方向和水平方向这两个方向上、包含混叠成分的输入图像中具有混叠成分的情况下(例如，如仅由拜耳阵列的红色像素组成的图像那样)，通过对通过执行在垂直方向中的每个相邻像素之间和在水平方向中的每个相邻像素之间插入零值点的零值插值而获得的零值插值图像应用宽带LPF、而获得的扩大后图像在水平方向和垂直方向上均包含暗条纹图案。 

在输入了很多帧的图像作为高速拍摄的连续输入图像的情况下，通过现有的分辨率增强技术，可以获得其中的混叠成分被削弱的高分辨率图像。 

然而，在输入少量图像作为输入图像的情况，极端地，在只输入了一个图像的情况下，通过现有的分辨率增强技术而获得的图像是通过对零值插值图像应用宽带LPF而获得的扩大后图像自身，也就是，包含暗条纹图案的图像，且画面质量恶化。如同刚刚描述的那样，并不期望向用户提供这样的包含暗条纹图案的图像。 

因此，作为另一种扩大处理，执行线性插值或最邻近插值、或使用输入图像的周围像素的其它插值，以产生不具有暗条纹图案的图像作为扩大后图像的方法是可用的。 

然而，执行线性插值作为扩大处理等价于对在上面参考图4A到4D所描述的零值插值图像应用LPF，其中，LPF的通带为低于奈奎斯特频率fs/2的从-fs/2到fs/2的频带。在这种情况下，如上文中参考图6C所描述的，由于通过对零值插值图像应用LPF而削弱高频区域中的信号成分，所以，无论有多少如上所述的在高频区域中的信号成分被削弱的扩大后图像被用于执行加权加法，都不能再现高频区域中的信号成分。 

这也类似地应用于最邻近插值、或使用输入图像的周围像素的某个其它插值被用作扩大处理的情形。 

具体地，例如，在最邻近插值中，作为要对像素值进行插值的位置上的像素的像素值，对位于最接近该像素位置的像素的像素值进行插值。 

具体地，例如，如果假设包含混叠成分的输入图像的四个像素(其在例如垂直方向一个方向上被连续地并排设置)的像素值列表为(y(0)，y(1)，y(2)，y(3))，则增加像素数量到两倍的最邻近插值将四个像素的像素值列表(y(0)，y(1)，y(2)，y(3))转换为八个像素值的另一个列表，即(y(0)，y(0)，y(1)，y(1)，y(2)，y(2)，y(3)，y(3))。 

可以通过与上文中参考图4A到4D和5A到5D所描述的相似的扩大处理，也就是通过零值插值和利用LPF的滤波，来执行最邻近插值。 

具体地，为了在垂直方向上将输入图像的像素数量增加到两倍，执行在每两个彼此相邻的像素之间插入一个零值点的零值插值。 

通过零值插值，原始像素值加倍，使得在零值插值之后，像素值的平均值不变化。因而，四个像素的像素值列表(y(0)，y(1)，y(2)，y(3))被转换为七个像素的像素值的另一个列表，即(2y(0)，0，2y(1)，0，2y(2)，0，2y(3))。 

在将最邻近插值作为扩大处理执行的情况下，对七个像素的像素值列表(2y(0)，0，2y(1)，0，2y(2)，0，2y(3))应用具有滤波器系数为{1/2，1/2，0}的LPF。如果具有滤波器系数为{1/2，1/2，0}的LPF被应用到七个像素的像素值列表(2y(0)，0，2y(1)，0，2y(2)，0，2y(3))，则获得七个像素的像素值列表，即(y(0)，y(0)，y(1)，y(1)，y(2)，y(2)，y(3)，y(3))。 

具有滤波器系数{1/2，1/2，0}的LPF是将原始图像的像素的位置位移一半 像素距离(也就是，相邻像素间距的一半)的滤波器。该滤波器具有以下特性，即：对于对应于2fs采样频率的从-fs到fs的频带，当频率为0时的增益为1，当频率为最大频率fs或-fs时的增益为0。 

因此，在通过对零值插值图像应用具有滤波器系数为{1/2，1/2，0}的LPF所获得的扩大后图像中，高频区域中的信号成分，特别是具有接近-fs和fs的频率的高频成分被削弱。 

因而，在作为扩大处理而执行最邻近插值时，现有的分辨率增强技术执行扩大后图像的权重加法，其中，高频区域中的信号成分被削弱。 

此外，在作为扩大处理而执行超过两倍的扩大率的最邻近插值时，情况与执行两倍的最邻近插值相同。 

例如，作为扩大处理而执行四倍的最邻近插值等价于：对通过在每个相邻像素之间插入三个零值点而获得的零值插值图像应用具有滤波器系数为{1/4，1/4，1/4，1/4，0}的LPF。 

滤波器系数为{1/4，1/4，1/4，1/4，0}的LPF具有如下特性，即：对于对应于4fs的采样频率的从-2fs到2fs的频带，当频率为0时的增益为1，而当频率为最大频率-2fs和2fs、以及中间频率fs和-fs时的增益为0。 

因此，在对零值插值图像应用具有滤波器系数为{1/4，1/4，1/4，1/4，0}的LPF而获得的扩大后图像中，高频区域中的信号成分，特别是频率在fs和-fs附近的高频成分被削弱。 

因而，即使为了从通过对零值插值图像应用具有滤波器系数为{1/4，1/4，1/4，1/4，0}的LPF而获得的扩大后图像中提取与等于奈奎斯特频率fs/2两倍的频率fs相对应的从-fs到fs的频带，也由通带为-fs到fs的频带的宽带LPF滤波该扩大后图像，在作为滤波结果得到的扩大后图像中，高频带中的信号成分，也就是具有接近fs和-fs的频率的高频成分仍处于被削弱的状态。 

因而，即使在作为扩大处理而执行四倍的最邻近插值时，现有的分辨率增强技术也执行扩大后图像的加权加法，其中高频区域中的信号成分被削弱。 

图8A和8B示出了滤波器的特性，尤其是频率特性，其中，作为扩大处理而执行最邻近插值。 

具体地，图8A示出具有滤波器系数为{1/2，1/2，0}的LPF(也就是用于执行两倍的最邻近插值的最邻近插值滤波器)的特性，且图8B示出用于执行四倍的最邻近插值的具有滤波器系数为{1/4，1/4，1/4，1/4，0}的另一个LPF的特性。 

注意，图8A也示出具有滤波器系数为{1/4，1/2，1/4}的LPF(也就是用于执行两倍的线性插值的线性插值滤波器)的特性。此外，图8B也示出用于执行四倍的线性插值的具有滤波器系数为{1/16，2/16，3/16，4/16，3/16，2/16，1/16}的LPF的特性。 

如上所述，由于现有的分辨率增强技术执行对零值插值图像应用宽带LPF的扩大处理，所以，如果输入图像的数量少，例如一个，则获得其画面质量由于包括暗条纹图案而恶化的图像。 

此外，在采用线性插值或最邻近插值作为扩大处理时，无论使用多少数目的输入图像，加权加法均无法(充分地)恢复高频区域中的信号成分，且无法达到(充分的)分辨率增强。 

因此，图2中的图像处理设备执行这样的分辨率增强处理，其能够达到图像的柔和的分辨率增强，而无需依赖于输入图像的数量。 

换句话说，根据图2中的图像处理设备的分辨率增强处理，在输入图像的数量少时，例如一个，产生不包括暗条纹图案且保持某种程度的高画面质量(尽管分辨率不高)的图像，以及随着输入图像的数量的增加，产生更高分辨率和更高画面质量的图像。 

下面，将描述应用于图2中的图像处理设备的本发明中的特定实施例。 

第一实施例 

图9示出根据本发明第一实施例、图2中的图像处理设备的配置示例。 

图9中的图像处理设备接收例如在一个方向中包含混叠成分的图像，也就是包含一维混叠成分的图像，作为输入图像，以执行分辨率增强处理，其中，使用通过将多于一帧的输入图像扩大到两倍而获得的扩大后图像。 

例如，在一个方向上包含混叠成分的输入图像的示例为：通过去除不包括混叠成分的图像的每隔一行而获得的隔行图像。 

此外，假设在第一实施例中，输入图像为仅仅包含显示出不移动或几乎不移动的图像拍摄对象的静态画面，并且，高速地拍摄并提供多于一帧的这样的图像给图像处理设备。 

参考图9，图像处理设备包含存储部分21、移动检测部分22、扩大部分23、定位部分24、混合部分25、加法部分26、分离部分27和存储部分28。 

存储部分21对应于图2中显示的存储部分11。向存储部分21提供高速拍摄的多于一帧的输入图像。存储部分21暂时存储向其提供的多于一帧的输 入图像。 

移动检测部分22从在存储部分21中所存储的多于一帧的输入图像之中确定某一帧输入图像作为定位的标准，并且检测关于该标准的另一个输入图像的运动矢量，并向定位部分24提供所检测的运动矢量。 

例如，对于标准输入图像，可以采用存储在存储部分21中的多于一帧的输入图像中的第一帧输入图像，或者可替换地，采用位于时间中点或接近时间中点的一帧输入图像作为标准输入图像。 

在图9所示的图像处理设备中，并且也在下文中描述的图像处理设备中，通过对高速拍摄的多帧输入图像进行混合加法而获得高分辨率图像。如果由于相机抖动等、使得从每个像素采样的输入图像的位置(也就是图像拍摄对象的位置)在不同帧之间有微小地移动，则执行图9中所示的图像处理设备所执行的图像分辨率增强，尽管这也应用于现有的分辨率增强技术。 

例如，在要将数码相机高速拍摄的多帧图像合成、以产生作为一张照片的高分辨率图像的情况下，可被高速拍摄以产生这样的一张照片的输入图像的帧数例如为8。 

因此，在高速拍摄8帧输入图像时的相机抖动可被看作是匀速直线运动。在这种情况下，如果时间中点附近的第四帧或第五帧输入图像被确定为标准输入图像，并且执行其它输入图像相对于标准输入图像的定位，以执行8帧输入图像的合成，随后，与其中使用第一帧输入图像作为标准输入图像的替代情况相比，在标准输入图像的中间部分，可被用于这样的合成的像素的数量变大。结果，可以获得其中间部分比其周边部分示出更高分辨率的图像。 

注意，在下面的描述中，举例来说，在存储部分21中存储的多于一帧的输入图像之中的第一帧输入图像被用作标准输入图像。 

扩大部分23对应于图2中的扩大部分12。扩大部分23连续地将存储于存储部分21中的多于一帧的输入图像确定为关注的图像(noticed image)，且通过不同于零值插值的使用周围像素值的插值，来执行扩大被确定为关注的图像的输入图像的扩大处理。随后，扩大部分23向定位部分24提供经由扩大处理获得的扩大后图像。 

这里，在图9中，扩大部分23在存在混叠成分的垂直方向上执行将输入图像扩大到两倍的扩大处理。举例来说，如上面参考图4A到4D所描述的那样，扩大处理可以是这样的过程：对通过执行线性插值(也就是零值插值)而获 得的零值插值图像应用LPF。注意，对于该LPF，使用在某种程度上从其通过超过奈奎斯特频率fs/2的高频成分的LPF。 

注意，有时将在存储部分21中所存储的多于一帧的输入图像之中的第n帧图像称为输入图像An，并且，有时将输入图像An的扩大后图像称为扩大后图像Bn。 

定位部分24对应于图2中所示的定位部分13。定位部分24依据从移动检测部分22向其提供的运动矢量，执行将从扩大部分23向其提供的扩大后图像Bn的位置调整到输出图像Sn-1的位置的定位，其中该输出图像Sn-1是在前一操作周期中获得、且被存储于下面描述的存储部分28中。随后，定位部分24向混合部分25提供定位后图像Cn，即定位后的扩大后图像Bn。 

除了从定位部分24提供的定位后图像Cn之外，混合部分25从分离部分27接收在前一操作周期中获得、且被存储于存储部分28的输出图像Sn-1的低频成分Ln。 

混合部分25将来自分离部分27的低频成分Ln混入来自定位部分24的定位后图像Cn，也就是，混入定位后的扩大后图像Bn，并向加法部分26提供通过混合而获得的混合图像Dn。 

此处，将低频成分Ln混入定位后图像Cn意味着：定位后图像Cn和低频成分Ln的加权加法。 

除了由混合部分25提供的混合图像Dn以外，加法部分26从分离部分27接收在前一操作周期中获得、且被存储于存储部分28的输出图像Sn-1的高频成分Hn。 

加法部分26将来自分离部分27的高频成分Hn加到来自混合部分25的混合图像，且输出由相加而获得的图像，作为新的输出图像Sn，也就是作为使用输入图像An产生的图像。 

此处，将高频成分Hn加到混合图像Dn意味着：混合图像Dn和高频成分Hn的简单相加。 

此外，图9中的混合部分25和加法部分26对应于图2中所示的混合加法部分15。 

在下文中，上面所描述的这样的混合和加法被统称为混合加法。 

分离部分27对应于图2中所示的分离部分14。分离部分27将在前一操作周期中获得、且被存储于存储部分28中的输出图像Sn-1分离为低频成分 Ln和高频成分Hn，以产生下一个输出图像Sn，并且，向混合部分25和加法部分26提供该低频成分Ln和高频成分Hn。具体地，向混合部分25提供低频成分Ln，并向加法部分26提供高频成分Hn。 

存储部分28对应于图2中所示的存储部分16。存储部分28存储从加法部分26输出的输出图像Sn，并在情况需要时向外部输出该输出图像Sn。此外，存储部分28向分离部分27提供在前一操作周期存储的输出图像Sn-1，也就是，在前一操作周期中获得的输出图像Sn-1。 

举例来说，在图9中示出的具有如上所述配置的图像处理设备中，提供并向存储部分21存储高速拍摄的多于一帧的N帧输入图像，其在垂直方向上包括混叠成分。 

扩大部分23连续地将存储于存储部分21中的N帧输入图像确定为起始于第一帧输入图像的关注的图像，且通过使用周围像素的像素值的插值，来执行扩大被确定为关注的图像的输入图像An的扩大处理。随后，扩大部分23向定位部分24提供通过扩大处理获得的扩大后图像Bn。 

另一方面，移动检测部分22确定在存储部分21中存储的N帧输入图像中的第一帧输入图像A1作为标准输入图像，并相对于标准输入图像而检测输入图像An的运动矢量。随后，移动检测部分22向定位部分24提供检测后的运动矢量。 

该定位部分24依据从移动检测部分22向其提供的运动矢量，执行将从扩大部分23接收的扩大后图像Bn的位置调整到输出图像Sn-1的位置的定位，该输出图像Sn-1是在前一操作周期中获得、且被存储于存储部分28中。随后，定位部分24向混合部分25提供定位后图像Cn，即定位后的扩大后图像Bn。 

此处，如果从扩大部分23向定位部分24提供的扩大后图像Bn为作为定位标准的第一帧输入图像A1的扩大后图像B1，也就是，如果关注的图像为第一帧输入图像A1，作为同定位图像C1，定位部分24向混合部分25依照原样提供来自扩大部分23的扩大后图像B1。 

另一方面，分离部分27将在前一操作周期中获得、且被存储于存储部分28中的输出图像Sn-1分离为低频成分Ln和高频成分Hn。向混合部分25提供该低频成分Ln，且向加法部分26提供该高频成分Hn。 

混合部分25将来自分离部分27的低频成分Ln和来自定位部分24的定 位后图像Cn(即定位后的扩大后图像Bn)混合，也就是加权相加，并向加法部分26提供通过混合而获得的混合图像Dn。 

加法部分26向来自混合部分25的混合图像Dn加入来自分离部分27的高频成分Hn，并输出通过相加获得的图像，作为新的输出图像Sn。 

向存储部分28提供并存储从加法部分26输出的输出图像Sn。 

此后，重复相似的处理序列，直到确定在存储部分21中存储的N帧输入图像之中的第N帧输入图像为关注的图像为止，并且，对应于第N帧输入图像的输出图像Sn被存储到存储部分28。 

注意，在关注的图像为第一帧输入图像的情形下，由于在前一操作周期中获得的输出图像并没有被存储在存储部分28中，所以，实质上，分离部分27并不执行其处理。此外，混合部分25和加法部分26并不执行它们的处理。 

在这种情况下，作为输出图像S1，向存储部分28中依照原样存储由定位部分24获得的定位后图像C1，其等同于上文所描述的扩大后图像B1。 

现在，参考图10描述图9中所示的移动检测部分22。 

由移动检测部分22所检测的运动矢量被用于在上文中参考图9所描述的定位部分24对扩大后图像Bn和输出图像Sn-1的定位。 

此处，为了执行扩大后图像Bn和输出图像Sn-1的定位，期望得到表示扩大后图像Bn和输出图像Sn-1之间位移的位移信息。 

例如，对于位移信息，可以采用扩大后图像Bn相对于输出图像Sn-1的运动矢量。 

然而，由于扩大后图像(也可以是输出图像)是通过增加输入图像的像素数量而获得的图像，所以，其包括增加的像素数量，并且，如上所述，如果采用这样的包含大量像素的图像作为对象而执行运动矢量的检测，则需要大量的数学运算。 

因此，图9中示出的移动检测部分22使用扩大部分23进行扩大之前的输入图像An作为对象，来执行运动矢量的检测，其中该输入图像An是具有较少数量像素的图像，由此与扩大后图像Bn被用作检测运动矢量的对象的替代情形相比，减少了数学运算量。 

图10示出示于图9中的移动检测部分22的配置的示例。 

此处，可以使用块匹配方法、梯度方法或其它任意方法作为用于检测运动矢量的方法。 

例如，示于图10中的移动检测部分22采用块匹配方法作为检测运动矢量的方法。 

参考图10，移动检测部分22包括水平LPF 41和42、垂直LPF 43和44、块匹配部分45和统计处理部分46。 

从存储部分21(图9)向水平LPF 41提供用作标准输入图像的输入图像A1。由存储部分21向水平LPF提供关注的图像，即相对于要被用作标准输入图像的输入图像A1的运动矢量检测对象的输入图像An。 

水平LPF 41在水平方向上对输入图像A1滤波，并向垂直LPF 43提供滤波后的输入图像A1。 

垂直LPF 43在垂直方向上对来自水平LPF 41的输入图像A1滤波，并向块匹配部分45提供滤波后的输入图像A1作为标准图像M1，其被用作用于检测运动矢量的标准图像。 

水平LPF 41和垂直LPF 43被采用，以便去除或减少除了包含在输入图像A1中的信号成分之外的混叠成分、噪声等，例如，水平LPF 41和垂直LPF43可以是滤波器系数为{68/1024，89/1024，107/1024，120/1024，128/1024，128/1024，120/1024，107/1024，89/1024，68/1024}的滤波器。 

相应地，水平LPF 42和垂直LPF 44类似于水平LPF 41和垂直LPF 43。 

具体地，水平LPF 42在水平方向上对作为被关注的图像的输入图像An滤波，并向垂直LPF 44提供滤波后的输入图像An。垂直LPF 44在垂直方向上对来自水平LPF 41的输入图像An滤波，并向块匹配部分45提供滤波后的输入图像An作为比较图像Mn，其将被用作运动矢量检测的对象。 

块匹配部分45将来自垂直LPF 43的标准图像M1分割为多个小块。现在，如果将标准图像M1的小块称为标准块，则块匹配部分45执行块匹配，即，从来自垂直LPF 44的比较图像Mn中搜索最类似于标准块的块，从而为各个标准快检测运动矢量。 

随后，在块匹配部分45从标准图像M1的所有标准块中检测运动矢量之后，其向统计处理部分46提供运动矢量。 

例如，通过统计处理，统计处理部分46从来自块匹配部分45的标准图像M1的所有标准块的运动矢量确定代表全部比较图像Mn相对于标准图像M1的运动的全局运动矢量。 

具体地，例如，统计处理部分46确定标准图像M1的所有标准块的运动 矢量的长度，即矢量长度，并确定矢量长度的均值μ和标准偏差σ。此外，统计处理部分46在标准图像M1的所有标准块的运动矢量中排除其矢量长度不在均值μ±标准偏差σ的范围内的那些运动矢量，并确定在排除之后剩下的那些运动矢量的均值作为全局运动矢量。 

通过在这种方式下排除其矢量长度不包括在均值μ±标准偏差σ的范围内的那些运动矢量，可以在没有那些具有高错误概率的运动矢量的情况下，确定高精度地表示全部比较图像Mn相对于标准图像M1的运动的全局运动矢量。 

图9中示出的定位部分24使用如上所述的这样的全局运动矢量，执行扩大后图像Bn的定位。 

回到图9，扩大部分23仅在垂直方向上将输入图像的像素数量增加到两倍，以确定扩大后图像。在该情形下，垂直方向中的扩大后图像的范围(scale)等于两倍于运动矢量或通过使用输入图像而确定的全局运动矢量的该范围。 

因此，移动检测部分22将通过统计处理部分46获得的全局运动矢量的范围调整到扩大后图像的范围。在当前情形下，移动检测部分22将从统计处理部分46中获得的全局运动矢量在垂直方向中的分量，也就是y分量，增加到两倍，并向定位部分24提供由此产生的全局分量。 

随后，定位部分24基于来自移动检测部分22的全局运动矢量，执行移动扩大后图像的位置的定位，从而产生经过定位的图像，其是相对于输出图像定位的扩大后图像。 

现在，参考图11A和11B更加详细地描述图10中所示的由块匹配部分45进行的运动矢量检测。 

图11A示出了标准图像M1，图11B示出比较图像Mn。 

例如，块匹配部分45在水平和垂直方向上，将标准图像M1分割为多个具有32像素×32像素大小的标准块，并对于标准块执行块匹配。具体地，块匹配部分45搜索每个标准块位移到了比较图像Mn中的什么位置，并检测位移量作为标准块的运动矢量。 

将要在其内搜索每个标准块的比较图像Mn的搜索范围例如设置为：向对于标准块的位置的、在水平和垂直方向中96个像素×96个像素的范围。 

块匹配部分在比较图像Mn的搜索范围内，以像素为单位连续地位移与标准块的大小相同的大小的32个像素×32个像素的参考块，以执行对最类 似于标准块的参考块的位置的搜索。 

具体地，块匹配部分45使用标准块和参考块之间的相关值作为用于估计标准块和参考块之间的相似度的估计值，并确定关于位于搜索范围中的各个位置的每个参考块的相关值。 

此处，在搜索范围为96个像素×96个像素的范围、且参考块为32个像素×32个像素的块时，由整数值vx和vy代表相对于标准块的参考块的相对位置(vx，vy)，vx和vy分别处于表达式-32≤vx≤+32的范围和另一个表达式-32≤vy≤+32的范围。因而，在这种情况下，关于65×65个位置处的参考块而确定相关值。 

例如，作为该相关值，可使用关于标准块和参考块中所有的像素的、标准块的像素的亮度值和参考块相同位置处的像素的亮度值之间差的绝对值的总和，即，差值绝对值总和SAD(绝对差值的和)。 

现在，如果由(x0，y0)代表位于标准块的左上角的像素的坐标，且由SAD(vx，vy)代表关于相对于标准块的相对坐标为(vx，vy)的参考块的相关值，则可根据下面的表达式(1)确定相关值SAD(vx，vy)： 

SAD(vx，vy)＝∑x∑y|M1(x0+x，y0+y)-Mn(x0+vx+x，y0+vy+y)|…(1) 

其中，M1(x0+x，y0+y)代表例如在标准图像M1的位置或坐标(x0+x，y0+y)处的像素的亮度值的像素值，Mn(x0+vx+x，y0+vy+y)代表标准图像Mn的位置(x0+vx+x，y0+vy+y)处的像素的像素值，∑x代表x连续从整数值0变化到31的情况下的总和，且∑y代表y连续从整数值0变化到31的情况下的总和。 

块匹配部分45检测坐标，即绝对坐标(vx，vy)，其使表达式(1)中的相关值SAD(vx，vy)最小化，作为标准块的运动矢量。 

现在，参考图12A到图12E描述图9中所示的扩大部分23。 

扩大部分23在垂直方向上执行增加在图9中所示的存储部分21中存储的输入图像An的像素数量的扩大处理，以产生扩大后图像Bn。 

如上面参考图6A到6D或7A到7D所描述的，现有的分辨率增强处理采用零值插值和由宽带LPF对通过零值插值而获得的零值插值图像滤波，作为包括混叠成分的输入图像的扩大处理。在这种情况下，扩大后图像等价于零值插值图像等等，且包括暗条纹图案。 

另一方面，扩大部分23包括已用于不包括混叠成分的输入图像的扩大的零值插值和由LPF进行滤波，作为包括混叠成分的输入图像的扩大处理，该 LPF从由零值插值获得的零值插值图像中削弱超过奈奎斯特频率fs/2的频率成分，但留下少量的这样的频率成分。 

作为刚描述的扩大部分23的扩大处理，使用输入图像的周围像素值的各类插值，例如线性插值、最邻近插值和三次卷积是可用的。 

尽管对于扩大部分23的扩大处理可以采用任何插值(只要其使用输入图像的周围像素值)，但优选地，插值在输入图像的高频区域中留下一些频率成分，即位于频率fs周围的一定量的频率成分。 

图12A示出图9中所示的扩大部分23的配置示例。 

例如，示于图12A中的扩大部分23通过线性插值，将输入图像扩大为扩大后图像，其中，垂直方向中的像素数量加倍。 

参考图12A，扩大部分23包括插值部分61和垂直LPF 62。 

插值部分61接收从图9中所示的存储部分21向其提供的输入图像。在来自存储部分21的输入图像的垂直方向上，插值部分61执行在每个相邻像素之间插入一个零值点的零值插值，并向垂直LPF 62提供由零值插值获得的零值插值图像。 

注意，在零值插值中，调整原始像素值，使得如上面参考图4A到7D所描述的那样，在零值插值后，像素值的平均值不变化。在下面的描述中，适当地省略这样的像素值调整的描述。 

例如，垂直LPF 62具有{1/4，1/2，1/4}的滤波器系数，且在垂直方向上对来自插值部分61的零值插值图像滤波，以产生扩大后图像，其中，通过线性插值而使得输入图像在垂直方向上的像素数量加倍。随后，垂直LPF 62向图9中所示的定位部分24提供所产生的扩大后图像。 

图12B示出输入图像在垂直方向上的频率特性，其中，输入图像是扩大部分23进行扩大处理的对象。 

如上所述，在第一实施例中，输入图像在垂直方向上包括混叠成分。在图12B中，实曲线指示信号成分，而虚曲线则指示混叠成分。 

图12C示出了在由插值部分61对所获得的输入图像进行零值插值之后，零值插值图像在垂直方向上的频率特性。 

尽管在对包括混叠成分的输入图像(例如，对其中频率成分的最大频率为频率fs、且没有混叠成分的图像去除每隔一行而产生的输入图像)执行零值插值而获得的零值插值图像上，图12C中由实曲线所指示的覆盖从-fs到fs的整 个频带的信号成分被再现，但是，如上面参考图6A到6D所描述的，在图12C中由虚曲线指示的混叠成分也被再现。 

图12D示出通过利用垂直LPF 62对图12C中所示的零值插值图像滤波所获得的图像(也就是，通过对输入图像线性插值而获得的扩大后图像)的频率特性。 

尽管在通过利用垂直LPF 62对图12C中所示的零值插值图像滤波而获得的扩大后图像中，可以削弱从fs/2到fs的高频区域中的混叠成分，但fs/2到fs的高频区域中的信号成分同样被削弱。反言之，在扩大后图像中，尽管仍有少量在fs/2到fs的高频区域中的混叠成分，但在从fs/2到fs的高频区域中的信号成分也仍有少量。 

图12E示出垂直LPF 62的滤波器特性，即频率特性。 

图12C所示零值插值图像成为图12D中的扩大后图像，其中，通过由图12E中所示的滤波器特性的垂直LPF 62滤波，而削弱高频区域fs/2到fs中的频率成分。 

注意，尽管在图12A到12E中，通过利用插值部分61执行零值插值并利用垂直LPF 62对因此获得的零值插值图像滤波、从而产生其中通过线性插值而扩大输入图像的扩大后图像，但在实际实践中，仅可通过向输入图像中插入线性插值的插值值产生扩大后图像。在这种情况下，相比于执行零值插值和滤波的可替代方式，可以减少产生扩大后图像所需要的数学运算的数量。 

现在，参考图13A到13G描述图9中所示的定位部分24。 

图13A示出图9中所示定位部分24的配置示例。 

参考图13A，定位部分24包括水平多抽头APF(全通滤波器)71和垂直多抽头APF 72。 

从图9中所示的定位部分24向水平多抽头APF 71提供扩大后图像Bn，且提供使用与扩大后图像Bn相对应的输入图像An确定的全局运动矢量，作为来自图9所示移动检测部分22的扩大后图像Bn的运动矢量。 

基于来自移动检测部分22的扩大后图像Bn在水平方向上的运动矢量的分量，即基于运动矢量的x分量，水平多抽头APF 71对来自定位部分24的该扩大后图像Bn滤波，以将该扩大后图像Bn(也就是，扩大后图像Bn中的像素的位置)移动与扩大后图像Bn的运动矢量的x分量相对应的量。随后，该水平多抽头APF 71向垂直多抽头APF 72提供因此移动的扩大后图像Bn。 

基于来自移动检测部分22的扩大后图像Bn在垂直方向上的运动矢量的分量，即基于运动矢量的y分量，垂直多抽头APF 72对来自水平多抽头APF71的该扩大后图像Bn滤波，以将该扩大后图像Bn(也就是，扩大后图像Bn中的像素的位置)移动与扩大后图像Bn的运动矢量的y分量相对应的量。随后，垂直多抽头APF 72向图9中所示的混合部分25提供因此而获得的扩大后图像Bn，作为定位后图像Cn，其是在相对于存储在存储部分28中的输出图像Sn-1(也就是前一帧的输出图像)定位之后的扩大后图像Bn，即，作为定位之后的扩大后图像Bn。 

在上面所描述的以这样的方式配置的定位部分24中，基于扩大后图像Bn的运动矢量，水平多抽头APF 71和垂直多抽头APF 72对该来自移动检测部分22的扩大后图像Bn滤波，以产生定位后图像Cn，其中，扩大后图像Bn的像素被调整到存储于存储部分28的输出图像Sn-1的相应像素的位置，即，被调整到在其上拍摄相同的图像拍摄对象的图像的像素的位置。 

具体地，如果假设来自移动检测部分22的扩大后图像Bn的运动矢量V为V＝(-Vx，-Vy)，则基于运动矢量V，定位部分24通过对应于运动矢量V的矢量(Vx，vy)来显示扩大后图像Bn，即扩大后图像Bn的像素，以将扩大后图像Bn调整到输出图像Sn-1的位置。 

具体地，如果在水平方向和垂直方向之间、对水平方向关注，则在运动矢量V的x分量-Vx为整数时，水平多抽头APF 71在水平方向上将扩大后图像Bn移动Vx，以产生定位后图像Cn，其画面质量相比于扩大后图像Bn没有恶化。 

如果运动矢量V的x分量-Vx不是整数，则水平多抽头APF 71在水平方向上将扩大后图像Bn移动整数int(Vx)(int(x)代表小于x的最大整数)。此外，垂直多抽头APF 72执行这样的滤波，即，对在水平方向上从移动后的扩大后图像Bn的每个像素位移了小数Vx-int(Vx)的位置的像素进行插值，以产生通过如刚描述的插值而获得的像素组成的图像，作为定位后图像Cn。 

注意，为了产生高分辨率的输出图像，即包括比奈奎斯特频率更高的频率的信号成分的输出图像，优选地，通过由水平多抽头APF 71进行插值，使得扩大后图像Bn的高频成分不恶化。 

因此，尽管sinc函数依照原样被水平多抽头APF 71用于插值滤波的滤波器系数，但这使得抽头长度无限大。因此，作为水平多抽头APF 71，实际上 使用通过将sinc函数乘以窗函数而限制其抽头数的LPF。注意，为了尽可能多地通过所有包含于扩大后图像Bn中的频率成分，水平多抽头APF 71由尽可能多的数目的抽头形成，使得其频率特性在包括于扩大后图像Bn的频率成分之中的低于最大频率的频率处变得尽可能平坦，且滚降(roll-off)变得尽可能陡峭。 

此处，如果假设水平多抽头APF 71执行像素的插值，例如，其中以8比特代表小数的精度，即以其中在水平方向中将扩大后图像Bn的相邻像素之间的距离均分为2⁸个部分的精度，则水平多抽头APF 71的一个抽头的滤波器系数可以呈现为256(＝2⁸)个不同的值。 

此外，举例来说，如果假设水平多抽头APF 71的抽头数量为8，则根据滤波器的对称性，则8抽头滤波器系数可呈现的值的模式的数量为256×8/2。 

因而，如果从sinc函数确定256×8/2个模式的滤波器系数，并将其存储为阵列，该阵列在水平多抽头APF 71中使用代表滤波器系数的小数Vx-int(Vx)的8比特作为自变量，那么，在每次执行用于插值的滤波时，水平多抽头APF71不需要对滤波器系数进行数学运算。结果，可以减少数学运算量。 

在该示例中，水平多抽头APF 71从来自图9所示的移动检测部分22的运动矢量确定小数Vx-int(Vx)。此外，水平多抽头APF 71确定使用代表小数Vx-int(Vx)的8比特作为自变量的滤波器系数，并随后执行滤波。 

垂直多抽头APF 72也执行这样的滤波，即，以与水平多抽头APF 71相似的方式，在垂直方向上执行扩大后图像Bn的定位。 

注意，第一帧输入图像A1的扩大后图像B1被依照原样存储到存储部分28中，且变为输出图像S1。因此，由图9中所示的定位部分24将扩大后图像Bn定位到输出图像Sn-1等价于：将扩大后图像Bn调整到扩大后图像B1的位置。 

图13B示出作为定位部分24的定位对象的扩大后图像Bn在水平方向上的频率特性。 

该扩大后图像Bn在水平方向中不包括混叠成分，且因此，仅包括存在于低于奈奎斯特频率fs/2的频率中的信号成分。 

图13C示出定位后图像Cn在水平方向中的频率特性，该定位后图像Cn是通过定位部分24执行扩大后图像Bn的定位而获得的。 

形成水平多抽头APF 71，以便包括尽可能多的数目的抽头，使得其频率 特性在包含于扩大后图像Bn中的低于水平方向中的频率成分的最大频率fs/2的频率处变得尽可能平坦，从而尽可能地允许包含在扩大后图像Bn的水平方向中的所有频率成分经由其通过。因此，理想地，定位后图像Cn在水平方向中的频率特性与扩大后图像Bn在水平方向的频率特性相同。 

图13D示出水平多抽头APF 71的滤波器特性。 

理想地，水平多抽头APF 71使在扩大后图像Bn在水平方向中包括的所有频率成分(即，在水平方向中不包括任何混叠成分的扩大后图像Bn的频率成分中低于频率fs/2的频率成分)通过。 

注意，依赖于通过滤波对其执行插值的像素在水平方向中的位置，即依赖于小数Vx-int(Vx)，水平多抽头APF 71的滤波器特性在某种程度上不同。具体地，水平多抽头APF 71具有这样的滤波器特性，即，随着小数Vx-int(Vx)的增大，在频率fs/2附近的增益减小。 

图13E代表扩大后图像Bn在垂直方向中的频率特性，该扩大后图像Bn是定位部分24的定位对象。 

图13E与图12D相同，且在扩大后图像Bn中，在从fs/2到fs的高频区域内的频率成分，即信号成分和混叠成分被削弱。注意，实曲线指示信号成分，而虚曲线则指示混叠成分。 

图13F示出定位后图像Cn在垂直方向上的频率特性，该定位后图像Cn是通过由定位部分24执行扩大后图像Bn的定位而获得的。 

形成垂直多抽头APF 72，以便包括尽可能多的数目的抽头，使得其频率特性在包含于扩大后图像Bn中的低于垂直方向中的频率成分的最大频率fs/2的频率处变得尽可能平坦，从而尽可能地允许包含在扩大后图像Bn的垂直方向中的所有频率成分通过。因此，理想地，定位后图像Cn在垂直方向中的频率特性与扩大后图像Bn在垂直方向的频率特性相同。 

图13G示出垂直多抽头APF 72的滤波器特性。 

理想地，垂直多抽头APF 72使包括在扩大后图像Bn中的在垂直方向上的所有频率成分通过，即，相对于在垂直方向中包括混叠成分的扩大后图像Bn，使低于频率fs的所有频率成分通过。 

注意，类似于水平多抽头APF 71中的情形，依赖于在垂直方向中通过滤波对其执行插值的像素的位置，即小数Vy-int(Vy)，垂直多抽头APF 72的滤波器特性在某种程度上不同。具体地，具有有限数量抽头的垂直多抽头APF 72 具有这样的滤波器特性，即，随着小数Vy-int(Vy)的增加，在频率fs附近的增益减小。 

现在，参考图14A到14C描述图9中所示的分离部分27。 

图14A示出图9中所示分离部分27的配置的示例。 

参考图14A，分离部分27包括垂直LPF 81和数学运算部分82，并且如上面所描述的，其将存储于存储部分28中的输出信号Sn-1分离为低频成分Ln和高频成分Hn。 

具体地，向垂直LPF 81提供存储于存储部分28中的输出图像Sn-1。 

垂直LPF 81在垂直方向上对来自存储部分28的输出图像Sn-1滤波，以提取输出图像Sn-1的低频成分Ln，并向数学运算部分82和混合部分25提供该低频成分Ln。 

不但从垂直LPF 81向数学运算部分82提供该低频成分Ln，而且向数学运算部分82提供存储于存储部分28中的输出图像Sn-1。 

数学运算部分82从由存储部分28中提供的输出图像Sn-1减去从垂直LPF 81提供的低频成分Ln，以从输出图像Sn-1中提取高频成分Hn，并将该高频成分Hn提供给加法部分26。 

图14B示出垂直LPF 81的滤波器特性。 

作为垂直方向(即，包含在输入图像中的混叠成分的方向)中的滤波器特性，分离部分27的垂直LPF 81具有与图12A到12E中所示的扩大部分23的垂直LPF 62和图13A到13G中所示的定位部分24的垂直多抽头APF 72的级联连接所形成的滤波器的特性相同的特性。 

注意，在图9的图像处理设备中，由于图13A到13G中所示的定位部分24的垂直多抽头APF 72是使包含在扩大后图像Bn中的垂直方向上的所有频率成分通过的多抽头APF，所以，该垂直LPF 81的滤波器特性最终与图12E中所示的扩大部分23中的垂直LPF 62的滤波器特性相同。 

如上所述，在图9的图像处理设备中，扩大部分23的垂直LPF62的滤波器系数为{1/4，1/2，1/4}，且由此，采用具有滤波器系数为{1/4，1/2，1/4}的LPF作为垂直LPF 81。 

图14C示出通过加法部分26所获得的输出图像Sn的在垂直方向上频率特性的变型。 

注意，在图14C中，实曲线指示信号成分，而虚曲线则指示混叠成分。 

如果存储于图9所示存储部分21中的N帧输入图像中的第一帧被确定为关注的图像，则如上面所描述的那样，将第一帧输入图像A1的扩大后图像B1依照原样存储到存储部分28中，作为输出图像S1

此后，在存储于图9所示的存储部分中的N帧输入图像被连续地确定为关注的图像时，重复混合加法，其中，通过混合部分25将来自定位部分24的定位后图像Cn和输出图像Sn-1的低频成分Ln混合，以产生混合图像Dn，且通过加法部分26将混合图像Dn和输出图像Sn-1的高频成分Hn相加，以产生新的输出图像Sn。 

结果，随着混合加法的进行，通过使用作为关注的图像的第一帧输入图像A1执行混和加法而获得的输出图像S具有与输入图像A1相同的分辨率且包含混叠成分，也就是，随着被用作关注的图像的输入图像An的数量的增加，通过混合加法而获得的输出图像Sn成为更高画面质量的图像，其通过恢复从fs/2到fs的高频区域中的信号成分而具有更高分辨率，且其中混叠成分逐渐地被削弱。 

采用具有与图12A到12E中所示的扩大部分23的垂直LPF 62和图13A到13G中所示的定位部分24的垂直多抽头APF 72级联连接所形成的滤波器的特征相同的特性的滤波器，作为分离部分27的垂直LPF 81，且另外，依赖于下面的原理，通过执行混合或加权相加低频成分Ln、并加入高频成分Hn的混合加法，而恢复从fs/2到fs的高频区域中的输出图像Sn的信号成分，且如上所述，随着混合加法的进行，混叠成分被削弱。注意，刚才所描述的原理在下文中被称作分辨率增强原理。 

具体地，在分离部分27中，垂直LPF 81在垂直方向中对来自存储部分28的该输出图像Sn-1滤波，以提取输出图像Sn-1中的低频成分Ln，并向数学运算部分82和混合部分25提供低频成分Ln。 

现在，如果输出图像Sn-1的位置t处的像素的像素值被表示为s’(t)，输出图像Sn-1的低频成分Ln中的位置t处的像素的像素值的低频成分被表示为l(t)，且输出图像Sn-1的高频成分Hn中位置t处的像素的像素值的高频成分被表示为h(t)，则数学运算部分82对输出图像Sn-1的所有像素执行下面所给出的表达式(2)的数学运算，以确定输出图像Sn-1的高频成分Hn。随后，数学运算部分82向加法部分26提供高频成分Hn。 

h(t)＝s’(t)-l(t)    ...(2) 

另一方面，混合部分25将来自图9中所示的定位部分24的定位后图像Cn和来自分离部分27的低频成分Ln混合，并向加法部分26提供通过混合而获得的混合图像Dn。 

具体地，如果混合图像Dn的位置t处的像素的像素值被表示为d(t)，且定位后图像Cn在位置t处的像素的像素值被表示为c(t)，则混合部分25对混合图像Dn中的所有像素执行下面表达式(3)给出的数学运算，即加权加法，以确定混合图像Dn。随后，混合部分25向加法部分26提供确定后的混合图像Dn。 

d(t)＝α×c(t)+(1-α)×l(t)    ...(3) 

其中，混合比率α为用于混合的加权加法的权重，且具有在0＜α＜1范围内的实数值。 

混合比率α可以是一个固定值，如0.3。 

或者，如下文所述，响应于位置t处的像素的移动的程度，混合比率α可以被调整到在0＜α’＜1范围内的另一个混合比率α’，以使得调整之后的混合比率α’替换混合比率α被使用。 

或者，混合比率α可以是例如这样的可变值，其依赖于用于下文中所描述的混合加法的定位后图像Cn所对应的输入图像An的帧数。 

加法部分26将来自混合部分25的混合图像Dn与来自分离部分27的输出图像Sn-1的高频成分Hn相加，以产生新的输出图像Sn。 

具体地，如果输出图像Sn的中位置t处的像素的像素值由s(t)表示，则加法部分26对输出图像Sn中的所有像素执行由下面给出的表达式(4)表示的数学运算，即加法，以确定输出图像Sn： 

s(t)＝d(t)+h(t)    ...(4) 

此处，图9中所示的扩大部分23产生扩大后图像Bn，其中，在上文中参考图12A到12E描述的从fs/2到fs的高频区域中在垂直方向中的频率成分被削弱。因此，如果仅仅将产生自这样的刚才所描述的扩大后图像Bn的定位后图像Cn和输出图像Sn-1相加，则通过加法而获得的输出图像Sn仍旧成为在其中从fs/2到fs的高频区域中的频率成分被削弱的图像。 

另一方面，在混合加法中，将输出图像Sn-1中的低频成分Ln与定位后图像Cn混合，且高频成分Hn被加到定位后图像Cn。由于使用定位后图像Cn和由此的足够帧数的输入图像An来执行这样的混合加法，所以，产生了 这样的输出图像Sn，其中，从fs/2到fs的高频区域中的频率成分也被再现。 

具体地，由扩大部分23的插值部分61对在垂直方向上包含混叠成分的输入图像An进行零值插值获得的零值插值图像包含：信号成分A，其对于所有高速拍摄的连续输入图像A1到AN是共有的；以及混叠成分Zn，其是第n帧输入图像An唯一的。因此，可由表达式A+Zn来表示输入图像An的零值插值图像。 

现在，由F表示由在垂直方向(即，混叠成分的方向)上执行滤波的图12A到12E中所示扩大部分23的垂直LPF 62、以及在垂直方向(即，混叠成分的方向)上执行滤波的定位部分24的垂直多抽头APF 72的级联连接而形成的滤波器的特性。在该情况下，由下面的表达式(5)表示用作混合加法的定位后图像Cn： 

Cn＝F×(A+Zn)＝F×A+F×Zn    ...(5) 

例如，如果由于相机抖动，高速拍摄的连续输入图像A1到AN具有不同的采样位置，即具有不同的图像拍摄对象的位置，则尽管信号成分A一致或共同，则如图1所见，混叠成分Zn也具有不同相位。 

此处，在要加权相加定位后图像Cn和输出图像Sn-1的情况下，即，例如n个定位后图像C1到CN的均值被用作输出图像Sn，获得由下面的表达式(6)所表示的输出图像Sn： 

Sn＝∑k(Ck/n)＝F×A+F×(∑k(Zk))/n    ...(6) 

其中，∑k表示k从整数值0到n连续变化时的总和。 

在表达式(6)中，由于在某种程度上，混叠成分Zk彼此抵消，所以，混叠成分Zk的总和∑k(Zk)并不显示出非常高的值。随后，随着被用作加权加法的定位后图像Cn的帧数n的增加，表达式(6)右侧的第二项F×(∑k(Zk))/n减小。 

如果被用作加权加法的定位后图像Cn的帧数足够大，则可以认为表达式(6)右侧的第二项F×(∑k(Zk))/n为0，且在这种情况下，可由下面的表达式(7)表示表达式(6)的输出图像Sn： 

Sn＝F×A    ...(7) 

如上所述，在要加权相加定位后图像Cn和输出图像Sn-1时，可以通过足够帧数n的定位后图像Cn去除混叠成分Zn。 

然而，仅仅通过加权加法而获得的表达式(7)的输出图像Sn是作为利用具 有滤波器特性F的LPF来对信号成分A滤波的结果，且高频区域中的信号成分不能被恢复。 

另一方面，通过混合加法，除了混合之外还执行加法，即加权加法，且因此，除了去除混叠成分，还执行高频区域中的信号成分的恢复。 

具体地，由于在垂直方向(即，混叠成分的方向)上执行滤波的图14A到14C所示的分离部分27的垂直LPF 81具有与图12A到12E所示的扩大部分23的垂直LPF 62和定位部分24的垂直多抽头APF 72的级联连接所形成的滤波器的滤波器特性F相同的特性，所以，可由下面的表达式(8)表示垂直LPF81获得的输出图像Sn-1的低频成分Ln： 

Ln＝F×Sn-1    ...(8) 

同时，可由下面的表达式(9)表示通过分离部分27的数学运算部分82所获得的输出图像Sn-1的高频成分Hn： 

Hn＝(1-F)×Sn-1    ...(9) 

此外，可由下面的表达式(10)表示利用图9所示的混合部分25，由混合，即加权加法所获得的混合图像Dn： 

Dn＝α×Cn+(1-α)×Ln    ...(10) 

此外，可由下面的表达式(11)表示通过图9所示加法部分26的加法所获得的新的输出图像Sn： 

Sn＝Dn+Hn    …(11) 

表达式(11)可以从表达式(8)到(11)变换为下面的表达式(12)： 

Sn＝α×Cn+(1-α)×F×Sn-1+(1-F)×Sn-1    ...(12) 

此外，通过向表达式(12)代入表达式(5)而消除Cn，获得下面的表达式(13)： 

Sn＝(1-αF)×Sn-1+α×F×A+α×F×Zn    ...(13) 

根据表达式(13)，可以使用前一帧的输出图像Sn-1，即在前一操作周期中获得输出图像，来表示由混合加法获得的新的输出图像Sn。 

由于在混合加法中加入高频区域中的频率成分，所以，如果要用于混合加法的定位后图像Cn的帧数足够多，则混叠成分Zn中的高频区域中的成分为0、或与在上面结合表达式(6)和(7)所描述的情况一样类似地被去除。 

此外，由于在混合加法中、同样通过加权加法加入低频成分中的频率成分，其中，混合比率α被用作权重，或者，换句话说，由于以不同比率加入 不同帧的定位后图像Cn的低频成分，所以，如果要用于混合加法的定位后图像Cn的帧数n足够大，则混叠成分Zn中的低频成分变为零。 

此外，由于在混合加法中，类似地，向上面所描述的低频区域和高频区域中的频率成分加入在高频区域和低频区域之间的中频区域中的频率成分，所以，在要被用于混合加法的定位后图像Cn的帧数n足够大时，混叠成分Zn中的中频区域中的成分同样为零。 

因此，当要被用于混合加法的定位后图像Cn的帧数n足够大时，表达式(13)的混叠成分Zn变为零，且可由下面的表达式(14)表示输出图像Sn： 

Sn＝(1-α)×Sn-1+α×F×A    ...(14) 

通过作为递归方程来求解表达式(14)，获得下面的表达式(15)： 

Sn＝A+(1-αF)n-1×(S1-A)    ...(15) 

例如，如果如上所述、滤波器特性F的LPF具有滤波器系数{1/4，1/2，1/4}，则滤波器增益的范围在覆盖小于fs的整个频带上是从0到1，使得直流成分的增益为最大值1，高频区域中的频率成分的增益为最小值0。 

因此，表达式(15)中的1-αF在整个频带上显示出等于或小于1的值，使得其最小值，即最小增益为1-α，且其最大值，即最大增益为1。 

因此，随着要被用于混合加法的定位后图像Cn的帧数n增加，(1-αF)n-1趋向于零，而随着帧数n变得足够大，其等于零。 

因此，输出图像Sn具有初始值S1，且由此为当执行定位后图像C1的混合加法时的最初的定位后图像C1，但是随着混合加法被重复，输出图像Sn逐渐地趋向于信号成分A。换句话说，可以获得从中去除混叠成分且恢复高频区域中的信号成分的输出图像Sn＝A。 

注意，如上所述，尽管通过混合加法去除了混叠成分，且恢复了高频区域中的信号成分，但不同于常见的强调处理(增强)，不强调特定的频率成分。 

具体地，如果重复常见的重点处理，则有时会过度地强调特定的频率成分，通过混合加法的重复，输出图像Sn趋向于包括在输入图像A1到An中的信号成分A。 

如上所述，利用图9所示的执行混合加法的图像处理设备，可以实现图像的柔和的分辨率增强。 

具体地，获得高分辨率的输出图像，即具有在高频区域中恢复的频率成分的输出图像，其中，随着输入图像的帧数增加，即随着要被用于混合加法 的图像数量增加，混叠成分减小越来越多的量。 

此外，由于扩大部分23使用通过使用输入图像周边的像素的插值(例如，线性插值)所产生的扩大后图像、来执行混合加法，所以，即使从某个区域中只有少量的图像可被用作输入图像，极端地，即使只有一个图像可用，不同于现有的分辨率增强技术，也可防止向用户提供包括暗条纹图案的图像的情况。具体地，例如，甚至在只有一个图像可用作输入图像的最坏的情况下，作为要提供给用户的图像的画面质量，也确保是值得用于实际使用的画面质量，即，通过线性插值等等获得的图像的画面质量。 

注意，当执行滤波器系数为{1/4，1/2，1/4}的线性插值的垂直LPF 62被用作图12中的扩大部分23的滤波器时，例如，执行具有滤波器系数为{1/2，1/2，0}等的最邻近插值的另一滤波器、执行具有滤波器系数为{-1/16，0，9/16，9/16，0，-1/16}的三次插值的另一滤波器、或某个其它滤波器可替代垂直LPF 62作为扩大部分23的滤波器而被使用。 

如上所述，当采用这样的执行最邻近插值的滤波器、或执行三次插值的滤波器作为扩大部分23的滤波器时，在图14A到14C中所示的分离部分27中也采用具有与扩大部分23中的滤波器的滤波器特性相同的滤波器特性的滤波器，以替代垂直LPF 81。 

此外，尽管在上文所描述的情形中、采用具有与由扩大部分23的滤波器(即，示于图12A到12E的垂直滤波器62)、以及定位部分24的滤波器(即，示于图13A到13G的垂直多抽头APF 72)的级联连接而形成的滤波器(在下文中，通过级联连接而形成的滤波器也可称为级联连接滤波器)的滤波器特性相同的滤波器特性的滤波器作为分离部分27的滤波器(即，作为图14所示的垂直LPF 81)，但分离部分27的滤波器也可以具有与级联连接滤波器的滤波器特性相似的特性。 

此外，尽管在上面所描述的情形中、Zn表示包括在输入图像An中的混叠成分，但Zn也可以表示包含在输入图像An中的可包括混叠成分的噪声成分。如果噪声成分按照高斯分布的方式分布，则因为噪声成分通过相加(即，通过加权加法)而互相抵消，所以，通过混合加法可以获得噪声成分互相抵消的输出图像。 

此外，尽管在图10中、移动检测部分22检测运动矢量，且定位部分24基于运动矢量而执行扩大后图像和输出图像的定位，但是，例如，移动检测 部分22也可以确定仿射变换的系数，以使得扩大后图像和输出图像的位置互相一致(例如，通过最小二乘法)，且定位部分24可以基于仿射变换的系数执行滤波，以执行扩大后图像和输出图像的定位。 

具体地，在该示例中，当基于由移动检测部分22确定的系数，通过仿射变换将扩大后图像的位置调整到输出图像的位置时，定位部分24计算扩大后图像中的像素的坐标(在下文中，坐标被称为定位后坐标)。随后，定位部分24使用利用在由扩大后图像的定位后坐标表示的位置上的像素的像素值执行插值的滤波器，来确定定位后图像在输出图像的该像素位置处的像素的像素值。 

尽管仅通过平行移动而执行基于运动矢量的扩大后图像和输出图像的定位，但除了平行移动之外，还可使用扩大或收缩、以及旋转来执行基于仿射变换的系数的扩大后图像和输出图像的定位。因此，可以改进定位精度。 

第二实施例 

图15示出了根据本发明第二实施例的图像处理设备的示例。 

参考图15，与图9中的图像处理设备相似，图像处理设备包括存储部分21、移动检测部分22、扩大部分23、定位部分24、混合部分25、加法部分26、分离部分27和存储部分28。 

然而，注意，尽管图9中的图像处理设备在存储于存储部分21的所有输入图像A1到AN的混合加法之后、执行来自存储部分28的输出图像的输出，即，输出通过对由输入图像A1到AN所产生的扩大后图像B1到BN定位而获得的定位后图像C1到CN、以及由此的在经过定位的扩大后图像B1到BN，但在图15的图像处理设备中，在每次执行一帧输入图像An的混合加法时，执行向外部输出来自存储部分28的输出图像。 

因此，尽管在图9的图像处理设备中、通过将扩大后图像的位置调整到输出图像的位置(即，在图9中，调整到被用作标准输入图像的输入图像A1的扩大后图像B1的位置)、而执行由定位部分24对扩大后图像和输出图像的定位，但在图15所示的图像处理设备中，通过将输出图像的位置调整到作为混合加法的对象的扩大后图像的位置，而执行由定位部分24对扩大后图像和输出图像进行的定位。 

具体地，在图15的图像处理设备中，绕过定位部分24向混合部分25提供由扩大部分23产生的扩大后图像。此外，混合部分25和加法部分26使用 来自扩大部分23的扩大后图像执行混合加法，并向存储部分28提供并存储由混合加法获得的新的输出图像。随后，从存储部分28向外部输出该新的输出图像。 

此外，当要通过扩大部分23产生下一帧的扩大图像时，作为在前一操作周期中获得的输出图像(即，领先一帧的输出图像)而向定位部分24提供存储于存储部分28的新的输出图像。定位部分24执行将来自存储部分28的输出图像的位置调整到要由扩大部分23产生的扩大后图像的位置的定位，且向分离部分27提供定位后的输出图像。 

分离部分27将来自定位部分24的在定位之后的输出图像分离为低频成分和高频成分，并向混合部分25提供该低频成分，以及向加法部分26提供该高频成分。 

混合部分25执行将来自分离部分27的在定位之后的输出图像的低频成分和来自扩大部分23的扩大后图像的混合，并向加法部分26提供通过该混合获得的混合图像。 

加法部分26执行来自分离部分27的在定位之后的输出图像的低频成分和来自混合部分25的混合图像的加法，并向存储部分28提供作为结果的输出图像。 

在上文参考图9所描述的图像处理设备中，当混合并相加N帧输入图像A1到AN中的任一输入图像An时，在第一帧输入图像A1中拍摄图像拍摄对象的图像的位置处，产生其中拍摄了图像拍摄对象的图像的输出图像。 

另一方面，在图15中的图像处理设备中，当混合并相加输入图像An时，在输入图像An上拍摄图像拍摄对象的图像的位置，产生其中拍摄了图像拍摄对象的图像的输出图像。 

此处，例如，在输入图像An为静态画面的情况下，当混合并相加N帧输入图像A1到AN中的任一图像An时，加权加法是方便的，通过其，在第一帧输入图像A1上拍摄图像拍摄对象的图像的位置，产生在其上拍摄图像拍摄对象的图像的输出图像。在该示例中，输出图像也是静态画面。因此，适当地，所描述的混合加法在下文中被称为指静态画面混合加法。 

另一方面，例如，当输入图像An为动态画面时，加权加法是方便的，通过其，当混合并相加输入图像An时，在输入图像An上拍摄图像拍摄对象的图像的位置上拍摄图像拍摄对象的图像。在该情况下，输出图像同样也是动 态画面。因此，适当地，所描述混合加法在下文中被称为动态画面混合加法。 

如上所述，在执行动态画面混合加法的图15的图像处理设备中，由于在每次执行一帧输入图像An的混合加法时、执行从存储部分28向外部输出输出图像，所以，相比于图9的图像处理设备，为了获得一帧输出图像的数学运算量减少，在执行存储在存储部分21中的所有输入图像A1到AN的混合加法之后，执行静态画面混合加法，并执行从存储部分28向外部输出输出图像。 

注意，在静态画面混合加法中，图10中所示的移动检测部分22确定第一帧输入图像A1作为标准图像，并确定混合加法的对象的输入图像An作为比较图像，以确定运动矢量，即结合本发明第一实施例在上文中所描述的全局运动矢量。 

随后，基于由移动检测部分22确定的运动矢量，定位部分24执行将混合加法对象的扩大后图像Bn的位置调整到在前一操作周期确定的输出图像Sn-1的位置(这与第一帧输入图像A1的扩大后图像B1的位置相同)的定位。 

另一方面，在动态画面混合加法中，图10所示的移动检测部分22确定混合加法对象的输入图像An作为标准图像，并确定紧接在输入图像An之前、即领先一帧的输入图像An-1作为比较图像，以确定运动矢量，也就是全局运动矢量。 

换句话说，移动检测部分22确定前一输入图像An-1的扩大后图像Bn-1相对于混合加法对象的输入图像An的扩大后图像Bn的位移量，这与在前一操作周期中获得的输出图像Sn-1的位移量相等。 

随后，定位部分24基于由移动检测部分22确定的位移量，执行将在前一操作周期中获得的输出图像Sn-1的位置调整到混合加法对象的扩大后图像Bn的位置的定位。 

第三实施例 

图16示出了根据本发明第三实施例的图2的图像处理设备的示例。 

参考图16，与图9中的图像处理设备相似，所示的图像处理设备包括存储部分21、移动检测部分22、扩大部分23、定位部分24、混合部分25、加法部分26、分离部分27和存储部分28。 

然而，图16中的图像处理设备与图9中的图像处理设备的区别在于：其额外地包括选择部分101、102、103。 

此外，配置图16中的图像处理设备，使得可以选择性地执行静态画面混合加法和动态画面混合加法。例如，响应于用户的操作，而选择在图16中的图像处理设备上执行静态画面混合加法和动态画面混合加法中的哪一个。 

在图16的图像处理设备中，从扩大部分23向选择部分101的端子a提供扩大后图像，而从输出部分28向选择部分101的另一端子b提供前一帧的输出图像，即在前一操作周期中获得的输出图像。 

选择部分101选择向端子a提供的扩大后图像、或者在前一操作周期中获得并提供给端子b的输出图像，并向定位部分24提供所选图像作为定位的对象。

同时，从定位部分24向选择部分102的端子a提供定位后的图像，即扩大后图像或输出图像，且从扩大部分23向选择部分102的另一端子b提供扩大后图像。 

选择部分102选择提供给端子a的定位后的图像或者提供给端子b的扩大后图像，并向混合部分25提供所选图像。 

此外，从存储部分28向选择部分103的端子a提供前一帧输出图像，即在前一操作周期中获得的输出图像，且从定位部分24向选择部分103的另一个端子b提供定位后的图像，即扩大后图像或输出图像。 

选择部分103选择在前一操作周期中获得并向端子a提供的输出图像、或向端子b提供的定位后的图像，并向分离部分27提供所选图像。 

在以如上所述的方式配置的图像处理设备中，当执行静态画面混合加法时，执行下文中所描述的第一处理，而当执行动态画面混合加法时，执行下文中所描述的第二处理。 

具体地，在第一处理中，选择部分101到103的全部从端子a和b之间选择端子a。 

结果，选择部分101选择从扩大部分23向该端子提供的扩大后图像，并向定位部分24提供该扩大后图像。 

定位部分24执行将来自选择部分101的扩大后图像的位置调整到存储于存储部分28的在前一操作周期中获得的输出图像的位置的定位，且向选择部分102的端子a提供在定位之后的扩大后图像。

选择部分102选择从定位部分24向端子a提供的在定位之后的扩大后图像，并向混合部分25提供在定位之后的扩大后图像。 

同时，选择部分103选择在前一操作周期中获得且从存储部分28向端子a提供的输出图像，并向分离部分27提供该输出图像。 

结果，将图16中的图像处理设备的从存储部分21到存储部分28的组件置于与图9中的图像处理设备的从存储部分21到存储部分28的连接状态相同的连接状态，且通过混合部分25、加法部分26和分离部分27执行该静态画面混合加法。 

具体地，该分离部分27将在前一操作周期中获得的且从选择部分103提供的输出图像分离为低频成分和高频成分，以及向混合部分25提供低频成分，并向加法部分26提供高频成分。 

混合部分25将来自分离部分27的低频成分混入定位后的扩大后图像，即从选择部分102提供的经过定位的图像，并向加法部分26提供作为结果的混合图像。 

加法部分26将来自分离部分27的高频成分加到来自混合部分25的混合图像，以产生新的输出图像，并向存储部分28提供并存储该新的输出图像。 

另一方面，在第二处理中，选择部分101到103的全部在端子a和b之间均选择端子b。 

结果，选择部分101选择在前一操作周期中获得的且从存储部分28向端子b提供的输出图像，并向定位部分24提供该输出图像。 

该定位部分24执行将来自选择部分101的输出图像的位置调整到由扩大部分23产生的扩大后图像的位置的定位，且向选择部分103的端子b提供在定位之后的该输出图像。

同时，选择部分102选择从扩大部分23向端子b提供的扩大后图像，且向混合部分25提供该扩大后图像。 

选择部分103选择从定位部分24向端子b提供的定位后的扩大后图像，并向分离部分27提供该定位后的扩大后图像。 

结果，将图16中的图像处理设备的从存储部分21到存储部分28的组件置于与图15中的图像处理设备的从存储部分21到存储部分28的连接状态相同的连接状态，且通过混合部分25、加法部分26和分离部分27执行该动态画面混合加法。 

具体地，分离部分27将从选择部分103提供的在定位之后的输出图像分离为低频成分和高频成分，并向混合部分25提供该低频成分，以及向加法部 分26提供该高频成分。 

混合部分25将来自分离部分27的低频成分与从选择部分102提供的扩大后图像混合，并向加法部分26提供作为结果的混合图像。 

加法部分26将来自分离部分27高频成分加到来自混合部分25的混合图像，以产生新的输出图像，并向该存储部分28提供并存储该新的输出图像。 

第四实施例 

图17示出根据本发明第四实施例的图2中图像处理设备的配置示例。 

参考图17，与图9所示图像处理设备相似，所示图像处理设备包括存储部分21、移动检测部分22、混合部分25、加法部分26和存储部分28。 

然而，图17所示图像处理设备与图9所示图像处理设备的区别在于：其包括扩大部分111、定位部分112和分离部分113，以分别替代扩大部分23、定位部分24和分离部分27。 

尽管图9中的图像处理设备被配置为使得扩大部分23在包含混叠成分的垂直方向上将输入图像扩大到两倍、以产生扩大后图像，并且为了防止扩大后图像的高频成分的恶化，由多抽头APF形成该定位部分24的滤波器，即图13所示的水平多抽头APF 71和垂直多抽头APF 72，该多抽头APF要求设备的大规模和大量的数学运算。 

另一方面，如果定位部分24的滤波器是由具有较少数量抽头的执行例如线性插值或三次插值的滤波器形成，则可以减少设备的规模和数学运算量。 

然而，如果定位部分24的滤波器是由具有少量抽头的滤波器形成，则尤其是在高频区域内，定位部分24的滤波器的滤波器特性取决于当将扩大图像的位置调整到输出图像的位置时的移动量，即取决于从移动检测部分22获得的全局运动矢量而变化。结果，该定位使扩大后图像的高频成分恶化，结果输出图像的画面质量也恶化。 

因此，在图17的图像处理设备中，扩大部分111执行扩大输入图像的扩大处理，使得即使采用具有少量抽头的滤波器作为用于定位的滤波器，扩大图像的高频成分，即信号成分和混叠成分也可以被不恶化。 

参考图18A到18G和图19描述由图17中所示的扩大部分111执行的扩大处理。 

注意，尽管在此处所描述的情况中，扩大部分111扩大输入图像，即在水平方向上将像素数量增加到两倍、而在垂直方向上将输入图像扩大到四倍， 但该扩大部分111也可以执行更高扩大倍率的扩大。 

此外，在第四实施例的图像处理设备中，假设：尽管高速拍摄的连续输入图像A1到AN在垂直方向上包含混叠成分，但其在水平方向上不包括或包括很少的混叠成分。 

图18A示出输入图像An。 

参考图18A，圆形标记表示输入图像An的像素。 

假设在水平方向上以采样频率fh对信号采样，且在垂直方向上以采样频率fs采样该信号而获得输入图像An，其中，该信号包含存在于从-fh/2到fh/2的频带内的水平方向的频率成分、以及存在于从-fs到fs的频带内的垂直方向的频率成分。 

图18B示出输入图像An的频率特性。 

注意，在图18中，横坐标轴指示水平方向中的频率，即水平频率，而纵坐标轴指示垂直方向中的频率，即垂直频率。 

输入图像An包括：在水平方向上，仅有从-fh/2到fh/2频带内的信号成分；以及在垂直方向上，从-fs/2到fs/2频带内的原始信号的低于fs/2频率的信号成分、以及混叠成分，其为具有高于原始信号的频率fs/2的频率的信号成分的折返(folded back)成分。 

在图18B中，实曲线表示信号成分，而虚曲线表示混叠成分。 

如上所述，图17所示的扩大部分111在水平方向上将输入图像An扩大到两倍，而在垂直方向上将其扩大到四倍，以产生具有输入图像An的像素数量8倍的像素数量的扩大后图像Bn。 

具体地，扩大部分111首先在水平方向上将输入图像An扩大到两倍。 

由于输入图像An在水平方向上不包含任何混叠成分，所以，通过在上文中参考图4A到4D或5A到5D所描述的扩大过程(在下文中可将这样的扩大过程称为常规扩大过程)，产生通过在水平方向上将输入图像An扩大到两倍而获得的图像(在下文中也可将这样的图像称为水平扩大图像)。 

具体地，通过在水平方向上在输入图像An的每个相邻像素之间插入一个零值点的零值插值、并利用LPF对由该零值插值获得的零值插值图像滤波，而执行输入图像An的水平扩大图像的产生。 

图18C示出通过在图18A的输入图像An的水平方向中每个相邻像素之间插入一个零值点的零值插值而获得的零值插值图像。 

参考图18C，空白圆形标记代表输入图像An的像素，即原始像素，而实心圆形标记则代表作为零值点的像素，即像素值为零的像素。 

图18D示出图18C的零值插值图像的频率特性。 

在零值插值图像中，由于在水平方向中插入零值点的零值插值，在水平方向上出现混叠成分。 

为了去除混叠成分，图17中所示扩大部分111通过其通带为从-fh/2到fh/2的频带的LPF来执行滤波。尽管理想地具有sinc函数的滤波器系数的LPF被优选用于该LPF，但其具有无限的抽头长度。因此，通过将窗函数应用于该sinc函数而确定该LPF的滤波器系数。 

图18E示出利用该LPF滤波零值插值图像而获得的水平扩大图像，且图18F示出水平扩大图像的频率特性。 

注意，在图18F中，实曲线表示信号成分，而虚曲线则代表混叠成分。 

相应于采样频率2fh，通过LPF滤波而获得的水平扩大图像在水平方向上包括仅存在于从-fh/2到fh/2的低频带中的信号成分，而不包括存在于从fh/2到fh和从-fh到-fh/2的高频带中的信号成分。 

随后，图17中所示的扩大部分111在垂直方向上将水平扩大图像扩大到四倍，以产生扩大后图像Bn。通过将输入图像An在水平方向上扩大到两倍，并在垂直方向上扩大到四倍，而获得该扩大后图像Bn。 

由于输入图像An和由此的输入图像An的水平扩大图像在垂直方向中包括混叠成分，所以，与图9中所示扩大部分23的扩大处理相似地，通过例如线性插值的剩余一些高频成分的扩大处理，执行在垂直方向中从水平扩大图像产生具有被扩大到四倍大小的扩大后图像。 

简而言之，通过在水平扩大图像的垂直方向中的每个相邻像素之间插入三个零值点的零值插值、并利用具有剩余一些高频成分的滤波器特性的LPF对通过零值插值对所获得的零值插值图像进行滤波，而执行垂直扩大图像的产生。 

图18G示出通过在图18E的水平扩大图像的垂直方向中的每个相邻像素中插入三个零值点而获得的零值插值图像。 

参考图18G，空白圆形标记代表零值插值图像的像素，而实心圆形标记则代表作为零值点的像素。 

图18H示出图18G中的零值插值图像的频率特性。 

在零值插值图像中，通过在垂直方向上插入零值点的零值插值而恢复垂直方向中的信号成分，并产生更高阶的混叠成分。 

图17中所示的扩大部分111利用在垂直方向剩余一些高频成分的LPF对图18H的零值插值图像滤波，以产生扩大后图像。 

例如，对于该LPF，可以采用滤波器系数为{1/16，2/16，3/16，4/16，3/16，2/16，1/16}的垂直LPF。 

图19示出了具有滤波器系数为{1/16，2/16，3/16，4/16，3/16，2/16，1/16}的垂直LPF的滤波器特性。 

注意，图19不但示出具有滤波器系数为{1/16，2/16，3/16，4/16，3/16，2/16，1/16}的滤波器的滤波器特性，而且也示出具有滤波器系数为{1/4，1/4，1/4，1/4，0}的另一个滤波器的另一个滤波器特性。 

参考图19，具有滤波器系数为{1/16，2/16，3/16，4/16，3/16，2/16，1/16}的垂直LPF的滤波器特性具有平缓的特性，即，相应于4fs的采样频率，在频率0处的增益为1，而在频率fs处的增益为0。此外，根据具有滤波器系数为{1/16，2/16，3/16，4/16，3/16，2/16，1/16}的垂直LPF的滤波器特性，从频率fs到频率1.5fs的增益增大，且随后减小，直到在频率2fs处变回为零为止，同时，少量地通过频率1.5fs附近的频率成分。 

在利用图19中的垂直LPF对图18H中的零值插值图像滤波而获得的扩大后图像中，在频率1.5fs附近，即频率fs和频率2fs之间，仍有少量混叠成分。 

为了完全去除频率1.5fs附近的混叠成分，有必要使用其通带为从-fs到fs的频带的宽带LPF进一步对该扩大后图像滤波。 

在以如上所述的方式获得的扩大后图像中，在垂直方向上，对于采样频率4fs，信号成分和混叠成分以混合状态存在于从-fs到fs的低频区域，而在从fs到2fs和从-2fs到-fs的高频带之中不存在频率成分。 

如上所述，在由扩大部分111获得的扩大后图像中，频率成分仅存在于在水平方向的低频端上的从-fh/2到fh/2的一半频带中、以及在垂直方向的低频端上的从-fs到fs的一半频带中，而没有频率成分存在于其它频带中，即，高频端的频带上。 

因此，在图17的图像处理设备中，如果定位部分112的滤波器在低频端可以使其余一半频带通过，则其可以在高频带中具有任何滤波器特性。 

具体地，例如，根据本发明第一实施例的图9中的图像处理设备要求多抽头APF，以便抑制定位部分24的滤波器在高频区域中的滤波器特性的变化，其中，该滤波器特性取决于通过移动检测部分22获得的全局运动矢量而变化。 

相反，图17所示的定位部分112的滤波器仅需要在垂直方向和水平方向中、在零值插值图像的低于奈奎斯特频率的频带中的低频端的一半频带中的具有增益1。因此，可以使用具有少量抽头、且因此在高频端具有较低特性的滤波器，例如执行三次插值的四抽头滤波器，即四抽头三次插值滤波器，来形成定位部分112的滤波器。 

同样地，在通过定位部分112的定位而获得的定位后图像中，与由扩大部分111所产生的扩大后图像相似，频率成分仅存在于从-fh/2到fh/2的频带(即，水平方向的低频端的一半)中、以及从-fs到fs的频带(即，垂直方向的低频端的一半)中，而在高频端上的其余频带中不存在频率成分。 

此外，与第一实施例相似，定位后图像在水平方向中不包含混叠成分，但在垂直方向中包含混叠成分。因此，高频区域中的信号成分的再现仅考虑垂直方向。 

此外，在图17所示的图像处理设备中、在通过使用定位后图像的混合加法而获得的输出图像中，频率成分仅存在于从-fh/2到fh/2的频带(即，水平方向的低频端的一半)中、以及从-fs到fs的频带(即，垂直方向的低频端的一半)中，而在高频端上的其余频带中不存在频率成分。 

因此，可以仅考虑存在这样的频率成分的频带，而配置图17中所示的分离部分113。 

具体地，在基于上面所描述的分辨率增强处理而产生高分辨率的输出图像的图17的图像处理设备中，由垂直LPF形成该分离部分113，其中，该垂直LPF在高频区域中的信号成分将要被再现的垂直方向上提取输出图像的低频成分。对于该垂直LPF，采用具有与扩大部分111的滤波器和定位部分112的滤波器以级联连接方式连接的级联连接滤波器的滤波器特性相同的滤波器特性的滤波器。 

然而，可以仅考虑其中存在频率成分的输出图像的频带，而配置分离部分113的垂直LPF，并且，可以采用在该频带中具有与级联连接滤波器的滤波器特性相同的滤波器特性的滤波器。因此，例如，对于分离部分113的垂 直LPF，可以采用扩大部分111中在垂直方向上执行滤波的滤波器，即，具有滤波器系数为{1/16，2/16，3/16，4/16，3/16，2/16，1/16}的滤波器。 

与图9中的图像处理设备相似地，利用图17中的图像处理设备，可预见图像的柔和的分辨率增强。此外，在图17中的图像处理设备中，可由具有较少数量抽头的滤波器形成定位部分112中的滤波器，且可以减少该设备的规模和数学运算量。 

注意，在由图17中的图像处理设备获得的输出图像中，与上面的描述相似地，频率成分仅存在于从-fh/2到fh/2的频带(即，水平方向的低频端的一半)中、以及从-fs到fs的频带(即，垂直方向的低频端的一半)中，而在高频端上的其余频带中不存在频率成分。因此，在垂直方向和/或水平方向上，输出图像的像素数量可被减少到一半。 

图20示出图17中所示的扩大部分111和定位部分112的配置示例。 

参考图20，所示的扩大部分111包括插值部分131、水平多抽头LPF 132、另一个插值部分133、垂直LPF 134和宽带LPF 135。 

插值部分131接收从图17所示的存储部分21向其提供的输入图像。该插值部分131执行零值插值，即，在来自存储部分21的输入图像的水平方向上的每个相邻像素之间插入一个零值点，以产生水平方向上的像素数量是输入图像两倍的零值插值图像。随后，插值部分131向水平多抽头LPF 132提供所产生的零值插值图像。 

该水平多抽头LPF 132具有例如通过将窗函数应用于sinc函数而确定的滤波器系数，并具有低于频率fs/2的通带。该水平多抽头LPF 132在水平方向上滤波来自插值部分131的零值插值图像，以产生水平扩大图像，并向插值部分133提供该水平扩大图像。 

插值部分133执行零值插值，即，在来自水平多抽头LPF 132的水平扩大图像的垂直方向中的每个相邻像素之间插入三个零值点，以产生在水平方向上具有两倍于输入图像在水平方向上的像素数量的像素数量、且在垂直方向上具有四倍于输入图像在垂直方向上的像素数量的像素数量的零值插值图像。随后，插值部分133向垂直LPF 134提供所产生的零值插值图像。 

例如，该垂直LPF 134是具有{1/16，2/16，3/16，4/16，3/16，2/16，1/16}的滤波器系数，并且对来自插值部分133的零值插值图像滤波，以产生在水平方向上具有两倍于输入图像在水平方向上的像素数量的像素数量、且在垂直方向 上具有四倍于输入图像在垂直方向上的像素数量的像素数量的扩大后图像。随后，垂直LPF 134向宽带LPF135提供该扩大后图像。 

注意，由插值部分133进行零值插值、并在垂直LPF 134中通过具有滤波器系数为{1/16，2/16，3/16，4/16，3/16，2/16，1/16}的垂直LPF进行滤波对应于：通过线性插值将在垂直方向上的像素数量扩大到四倍。 

宽带LPF 135具有从-fs到fs频带作为其通带，且在垂直方向上对来自垂直LPF 134的扩大后图像滤波，并向定位部分112提供经滤波的扩大后图像。 

定位部分112包括水平三次插值滤波器141和垂直三次插值滤波器142。 

从扩大部分111向定位部分112提供扩大后图像，且从图17所示的移动检测部分22向定位部分112提供运动矢量，即全局运动矢量。 

与图13中所示的水平多抽头APF 71相似，该水平三次插值滤波器141基于来自移动检测部分22的运动矢量，在水平方向上对该扩大后图像滤波，以在输出图像的像素位置处对像素插值，从而将扩大后图像的位置在水平方向上调整到输出图像的位置。随后，该水平三次插值滤波器141向垂直三次插值滤波器142提供作为结果的扩大后图像。 

与图13中所示的垂直多抽头APF 72相似，该垂直三次插值滤波器142基于来自移动检测部分22的运动矢量，在垂直方向上对该扩大后图像滤波，以在输出图像的像素位置处对像素插值，从而将扩大后图像的位置在垂直方向上调整到输出图像的位置。结果，产生在水平方向和垂直方向上将其位置调整到输出图像的位置的定位后图像，且向图17所示的混合部分25提供该定位后图像。 

注意，该水平三次插值滤波器141和垂直三次插值滤波器142通过滤波执行三次插值。此外，可利用较少抽头数，例如四个抽头，来形成水平三次插值滤波器141和垂直三次插值滤波器142。 

现在，参考图21A到21E来描述通过图20中所示的扩大部分111在水平方向上执行的处理。 

图21A示出扩大部分111的组件(即，从插值部分131到宽带LPF 135)之中的执行关于水平方向的处理的那些块。 

如图21A所示，在扩大部分111中，插值部分131和水平多抽头LPF 132执行关于水平方向的处理。 

图21B示出向插值部分131提供的输入图像在水平方向中的频率特性。 

如上所述，在水平方向上，输入图像仅在低于频率fh/2的频带中包含信号成分。 

图21C示出零值插值图像在水平方向中的频率特性，所述零值插值图像是通过在由插值部分131获得的输入图像的水平方向中每个相邻像素之间插入一个零值点的零值插值而获得的。 

在零值插值图像上，通过在水平方向插入零值点的零值插值，而在水平方向上的超过fh/2的频带中产生混叠成分。 

图21D示出通过利用水平多抽头LPF 132对图21C的该零值插值图像滤波而获得的水平扩大图像的频率特性。 

在通过水平多抽头LPF 132滤波而获得的水平扩大图像中，在水平方向上，信号成分仅存在于低于频率fh/2的频带中，而在超过频率fh/2的频率中不存在频率成分。 

图21E示出水平多抽头LPF 132的滤波器特性。 

该水平多抽头LPF 132具有低于频率fh/2的通带，且由多个抽头形成，使得增益急剧下降，即，在频率fh/2处显示出急剧的滚降。 

现在，参考图22A到22D描述由图20所示的定位部分112在水平方向执行的处理。 

图22A示出由组成定位部分112的水平三次插值滤波器141和垂直三次插值滤波器142在水平方向执行处理的组件。 

如图22A所示，在定位部分112中，该水平三次插值滤波器141执行关于水平方向的处理。 

图22B示出从图20所示的扩大波分111向水平三次插值滤波器141提供的水平扩大图像的频率特性，且其与图21D相同。 

图22C示出通过在水平方向上将水平扩大图像的位置调整到输出图像的位置而获得的定位后图像的频率特性，所述水平扩大图像是通过利用水平三次插值滤波器141对图22B中的水平扩大图像滤波而获得的。 

图22D示出水平三次插值滤波器141的滤波器特性。 

例如，该水平三次插值滤波器141是四抽头滤波器，其基于从移动检测部分22提供的运动矢量，执行在水平方向上执行三次插值的滤波。如图22D所示，该水平三次插值滤波器141具有这样的滤波器特性，其使得高频端(即，超过频率fh/2的频率端)的增益依赖于从移动检测部分22提供的运动矢量而 变化，而在低频端(即，低于频率fh/2的频率端)的增益基本等于1。 

因此，如在图22C中可见，通过利用具有图22D的滤波器特性的水平三次插值滤波器141对扩大后图像(其仅具有图22B的低于频率fh/2的频率成分)进行滤波而获得的定位后图像依照原样保持图22B的扩大后图像的频率特性。 

现在，参考图23A到23G描述由图20所示的扩大部分111关于垂直方向执行的处理。 

图23A示出在扩大部分111的组件(即，从插值部分131到宽带LPF 135)之中的执行关于垂直部分的处理的那些块。 

如图23A所示，在扩大部分111中，插值部分133、垂直LPF 134和宽带LPF 135执行关于垂直方向的处理。 

图23B示出输入图像(即，向插值部分133提供的水平扩大图像)在垂直方向上的频率特性。 

如上所述，在垂直方向中，输入图像包括低于频率fs/2的信号成分和混叠成分。 

图23C示出零值插值图像在垂直方向中的频率特性，该零值插值图像是在由插值部分133获得的图23B的输入图像垂直方向中的每个相邻像素之间插入三个零值点的零值插值而获得的。 

在零值插值图像中，尽管通过在垂直方向中插入零值点的零值插值来再现在垂直方向中超过频率fs/2的频带中的信号成分，但也再现混叠成分。 

图23D示出通过利用垂直LPF134来对图23C中的零值插值图像滤波而获得的扩大后图像在垂直方向中的频率特性。 

图23E示出通过利用宽带LPF135来对图23D中的扩大后图像滤波而获得的扩大后图像在垂直方向中的频率特性。 

图23F示出垂直LPF 134的滤波器特性。图23G示出宽带LPF 135的频率特性。 

如上参考图20所述，垂直LPF 134具有{1/16，2/16，3/16，4/16，3/16，2/16，1/16}的滤波器系数，且如从图23F可见，其具有平缓的滤波器特性，其在频率0处指示增益1，而在频率fs处指示增益0。此外，该垂直LPF 134具有这样的滤波器特性，即从fs到1.5fs的频率，增益增加，然后减小，直到其在2fs处变为0为止，且在频率1.5fs附近，通过少量的频率成分。 

因此，如从图23D可见，在通过对图23C中的零值插值图像滤波获得的扩大后图像中，几乎仍有图23C的低于频率fs/2的包含信号成分和混叠成分的频率成分，并且，仍剩余少量的图23C的从频率fs/2到fs的包括信号成分和混叠成分的频率成分，同时，仍剩余少量的图23的高于频率fs的频率成分。 

宽带LPF 135具有这样的滤波器特性，即，其具有如从图23G可见的低于频率fs的通带，且在频率fs处，增益急剧下降。 

当通过具有图23G中的滤波器特性的宽带LPF 135对图23D中的扩大后图像滤波时，在高于频率fs的频率处仍剩余少量的频率成分。结果，如从图23E可见，扩大后图像不存在高于频率fs的频率成分。 

现在，参考图24A到24D描述由图20所示的定位部分112在垂直方向执行的处理。 

图24A示出组成定位部分112的水平三次插值滤波器141和垂直三次插值滤波器142之中的、在垂直方向上执行处理的组件。 

如图24A所示，在定位部分112中，垂直三次插值滤波器142执行关于垂直方向的处理。 

图24B示出从图20所示的水平三次插值滤波器141向垂直三次插值滤波器142提供的扩大后图像的频率特性，且与图23E相同。 

图24C示出通过将扩大后图像在垂直方向的位置调整到输出图像的位置而获得的定位后图像的垂直方向的频率特性，其中，所述扩大后图像是利用垂直三次插值滤波器142对图24B中的扩大后图像滤波而获得的。 

图24D示出垂直三次插值滤波器142的滤波器特性。 

例如，该垂直三次插值滤波器142是基于从移动检测部分22提供的运动矢量执行在垂直方向执行三次插值的滤波的四抽头滤波器。如图24D所示，该垂直三次插值滤波器142具有这样的滤波器特性，使得高频端(即，超过频率fs的频率端)的增益依赖于从移动检测部分22提供的运动矢量而变化，而增益在低频端(即，低于频率fs的频率端)基本等于1。 

因此，如从图24C可见，通过利用具有图24D中滤波器特性的垂直三次插值滤波器142对仅具有图24B的低于频率fs/2的频率成分的扩大后图像滤波而获得的定位后图像依照原样保持图24B的扩大后图像的频率特性。 

具体地，作为垂直三次插值滤波器142滤波结果的定位后图像在垂直方 向上，在低于频率fs的频率上包括信号成分和混叠成分。 

图25示出更加详细的垂直三次插值滤波器142的频率特性。 

该垂直三次插值滤波器142具有这样的滤波器特性，即：高频端(即，超过频率fs的频率端)的增益依赖于从移动检测部分22提供的运动矢量而变化，而增益在低频端(即，低于频率fs的频率端)基本等于1。 

现在，参考图26A到26C描述在图17所示的分离部分113。 

图26A示出图17所示分离部分113的配置示例。 

参考图26A，分离部分113与图14A中所示的分离部分27的共同点在于其包括数学运算部分82，而其与图14A中所示的分离部分27的区别则在于其包括垂直LPF 151，以替代垂直LPF 81。 

垂直LPF 151对存储于存储部分28的输出图像Sn-1进行垂直滤波，以提取输出图像Sn-1的低频成分Ln，并将该低频成分Ln提供给数学运算部分82和混合部分25。 

图26B示出垂直LPF 151的滤波器特性。 

作为在输入图像中包含混叠成分的方向的垂直方向中的滤波器特性，分离部分113的垂直LPF 151具有与级联连接滤波器相同的特性，在级联连接滤波器中，作为扩大部分111的滤波器的图20中的插值部分133和宽带LPF135、与作为定位部分112的滤波器的图20所示的垂直三次插值滤波器142级联连接。 

图26C示出由图17中的图像处理设备获得的输出图像在垂直方向中频率特性的变化。 

注意，在图26C中，实曲线指示信号成分，而虚曲线则指示混得成分。 

如果存储于图17中所示的存储部分21中的N帧输入图像中的第一帧被确定为关注的图像，则将第一帧输入图像A1的扩大后图像B1依照原样作为输出图像S1存储到存储部分28中。 

其后，重复混合加法，其中，通过混合部分25混合来自定位部分112的定位后图像Cn和输出图像Sn-1的低频成分Ln、以产生混合图像Dn，并通过加法部分26将混合图像Dn和输出图像Sn-1的高频成分Hn相加，以产生新的输出图像Sn；同时，存储于图17所示的存储部分21的N帧输入图像被连续地确定为关注的图像。 

当重复上面所描述的混合加法时，尽管通过使用作为被关注的图像的第 一帧输入图像A1执行混合加法而获得的输出图像Sn具有与输入图像A1的分辨率相同的分辨率，并且包含混叠成分，但随着混合加法的进行，也就是随着被用作关注的图像的输入图像An的数量增加，根据上面所描述的分辨率增强原理，如图26C所示，除了混叠成分被逐渐削弱外，通过混合加法获得的输出图像Sn变成通过恢复从fs/2到fs的高频区域中的信号成分而具有较高分辨率的高画面质量的图像。 

现在，进一步参考图27A到27C描述包括在图26A中所示的分离部分113的垂直LPF 151的滤波器特性。 

图27A示出图20所示的扩大部分111的垂直LPF 134和宽带LPF 135、以及定位部分112的垂直三次插值滤波器142的滤波器特性。 

图27B示出级联连接滤波器的滤波器特性，在该级联连接滤波器中，图20所示的扩大部分111的垂直LPF 134和宽带LPF 135、以及定位部分112的垂直三次插值滤波器142级联连接。 

根据该级联连接滤波器，在低于频率fs的频率处的增益与图27A中所示的垂直LPF 134的该增益相似，且如图27B所示，所述增益在高于频率fs的频率处为零。 

此处，在高于频率fs的频率处的该级联连接滤波器的增益为零，这是受到图27A所示宽带LPF 135的影响。 

理想地，应当采用具有如图27B所示的在高于频率fs的频率处增益为零的滤波器特性的LPF，作为图26所示分离部分113的垂直LPF 151。 

然而，如上文中参考图23F所描述的，图20所示的扩大部分111的垂直LPF 134在高于频率fs的频率处，仅仅在1.5fs频率附近使少量的频率成分通过。因此，垂直LPF 134在高于频率fs的频率处的增益非常接近于零。 

因此，扩大部分111的垂直LPF 134具有与图27B所示的级联连接滤波器相似的滤波器特性。对于图26A所示的分离部分113的垂直LPF 151，不仅可以采用具有与级联连接滤波器相同的滤波器特性的滤波器，而且可以采用与具有与刚才所描述的滤波器特性相同的滤波器特性的垂直LPF 134相同的滤波器。 

具体地，由于图20所示的垂直LPF 134是具有{1/16，2/16，3/16，4/16，3/16，2/16，1/16}的滤波器系数的垂直LPF，所以，对于图26A所示分离部分113的垂直LPF 151，也可以采用具有滤波器系数为 {1/16，2/16，3/16，4/16，3/16，2/16，1/16}的垂直LPF。 

图28示出由图17中的图像处理设备获得的输出图像在垂直方向中的频率特性。 

如上文中所描述的，通过图17的图像处理设备获得的输出图像在垂直方向仅包括低于频率fs的频率中的频率成分，而在包括从fs到2fs的频带的高频端的频带中不包含频率成分。因此，其在垂直方向上的采样频率由于零值插值而提高到4fs的输出图像在垂直方向的像素数量方面会减少到1/2。 

注意，在图20所示的扩大部分111中，当插值部分133执行零值插值，且垂直LPF 134执行滤波，以将垂直方向的像素数量增加到四倍时，在实际的封装中可仅通过执行线性插值，来将垂直方向中的像素数量增加到四倍。 

此外，尽管在图20所示的扩大部分111中，互相分开地提供垂直LPF 134和宽带LPF 135，但它们也可由单个滤波器形成。 

此外，由于图20所示的扩大部分111的垂直LPF 134在高于图23F所示频率fs的频率处具有接近零的增益，所以，可以将该扩大部分111配置为不包括用于去除高于频率fs的频率的频率成分的宽带LPF 135。 

此外，在图20所示的扩大部分111中，当采用执行线性插值的垂直LPF134作为扩大部分111的滤波器时，例如，可以采用执行最邻近插值的滤波器、执行三次插值的另一个滤波器、或某个其它滤波器来替代垂直LPF 134。 

此外，图17的图像处理设备可以像图9中的图像处理设备等等那样，产生从中去除噪声成分的输出图像、以及从中去除混叠成分的输出图像。 

第五实施例 

图29示出根据本发明第五实施例的图2中的图像处理设备的配置示例。 

参考图29，与图9中图像处理设备相似，所示图像处理设备包括存储部分21、扩大部分23、定位部分24、混合部分25、加法部分26、分离部分27和存储部分28。 

然而，图29的图像处理设备与图9中图像处理设备的区别在于，其包括移动检测部分171替代移动检测部分22，另外还包括移动体混合部分172。 

注意，不是图9中的图像处理设备，而是执行静态画面混合加法的图像处理设备(例如上文中参考图17所描述的图像处理设备)，可以按照图29所示的方式配置。 

尽管假设在图9的图像处理设备中、输入图像An仅包括显示出没有或很 少移动的图像拍摄对象的图像，但输入图像An也可能包括移动的图像拍摄对象的图像，所述移动的图像拍摄对象在下文中被称为移动体。 

当输入图像An包括移动体的图像时，根据图9所示图像处理设备，其图像被包括N帧输入图像A1到AN中、且位于N帧输入图像A1到AN的不同位置上移动体出现在作为混合加法的结果的输出图像中。结果，输出图像出现像在通过长时间曝光拍摄的照片的情形中所具有的移动模糊。 

在图29的图像处理设备中，即使在输入图像An中包含移动体的图像，也可以产生无移动模糊的输出图像。 

具体地，参考图29，移动检测部分171与图9和10所示移动检测部分22相似地检测运动矢量，且向定位部分24提供该运动矢量。此外，移动检测部分171使用存储于存储部分21中且被确定为标准图像的输入图像A1、以及存储于存储部分21中且被确定为混合加法的对象的输入图像An，以判定定位后扩大后图像Bn中，即定位后图像Cn的每个像素相对于扩大后图像B1和由此在前一操作周期中获得的输出图像Sn-1的移动程度。随后，移动检测部分171向移动体混合部分172提供代表这样的移动程度的移动信息。 

注意，由移动检测部分171判定的扩大后图像Bn的每个像素的移动程度不但可由输入图像A1和An判定、而且可由扩大后图像B1和Bn判定。然而，由于输入图像A1和An包括比扩大后图像B1和Bn更少的像素数，所以，与在使用扩大后图像B1和Bn的情况相比，在使用输入图像A1和An的情况下的数学运算量可以减少。 

移动体混合部分172对应于混合部分25和加法部分26，并对应于图2所示的混合加法部分15。 

从移动检测部分171向移动体混合部分172提供移动信息，且除了提供在前一操作周期中获得的输出图像Sn-1以外，还从加法部分26向移动体混合部分172提供新的输出图像Sn。 

移动体混合部分172依据基于从移动检测部分171提供的移动信息所确定的权重，执行将在前一操作周期中获得的输出图像Sn-1与新的输出图像Sn混合的移动体混合，使得对于显示出一些移动的像素，对于在前一操作周期中获得的输出图像Sn-1的权重具有较高值，而对于没有显示出移动的像素，对于新的输出图像Sn的权重具有较高值，以校正该新的输出图像Sn。随后，移动体混合部分172向存储部分28提供校正后的输出图像Sn。 

此处，假设由β表示从移动检测部分171向移动体混合部分172提供的移动信息，且其呈现为从0到1范围内的实数值。注意，当移动信息β的值为0时，其表示像素处于静止状态或没有显示出移动，且随着移动信息β的值增加，移动的幅度也增加。 

此外，在移动信息β中，由β(t)表示在定位之后的扩大后图像的位置t处的像素的移动程度的移动信息，而由s(t)表示新输出图像Sn的位置t处的像素的像素值，并由s’(t)表示前一操作周期中获得的输出图像Sn-1在位置t处的像素的像素值。 

根据下面的表达式(15)，移动体混合部分172对在前一操作周期中获得的输出图像Sn-1的每个像素执行移动体混合，所述每个像素也是新输出图像Sn的像素，从而校正新的输出图像Sn： 

s(t)＝β(t)×s’(t)+(1-β(t))×s(t)    ...(15) 

现在，为了简化描述，如果假设移动信息β为0或1，则根据表达式(15)，对于其移动信息β为0且未显示移动的像素，按原样采用新的输出图像Sn的像素值，作为校正后的新的输出图像Sn的像素值，但是对于另一个其移动信息β为1且显示出一些移动的像素，采用在前一操作周期中获得的输出图像Sn-1的像素值，作为校正后新的输出图像Sn的像素值。 

在这种情况下，在与输入图像A1和An中包括移动体的图像的部分相对应的输出图像中的部分，出现输入图像A1，而在输出图像的其它部分中，出现其画面质量由混合加法提高的图像。 

与图9的图像处理设备相似，可以利用图29中的图像处理设备实现图像的柔和的分辨率增强。 

此外，在图29的图像处理设备中，由于经由移动体混合的移动体处的部分的混合加法的结果并不出现在输出图像上，所以，在输入图像An包括移动体的图像时，可以防止在输出图像上出现源自移动体的移动模糊。注意，对于不是移动体处的部分的任何部分，即对于处于静止状态的图像拍摄对象的图像部分，通过混合加法而去除混叠成分，而且还提高了分辨率，即，恢复了频率高于奈奎斯特频率的信号成分。 

图29的图像处理设备可被应用于家用摄像机等等，所述家用摄像机处理隔行类型的图像，且具有例如从多个连续帧的动态画面产生高质量的静态画面、并将该静态画面存储到例如外部存储器的存储装置或记录介质中的功能。 

注意，对于上文中所描述的涉及移动检测处理、宽带插值处理和加权加法处理的现有的分辨率增强技术，难以取决于在正在处理的对象图像中是否包含移动体的图像、而改变通过加权加法处理对其执行混合或加权加法的帧或图像的数量。 

图30示出图29所示的移动检测部分171的配置示例。 

参考图30，所示的移动检测部分171与图10中的移动检测部分22的共同点在于，其包括水平LPF 41和42、垂直LPF 43和44、块匹配部分45和统计处理部分46，而与图10的移动检测部分22的区别在于，另外包括移动判定部分181。 

从垂直LPF 43向该移动判定部分181提供标准图像M1，且从垂直LPF 44向该移动判定部分181提供比较图像Mn。此外，从统计处理部分46向移动判定部分181提供运动矢量，即全局运动矢量。 

移动判定部分181基于来自统计处理部分46的运动矢量，执行将来自垂直LPF 44的比较图像Mn的位置调整到来自垂直LPF 43的标准图像M1的位置的定位。移动判定部分181连续地将定位之后的比较图像Mn的像素确定为关注的像素。 

此外，移动判定部分181确定定位之后的比较图像Mn的关注的像素和标准图像M1的相应像素(即，处于与关注的像素相同的位置的标准图像M1的像素)的像素值的绝对差值s。 

随后，移动判定部分181判定绝对差值s和预定阈值之间幅度中的关系，并基于幅度中所判定的关系判定关注的像素的移动程度，从而确定代表关注的像素的移动程度的移动信息β。 

具体地，移动判定部分181使用满足表达式Th1＜Th2的两个阈值Th1和Th2来设置移动信息β，使得当绝对差值s满足表达式s＜Th1时，将移动信息β设置为β＝0.0，而当绝对差值s满足另一个表达式Th1≤s≤Th2时，将移动信息β设置为β＝(s-Th1)/(Th2-Th1)。 

另一方面，在绝对差值s满足另外的表达式s＞Th2的情况下，该移动判定部分181设置移动信息β＝1.0。 

此处，例如，如果标准图像M1和比较图像Mn的像素值被表示为10位，则阈值Th1和Th2可以分别被设置为Th1＝8.0和Th2＝16.0。 

注意，在上面所描述的情况中，尽管基于以像素为单位确定的绝对差值 s确定移动信息β，但可能以在由多个像素组成的块为单位来确定形成该块的像素的像素值的绝对差值的总和s’，并以与绝对差值s相似的方式使用该总和s’，以确定移动信息β。在此情形中，形成每块的像素的移动信息β在像素之间是相同的。 

为比较图像Mn的每个像素获得的移动信息β可以进一步经受扩大(dilation)处理，以防止移动部分的无意的下降(inadvertent drop)。 

此处，在图29中，由于通过扩大部分23确定具有仅在输入图像的垂直方向上加倍的像素数量的扩大后图像，所以，在定位之后的扩大后图像Bn的垂直方向中的像素数量等于在定位之后的比较图像Mn的垂直方向中的像素数量的两倍。 

因此，运动矢量检测部分171通过使用定位之后的比较图像Mn的每个像素的移动信息β的线性插值等等，确定在定位之后的扩大后图像Bn的每个像素的移动信息β，并向移动体混合部分172提供所确定的移动信息β。 

此外，尽管在上面所描述的情况中，移动检测部分171确定在定位之后的扩大后图像Bn，即定位后图像Cn的每个像素的移动信息β，但根据需要，移动检测部分171可以确定在定位之前的每个像素的移动信息β，以替代在定位之后的扩大后图像Bn，即定位后图像Cn的每个像素的移动信息β。 

具体地，在图29的图像处理设备执行静态画面混合加法时，当执行静态画面混合加法时，移动检测部分171确定扩大后图像Bn在定位之后的每个像素的移动信息β。 

此外，在上文所描述的执行动态画面混合加法的图像处理设备中，移动检测部分171确定混合加法对象的输入图像An作为标准图像，并确定标准图像的前一帧的输入图像An-1作为比较图像，以确定运动矢量和全局运动矢量。此外，移动检测部分171基于运动矢量，执行将前一帧输入图像An-1的位置调整到输入图像An的位置的定位。随后，移动检测部分171关于输入图像An的像素，确定输入图像An和在定位之后的输入图像An-1之间的绝对差值s，并基于该绝对差值s，以上面所描述的方式确定在定位之前的扩大后图像Bn的每个像素的移动信息β。 

第六实施例 

图31示出根据本发明第六实施例的图2中图像处理设备的配置示例。 

参考图31，与图29中图像处理设备相似，所示的图像处理设备包括存 储部分21、扩大部分23、定位部分24、分离部分27、存储部分28、以及移动检测部分171。 

然而，图31中的图像处理设备与图29中的图像处理设备的区别在于，其包括混合部分191以替代混合部分25，以及不包括执行移动体混合的移动体混合部分172。 

混合部分191同时执行由混合部分25执行的混合、和由移动体混合部分172执行的移动体混合。 

具体地，如果由d(t)代表由混合部分25获得的混合图像Dn的位置t处的像素的像素值，由c(t)代表由定位部分24获得的定位后图像Cn的位置t处的像素的像素值，以及由l(t)代表由分离部分27获得的输出图像Sn-1的低频成分Ln中位置t处的像素的像素值的低频成分，则混合部分25执行上文中给出表达式(3)中的使用混合比率α的数学运算，即表达式d(t)＝α×c(t)+(1-α)×l(t)，以确定混合图像Dn。随后，混合部分25向加法部分26提供所确定的混合图像Dn。 

同时，从定位部分24向混合部分191提供该定位后图像Cn，并从分离部分27向混合部分191提供输出图像Sn-1的低频成分Ln。此外，从移动检测部分171向混合部分191提供移动信息β。 

响应于来自移动检测部分171的移动信息β，混合部分191将混合比率α调整到另一个混合比率α’(0＜α’＜1)，并使用调整之后的混合比率α’替代混合比率α，以同时执行由混合部分25执行的混合和由移动体混合部分172执行的移动体混合。 

具体地，混合部分191根据下面给出的表达式(16)，将混合比率α调整到混合比率α’，然后，使用调整之后的混合比率α’对下面给出的表达式(17)进行数学运算，以确定混合图像Dn，然后向加法部分26提供该混合图像Dn。 

α’＝α×(1-β(t))    ...(16) 

d(t)＝α’×c(t)+(1-α’)×l(t)    ...(17) 

其中，β(t)为位置t处的像素的移动信息β。 

对于显示出移动的像素，例如对于移动信息β为1的像素，校正之后的混合比率α’为0，并且出现在前一操作周期中获得的输出图像Sn-1，以及由此而出现输入图像A1的扩大后图像B1的低频成分l(t)。另一方面，对于未显示移动的像素(即，静止像素)，例如对于移动信息β为0的像素，校正之后 的混合比率α’为原始混合比率α，并执行混合，即，利用混合比率α的权重的、定位后图像Cn(c(t))和输出图像Sn-1的低频成分Ln(l(t))的加权加法。 

以这种方式，在图31的图像处理设备中，由于混合部分191同时执行在图29中由混合部分25执行的混合和由移动体混合部分172执行的移动体混合，所以，可以减少数学运算量。 

注意，混合比率α可以是可变值，其依赖于被用于混合加法的定位后图像Cn对应于输入图像An的那个编号的帧而变化。 

具体地，当要执行定位后图像Cn的混合加法时，例如，可以将混合比率α设置为1/n。在这种情况下，在混合加法中，以统一比率单独混合定位后图像C1到CN的低频成分。 

第七实施例 

图32示出根据本发明第七实施例的图2中图像处理设备的配置示例。 

参考图32，与图15中的图像处理设备相似，所示图像处理设备包括存储部分21、扩大部分23、定位部分24、混合部分25、加法部分26、分离部分27和存储部分28。 

然而，图32中的图像处理设备与图15中的图像处理设备的区别在于其包括图29中所示的移动检测部分171以替代移动检测部分22，且另外还包括图29中所示的移动体混合部分172。 

在图32的图像处理设备中，输入图像An为动态画面，且执行动态画面混合加法。 

因此，移动检测部分171将作为混合加法对象的输入图像An确定为标准图像，且确定在前一操作周期或前一帧中的另一个输入图像An-1为比较图像，以如在上文中参考图15所描述的那样，确定运动矢量或全局运动矢量。 

此外，移动检测部分171在针对前一帧的扩大后图像Bn-1的定位之前，确定代表扩大图像Bn的每个像素的移动程度的移动信息β，且向移动体混合部分172提供移动信息β。 

此外，与图29中的情况不同，在图32中的执行动态画面混合加法的图像处理设备中，向移动体混合部分172提供来自扩大部分23的扩大后图像Bn，以替代来自存储部分28的输出图像Sn-1。 

如果由β(t)表示在从移动检测部分171向移动体混合部分172提供的移动信息β之中的、表示在定位之前的扩大后图像Bn的位置t处的像素的移动程 度的移动信息β，由s(t)表示从加法部分26向移动体混合部分172提供的新的输出图像Sn的位置t处的像素的像素值，以及由b(t)表示从扩大部分23向移动体混合部分172提供的在定位之前的扩大后图像Bn的位置t处的像素的像素值，则该移动体混合部分172根据下面给出的表达式(18)，对扩大后图像Bn中的每个像素(其也是新的输出图像Sn的像素)执行移动体混合，以校正输出图像Sn： 

s(t)＝β(t)×b(t)+(1-β(t))×s(t)    ...(18) 

根据表达式(18)，该移动体混合部分172根据权重执行将扩大后图像Bn和新的输出图像Sn混合的移动体混合，使得对于显示出移动的像素，扩大后图像Bn的权重更高，但对于未显示移动的另外的像素，新的输出图像Sn的权重更高。 

具体地，如果为了简化描述而假设移动信息β为0或1，则根据上面给出的表达式(18)，对于其移动信息β为0的像素，即未显示移动的像素，按原样采用新的输出图像Sn的像素值作为校正后的新的输出图像Sn的像素值，但对于其移动信息β为1的像素，即显示出一些移动的像素，采用扩大后图像Bn的像素值作为校正后的新的输出图像Sn的像素值。 

在这种情况下，在与扩大后图像Bn中的包括移动体的图像的部分相对应的输出图像中的部分，出现扩大后图像Bn，而在输出图像的其它部分中，出现其画面质量由混合加法提高的图像。 

与图9中的图像处理设备相似，采用图32中的图像处理设备可以实现图像的柔和的分辨率增强。 

此外，对于图32的图像处理设备，由于执行了动态画面混合加法和移动体混合，所以，对于一帧输入图像An，可以输出一帧输出图像Sn，并且，可以实现包括处于静止状态中的图像拍摄对象的图像的、动态画面的输入图像An的部分的画面质量的增强。 

注意，例如，采用图32中的图像处理设备，可以执行动态画面的IP转换，且结果，该图像处理设备可被应用于执行IP转换的电视接收机。 

第八实施例 

图33示出根据本发明的第八实施例的图2中的图像处理设备的配置示例。 

参考图33，与图16中的图像处理设备相似，所示图像处理设备包括存 储部分21、扩大部分23、定位部分24、混合部分25、加法部分26、分离部分27、存储部分28和选择部分101到103。 

然而，图33中的图像处理设备与图16中的图像处理设备的区别在于其包括图32中所示的移动检测部分171以替代移动检测部分22，且另外还包括图32中所示的移动体混合部分172和选择部分104。 

在图33的图像处理设备中，可以选择性地执行静态画面混合加法和动态画面混合加法。例如，响应于向存储部分21提供的输入图像，而选择在图33所示的图像处理设备上执行静态画面混合加法和动态画面混合加法中的哪一个。 

具体地，例如，在图33的图像处理设备中，判定向存储部分21提供的输入图像是静态画面和动态画面中的哪一个，并且，如果输入图像是静态画面，则执行静态画面混合加法，而如果输入图像是动态画面，则执行动态画面混合加法。 

此外，在图33的图像处理设备中，响应于选择关于应当执行静态画面的图像拍摄还是应当执行动态画面的图像拍摄的用户操作，可以选择应当执行静态画面混合加法还是动态画面混合加法。 

参考图33，从扩大部分23向选择部分104的端子a提供扩大后图像，且从存储部分28向选择部分104的端子b提供前一帧的输出图像，也就是，在前一个操作周期中获得的输出图像。 

选择部分104选择向端子a提供的扩大后图像、或在前一操作周期中获得且向端子b提供的输出图像，并向移动体混合部分172提供所选图像作为移动体混合的对象。 

当在图33的图像处理设备中应当执行静态画面混合加法时，如上文中参考图16所描述的，由所有的选择部分101到103在端子a和端子b之间选择端子a作为第一处理。此外，也由选择部分104在端子a和端子b之间选择端子a。 

结果，选择部分104选择在前一操作周期中获得且从存储部分28向端子a提供的输出图像，并将所选输出图像提供给移动体混合部分172。 

结果，在图33的图像处理设备中，存储部分21、从扩大部分23到存储部分28的组件、移动检测部分171和移动体混合部分172被置于与图像处理设备中存储部分21、从扩大部分23到存储部分28的组件、移动检测部分171 和移动体混合部分172相同的连接状态，且执行与由图29的图像处理设备执行的那些处理相似的处理。 

因此，在图33的图像处理设备中，移动体混合部分172执行在上文中给出的表达式(15)中的数学运算，以根据基于从移动检测部分171提供的移动信息所确定的权重，执行将在前一操作周期中获得的输出图像Sn-1和新的输出图像Sn混合的移动体混合，以使得对于显示出移动的像素，该权重对于在前一操作周期中获得且从存储部分28提供的输出图像Sn-1具有较高值，而对于未显示移动的像素，该权重对于来自加法部分26的新的输出图像Sn具有较高值。 

结果，例如，在静态画面的输入图像中包括移动体的图像的情况下，有可能防止在输出图像上出现由于移动体而产生的移动模糊。 

另一方面，当在图33的图像处理设备中执行动态画面混合加法时，如上文中参考图16所描述的，由所有的选择部分101到103在端子a和端子b之间选择端子b作为第二处理。然而，也由选择部分104在端子a和端子b之间选择端子b。 

结果，选择部分104选择从扩大部分23提供到端子b的扩大后图像，即，选择定位之前的扩大后图像，并将所选的扩大后图像提供给移动体混合部分172。 

结果，在图33的图像处理设备中，存储部分21、从扩大部分23到存储部分28的组件、移动检测部分171和移动体混合部分172被置于与存储部分21、从扩大部分23到存储部分28的组件、移动检测部分171和移动体混合部分172相同的连接状态，且执行与由图32的图像处理设备执行的那些处理相似的处理。 

因此，在图33的图像处理设备中，移动体混合部分172执行在上文中给出的表达式(18)中的数学运算，以根据基于从移动检测部分171提供的移动信息所确定的权重，执行将所得到的扩大后图像Bn和新的输出图像Sn混合的移动体混合，以使得对于显示出移动的像素，该权重对于来自扩大部分23的扩大后图像Bn具有较高值，而对于未显示移动的像素，该权重对于来自加法部分26的新的输出图像Sn具有较高值。 

结果，响应于动态画面的输入图像，可以输出作为动态画面的输出图像，其中提高了输出图像中包括处于静止状态的图像拍摄对象的图像的部分的画 面质量。 

如上所述，图33的图像处理设备可执行由图29中图像处理设备执行的处理(即静态画面混合加法)和由图32中图像处理设备执行的处理(即动态画面混合加法)，同时，仅由于包含计算机程序的代码量的切换器101到104的添加，而稍微增加设备规模，其中，通过使计算机执行程序而实现该图像处理设备。 

第九实施例 

图34示出根据本发明的第九实施例的图2中的图像处理设备的配置示例。 

参考图34，与图9中的图像处理设备相似，所示的图像处理设备包括存储部分21、移动检测部分22、定位部分24、混合部分25、加法部分26和存储部分28。 

然而，图34中的图像处理设备与图9中的图像处理设备的区别在于其包括扩大部分201以替代扩大部分23，以及包括分离部分202替代分离部分27。 

尽管图9的图像处理设备处理在垂直方向这一个方向上包括混叠成分的输入图像，但图34的图像处理设备处理在水平方向和垂直方向这两个方向上包括混叠成分的输入图像，以产生从中去除混叠成分、且其分辨率得以提高的输出图像。 

例如，此处，在水平方向和垂直方向上包含混叠成分的输入图像可以是：由单色图像拍摄器件或单板式数码相机的图像拍摄器件拍摄并输出的图像。 

从图像拍摄器件中输出的图像被视为通过以下步骤而形成的图像：由作为传感器的不同特性的各种透镜或图像拍摄器件利用对应于积分(即电荷积分)的光学滤波器对不包含混叠成分的图像滤波，并利用图像拍摄器件的像素而采样滤波的结果。由于难以从具有小于通过图像拍摄器件的像素而采样的采样频率的1/2的通带的理想滤波器形成该光学滤波器，所以，从图像拍摄器件输出的图像包括作为混叠成分的由光学滤波器滤波后的信号的高频成分。 

注意，如下表示一组二维像素和二维滤波器。 

例如，具体地，在横向和纵向方向上的一组3×3像素被表示为((A，B，C)，(D，E，F)，(G，H，I))。在这组3×3像素((A，B，C)，(D，E，F)，(G，H，I))中，像素或像素值A、B、C在第一行从左开始按顺序并置，而在第二行，像素D、E、 F从左开始按顺序并置。此外，在第三行，像素G、H、I从左开始按顺序并置。 

此外，例如，在横向和纵向方向中的3×3抽头的二维滤波器(FIR滤波器)的滤波器系数可被表示为{{a，b，c}，{d，e，f}，{g，h，i}}。 

例如，利用滤波器系数为{{a，b，c}，{d，e，f}，{g，h，i}}的二维滤波器对上面所描述的3×3像素的组((A，B，C)，(D，E，F)，(G，H，I))的中心的像素E滤波的结果可被表示为：表达式aA+bB+cD+dD+eE+fF+gG+hH+iI。 

参考图35A到35D描述图34中所示的扩大部分201的处理。 

图35A示出作为图34中图像处理设备的处理对象的输入图像。 

例如，作为图34中图像处理设备的处理对象的输入图像是在水平和垂直方向上包括混叠成分的单色静态画面。 

图34中所示的扩大部分201产生其像素数量在垂直方向上和水平方向上相对于输入图像均加倍的扩大后图像。 

例如，具体地，扩大部分201在输入图像的水平方向和垂直方向之中的水平方向中的每个相邻像素之间插入一个零值点，并进一步在通过插入零值点而获得的图像的垂直方向中的相邻像素之间插入一个零值点，以产生具有在输入图像的水平方向和垂直方向中均加倍像素数量的零值插值图像。 

图35B示出自图35A的输入图像产生的零值插值图像。 

在图35B中，空白圆形标记表示输入图像的像素，即原始像素，而实心圆形标记则表示零值点。 

现在，如果在水平方向和垂直方向上的输入图像的采样频率为fs，则通过在水平方向和垂直方向上插入零值点而获得的零值插值图像的采样频率为频率2fs，其等于输入图像的采样频率fs的两倍。 

图35C示出图35B的零值插值图像的频率特性。 

参考图35C，横坐标轴指示水平方向的频率，即水平频率，而纵坐标轴则指示垂直方向的频率，即垂直频率。 

此外，在图35C中，实曲线指示信号成分，而虚曲线则指示混叠成分。 

尽管在零值插值图像中、输入图像的信号成分的高频成分被恢复，但也产生混叠成分。结果，信号成分和混叠成分以混合的方式存在。 

扩大部分201调整原始的像素值，以使得在零值插值之后，像素值的平均值不变化。换句话说，扩大部分201将零值插值图像的像素之中的输入图 像的像素的像素值增大到四倍。 

其后，例如，扩大部分201利用具有滤波器系数为{{1/16 1/8，1/16}，{1/8，1/4，1/8}，{1/16，1/8，1/16}}的二维滤波器对该零值插值图像滤波，以产生扩大后图像。 

图35D示出产生自图35B的零值插值图像的扩大后图像。 

参考图35D，像素A、B、C、D、E和F为输入图像的像素，而其它像素是在插入零值点的位置处的像素。 

图35D中的像素A和D之间的像素A1的像素值是像素A和D的像素值的平均值，即，(A+D)/2。同时，像素A和B之间的像素A2的像素值为像素A和B的像素值的平均值，即(A+B)/2。此外，在像素A、B、D和E的中心位置处的像素A3的像素值为像素A、B、D和E的像素值的平均值，即(A+B+D+E)/4。 

因此，扩大部分201实质上执行输入图像的二维线性插值，以产生扩大后图像，该扩大后图像的像素数量在输入图像的水平方向和垂直方向中被增加到两倍。 

在图34的图像处理设备中，分离部分202的滤波器具有与级联连接滤波器相同的特性，其中，与图9中的图像处理设备的情况相似，作为扩大部分201的滤波器、且具有{{1/16，1/8，1/16}，{1/8，1/4，1/8}，{1/16，1/8，1/16}}的滤波器系数的二维滤波器、以及在图13A到13G所示的作为定位部分24的滤波器的水平多抽头APF 71和垂直多抽头APF 72以级联连接方式连接。 

因此，利用图34中的图像处理设备，基于上文中所描述的分辨率增强原理，可实现图像的柔和的分辨率增强，且产生从中去除输入图像的水平方向和垂直方向中的混叠成分、且具有增强的分辨率的输出图像。 

注意，由于由如上文所述的、使包括在扩大后图像中的所有频率成分通过的多抽头APF形成图13A到13G所示的定位部分24的水平多抽头APF 71和垂直多抽头APF 72，所以，最终，分离部分202的滤波器的滤波器特性与扩大部分201的滤波器，即滤波器系数为{{1/16，1/8，1/16}，{1/8，1/4，1/8}，{1/16，1/8，1/16}}的二维滤波器的滤波器特性相同。 

图36示出图34中所示的扩大部分201的配置示例。 

参考图36，扩大部分201包括插值部分211和212，以及二维LPF 213。 

向插值部分211提供存储于存储部分21的输入图像。该插值部分211执 行在来自存储部分21的输入图像的水平方向中的每个相邻像素之间插入一个零值点的零值插值，并向插值部分212提供通过零值插值获得的图像。 

插值部分212执行在来自插值部分211的图像的垂直方向中的每个相邻像素之间插入一个零值点的零值插值，并向二维LPF 213提供作为零值插值的结果而获得的、且在水平方向上和垂直方向上均具有二倍于输入图像的像素数量的像素数量的零值插值图像。 

二维LPF 213具有在上文所描述的滤波器系数{{1/16，1/8，1/16}，{1/8，1/4，1/8}，{1/16，1/8，1/16}}，并在水平方向上和垂直方向上对来自插值部分212的零值插值图像滤波。随后，如图34所示，该二维LPF213向定位部分24提供作为滤波结果而获得的扩大后图像。 

现在，参考图37A到37C描述图34中所示的扩大部分201的另一个配置示例。 

图37A示出图34中所示的扩大部分201的另一个示例。 

参考图37A，所示的扩大部分201与图36中的扩大部分201的共同点在于，其包括插值部分211和212。 

然而，扩大部分201与图36中的扩大部分201的区别在于，其不包括该二维LPF 213，而是包括水平LPF 221和垂直LPF 222。 

在图37A中，向水平LPF 221提供由插值部分211执行在输入图像的水平方向中的每个相邻像素之间插入一个零值点的零值插值而产生的零值插值图像。 

例如，该水平LPF 221具有滤波器系数为{1/4，1/2，1/4}，并在水平方向中对来自插值部分211的零值插值图像滤波，并向插值部分212提供通过滤波而获得的图像。 

插值部分212执行在来自水平LPF 221的图像的垂直方向中的每个相邻像素之间插入一个零值点的零值插值，并向垂直LPF 222提供作为零值插值结果的零值插值图像。 

垂直LPF 222具有滤波器系数为{1/4，1/2，1/4}，且对来自插值部分212的该零值插值图像滤波，并向图34所示的定位部分24提供作为滤波结果而获得的扩大后图像。 

图37B示出LPF的滤波器特性，该LPF具有滤波器系数{1/4，1/2，1/4}，且由其形成水平LPF 221和垂直LPF 222。 

图37C指示二维滤波器的滤波器系数，该二维滤波器通过滤波器系数为{1/4，1/2，1/4}的LPF，同时执行在水平方向上的滤波以及在垂直方向上的滤波。 

通过滤波器系数为{1/4，1/2，1/4}的LPF执行在水平方向上的滤波、以及在垂直方向上的滤波的二维滤波器的滤波器系数为{{1/16，1/8，1/16}，{1/8，1/4，1/8}，{1/16，1/8，1/16}}。因此，通过在水平方向上由水平LPF 221滤波和在垂直方向上由垂直LPF 222滤波，而执行与图36中所示的二维LPF 213的滤波相似的滤波。 

具体地，作为图36所示的扩大部分201的滤波器的二维LPF 213、以及作为图37A所示的扩大部分201的滤波器的水平LPF 221和垂直LPF 222的组合是相同的滤波器。 

图38示出图34中所示的分离部分202的配置示例。 

图38中所示的分离部分202与图14A到14C中所示的分离部分27的相同点在于其包括数学运算部分82，而与图14A到14C中所示的分离部分27的区别则在于其包括二维LPF 241，以替代垂直LPF 81。 

为了基于上文所描述的分辨率增强原理、产生从中去除输入图像的混叠成分且具有增强的分辨率的输出图像，有必要使分离部分202的滤波器具有与级联连接滤波器相同或相似的特性，其中，作为扩大部分201的滤波器的图36所示的二维LPF 213、与作为定位部分24的滤波器的在图13A到13G所示的水平多抽头APF 71和垂直多抽头APF 72以级联连接方式连接。 

因此，分离部分202的二维LPF 241具有与刚才所述的这样的级联连接滤波器相同的特性。 

注意，由于图13A到13G所示的定位部分24的水平多抽头APF 71和垂直多抽头APF 72是使上文中所描述的扩大后图像中包括的所有频率成分通过的多抽头APF，所以，最终，分离部分202的二维LPF 241是与扩大部分201的二维滤波器213具有相同滤波器系数{{1/16，1/8，1/16}，{1/8，1/4，1/8}，{1/16，1/8，1/16}}的二维滤波器。 

此处，在水平方向和垂直方向上、图34的图像处理设备的输入图像、零值插值图像、扩大后图像、定位后图像和输出图像的频率特性分别与在水平方向和垂直方向上、图9到14C所示的第一实施例的图像处理设备的输入图像、零值插值图像、扩大后图像、定位后图像和输出图像的频率特性相同。因此，为了避免冗余，此处省略对它们的描述。 

与图9中的图像处理设备相似，采用图34的图像处理设备，对于在水平方向上和垂直方向上包含混叠成分的输入图像，可以实现柔和的分辨率增强。 

注意，也可以修改图34中的图像处理设备，以使得扩大部分201在水平方向和垂直方向中的输入图像的扩大比率被设置为不是二倍，而是四倍或更多，且用于执行扩大后图像和输出图像的定位的滤波器，即定位部分24的滤波器是由具有减少的抽头数量的滤波器形成的。 

在这种情况下，在图34的图像处理设备中，对于水平方向和垂直方向，执行由图17的图像处理设备对于垂直方向所执行的处理。 

此外，也可以由例如图29、32、33的图像处理设备等通过采用二维滤波器，而采用像图34中的图像处理设备那样的、对于在水平方向和垂直方向中包含混叠成分的输入图像的处理。 

适当地，例如，可以将图34中的图像处理设备应用于能够拍摄高质量的静态画面和动态画面的三板式的数码相机。 

第十实施例 

图39示出根据本发明的第十实施例的图2中的图像处理设备的配置示例。 

参考图39，与图9的图像处理设备一致，该图像处理设备包括存储部分21、移动检测部分22、定位部分24、混合部分25、加法部分26和存储部分28。 

图34的图像处理设备与图9中的图像处理设备的区别在于其包括扩大部分261，以替代扩大部分23，且包括分离部分262，以替代分离部分27。 

例如，在输出彩色图像的单板式的数码相机中，由照像装置拍摄的图像比如是拜耳阵列的图像，其中，一个像素具有一个颜色成分作为像素值。 

在拜耳阵列的图像中，在第一行中交替地排列G成分的像素和B成分的像素，而在第二行中交替地排列R成分的像素和G成分的像素，且重复在第一行和第二行中像素的排列。注意，拜耳阵列的图像包含等于R成分和B成分中的每个的像素的两倍的数目的G成分的像素。 

如果注意到不包括混叠成分的拜耳阵列图像的某一个颜色成分，则每隔一个位置排列关注的颜色成分的像素，并且，关注的颜色成分的像素构成的图像包括许多重复成分。 

在图39的图像处理设备中，从拜耳阵列图像获得的仅由G成分的像素构 成的图像(其在下文中被称为G图像)、仅由B成分的像素构成的另一个图像(其在下文中被称为B图像)、以及仅由R成分的像素构成的另一个图像(其在下文中被称为R图像)被各自分别地处理，以产生从中去除重复成分且具有增强的分辨率的G图像、B图像和R图像。 

具体地，在图39的图像处理设备中，向存储部分21提供拜耳阵列图像，并将其作为输入图像存储于其中。 

例如，移动检测部分22使用存储于存储部分21中的输入图像的像素之中的数量最多的G成分的像素，来确定运动矢量，即全局运动矢量，以便定位。 

具体地，移动检测部分22从输入图像的像素之中替换除了G成分像素之外的像素，即，将B成分的像素和R成分的像素替换为零值点。由于替换之后的输入图像包括许多混叠成分，所以，该移动检测部分22对替换之后的输入图像滤波，以产生不包括混叠成分、但仅由接近直流的频率的频率成分构成的图像。随后，移动检测部分22使用该图像作为如上文中参考图10所描述的标准图像和比较图像，以确定运动矢量。 

该运动矢量被共用于定位G图像、B图像和R图像。 

在图39的图像处理设备中，对于B图像、G图像和R图像而言，定位部分24、混合部分25、加法部分26、分离部分262和存储部分28执行与图9中所示的扩大部分23、定位部分24、混合部分25、加法部分26、分离部分27和存储部分28相似的处理。 

首先，描述B图像的处理。 

注意，B图像和R图像是通过图像的位置平行移动而互相一致的图像，即，是像素排列模式彼此相同的图像。因此，对于R图像的处理与下文中描述的对于B图像的处理相同，且因此，为了避免冗余，而省略该处理的重复描述。 

图40A到40E示出由图39所示的扩大部分261对B图像执行的处理。 

具体地，图40A示出拜耳阵列图像。 

在拜耳阵列图像中，在第一行中交替地排列G成分的像素和B成分的像素，而在第二行中交替地排列R成分的像素和G成分的像素，并重复在第一行和第二行中像素的排列。 

图40B示出在图40A的拜耳阵列图像中的B成分的像素排列。 

在拜耳图像的排列的水平方向和垂直方向中，每隔一个位置地排列B成分的像素，并且，由这样的B成分的像素构成的B图像在水平方向和垂直方向上包括很多且很强的混叠成分。 

注意，在图40B中，空白圆形标记表示B成分的像素，而实心圆形标记则表示任何其它颜色成分的像素。 

图39所示的扩大部分261执行在B图像的水平方向中的每个相邻像素之间插入一个零值点的零值插值，且随后执行在零值插值之后的B图像的垂直方向中的每个相邻像素之间插入一个零值点的零值插值。 

换句话说，扩大部分261执行在图40B中由实心圆形标记指示的除了B成分之外的颜色成分的每个像素的位置上插入零值点的零值插值，以产生零值插值图像，其中，在水平方向和垂直方向中的像素数量增加到原始B图像的两倍。 

注意，扩大部分261调整原始像素值，以使得在零值插值之后，像素值的平均值不变化。具体地，扩大部分261将零值插值图像的像素之中的B图像的原始像素的像素值增加到四倍。 

通过扩大部分261获得的B图像的零值插值图像具有增加到在B图像的水平方向和垂直方向中的像素数量两倍的像素数量，且因此，具有与拜耳阵列的原始图像相同的大小或像素数量。现在，如果在B图像的水平方向和垂直方向的采样频率(即，用于B成分的像素的采样频率)为频率fs，则B图像的零值插值图像的采样频率为2fs，其等于B图像在水平方向和垂直方向两者中的原始采样频率的两倍 

图40C示出B图像的零值插值图像的频率特性。 

在图40C中，横坐标轴指示水平方向的频率，即水平频率，而纵坐标轴指示垂直方向的频率，即垂直频率。 

在图40C中，实曲线指示信号成分，而虚曲线则指示混叠成分。 

在零值插值图像中，尽管B图像的信号成分的高频成分被恢复，但也产生混叠成分，且信号成分和混叠成分以混合的方式存在。 

其后，例如，通过具有滤波器系数为{{1/4，1/4，0}，{1/4，1/4，0}，{0，0，0}}的二维滤波器，扩大部分261对该零值插值图像滤波，以产生B图像的扩大后图像。 

图40D示出由B图像的零值插值图像产生的扩大后图像。 

参考图40D，像素A、B、C、D、E和F为原始B图像的像素，且其它像素是在插入零值点的位置处的像素。 

在图40D中，位于像素A的下侧相邻的像素a1、位于右侧相邻的另一个像素a2和位于右下侧相邻的另外的像素a3具有均等于像素A的像素值的像素值。相似地，由小写字母指示的像素的像素值与由相同的大写字母表示的像素的像素值相同。 

因此，扩大部分261实质上执行B图像的二维最邻近插值，以产生其像素数量在水平方向和垂直方向均增加到B图像的两倍的扩大后图像。 

如上所述，在应用这样的最邻近插值的情况下(其中，如上所述，水平方向和垂直方向中的像素数量均被加倍)，在原始B图像的水平方向上、垂直方向上，或水平方向和垂直方向两者上位移一半像素距离(即，在水平或垂直方向中彼此相邻的位置之间距离的一半)的位置，产生由最邻近插值产生的每个像素，即，如图40D中所示的像素ai那样的由小写字母表示的像素。 

因此，可以认为，扩大后图像的像素位于四个位置，其中，如图40E中的小的空白圆形标记所指示的，所述四个位置在水平方向和垂直方向上、从位于所述四个位置的中心的原始B图像的像素位移了一半像素距离。 

注意，在图40E中，像素A、B、C、D、E和F是原始B图像的像素。此外，在图40E中，包括在从像素A向左上方向位移一半像素距离的位置处的像素a1、向右上方向位移一半像素距离的位置处的像素a2、向左下方向位移一半像素距离的位置处的像素a3和向右下方向位移一半像素距离的位置处的像素a4的四个像素具有均与像素值A的像素值相等的像素值。类似地，在图40E中，由小写字母指示的像素的像素值与由相同的大写字母表示的像素的像素值相同。 

为了基于上文中所描述的分辨率增强原理而产生从其中去除了输入图像(即，B图像)在水平方向和垂直方向中的混叠成分、且具有增强的分辨率的输出图像，有必要使图39的图像处理设备中的分离部分262的滤波器具有与级联连接滤波器相同或相似的特性，在所述级联连接滤波器中，扩大部分261的滤波器、与图13A到13G所示的作为定位部分24的滤波器的水平多抽头APF 71和垂直多抽头APF 72以级联连接方式连接。 

此外，如上文所述，由于是由使包括在扩大后图像中的所有频率成分通过的多抽头APF形成图13A到13G所示的定位部分24的水平多抽头APF 71 和垂直多抽头APF 72，所以，最终，对于分离部分262的滤波器而言，具有与扩大部分261的滤波器相同或相似的特性是必要的。 

另一方面，可以认为，如图40E所示，通过由具有滤波器系数{{1/4，1/4，0}，{1/4，1/4，0}，{0，0，0}}的二维滤波器进行滤波、以及在扩大部分261中执行最邻近插值而产生的B图像的扩大后图像的像素位于：在垂直方向和水平方向上、从位于原始B图像的像素的中心处的像素均位移了一半像素距离的位置处。 

例如，可以通过由具有滤波器系数为{1/2，1/2}的滤波器在水平方向上滤波和在垂直方向上滤波，而执行用于产生图40E的扩大后图像的最邻近插值。 

具体地，如果扩大部分261产生图40E所示的扩大后图像，其中像素存在于在水平方向和垂直方向上、从原始B图像的像素位移了一半像素距离的位置，则扩大部分261的滤波器由一组具有滤波器系数为{1/2，1/2}的水平LPF和具有滤波器系数为{1/2，1/2}的垂直LPF组成。 

如果通过由具有滤波器系数{1/2，1/2}的两抽头滤波器来对图像滤波，则在滤波之后，作为结果而获得的图像像素的位置从原始图像的像素的位置位移了一半像素距离。 

因此，如果采用与扩大部分261的滤波器相同的一组具有滤波器系数{1/2，1/2}的水平LPF和具有滤波器系数{1/2，1/2}的垂直LPF作为分离部分262的滤波器，则通过利用分离部分262的滤波器来对输出图像滤波而获得的图像(即，输出图像的低频成分)的像素的位置在水平方向和垂直方向上均位移了一半像素距离。因此，在混合加法时，有必要再次执行定位。 

因此，在图39的图像处理设备中，对于分离部分262的滤波器，不采用具有滤波器系数{1/2，1/2}的滤波器，而采用具有与所述滤波器的滤波器特性相似的滤波器特性、且按照滤波之前的图像而保持由滤波获得的图像的像素的位置不位移的另一个滤波器。 

此处，具有与滤波器系数为{1/2，1/2}的滤波器相似的滤波器特性、且像素位置不位移的滤波器可以是：例如，具有滤波器系数{-2/128，23/128，86/128，23/128，-2/128}的五抽头滤波器。 

在图39的图像处理设备中，采用具有滤波器系数{-2/128，23/128，86/128，23/128，-2/128}的一组水平LPF和垂直LPF作为分离部分262的滤波器。结果，产生基于在上文中所描述的分辨率增强原理的、从其中去除在B图像的 水平方向上和垂直方向上的混叠成分的、且分辨率增强的输出图像。 

换句话说，此外，与图9中的图像处理设备相似，通过图39的图像处理设备可以达到B图像的柔和的分辨率增强。 

注意，尽管在图39的图像处理设备中、扩大部分261通过最邻近插值产生扩大后图像，但可以通过不同于最邻近插值的插值，例如在图9的情形中的线性插值，来执行扩大后图像的产生。 

图41示出图39所示的扩大部分261的配置示例。 

参考图41，扩大部分261包括插值部分271、272、以及二维LPF 273。 

向插值部分271提供仅由来自存储于存储部分21的输入图像中的B成分的像素组成的B图像。插值部分271执行在来自存储部分21的B图像的水平方向中的每个相邻像素之间插入一个零值点的零值插值，并向插值部分272提供由零值插值所获得的图像。 

插值部分272执行在来自插值部分271的图像的垂直方向中的每个相邻像素之间插入一个零值点的零值插值，并向二维LPF 273提供由零值插值而获得的、且具有在水平方向和垂直方向中增加到B图像的两倍的像素数量的图像。 

例如，如上文所述，该二维LPF 273是具有滤波器系数{{1/4，1/4，0}，{1/4，1/4，0}，{0，0，0}}的滤波器，并在水平方向和垂直方向中对来自插值部分272的零值插值图像滤波，并向图39所示的定位部分24提供由滤波所获得的扩大后图像。 

现在，参考图42A到42B描述图39所示的扩大部分261的另一个配置示例。 

图42A示出图39所示扩大部分261的另一个配置示例。 

具体地，图42A的扩大部分261与图41的扩大部分的共同点在于：包括插值部分271和272。 

然而，图42A中的扩大部分261与图41中的扩大部分的区别在于：其不包括二维LPF 273，而包括水平LPF 281和垂直LPF 282。 

参考图42A，向水平LPF 281提供由插值部分271通过执行在B图像的水平方向的每个相邻像素之间插入一个零值点的零值插值而产生的零值插值图像。 

例如，该水平LPF 281是一个具有滤波器系数为{1/2，1/2，0}的滤波器，且 在水平方向上对来自插值部分271的零值插值图像滤波，并向插值部分272提供通过滤波所获得的图像。 

该插值部分272执行在来自水平LPF 281的图像的垂直方向中的每个相邻像素之间插入一个零值点的零值插值，并向垂直LPF 282提供由零值插值获得的零值插值图像。 

例如，该垂直LPF 282是具有滤波器系数为{1/2，1/2，0}的滤波器，且在垂直方向上对来自插值部分272的零值插值图像滤波，并向图39所示的定位部分24提供由滤波获得的扩大后图像。 

图42B示出二维滤波器的滤波系数，所述二维滤波器通过具有滤波系数为{1/2，1/2，0}的LPF，同时执行在水平方向中的滤波和在垂直方向中的滤波。 

由具有滤波系数为{1/2，1/2，0}的LPF同时执行在水平方向中的滤波和在垂直方向中的滤波的二维滤波器的滤波系数为{{1/4，1/4，0}，{1/4，1/4，0}，{0，0，0}}。因此，通过由水平LPF 281在水平方向滤波、以及由垂直LPF 282在垂直方向滤波，而执行与图41所示二维LPF 273的滤波相似的滤波。 

具体地，作为图41所示的扩大部分261的滤波器的二维LPF 273，与作为图42A所示扩大部分261的滤波器的水平LPF 281和垂直LPF 282的组合彼此相同。 

现在，参考图43A和43B描述图39中所示的分离部分262的处理。 

图43A示出图39中所示的分离部分262的配置示例。 

参考图43A，所示的分离部分262与图14A到14C所示的分离部分27的共同点在于其包括数学运算部分82，而与图14A到14C所示的分离部分27的区别在于其包括LPF部分301以替代垂直LPF 81。 

为了基于上文中所描述的分辨率增强原理而产生从其中去除输入图像的混叠成分、且具有增强的分辨率的输出图像，有必要使作为分离部分262的滤波器的LPF部分301具有与级联连接滤波器相同或相似的特性，在该级联连接滤波器中，作为扩大部分261的滤波器的图41所示的二维LPF 213、与作为定位部分24的滤波器的图13A到13G所示的水平多抽头APF 71和垂直多抽头APF 72以级联连接方式连接。 

此处，由于如上文所述、图13A到13G所示的定位部分24的水平多抽头APF 71和垂直多抽头APF 72是由使包括在扩大后图像中的所有频率成分通过的多抽头APF形成，所以，最终，可使用具有与扩大部分261的滤波器 的滤波器特性相同或相似的滤波器特性的滤波器，用于分离部分262的LPF部分301。 

然而，如上文参考图40A到40E所述，如果考虑到扩大部分261产生图40E所示的扩大后图像，其中，像素存在于在水平方向和垂直方向上从原始B图像的像素均位移了一半像素距离的位置，则扩大部分261的滤波器由一组具有滤波器系数{1/2，1/2}的水平LPF和具有滤波器系数{1/2，1/2}的垂直LPF形成。 

采用具有与该组具有滤波器系数为{1/2，1/2}的水平LPF和具有滤波器系数为{1/2，1/2}的垂直LPF的相同滤波器特性、且作为扩大部分261的滤波器的滤波器，作为LPF部分301，即，分离部分262的滤波器，如上文中参考图40A到40E所描述的，作为通过LPF部分301滤波的结果而获得的图像的像素从滤波前原始图像的像素位置位移了一半像素距离。 

在这种情况下，有必要执行消除作为LPF部分301滤波的结果而获得的图像的像素的位移的定位。 

因此，在图43A中，采用这样的滤波器作为LPF部分301，即，分离部分262的滤波器：其具有与一组具有滤波器系数为{1/2，1/2}的水平LPF和具有滤波器系数为{1/2，1/2}的垂直LPF的滤波器特性相同的滤波器特性的滤波器，且是扩大部分261的滤波器，并且，还按照滤波前的图像的像素的原样保持作为滤波结果所获得的像素的位置，而不使它们位移。 

具体地，LPF部分301包括水平LPF 311和垂直LPF 312。 

该水平LPF 311是具有与滤波器系数为{1/2，1/2}的滤波器相似的滤波器特性的五抽头滤波器，且不位移像素的位置，并具有例如{-2/128，23/128，86/128，23/128，-2/128}的滤波器系数。该水平LPF 311在水平方向上对从存储部分28提供的输出图像Sn-1滤波，并向垂直LPF 312提供作为滤波结果而获得的图像。 

与水平LPF 311相似，该垂直LPF 312是具有滤波器系数为{-2/128，23/128，86/128，23/128，-2/128}的五抽头滤波器，并在垂直方向中对来自水平LPF 311的图像滤波，并向数学运算部分82和混合部分25提供作为滤波结果而获得的输出图像Sn-1的低频成分Ln。 

图43B示出作为水平LPF 311和垂直LPF 312而被采用、且具有滤波器系数{-2/128，23/128，86/128，23/128，-2/128}的滤波器的滤波器特性。 

图43B还示出具有滤波器系数为{1/2，1/2}的另一个滤波器的滤波器特性。 

尽管具有滤波器系数为{-2/128，23/128，86/128，23/128，-2/128}的滤波器和具有滤波器系数为{1/2，1/2}的另一个滤波器在高频区域的特性上稍微有些区别，但它们在低频区域和中频区域的特性基本相同，且因此，它们在总体上彼此相似。 

注意，尽管图43A所示的LPF部分301由水平LPF 311和垂直LPF 312构成，水平LPF 311和垂直LPF 312中的每个都是由滤波器系数为{-2/128，23/128，86/128，23/128，-2/128}的五抽头滤波器形成，但该LPF部分301也可由同时执行水平LPF 311在水平方向中的滤波和垂直LPF 312在垂直方向中的滤波的二维LPF形成。 

然而，当LPF部分301是由执行与由该组水平LPF 311和垂直LPF 312所执行的滤波相同的滤波的二维LPF形成时，该二维滤波器LPF为25抽头滤波器。因此，当LPF部分301是由二维LPF形成时，相比于由水平LPF 311和垂直LPF 312形成的LPF部分301的可替换情况，有关滤波的数学运算量增加。 

现在，参考图44A到44H进一步描述由图39中的图像处理设备对B图像所执行的处理。 

注意，尽管图44A到44H示出图像和滤波器在水平方向中的频率特性，但垂直方向的频率特性与水平方向的频率特性相似。 

图44A示出仅由输入图像中B成分的像素构成的B图像的频率特性。 

该B图像包括在低于奈奎斯特频率fs/2的频率处以混合方式存在的信号成分和混叠成分。 

图44B示出通过利用图39所示的扩大部分261执行图44中的B图像的零值插值而获得零值插值图像的频率特性。 

尽管由零值插值恢复从fs/2到fs的高频区域中的信号成分，但也在fs/2到fs的高频区域中产生混叠成分。 

图44C示出图41所示的作为扩大部分261的滤波器的二维LPF 273的滤波器特性，以及图44D示出由扩大部分261获得的扩大后图像的频率特性。 

由具有图44C的滤波器特性的二维LPF 273对图44B的零值插值图像滤波，以形成具有图44D所示频率特性的扩大后图像，其中，在从fs/2到fs的高频区域内的包括信号成分和混叠成分的频率成分被削弱。 

图44E示出图13A到13G所示水平多抽头APF 71的滤波器特性，其中，水平多抽头APF 71是图39所示定位部分24的滤波器，且图44F示出由定位部分24获得的定位后图像的频率特性。 

如上文中参考图13A到13G所描述的，定位部分24的水平多抽头APF 71具有尽可能平缓的频率特性，使得尽可能多地使包括在扩大后图像的水平方向中的所有频率成分通过。 

因此，作为由定位部分24对图44D中的扩大后图像定位、由水平多抽头APF 71滤波而获得的定位后图像理想地具有与图44D的扩大后图像相同的频率特性。 

图44G示出图43A到43B所示的水平LPF 311的滤波器特性，所述水平LPF 311是图39中所示分离部分262的滤波器。 

水平LPF 311的滤波器特性与在图44G中由虚线指示的图44C中的扩大部分261的滤波器特性相同。 

图44H示出由图39所示的加法部分26获得的输出图像的频率特性。 

图39中所示的混合部分25和加法部分26对B图像重复地执行混合加法，以产生输出图像，其中，恢复从fs/2到fs的高频区域中的B图像的信号成分，并从高频区域中去除混叠成分。 

现在，描述图39的图像处理设备对从拜耳阵列图像获得的G图像执行的处理。 

图45A示出在图40A所示的拜耳阵列图像内的G成分的像素的排列。 

在拜耳阵列图像的斜向中延伸、每隔一行地布置G成分的像素，且由这样的G成分的像素构成的G图像在垂直方向和水平方向中包括许多很强的混叠成分。 

注意，在图45A中，空白圆形标记表示G成分的像素，而实心圆形标记表示不同颜色成分的像素。 

如果G图像向左或向右旋转45度，则可以认为以栅格状形式并置G成分的像素。 

处于旋转45度的状态的G图像在水平方向上彼此相邻的像素之间的距离、以及在垂直方向上相邻的像素之间的距离对应于：G图像在水平方向和垂直方向上的采样频率fs。 

图39所示的扩大部分261执行向在图45A所示的除了G成分的像素之 外的像素的位置(也就是，向B成分的像素和R成分的像素的像素位置)插入零值点的零值插值，以产生具有等于G图像的像素数量的两倍的像素数量的零值插值图像。 

注意，扩大部分261调整原始像素值，以使得在零值插值之后，像素值的平均值不变化。具体地，扩大部分261将零值插值图像的像素之中的G图像的原始像素的像素值增加到四倍。 

如上文中所述，由扩大部分261获得的G图像的零值插值图像具有两倍于G图像的像素数量的像素数量，且具有与原始的拜耳阵列图像相同的大小，即像素数量。因此，G图像的零值插值图像的采样频率为 

fs，即，在水平方向和垂直方向两者中的G图像的原始采样频率fs的 

倍。 

图45B示出G图像的零值插值图像的频率特性。 

参考图45B，横坐标轴指示水平方向的频率，即水平频率，而纵坐标轴则指示垂直方向的频率，即垂直频率。 

此外，在图45B中，实曲线指示信号成分，而虚曲线则指示混叠成分。 

在零值插值图像中，尽管恢复了G图像信号成分的高频成分，但也产生混叠成分，且信号成分和混叠成分以混合方式存在。 

其后，扩大部分261使用滤波器系数为{{1/4，1/4，0}，{1/4，1/4，0}，{0，0，0}}的二维滤波器对该零值插值图像滤波，以产生G图像的扩大后图像，例如，所述二维滤波器与在产生B图像时所使用的相同。 

根据通过具有滤波器系数为{{1/4，1/4，0}，{1/4，1/4，0}，{0，0，0}}的二维滤波器对G图像的零值插值图像的滤波，在插入零值点且在图45A中由实心圆形标记指示的位置，即，在B成分的每个像素和R成分的每个像素的位置，对像素值进行线性插值。换句话说，将像素值线性地插入到在原始G图像的水平方向或垂直方向上位移了一半像素距离的位置，也就是，插入到位移了在水平方向或垂直方向中相邻像素之间的距离的一半的位置。 

因此，可以考虑到，G图像的扩大后图像的像素位于原始G图像的斜向中相邻的像素之间的位置，即，在图45C中由小空心圆形标记指示的G图像的像素在水平方向和垂直方向上均位移了一半像素距离的位置。在这种情况下，所描述的位置与B图像和R图像的扩大后图像的像素的位置一致。 

此处，在图45C中，像素A、B、C、D、E、F、G、H、I、J、K和L是原始G图像的像素。此外，在图45C中，位于像素A和像素D之间的扩 大后图像的像素#1的像素值是像素A和D的像素值的平均值，即(A+D)/2，其中，像素D位于在右斜下方向与像素A相邻。此外，例如，像素B和像素D之间的扩大后图像的像素#2的像素值是像素B和像素D的像素值的平均值，即(B+D)/2，其中，像素D位于在左斜下方向与像素B相邻。此外，扩大后图像的其它像素具有相似的像素值。 

在图39的图像处理设备中，当处理G图像时，可使用具有与处理B图像和R图像时使用的滤波器相同的滤波器系数{{1/4，1/4，0}，{1/4，1/4，0}，{0，0，0}}的二维滤波器，作为扩大部分261的滤波器，即，作为如图41所示的二维滤波器273。因此，还可使用具有与处理B图像时使用的滤波器相同的滤波器系数{-2/128，23/128，86/128，23/128，-2/128}的滤波器，作为分离部分262的滤波器，即，作为图43中所示的水平LPF 311和垂直LPF 312。 

随后，在图39的图像处理设备中，基于在上文中所描述的分辨率增强原理，产生从中去除在G图像的水平方向和垂直方向中包含的混叠成分、且其分辨率被增强的输出图像。 

具体地，此外，与图9的图像处理设备相似，利用图39的图像处理设备，可实现G图像的柔和的分辨率增强。 

注意，在图39的图像处理设备中，通过收集作为由对拜耳阵列图像的R图像、G图像和B图像处理而获得的R成分的输出图像、G成分的输出图像和B成分的输出图像的相同位置上的像素的像素值的、R成分、G成分和B成分，可以产生并输出具有三个颜色成分R、G、B的彩色图像。 

换句话说，图39的图像处理设备可以执行拼接(mosaic)处理。 

如上所述，与图9中的图像处理设备的情形相似，利用图39中的图像处理设备，可以达到有关拜耳阵列的输入图像的柔和的分辨率增强。 

注意，例如，也可以通过采用如图39中的图像处理设备的情形中那样的二维滤波器，由图29、32和33的图像处理设备执行拜耳阵列图像的处理。 

例如，可以对单板式的数码相机应用图39中的图像处理设备，所述单板式的数码相机可以拍摄高画面质量的静态画面和动态画面。 

如上所述，由于在图像处理设备中执行基于上面所描述的分辨率增强原理的处理，也就是，由于通过在其中使用周围像素值的插值扩大输入图像而产生新的输出图像，所以，通过执行在由输入图像的扩大而获得的扩大后图像和在前一操作周期中获得的输出图像之间的定位、将在前一操作周期中获 得的输出图像分离为低频成分和高频成分、以及执行将低频成分和扩大后图像混合并向通过混合获得的图像中加入高频成分的混合加法，可以达到图像的柔和的分辨率增强。 

具体地，如果仅由最邻近插值或线性插值产生的扩大后图像被加权相加，则不能恢复高频区域中的信号成分。 

相反，利用基于分辨率增强原理执行处理的图像处理设备，由于低频成分被混合或加权相加、以及随后加入高频成分，所以，可以基于分辨率增强原理产生高分辨率的输出图像。 

例如，在包括多个输入图像时，随着输入图像的数量的增加，可以获得高分辨率的输出图像，其中，混叠成分减小了越来越多的量，并且，恢复了高于奈奎斯特频率的频率成分。具体地，当输入图像的数量少时，可以产生某种程度上较高画面质量的输出图像，但当足够数量的输入图像可用时，可以产生高分辨率的输出图像，其中，充分地减小了混叠成分，并充分地恢复高于奈奎斯特频率的高频成分。 

此外，即使在只有一个输入图像可用的情况下，由于通过使用输入图像的周围像素进行插值而产生扩大后图像，所以，作为要提供给用户的输出图像的画面质量，也能确保对于输出图像的实际使用足够的画面质量，即，通过线性插值等等而获得的图像的画面质量。 

注意，在现有的分辨率增强技术中，在仅有一个输入图像可用的情况下，向用户提供包括在上文中参考图6A到7D所描述的暗条纹图案的图像。 

同时，此外，在多个输入图像可用时，如果输入图像是这样的特定图像，即，它们是隔行图像的多个连续场的图像，并且，每场的图像在垂直方向上从前一场的图像位移了奇数行，那么，从组成图像的像素中采样的图像拍摄对象的点在各个场中相同。在这种情况下，尽管使用了多个输入图像，但由于信息量与单个输入图像的信息量相同，所以，利用现有的分辨率增强技术，与其中仅有一个输入图像可用的情形相似，向用户提供包含暗条纹图案的图像。 

相反，利用基于分辨率增强原理执行处理的图像处理设备，即使多个输入图像是像如上所述的特定图像，作为要被提供给用户的输出图像的画面质量，确保由线性插值等获得的图像的画面质量。 

尽管多个输入图像是如上面所描述的特别图像的情况极少出现，然而， 如果输入图像的数量是像2、3等等那样较小的数，则该多个输入图像有比较高可能性可以是如上面所描述的特定图像。 

此外，利用基于分辨率增强原理的图像处理设备，不但对于在一个方向包括混叠成分的输入图像，而且对于在两个方向包括混叠成分的输入图像，均可以实现图像的分辨率增强。 

此外，利用基于分辨率增强原理的图像处理设备，例如，可以执行拜耳阵列图像的分辨率增强，并且，无论输入图像是静态画面和动态画面中的哪个，都可以实现输入图像的分辨率增强。 

具体地，例如，数码相机被分类为：三板式的数码相机，其中包括用于R、G、B三原色的图像拍摄器件；以及单板式的数码相机，其中在一个图像拍摄器件上提供接收R、G、B的光的不同的像素。在单板式的数码相机中，广泛地使用拜耳阵列作为图像拍摄器件的像素阵列。拜耳阵列图像是其中一个像素只具有R、G、B三个颜色成分之一的像素值的阵列，并且，对于刚描述的这样的图像，有必要执行将该图像转换为每个像素的像素值具有三个颜色成分R、G、B的图像的拼接处理。基于该分辨率增强原理的图像处理设备可以执行上面所描述的拜耳阵列的图像的拼接处理。 

此外，近年来，在数码相机中，出现既可以拍摄静态画面又可以拍摄动态画面的产品。在输入图像为静态画面的情况下，基于分辨率增强原理的图像处理设备可以通过执行移动输出图像的定位，而执行静态画面的分辨率增强。此外，如上文所述，在基于分辨率增强原理的图像处理设备中，诸如扩大部分23的功能块被共用，例如参考图33，以在静态画面和动态画面之间切换或选择要被执行的分辨率增强。 

如上文所述，在输入图像为动态画面的情况下，基于分辨率增强原理的图像处理设备执行移动输出图像的定位。此外，基于分辨率增强原理的图像处理设备执行定位之后的输出图像和通过扩大输入图像而获得的扩大后图像的混合加法，即，执行动态画面混合加法。随后，图像处理设备输出通过混合加法而获得的新的输出图像，作为对应于输入图像的输出图像。因此，每次一旦执行混合加法，便执行对应于输入图像的输出图像的输出。 

另一方面，在输入图像为静态画面的情况下，基于分辨率增强原理的图像处理设备执行移动输入图像，即如上文所述的输入图像的扩大后图像的定位。此外，基于分辨率增强原理的图像处理设备执行定位后的扩大后图像和 输出图像的混合加法，即，执行静态画面的混合加法，已获得新的输出图像。随后，基于分辨率增强原理的图像处理设备重复地对存储于存储部分21的多个输入图像中的全部执行静态画面混合加法，并最终输出所获得的新的输出图像，作为对应存储于存储部分21的多个输入图像的输出图像。因此，在对存储于存储部分21的多个输入图像多次地执行了混合加法之后，执行对应于输入图像的输出图像的输出。 

如上所述，在输入图像为动态画面的情况下，由基于分辨率增强原理的图像处理设备用来输出一个输出图像而执行的数学运算量小于输入图像为静态画面的情况。 

注意，在输入图像为动态画面的情况下、以及在输入图像为包含移动体的图像的静态画面的情况下，基于分辨率增强原理的图像处理设备对包含某种移动的部分执行相对少量的输入图像或扩大后图像的混合加法，而对不包含移动的部分执行相对大量输入图像的混合加法。因此，对于包含移动的部分，获得画面质量高于通过线性插值获得的图像的画面质量的图像。同时，对于不包括移动的部分，获得在其中减少了混叠成分、且恢复了高频成分的高分辨率图像。 

同时，在过去的包括移动检测处理、宽带插值处理和加权加法处理的分辨率增强技术中，由于预先确定要通过加权加法处理对其执行混合(即，加权加法)的帧数，所以，可以使要在加权加法处理中对其执行混合的帧数在包含移动的部分和不包含移动的另一部分之间有所不同。 

可以向例如电视机、数码摄像机和数码相机应用基于上面所描述的分辨率增强原理的这样的图像处理设备。 

顺便提及，当可由硬件执行上面所描述的处理系列时，其也可另外由软件执行。在由软件执行该处理系列的情况下，构建该软件的程序被安装到通用计算机等上。 

图46示出要被安装执行上面所描述的处理序列的程序的计算机的形式的配置示例。 

该程序可被预先记录在作为记录介质而被内置在计算机中的硬盘405或ROM 403中。 

或者，该程序可被暂时或永久地存储或记录在诸如软盘、CD-ROM(只读光盘)、MO(磁光)盘、DVD(数字多用盘)、磁盘或半导体存储器的可移动记录 介质411中。可作为封装软件提供像刚才所描述的这样的可移动记录介质411。 

注意，如上所述，程序可以从上述可移动记录介质411被安装到计算机，或可以通过利用用于数字卫星广播的人造卫星等的无线通信，从下载站点传输到计算机，或者，可通过经由例如LAN(局域网)或因特网的网络的有线通信而被传输到计算机。因此，计算机可以利用通信部分408接收以这种方式传送的程序，并将程序安装到内置于其中的硬盘405上。 

该计算机具有内置于其中的CPU(中央处理器)402。输入/输出接口410通过总线401连接到CPU 402。如果由用户控制包括键盘、鼠标、麦克风等的输入部分407经由输入/输出接口410向CPU 402输入指令，则CPU 402执行存储于ROM 403(只读存储器)的程序。或者，CPU 402向RAM(随机存取存储器)404载入存储在硬盘405上的程序、通过通信部分408接收的从卫星或网络传送、并被安装在硬盘405中的程序，或者从载入到驱动器409的可移动记录介质405中读取、并被安装于硬盘405中的程序，并执行该程序。结果，该CPU 402执行依照上文中所描述的流程图的处理、或要由上文所描述的框图中的任一配置执行的处理。随后，CPU 402通过输入/输出接口410从例如由LCD(液晶显示器)单元、扬声器等等组成的输出部分406输出处理的结果，或从通信部分408等传送处理的结果，或者，在需要时使处理的结果被记录在硬盘405上。 

注意，在目前的说明书中，描述使得计算机执行各种处理的程序的处理步骤并不一定以根据流程图所描述的顺序的时间顺序被处理，而可以包括并行或独立执行的处理，例如并行处理或依赖于对象的处理。 

可以由单个计算机处理该程序，或者可以由多个计算机分离地执行该程序。此外，可以向位于远程位置的计算机传输、并由该计算机执行该程序。 

当已使用特定术语描述本发明的最佳实施例时，这样的描述仅仅是为了说明的目的，且应当了解，所作的改变和变化并不脱离所附的权利要求的精神和范围。 

本发明申请包含的主题内容涉及在2008年7月17日向日本专利局递交的日本在先专利申请JP 2008-185603和2008年10月1日向日本专利局递交的日本在先专利申请JP 2008-256480中所公开的主题，在此，其全部内容被全文引用。 

Claims (16)

1.一种图像处理设备，包括：

扩大部件，用于通过使用周围的像素值进行插值，来扩大输入图像；

定位部件，用于执行将对输入图像扩大而获得的扩大后图像的位置调整到在前一操作周期中获得的输出图像的位置的定位；

分离部件，用于将所述在前一操作周期中获得的输出图像分离为低频成分和高频成分；以及

混合加法部件，用于将低频成分与定位之后的扩大后图像混合，并向通过混合获得的图像加入该高频成分，以产生新的输出图像。

2.根据权利要求1中的图像处理设备，其中，使用滤波器形成所述扩大部件、定位部件和分离部件，并且，所述分离部件的所述滤波器具有与由所述扩大部件的所述滤波器和所述定位部件的所述滤波器级联连接而形成的滤波器的特性相同或相似的特性。

3.根据权利要求2中的图像处理设备，还包括：

移动判定部件，用于判定在定位之后的扩大后图像的每个像素的移动程度，其中

移动体混合部分，用于利用权重执行将在前一个操作周期中获得的输出图像与所述新的输出图像混合的移动体混合，其中，该权重变化，使得对于显示出移动的像素，应用于在前一操作周期中获得的输出图像的权重更高，而对于未显示出移动的像素，应用于新的输出图像的权重更高。

4.根据权利要求2中的图像处理设备，还包括：

第一选择部件，用于选择该扩大后图像、或在前一操作周期中获得的输出图像，并向所述定位部件提供所选图像作为定位的对象；

第二选择部件，用于选择在由所述定位部件定位之后的图像、或该扩大后图像，并向所述混合加法部件提供所选图像；以及

第三选择部件，用于选择在由所述定位部件定位之后的图像、或在前一操作周期中获得的输出图像，并向所述分离部件提供所选图像；

所述图像处理设备执行第一处理，使得：

所述第一选择部件选择该扩大后图像，并向所述定位部件提供该扩大后图像，

所述定位部件执行将从所述第一选择部件提供的扩大后图像的位置调整到所述在前一操作周期中获得的输出图像的位置的定位，并将定位之后的扩大后图像提供给所述第二选择部件，

所述第二选择部件选择从所述定位部件提供的定位之后的扩大后图像，并向所述混合加法部件提供在该定位之后的扩大后图像，

所述第三选择部件选择在前一操作周期中获得的输出图像，并将该输出图像提供给所述分离部件，

所述分离部件将在前一操作周期中获得、且从所述第三选择部件提供的该输出图像分离为低频成分和高频成分，以及

所述混合加法部件将该低频成分与从所述第二选择部件提供的在该定位之后的扩大后图像混合，并向通过混合获得的图像加入高频成分，以产生新的输出图像，

或者，所述图像处理设备执行第二处理，使得：

所述第一选择部件选择在前一操作周期中获得的输出图像，并向所述定位部件提供该输出图像，

所述定位部件执行将在前一操作周期中获得、且从所述第一选择部件提供的输出图像的位置调整到该扩大后图像的位置的定位，并向所述第三选择部件提供在该定位之后的输出图像，

所述第二选择部件选择该扩大后图像，并向所述混合加法部件提供该扩大后图像，

所述第三选择部件选择在由定位部件定位之后的输出图像，并向所述分离部件提供该输出图像，

所述分离部件将从所述第三选择部件提供的定位之后的输出图像分离为低频成分和高频成分，以及

所述混合加法部件将该低频成分与从所述第二选择部件提供的扩大后图像混合，并向通过混合而获得的图像加入高频成分，以产生新的输出图像。

5.根据权利要求4中的图像处理设备，还包括：

移动判定部件，用于判定扩大后图像中的每个像素的移动程度；

移动体混合部分；以及

第四选择部件，用于选择扩大后图像或在前一操作周期中获得的输出图像；其中

还执行第一处理，使得：

所述第四选择部件选择在前一操作周期中获得的输出图像，以及

所述移动体混合部分利用权重来执行将所述第四选择部件选择的在前一操作周期中获得的输出图像与新的输出图像混合的移动体混合，其中，该权重变化，使得对于显示出移动的像素，应用于所述在前一操作周期中获得的输出图像的权重更高，而对于未显示出移动的像素，应用于新的输出图像的权重更高，并且，还执行第二处理，使得：

所述第四选择部件选择扩大后图像，以及

所述移动体混合部分利用权重，执行将由第四选择部件选择的扩大后图像和新的输出图像混合的移动体混合，其中，该权重变化，使得对于显示出移动的像素，应用于扩大后图像的权重更高，而对于未显示出移动的像素，应用于新的输出图像的权重更高。

6.根据权利要求2中的图像处理设备，其中，该输入图像是隔行类型的图像。

7.根据权利要求2中的图像处理设备，其中，该输入图像是拜耳阵列的图像。

8.一种图像处理设备，包括：

扩大部件，用于通过使用周围的像素值进行插值，来扩大输入图像；

定位部件，用于执行将在前一操作周期中获得的输出图像的位置调整到通过对输入图像扩大而获得的扩大后图像的位置的定位；

分离部件，用于将所述定位之后的输出图像分离为低频成分和高频成分；以及

混合加法部件，用于将低频成分与扩大后图像混合，并向通过混合获得的图像加入该高频成分，以产生新的输出图像。

9.根据权利要求8中的图像处理设备，其中，使用滤波器形成所述扩大部件、定位部件和分离部件，并且，所述分离部件的所述滤波器具有与由所述扩大部件的所述滤波器和所述定位部件的所述滤波器级联连接而形成的滤波器的特性相同或相似的特性。

10.根据权利要求9中的图像处理设备，还包括：

移动判定部件，用于判定扩大后图像中的每个像素的移动程度，

移动体混合部分，用于利用权重，执行将扩大后图像和新的输出图像混合的移动体混合，其中，该权重变化，使得对于显示出移动的像素，应用于扩大后图像的权重更高，而对于未显示出移动的像素，应用于新的输出图像的权重更高。

11.根据权利要求9中的图像处理设备，还包括

第一选择部件，用于选择该扩大后图像、或在前一操作周期中获得的输出图像，并向所述定位部件提供所选图像作为定位的对象；

第二选择部件，用于选择在由所述定位部件定位之后的图像、或该扩大后图像，并向所述混合加法部件提供所选图像；以及

第三选择部件，用于选择在由所述定位部件定位之后的图像、或在前一操作周期中获得的输出图像，并向所述分离部件提供所选图像；

所述图像处理设备执行第一处理，使得：

所述第一选择部件选择该扩大后图像，并向所述定位部件提供该扩大后图像，

所述定位部件执行将从所述第一选择部件提供的扩大后图像的位置调整到所述在前一操作周期中获得的输出图像的位置的定位，并将定位之后的扩大后图像提供给所述第二选择部件，

所述第二选择部件选择从所述定位部件提供的定位之后的扩大后图像，并向所述混合加法部件提供在该定位之后的扩大后图像，

所述第三选择部件选择在前一操作周期中获得的输出图像，并将该输出图像提供给所述分离部件，

所述分离部件将在前一操作周期中获得、且从所述第三选择部件提供的该输出图像分离为低频成分和高频成分，以及

所述混合加法部件将该低频成分与从所述第二选择部件提供的在该定位之后的扩大后图像混合，并向通过混合获得的图像加入高频成分，以产生新的输出图像，

或者，所述图像处理设备执行第二处理，使得：

所述第一选择部件选择在前一操作周期中获得的输出图像，并向所述定位部件提供该输出图像，

所述定位部件执行将在前一操作周期中获得、且从所述第一选择部件提供的输出图像的位置调整到该扩大后图像的位置的定位，并向所述第三选择部件提供在该定位之后的输出图像，

所述第二选择部件选择该扩大后图像，并向所述混合加法部件提供该扩大后图像，

所述第三选择部件选择在由定位部件定位之后的输出图像，并向所述分离部件提供该输出图像，

所述分离部件将从所述第三选择部件提供的定位之后的输出图像分离为低频成分和高频成分，以及

所述混合加法部件将该低频成分与从所述第二选择部件提供的扩大后图像混合，并向通过混合而获得的图像加入高频成分，以产生新的输出图像。

12.根据权利要求11中的图像处理设备，还包括：

移动判定部件，用于判定扩大后图像中的每个像素的移动程度；

移动体混合部分；以及

第四选择部件，用于选择扩大后图像或在前一操作周期中获得的输出图像；其中

还执行第一处理，使得：

所述第四选择部件选择在前一操作周期中获得的输出图像，以及

所述移动体混合部分利用权重来执行将所述第四选择部件选择的在前一操作周期中获得的输出图像与新的输出图像混合的移动体混合，其中，该权重变化，使得对于显示出移动的像素，应用于所述在前一操作周期中获得的输出图像的权重更高，而对于未显示出移动的像素，应用于新的输出图像的权重更高，并且，还执行第二处理，使得：

所述第四选择部件选择扩大后图像，以及

所述移动体混合部分利用权重，执行将由第四选择部件选择的扩大后图像和新的输出图像混合的移动体混合，其中，该权重变化，使得对于显示出移动的像素，应用于扩大后图像的权重更高，而对于未显示出移动的像素，应用于新的输出图像的权重更高。

13.根据权利要求9中的图像处理设备，其中，该输入图像是隔行类型的图像。

14.根据权利要求9中的图像处理设备，其中，该输入图像是拜耳阵列的图像。

15.一种图像处理方法，包括以下步骤：

通过使用周围的像素值进行插值，而扩大输入图像；

执行将对输入图像扩大而获得的扩大后图像的位置调整到在前一操作周期中获得的输出图像的位置的定位；

将所述在前一操作周期中获得的输出图像分离为低频成分和高频成分；以及

将低频成分与定位之后的扩大后图像混合，并向通过混合而获得的图像加入该高频成分，以产生新的输出图像。

16.一种图像处理方法，包括以下步骤：

通过使用周围的像素值进行插值，来扩大输入图像；

执行将在前一操作周期中获得的输出图像的位置调整到通过对输入图像扩大而获得的扩大后图像的位置的定位；

将所述定位之后的输出图像分离为低频成分和高频成分；以及

将低频成分与扩大后图像混合，并向通过混合获得的图像加入该高频成分，以产生新的输出图像。

Images