CN102685367B - 图像处理装置与像素插值方法 - Google Patents

Abstract

一种图像处理装置，包括：颜色分离单元，被配置为将彩色图像分离成多种颜色以生成相应颜色的图像；周期性确定单元，被配置为对于相应颜色的图像每一个，确定包括目标像素的图像区域是否为周期性区域；第一像素值生成单元，被配置为利用第一插值方法生成相应颜色的像素值；第二像素值生成单元，被配置为利用第二插值方法生成相应颜色的像素值；控制单元，被配置为基于周期性确定单元的确定结果来确定第一和第二像素值生成单元中的哪一者要被用于生成相应颜色的像素值；以及像素值合并单元，被配置为合并候选像素值以计算插值该目标像素的合并像素值，所述候选像素值是目标像素的相应颜色的像素值并且由控制单元所确定的像素值生成单元所生成。

Description

图像处理装置与像素插值方法

相关申请的交叉引用

本申请要求2011年1月26日在日本提交的日本专利申请第2011-013839号的优先权，并且通过引用并入其全部内容。

技术领域

本发明涉及一种执行插值处理以便插值图像中具有丢失像素值或错误像素值的像素的像素值的装置、以及由该装置所执行的插值方法。

背景技术

使用光学单元扫描图像的扫描仪设备被分类为利用接触式图像传感器(CIS)的装置以及利用电荷耦合设备(CCD)的装置。利用CIS的装置不能够扫描立体式文档，这是因为该文档需要与待扫描表面近距离接触。然而近几年，利用CIS的装置由于其厚实的机身和与利用CCD的设备相比低廉的价格以及降低在扫描图像中可能出现的噪声的技术改进，已被广为使用。例如，CIS被用于具有一次(one-pass)双面扫描功能的图像扫描设备，以扫描文档的背面。

CIS利用RGB发光二极管(LED)作为光源，通过高速切换R、G和B颜色的光来将R、G和B颜色的光发射至文档以便将反射自文档的光通过镜头输入至成像元件(CMOS图像传感器)，利用CMOS图像传感器将来自文档的输入光逐个像素地转换成电压值，并且输出该转换后的电压值。

该利用CIS的扫描仪设备利用接触式图像传感器的方法，该方法采用辊轴使文档与传感器近距离接触并逐行扫描该文档。由于制造一个长的传感器比较困难，因此CIS具有以下配置：多个短传感器沿着其长度方向排列以形成扫描单元。这样，传感器之间形成了一定空隙，而且在该空隙中不可能获取图像信号。结果会产生图像信号的缺失。

上述问题不限于利用CIS的设备。在扫描仪设备中，由于扫描图像信号的传感器的缺陷或者光学通路中途障碍的出现(诸如文档放置于其上的接触玻璃上出现的灰尘)，图像信号可能缺失，或者扫描的图像信号可能具有错误的值。

结果，存在的问题是：在所扫描的图像中出现具有丢失的像素值或错误的像素值的像素，并且图像质量降低。为解决该问题，在相关技术中，已知的方法是：从具有丢失的或错误的像素值的目标像素的周围像素的像素值中估计出该目标像素的正确的像素值，并插值(插入)所估计的像素值代替目标像素的丢失或错误的像素值。

例如，已知一种利用目标像素的周围像素的像素值执行线性插值的方法；以及一种利用二阶或更高阶函数执行多项式插值或样条插值的方法。基于线性插值的插值方法对于在亮度上具有微小变化的图像部分的插值是理想的，但对于在亮度上具有剧烈变化的图像部分(如半色调点区域)的插值是不理想的。

当对图像(诸如数字照片)进行采样的采样周期与图像图案的变化周期相比足够短时，基于多项式插值和样条插值的插值方法能够高精确度地估计像素值。然而，在半色调点图像的情况下，由于图像分辨率与半色调点的屏幕频率相比是不足的，因此采样周期相对于图像的变化周期也不够长。因此，该插值方法可能无法正确地再现原始图案。

因而，为解决该插值方法的问题，建议了一种使用图案匹配的方法。在该图案匹配方法中，可以再现高频分量，所述高频分量不能通过该插值方法在插值目标像素附近的位置处使用相似图案而再现。

然而，总体上说，由于与插值方法相比该图案匹配利用了大范围信息，因此尽管获得了基础图案的最优解，但所获得的解对插值目标像素而言并非最优。产生这一问题是因为：当在图案匹配方法中查找相似图案时，在整体上彼此存在细微差异的图案并未区别于那些彼此大体相同但部分存在显著差异的图案。

具体地，像具有较高屏幕规则的半色调点区域一样，当信息不规则地分布至特定像素时，选择相似图案的方法对插值结果有明显的影响。而且，在低密度的半色调点区域中，由于属于图像背景区域的像素所占比例相对较高，可能在背景区域中而不是在半色调点区域中检测到相似图案，或者可能没有检测出相似图案。

因此，当执行插值时，有必要使用一种取决于插值目标像素所属区域的特征的插值方法。为准确地估计插值目标像素的像素值，已经提出了一种设备，其中当插值目标像素的位置处于半色调点区域中时，与包括插值目标像素的图案相似的图案从图像中被查找出来，并且包括于最相似图案中并对应于该插值目标像素的像素的像素值被确定为插值目标像素的像素值(参见日本专利第4330164号)。

该设备基于图像扫描传感器所扫描的图像数据来确定与接触式图像传感器的连接部分相对应的插值目标像素的位置是处于半色调点区域中还是处于非半色调点区域中。当插值目标像素的位置处于非半色调点区域中时，利用线性插值来生成插值目标像素的像素数据，并且将所生成的像素数据插入至该插值目标像素。另一方面，当插值目标像素的位置处于半色调点区域中时，利用图案匹配来生成该插值目标像素的像素数据，并且将所生成的像素数据插入至该插值目标像素。

在这种情况下，在插值目标像素的位置附近的图像区域中设置包括该插值目标像素的一个基础块、以及与基础块具有相同尺寸但不包括该插值目标像素的多个参考块。然后，基于基础块内的像素数据及相应参考块内的像素数据来计算基础块与相应参考块之间的相关值。在具有与基础块的最高相关值的参考块内的像素数据中，与基础块中的插值目标像素相对应的像素的像素数据被确定为插值目标像素的像素数据。

但是，在这种插值方法中，尽管对于其中像素值平缓变化的图像能够获得高插值精确度，但存在的问题是：对于其中像素值突然变化的图像，插值精度降低。

用于彩色图像的半色调点一般由C、M和Y(青色、洋红色和黄色)三种颜色或者C、M、Y和K四种颜色的点所组成。因此，为执行精确的插值，有必要再现各个颜色的点。然而，在相关技术中，再现各个颜色的半色调点的方法还是未知的。

因此，需要一种能够对于像素值突然变化的图像以高精度执行插值处理并且在彩色图像中再现各个颜色的半色调点的设备和方法。

发明内容

一种图像处理装置包括：颜色分离单元，其被配置为将彩色图像分离成多个颜色分量以生成相应颜色的图像；周期性确定单元，其被配置为对于相应颜色的图像中的每一个确定包括像素值要被插值的目标像素的图像区域是否为像素值呈周期性变化的周期性区域；第一像素值生成单元，其被配置为利用第一插值方法生成像素的相应颜色的像素值；第二像素值生成单元，其被配置为利用不同于第一插值方法的第二插值方法生成像素的相应颜色的像素值；控制单元，其被配置为基于周期性确定单元所获得的确定结果来确定要使用第一像素值生成单元和第二像素值生成单元中的哪一个生成目标像素的相应颜色的像素值；以及像素值合并单元，其被配置为合并作为目标像素的相应颜色的像素值的并且由控制单元确定的第一像素值生成单元或第二像素值生成单元生成的候选像素值，以计算用于插值该目标像素的合并像素值。

在一种图像处理装置中执行一种像素插值方法，所述图像处理装置包括：第一像素值生成单元，用于利用第一插值方法生成像素的像素值；以及第二像素值生成单元，用于利用不同于第一插值方法的第二插值方法生成像素的像素值。该像素插值方法包括：将彩色图像分离成多个颜色分量以生成相应颜色的图像；对于相应颜色的图像中的每一个，确定包括像素值要被插值的目标像素的图像区域是否为其中像素值呈周期性变化的周期性区域；基于在确定图像区域的周期性时所获得的确定结果，确定使用第一像素值生成单元和第二像素值生成单元中的哪一个来生成目标像素的相应颜色的像素值；以及合并作为目标像素的相应颜色的像素值的并且由在确定像素值生成单元时所确定的第一像素值生成单元或第二像素值生成单元生成的候选像素值，以计算用于插值该目标像素的合并像素值。

在结合附图考虑时，通过阅读本发明当前优选实施例的以下详细描述，本发明的上述以及其它目的、特征、优点以及技术上和工业上的重要性将会被更好地理解。

附图说明

图1为图示根据本发明的图像处理装置的硬件配置的示例的图；

图2为图示该图像处理装置的实施例的功能性框图；

图3为图示包括插值像素的图像的示例的图；

图4A和4B为图示确定区域以及像素在水平方向上在该确定区域中的位

置与其像素值之间的关系的示例的图；

图5A至5C为图示周期性区域和非周期性区域的示例的图；

图6A和6B为图示显示典型周期的图像和模板的示例的图；

图7A和7B为图示像素的位置与其像素值之间的关系的示例的图；

图8为图示由图2所示的图像处理装置所执行的像素插值处理的流程的流程图；

图9为图示图8所示的步骤S815所执行的处理的流程的流程图；

图10A至10C为图示用于确定部分区域的周期性的确定区域的示意图；

图11为图示图9所示的步骤S910、S920和S925所执行的周期性确定的详细处理的流程图；

图12为图示图8所示的步骤S830所执行的处理的流程的流程图；

图13为图示图8所示的步骤S845所执行的处理的示例的流程图；

图14为图示图8所示的步骤S845所执行的处理的另一示例的流程图；

图15为图示图8所示的步骤S845所执行的处理的又一示例的流程图；

图16为图示图像处理装置的另一实施例的功能性框图；以及

图17为图示图16所示的图像处理装置所执行的像素插值处理的流程的流程图。

具体实现方式

本发明的图像处理装置直接由电缆或通过网络连接至读取彩色图像的扫描仪设备。在该示例中，假设扫描设备为利用CIS的扫描仪设备，但扫描仪设备不限于此，。由于传感器之间的空隙，扫描仪设备所扫描的图像包括具有丢失的像素值或错误的像素值的像素。因此，该图像处理设备执行以下插值处理，包括：计算该像素(插值目标像素)的正确的像素值，以及将所计算的像素值设置至插值目标像素，从而利用所计算的像素对插值目标像素进行插值。

该图像处理装置为被配置来执行以下操作的设备，所述操作为：接收要经过插值处理的彩色图像的输入，将彩色图像分离为仅由相应颜色所构成的纯色图像(plain image)，从纯色图像中计算候选像素值作为要被插入至该插值像素的像素值，合并为相应颜色所计算的候选像素值以生成一个像素值，以及将合并的像素值插入至插值目标像素，从而利用合并的像素值对插值目标像素进行插值。

当图像为其中一个像素由8比特表示的灰度级图像时，像素值取0值为黑色而255为白色。当图像为其中对于每个颜色R、G和B一个像素由8比特表示的彩色图像时，对于每个颜色红、绿和蓝，像素值从0到255的范围中取值。所有像素值取0值为黑色，而所有像素值取255值为白色。

为实现这些处理，图像处理装置(诸如PC、工作站、服务器或MFP)被配置为包括：存储设备，其中记录了能够执行所述处理的程序；处理器，其读取并执行该程序；以及用于连接扫描仪设备与网络的接口。

具体地，如图1所示，例如，图像处理装置10可包括作为处理器的微处理器单元(MPU)11。而且，图像处理装置10可被配置为包括：作为存储设备的只读存储器(ROM)12，其为非易失性存储器，存储了基本输入输出系统(BIOS)和固件；以及随机存取存储器(RAM)13，其提供允许MPU 11进行程序处理的执行和存储区域。

MPU 11连接至存储控制接口14，其属于一种通过内部总线的接口。MPU11访问作为存储设备之一的连接至存储控制接口14的硬盘15，并且读取、执行和写入各种类型的应用程序和数据。作为存储控制接口14，存在根据集成设备电子电路(IDE)、AT附件(ATA)、串行ATA或超级ATA等标准控制硬盘15的输入和输出的接口。MPU 11可通过内部总线控制串行或并行接口16(诸如通用串行总线(USB)或IEEE 1394)，与输入输出设备17(诸如键盘、鼠标或打印机)进行通信，以及接收来自用户的输入。

图像处理装置10可被配置为包括：视频RAM(VRAM)19和图形芯片20，其响应于来自MPU 11的指令处理视频信号并将视频显示在显示设备18上；连接至网络的网络I/F 21，用于通过该网络与其它设备进行通信。VRAM19为被用作用于将视频显示在显示设备18上的存储设备的RAM，且图形芯片20为处理图像数据的集成电路。

此外，图像处理装置10可被配置以使得：MPU 11读取存储于ROM 12、硬盘15及其它存储设备(未示出)(诸如NVRAM或SD卡)中的程序，并且在RAM 13的存储区中展开程序以在适合的操作系统(OS)下实现后面描述的相应处理，由此MPU 11被配置为用于实现相应处理的相应单元。作为OS，可以利用Windows(注册商标)、UNIX(注册商标)、LINUX(注册商标)等。图像处理装置10不限于以上所描述的PC等等，但可被配置为专用集成电路(ASIC)，其中多个功能电路被集成至一个用于特定应用的电路。

图2为图示图像处理装置的第一实施例的功能性框图。如上所述，图像处理装置10可通过使MPU 11进行读取和执行存储于存储设备(诸如ROM 12或硬盘15)中的程序的处理，来实现相应功能。即，图像处理装置10被配置为包括颜色分离单元30、周期性确定单元31、第一像素值生成单元32、第二像素值生成单元33、控制单元34、像素值合并单元35以及像素值插入单元36。尽管图2中未示出，但该图像处理装置10可进一步包括像素指定单元，其指定(检测)插值目标像素。

颜色分离单元30接收要经过插值处理的彩色图像的图像数据，将该彩色图像分离成多个预先指定的颜色分量，并生成仅由相应颜色分量所构成的纯色图像，所述纯色图像是相应颜色的灰度级图像。在数字图像的情况下，彩色图像总体上由RGB(红色、绿色和蓝色)三种颜色所组成。该颜色分离单元30将彩色图像分离为CMY(青色、洋红色和黄色)、CMYK(青色、洋红色、黄色和黑色)、RGB、Lab或YIQ的颜色分量。例如，颜色分离单元30可使用已经穿透RGB相应颜色的滤色器的光来分离彩色图像，由此生成纯色图像。

Lab由三个值组成：“L”代表亮度，“a”代表红绿范围内的色调成分，而“b”代表蓝黄范围内的色调成分。YIQ由三个值组成：“Y”代表光亮度、“I”代表橙色-青色范围内的颜色差，而“Q”代表紫蓝-黄绿范围内的颜色差。

打印素材的半色调区域优选地被分离为CMYK的颜色分量，因为通过CMYK四色的半色调点来表现颜色层次(gradation)。然而，由于RGB和CMY为互补关系，而青色、洋红色和黄色的半色调点在红色、绿色和蓝色分量的纯色图像(R、G和B纯色图像)中分别像是明和暗图案，因而即使半色调区域被分离成RGB颜色分量，也不会发生严重的问题。尽管黑色的半色调点出现于红、绿、蓝所有颜色的纯色图像中，但可以通过执行插值处理间接地再现黑色的点，而无需区分黑色的半色调点与CMY的半色调点并再现在RGB纯色图像中出现的半色调点图案。

该颜色分离单元30所执行的颜色分离可在接收到要经过插值处理的彩色图像之后执行。可选地，其可在像素指定单元检测到插值目标像素之后执行。此外，颜色分离可仅对彩色图像执行，而不对仅由一种颜色组成的图像(诸如黑白图像)执行，这是因为颜色分离无需执行。在彩色图像的情况下，通过直接从彩色图像中检测目标像素、从所检测的像素的像素值中抽取特定颜色分量值、并且使用该颜色分量值，无需执行用于创建纯色图像的颜色分离。

随后，上述像素指定单元从处理目标图像中检测其像素值要被插入的插值目标像素。该插值目标像素的位置可由用户预先检测，以及可由设备依序地检测。该位置可被表示为坐标(x，y)，其使用左下角坐标作为基点坐标(0，0)，其中“x”为沿与主扫描方向相同的向右方向的像素数，而“y”为沿向上方向的像素数。

作为图像处理装置10检测插值目标像素时应用的检测方法，存在一种通过检查每个像素的像素值以确定该像素是否具有预先指定的亮度和颜色来检测插值目标像素的方法。此外，存在一种通过估计像素值与扫描已知图像所获得的正确的像素值的差来检测插值目标像素的方法。此外，存在一种检测像素值在水平或垂直方向上的周期性变得不连续所处的位置并将该位置处的像素检测为插值目标像素的方法。该插值目标像素可为孤立的点，也可为连续点形成的线段。插值目标像素可为线段的原因是由于：空隙可以被形成为在作为成像元件的移动方向的副扫描方向上连续，并且可由连续点组成的线段形成。

一般地，尽管对所有纯色图像相同地设置插值目标像素的位置，但当希望仅插值(插入)特定颜色分量值时，可以仅在该颜色的纯色图像中设置该插值目标像素。

包括插值目标像素的图像的示例可包括其中在半色调点图像中出现垂直条纹的图像，在所述半色调点图像中具有近似相同尺寸的黑色的点近乎规则地排列，如图3所示地。该垂直条纹由点丢失的部分和点比周围点更大的部分所组成，以穿过图像中心部分。这种图像具有周期性，这是因为点被按照一定间隔地排列，但在垂直条纹部分中该周期性变得不连续。因此，通过检测水平周期性变得不连续所处的位置，可以检测插值目标像素。

该周期性确定单元31指定预定尺寸的确定区域以包括纯色图像中的插值目标像素，并确定该确定区域内的像素值的变化是否具有周期性。该确定区域可为包括该插值目标像素的具有与一个像素相对应的高度的区域，即图像的一行，或可选地，可为包括该插值目标像素的具有可选高度的矩形区域。

确定区域的尺寸可预先由用户设定，也可由设备动态指定。当尺寸由设备动态指定时，利用预先指定的尺寸执行一次该插值处理。然后，如果可以利用更小的尺寸充分执行插值处理，则该确定区域可按一定比例减小。相反地，如果无法利用更小的尺寸来执行插值处理，则该确定区域可按一定比例增加。

图4A和4B示出了一种示例，其中图像的一行被提取并作为确定区域使用。在图4A中，按照一定间隔排列表示黑色半色调点的像素和表示白色背景的像素，而在其间排列具有不同像素值的灰度像素以产生颜色层次。在图4A中，显示了由于空隙而具有丢失的像素值的像素40。

图4B图示了确定区域的像素在水平方向上的位置与其像素值之间关系的示例。像素的像素值具有离散值，这是因为每个像素值不随像素变化，但当像素值被平滑地连接起来时，像素值可表现为波形，其中像素值以恒定的周期增高和降低。因此，在这个确定区域中，可以检测到像素值变化的周期性。

具有周期性的确定区域的示例可为图5A所示的由半色调点或阴影线(hatched line)所表示的半色调点区域。另一方面，不具有周期性的确定区域的示例可为图5B所示的由字符或不规则排列的点所组成的不连续区域和图5C所示的平坦区域(诸如由一种颜色或颜色层次表示的背景)。

在半色调点图像由半色调点所表示的情况下，由于点实际上以可选的屏幕角度按线性形式排列，所以点以一定间隔被倾斜地排列而不是以一定间隔在水平方向上排列。因此，尽管半色调点图像不具有如图4B所示的包含相同幅度的波形，但由于半色调点图像具有包含以一定间隔的不同幅度的峰值的波形，就可确定该半色调点图像具有周期性。

尽管周期性的出现可以简单地通过在如图3或图4A及4B中那样在图中图示而确定，然而实际上生成图与根据该图作出确定是困难的。因此，举例而言，可以通过以下操作来确定周期性，所述操作包括：设置确定区域，该确定区域具有纯色图像的包括插值目标像素的预定尺寸；计算确定区域内的变化周期；以及利用所计算的变化周期确定该确定区域的周期性的出现。这样，该周期性确定单元31可包括用于计算变化周期的周期计算单元(未示出)。

虽然有必要计算变化周期以确定周期性，但不能认为该确定区域内像素值的变化周期始终是不变的。因此，采用典型周期作为用于确定周期性的变化周期。作为典型周期的计算示例，记录像素值在确定区域内达到其局部最大值的位置(峰值位置)(即图4B所示的波形的在正方向上具有峰值的每个像素的位置)，在整个确定区域上创建从某一峰值位置到下一峰值位置的距离的柱状图，然后，采用与最大频率相对应的距离(即具有最高频率的类的值)作为典型周期。典型周期可用像素数来表达。在图4A和4B中所示的示例中，峰值以近似于6个像素的间隔出现，并且相邻峰值的距离大多为6个像素。因而，典型周期被设置为6个像素。替代地，从允许典型周期有一定程度误差的角度出发，可使用“典型周期±1”的距离。

在这种情况下，可利用像素值达到其局部最小值的位置(即图4B所示的波形中在负方向上具有峰值的每个像素的位置)而非利用像素值达到其局部最大值的位置来计算典型周期。如果利用像素值变化的周期性来计算典型周期，则抗噪声性(noise resistance)较低。相反，如果计算像素值的自动相关性且利用其变化的周期性，则抗噪声性升高。由此，当利用像素值达到其局部最大值的位置与像素值达到其局部最小值的位置来计算典型周期时，优选使用自动相关性。抗噪声性升高的原因是由于：在很多情况下噪声被施加在像素值上，通过利用从多组像素值导出的自动相关性而非直接利用像素值，噪声的影响被抑制为较低。

自动相关性为某一信号与相对于该信号具有预定相移的信号之间的相关性。在这种情况下，在确定区域中计算自动相关性，利用自动相关性值而非像素值来创建柱状图，并且利用最大频率的值作为典型周期。作为自动相关性值，可利用相关性系数，还可利用协方差以使计算更简单。

这里，协方差S是表示两个像素值的协变化的指标并可由以下的表达式(1)来计算，其中“x_i”是两个对比图案中之一的第i个像素的像素值，“y_i”是另一个图案中的第i个像素的像素值，“X_m”是一个图案中像素值的均值，“y_m”是另一个图案中像素值的均值，而“n”是图案中的像素数。

$S=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(x_i-x_m)(y_i-y_m)---\left(1\right)$

相关性系数R为表示两个随机变量之间相似度的指标，并且可由以下的表达式(2)来计算，其中，“σ_x”为一个图案的标准差，而“σ_y”为另一个图案的标准差。

$R=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(x_i-x_m)(y_i-y_m)}{{\mathrm{\σ}}_x{\mathrm{\σ}}_y}---\left(2\right)$

置信度C_v例如可由以下的表达式(3)来计算。在表达式(3)中，“T”为上面计算得出的典型周期，“F_r”为柱状图中对应于典型周期T的距离的频率，而“N”为确定区域中的像素数。可利用T±1的频率的总和作为“F_r”以允许在估计典型周期与典型周期T的频率时的误差。作为置信度，表达式(3)定义了在峰值位置间具有与典型周期相同的距离的像素与整个确定区域中所包括的像素之间的比例。

$C_v=\frac{T\×F_r}{N}---\left(3\right)$

当置信度高于阈值时，确定区域被确定为具有周期性。当置信度等于或小于该阈值时，确定区域被确定为不具有周期性。该阈值可预先由用户设置，或替代地可以动态地确定。当阈值预先由用户设置时，可以通过执行仿真或测试并计算对于确定周期性的存在而言理想的置信度，来确定和设置该阈值。当阈值被动态确定时，可将关于具有周期性的半色调点区域与不具有周期性的不连续区域和纯色区域中任一个区域实际上计算得到的置信度的中值确定为该阈值。

第一像素值生成单元32利用图案匹配方法作为插值方法来生成插值目标像素的像素值。作为图案匹配方法的具体示例，可应用模板匹配。可以通过以下操作来执行模板匹配：将一模板用作基础图案，其是图像内的指定位置或具有指定尺寸的图像区域；并且查找与该模板相似的位置，由此计算该模板与图像内图案之间的一致度。

在实现该功能时，首先，第一像素值生成单元32确定模板的尺寸。基于以上所述方式所计算的典型周期而设置模板宽度。尽管模板宽度可以被设置为与典型周期的宽度相一致，但该宽度不限于此。该宽度可在左右每侧比与典型周期的宽度相对应的像素数稍大或稍小一个像素。接下来，类似于宽度，模板高度可以被设置为与典型周期的高度相一致。但高度不限于此，也可以稍大或稍小。尽管宽度和高度被设置为在左右每侧大或小一个像素，但还可将宽度和高度设置为大或小两个或以上的像素。

当该插值目标像素属于半色调点区域时，模板优选地被设置为正方形区域，其一边接近该典型周期。这是因为：当表示典型周期的图像为图6A所示的具有14个像素的宽度和一个像素的高度的图像时，通过将模板设置为具有14个像素的宽度和14个像素的高度的正方形区域，可以按图6B所示来表示一个半色调点。如上所述，通过将模板尺寸设置为对应于一个半色调点的区域，当查找相似图案时，对于包括插值目标像素的半色调点的最优的相似图案可以仅使用一个半色调点的信息。

此外，当典型周期很小例如为3个像素时，模板尺寸可被设置为略大，通过在3个像素的左右每侧各添加一个像素，成为5个像素。这是因为：当典型周期很小时，用于估计一致度的像素数变得很小，使得相似图案检测的稳定性降低。

该第一像素值生成单元32基于以上述方式确定的模板尺寸将包括插值目标像素的区域从纯色图像中分割出来，并将所分割的区域设置为模板。在这种情况下，该模板优选地被分割并设置为在水平方向和垂直方向上均关于插值目标像素对称的形状。通过用该方式分割并设置模板，可以查找相似图案而不依赖于包括插值目标像素的图案的方向性。

然后，第一像素值生成单元32利用该模板设置在查找与该模板相似的相似图案时要搜索的预定区域。该要搜索的区域可基于典型周期而设置。当表示典型周期的图像例如为具有6个像素的宽度和一个像素的高度的图像时，通过在典型周期的左右每侧各添加6个像素，可以将要搜索的区域设置为具有18个像素的宽度和与宽度相同的18个像素的高度的正方形区域。如上所述，通过将要搜索的区域设置为具有宽度和高度的像素数相等的区域，可以不依赖于待搜索的范围内图案的方向性而进行搜索。上述具有18个像素的宽度和18个像素的高度的区域仅仅是示例，而不限于此。作为替换，更大的区域例如具有30个像素的宽度和30个像素的高度的区域也可被设置为要搜索的区域。

尽管要搜索的区域不限于上述正方形区域，但当因图像缓冲存储器限制或其它原因而有必要降低该范围的高度时，优选地可以等比例增加宽度。这是因为，在高度被降低为低时，要搜索以获得相似图案的目标的数量减少，并且插值的精度降低。此外，当周期性确定单元31确定位于插值目标像素左侧的区域不具有周期性时，优选地可将位于插值目标像素左侧的区域排除在搜索区域之外。对于右侧同理。通过这种方式缩小要搜索的区域，可以防止这样的检测错误，即：从不应从其中获得相似图案的区域中获得相似图案。

在以上述方式设置了要搜索的区域之后，该第一像素值生成单元32利用所生成的模板查找在要搜索的区域内出现的相似图案。具体地，计算在要搜索的区域内的相应位置处与模板的一致度，并且将具有最高一致度的位置选择为相似图案。作为一致度，可应用非相似度(诸如绝对差之和(SAD)或方差之和(SSD))以及相似度(诸如相关性系数或协方差)。

通过以下操作来获得SAD，所述操作为：分割要与模板相对比的图案，计算模板中像素与每个被分割图案中位于相同像素位置的像素的亮度值之差，并计算差的绝对值之和。相似度随着该和的降低而增加，而非相似度随着该和的增加而增加。另一方面，通过以下操作来获得SSD，所述操作为：计算亮度值的每个差的平方，并计算所述平方之和。相似度随该和的降低而增加，而非相似度随着该和的增加而增加。相关性系数和协方差可由上述表达式(1)和(2)计算。相关性系数取值范围从“-1”至“1”，其中该值接近1时出现强正相关，该值接近0时出现弱相关，而该值接近-1时出现负相关。这意味着：当该值接近1时两个图案相似，而该值接近-1时一个图案与另一图案的反(inverted)版本相似。由此，可确定相似度随着该值增加而变高。由于协方差对应于相关性系数，因此可确定相似度随着该值增加而变高。

当估计一致度时，优选地将插值目标像素从用于计算一致度的像素中排除以使插值目标像素的像素值不影响一致度，或优选地通过应用对比目标图案的在与插值目标像素相同位置的像素的像素值来设置虚拟像素值作为插值目标像素。可以按照一致度的降序选择多个相似图案。

此外，当在整个图像中有多个插值目标像素时，在计算一致度时，优选地将其它插值目标像素从用于计算的像素中排除，如同其像素值当前正被插入的插值目标像素一样，或者优选地通过应用对比目标图案的在与插值目标像素相同位置的像素的像素值来设置虚拟像素值作为插值目标像素。这是由于：在基础图案或对比目标图案中不仅包括其像素值当前正被插入的插值目标像素，而且还包括其它插值目标像素，并且插值目标像素基本上具有丢失的像素值或保持错误的像素值，在一致度的计算中不优选应用插值目标像素。其像素值已被插入的插值目标像素的像素值可用于一致度的计算。此外，当在对比目标图案中包括其它插值目标像素时，优选地将其从用于计算的像素中排除，或优选地通过应用基础图案的在同一位置的像素的像素值来设置虚拟像素值。

例如，假设包括插值目标像素的模板由从像素(a_i-2，a_j-2)到像素(a_i+2，a_j+2)的5行5列的像素组成，且第i列的所有像素要被插值。再假设像素(a_i，a_j)当前正在被插值，依序处理插值像素，以及像素值已被插入到同一第i列的像素(a_i，a_j-2)和像素(a_i，a_j-1)。在这种情形下，计算一致度的第一示例性方法通过排除插值目标像素(a_i，a_j-2)、(a_i，a_j-1)、(a_i，a_j)、(a_i，a_j+1)和(a_i，a_j+2)而执行计算。第二示例性方法通过利用对比目标图案的对应位置处的像素的像素值对插值目标像素(a_i，a_j-2)、(a_i，a_j-1)、(a_i，a_j)、(a_i，a_j+1)和(a_i，a_j+2)设置虚拟像素而执行计算。

第三示例性方法通过利用插值目标像素(a_i，a_j-2)和(a_i，a_j-1)的已插入的像素值同时排除其它插值像素(a_i，a_j)、(a_i，a_j+1)和(a_i，a_j+2)而执行计算。第四示例性方法通过利用插值目标像素(a_i，a_j-2)和(a_i，a_j-1)的已插入的像素值同时利用对比目标图案的对应位置处的像素的像素值对其它插值像素(a_i，a_j)、(a_i，a_j+1)和(a_i，a_j+2)设置虚拟像素值而执行计算。

在以这种方式所查找到的最相似图案中，获取在模板中与插值像素相对应的位置处的彩色图像的像素的像素值。当仅使用最相似图案时，以这种方式所获取的像素值可用作插值像素的像素值。例如，当彩色图像为RGB图像时，候选像素值的R、G和B分量值可分别从R、G和B纯色图像中获得。而且，当应用按照一致度的降序选择的多个图案时，从多个图案中所获取的像素值可被合成以得到插值目标像素的像素值。作为合成像素值的方法，存在一种利用固定权重对像素值求平均的方法、以及一种通过控制权重使得随着相似图案的一致度的增加应用较大权重来计算加权平均的方法。

模板匹配包括一维模板匹配和二维模板匹配。在二维模板匹配中，图像内在插值目标像素周围的可选区域(即，插值目标像素的左右两侧或上下两侧或沿倾斜方向出现的区域)被分割为图案，并且计算该图案与模板之间的一致度以查找最相似图案。在该实施例中，第一像素值生成单元32所用的模板匹配为二维模板匹配。相反，在一维模板匹配中，图案从包括插值目标像素的一行中分割出来，并查找最相似图案。由于二维模板匹配和一维模板匹配为不同的插值方法，所以这些插值方法可应用于第二像素值生成单元33、第三像素值生成单元、和下文将会描述的等等。

第二像素值生成单元32利用不同于第一像素值生成单元31所用的插值方法的插值方法来生成插值目标像素的像素值。可利用以下插值方法作为该不同的插值方法，该插值方法包括最近邻居插值(0阶插值)、线性插值(1阶插值)、抛物线插值(2阶插值)、三次插值(3阶插值)、多项式插值、样条插值、拉格朗日插值等等。此外，也可使用对线性插值或三次插值进行二维扩展的双线性插值、双三次插值等等。

同时，本公开所用的术语“插值方法”意图包括：如最近邻居插值、线性插值、抛物线插值、三次插值、多项式插值、样条插值、或拉格朗日插值的“内插方法”；包括如上所述的模板匹配的“图案匹配方法”；以及其它类型的对像素进行插值的方法。

当有像素A至F按顺序排列成一行并且像素C的像素值丢失时，表示该像素的位置与像素值之间关系的图如图7A中所示。像素C的实际像素值是由白色圆圈所表示的值。在这种情况下，由于在像素位置移动一个像素时像素值增加一定值，因此像素的位置与像素值之间的关系可以被表示为线性函数。因而，可利用所获取的线性函数(线性插值)来计算要被插入的像素C的像素值。

此外，当该关系被表示为图7B所示的曲线时，可通过选择对该曲线最理想的插值方法来计算像素值。当该关系可被表示为二次函数时，可选择抛物线插值；当该关系可被表示为三次函数时，可选择三次插值；当该关系可被表示为多项式表达式时，可选择多项式插值或拉格朗日插值；以及当该关系可被表示为各个(individual)多项式表达式时，可选择样条插值。

在该示例中，该第一像素值生成单元32利用图案匹配方法，且该第二像素值生成单元33利用内插方法。替代地，该第一像素值生成单元32可利用内插方法，而该第二像素值生成单元33可利用图案匹配方法。此外，所述像素值生成单元可利用同一种图案匹配方法但一个利用二维模板匹配而另一个利用一维模板匹配。类似地，所述像素值生成单元可利用同一种内插方法但一个利用线性插值而另一个利用样条插值。

控制单元34接收经过颜色分离单元30进行颜色分离且仅由其相应颜色分量组成的纯色图像的数据，将该数据发送至周期性确定单元31，接收周期性确定单元31的确定结果，并基于该确定结果确定要使用第一像素值生成单元32与第二像素值生成单元33中的哪一个生成像素值。当周期性确定单元31确定该数据具有周期性时，控制单元34可利用使用图案匹配方法的第一像素值生成单元32，否则，控制单元34可利用使用内插方法的第二像素值生成单元33。此外，控制单元34将图像数据发送至所确定的第一像素值生成单元32与第二像素值生成单元33之一，接收由所确定的像素值生成单元所生成的多个像素值作为候选像素值，将候选像素值发送至像素值合并单元35，获取通过合并得到的一个合并像素值，并将该合并像素值连同彩色图像的数据以及所设置的像素的位置信息一起发送至像素值插入单元36。

周期性确定单元31、第一像素值生成单元32、第二像素值生成单元33以及控制单元34重复以下处理：确定周期性、确定插值方法、并关于相应纯色图像生成候选像素值以由此获得相应纯色图像的候选像素值。

像素值合并单元35合并与纯色图像的数量相对应的候选像素值以由此生成一个合并像素值。可利用如下方法作为在这种情况下可用的合并方法。

作为一种示例性方法，可利用加权平均。加权平均是一种通过对各个候选像素值施加权重而计算平均的方法。具体地，将与为相应的候选像素值确定的权重相对应的值与该相应的候选像素值相乘，计算乘积结果的总和，并且将总和除以候选像素值的数量以由此计算合并像素值。

在以上示例中，虽然将不同的权重值应用于每个候选像素值，但该实施例并不限于此。对于所有候选像素值可应用相同的权重值，或替代地，某些候选像素值的权重值可被设置为0而仅选择性地应用特定的候选像素值。

作为另一种方法，可应用合并候选像素值的颜色分量值的方法。该方法获取分别从处理目标图像的红色、绿色和蓝色分量的R、G和B纯色图像获得的候选像素值的R、G和B分量值，并将相应的R、G和B分量值精简为一个RGB值。在该方法中，可对R、G和B分量值每个应用增益或偏移量，以对所述值进行校正。例如，可通过确定增益或偏移量使得相应的候选像素值具有相同亮度值的方法来计算该增益或偏移量。

此外，可利用使用合并表达式对候选像素值进行合并的方法。该方法利用下文中的表达式(4)至(10)合并相应的候选像素值以将它们精简为一个像素值。在下文中的表达式(4)至(6)中，像素合并像素值被表示为(r′，g′，b′)，R、G和B分量值被表示为r、g和b，而R、G和B纯色图像的候选像素值分别被表示为(r_R，g_R，b_R)，(r_G，g_G，b_G)和(r_B，g_B，b_B)。而且，表达式(4)至(6)中的“α”是由表达式(10)计算得出的值。

r′＝α×r_R    (4)

g′＝α×g_G    (5)

b′＝α×b_B    (6)

r_T＝r_R+r_G+r_B    (7)

g_T＝g_R+g_G+g_B    (8)

b_T＝b_R+b_G+b_B    (9)

$\mathrm{\α}=\frac{r_R+g_G+b_B}{r_T+g_T+b_T}---\left(10\right)$

像素值插入单元36将像素值合并单元35所计算的合并像素值插入至预先设置的插值目标像素。该像素值插入单元36将由像素值合并单元35所合并并计算得出的合并像素值设置至插值目标像素，并当合并像素值已被设置时，用合并像素值替换已设置的合并像素值以便由此将该像素值插入至插值目标像素。以这种方式，完成了用于一个插值目标像素的插值处理。当有多个插值目标像素时，相应单元中的处理被重复与插值目标像素的数量相对应的多次。

当像素值插入单元36插入合并像素值时，可利用如下两种方法。一种方法是将合并像素值插入至彩色图像的插值目标像素。也就是说，该方法是将合并像素值插入至原始彩色图像中插值目标像素的位置。当希望仅插值特定颜色分量值时，可以通过利用合并像素值的该颜色分量值来替换插值目标像素的对应颜色分量值，从而仅对特定颜色分量值进行插值。

另一种方法是：对于每个纯色图像，将合并像素值的颜色分量值插入至插值目标像素。该方法是：对于每个纯色图像，将合并像素值的对应颜色分量值插入至插值目标像素，以对于所有纯色图像实现插值目标像素的插值处理，并且随后合并纯色图像以获得原始彩色图像。随着该值被插入至纯色图像，使用合并像素值的与该纯色图像相对应的颜色分量值。例如，当彩色图像为RGB图像时，合并像素值的R、G和B分量值被设置至R、G和B纯色图像以完成插值处理，并且随后RGB的所有纯色图像被合并以获取原始RGB彩色图像。当插值目标像素的位置对于每个纯色图像不同时，合并像素值中对应的颜色分量值被插入至当前正被插值的纯色图像，而丢弃合并像素值中的其它颜色分量值。

将参考图8所示的聚焦镜头来描述以下处理，其中，这些相应单元执行相应处理以生成插值目标像素的像素值，插值目标像素由该像素值进行插值。当该处理从步骤S800开始时，首先，在步骤S805，颜色分离单元30将处理目标图像分离为预先指定的颜色分量以生成仅由其相应颜色分量组成的纯色图像。之后，在步骤S810，像素指定单元从一个纯色图像中检测将被插入像素值的插值目标像素，以设置要利用像素值插值的插值目标像素。可应用以上所描述的方法来执行该检测。当有多个插值目标像素时，例如，可以基于像素排列所处的坐标位置按照排列顺序依序选择一个像素，并且可以将所选择的像素设置为插值目标像素。

在步骤S815中，周期性确定单元31指定包括插值目标像素的区域并确定该区域内像素值的变化是否具有周期性。使用确定区域尺寸的方法以及确定周期性的方法来指定确定区域，并且确定周期性的存在。

随后，在步骤S820中，确定用于插值目标像素的内插方法。在该步骤中，控制单元34基于步骤S815中的确定结果来确定第一像素值生成单元32与第二像素值生成单元33中要被用于生成插值目标像素的像素值的那个生成单元。如上所述，当周期性确定单元31确定存在周期性时，选择图案匹配方法。当周期性确定单元31确定不存在周期性时，选择内插方法。

在步骤S825中，确定是否利用该第一像素值生成单元32。当在步骤S820中所选择的插值方法为图案匹配方法时，确定采用利用图案匹配方法来执行插值处理的第一像素值生成单元32。另一方面，当插值方法不是图案匹配方法时，确定不利用该第一像素值生成单元32。

当在步骤S825中确定要采用第一像素值生成单元32时，流程进入步骤S830。在步骤S830中，利用第一像素值生成单元32所应用的图案匹配方法查找相似图案，并且基于如此查找的相似图案来生成像素值的候选，即要插入至插值目标像素的候选像素值。另一方面，当步骤S825中确定不利用该第一像素值生成单元32时，流程进入步骤S835。在步骤S835中，利用第二像素值生成单元33所应用的插值方法来生成插值目标像素的候选像素值。

在步骤S840中，确定是否已经对于所有纯色图像完整地生成了要插入至插值目标像素的候选像素值。当尚未对于所有纯色图像完整地生成候选像素值时，流程返回至步骤S815，并下一个纯色图像确定周期性。另一方面，当已经对于所有纯色图像完整地生成候选像素值时，流程进入步骤S845，且所生成的候选像素值被合并以计算要插入至该插值目标像素的一个合并像素值。对于合并方法，可通过以上所描述的方法来合并候选像素值。

随后，在步骤S850中，在步骤S845中计算得出的合并像素值被插入至在步骤S810中所设置的插值目标像素。由于插值目标像素没有像素值或者即使有像素值也为错误值，因而通过将所生成的像素值插入至该插值目标像素来为插值目标像素设置像素值。可以通过上述两种方法中的任一种来执行合并像素值的插入。然后，流程进入步骤S855，并确定是否所有插值目标像素都已被完整地插值。当在步骤S810中检测到多个插值目标像素时，确定是否所有多个插值目标像素均已被所生成的像素值进行插值。

当在步骤S855确定所有插值目标像素都已被完整地插值时，流程进入步骤S860，此处理结束。另一方面，当确定未对所有插值目标像素进行完整插值时，流程返回至步骤S810。在步骤810中，执行以下处理，即：指定下一个插值目标像素，生成候选像素值，合并候选像素值以计算合并像素值，以及插入合并像素值。

在步骤S815中，为了确定包括插值目标像素的区域中的周期性，可执行图9所示的处理。首先，在步骤S900中，开始确定周期性的步骤。在步骤S905中，利用确定区域内相应像素的像素值来计算典型周期。即，计算置信度计算所需的以及确定模板的尺寸与要搜索区域所需的典型周期。此外，在步骤S910中，利用该典型周期来确定整个确定区域的周期性。

接下来，在步骤S915中，确定区域被分为插值目标像素的左侧和右侧的区域，并设置左侧和右侧区域。在该示例中，周期性确定单元31进一步包括部分区域周期性确定单元，并且该部分区域周期性确定单元将确定区域分成左侧区域和右侧区域，将这些区域设置为部分区域，并确定在相应部分区域中是否存在周期性。

因此，在步骤S920中，计算插值目标像素左侧区域中的典型周期，并使用该典型周期来确定周期性。在步骤S925中，计算插值目标像素右侧区域中的典型周期，并使用该典型周期来确定周期性。当这些确定处理结束时，步骤S930的周期性确定处理结束。

在步骤S915至S925中，确定区域51被设置以使插值目标像素50位于其中心，如图10A所示，确定区域51被分为具有插值目标像素50左右两侧的部分区域，如图10B所示。插值目标像素50左侧的区域被设置为用于确定左侧的周期性的部分区域52，而插值目标像素50右侧的区域被设置为用于确定右侧的周期性的部分区域53。以这种方式，可确定部分区域52和53的周期性。

只要可以恰当地确定周期性的存在，就没有必要将位于插值目标像素50左右两侧的大块部分区域52和53设置为确定区域，所述大块部分区域52和53是通过从确定区域51中排除插值目标像素50及其上方和下方的像素来获得，如图10B所示。替代地，可设置如图10C所示的更小的部分区域54和55。此外，部分区域不一定要位于确定区域51内部，还可被设置为部分地从确定区域51凸出。

在图10B中，虽然确定区域51被设置为具有预定宽度和三个或更多像素的高度的二维区域，然而确定区域51还可被设置为具有与插值目标像素50相同的高度(即一个像素)并具有由预定数量的像素组成的宽度的一维区域。

如上，通过确定插值目标像素左右两侧的区域内的周期性和包括插值目标像素的整个确定区域的周期性，可以确定包括插值目标像素的区域的周期性。即如果整个区域具有周期性，那么可认为包括插值目标像素的区域具有周期性，而包括插值目标像素的区域可被确定为具有周期性的区域。

在步骤S910、S920和S925中执行的确定中，执行图11所示的处理以确定相应周期性的存在。首先，在步骤S1100中，当相应步骤(S910、S920和S925)被执行时，该处理开始。在步骤S1105中，以上文描述的方式计算确定区域内像素值达到其局部最大值所在的峰值之间的距离的最大频率，且该最大频率被计算为像素值的典型周期。由于整个确定区域中的典型周期在步骤S910中计算，因而可利用该步骤中计算出的典型周期，其细节在此不再描述。

随后，在步骤S1110中，利用之前的步骤计算出的典型周期来计算置信度。置信度可利用前述表达式(3)来计算。在步骤S1115中，确定计算出的置信度是否超过一阈值，由此确定周期性的存在，此处理结束于步骤S1120。当置信度超过阈值时，确定周期性存在。当置信度等于或小于该阈值时，确定周期性不存在。

在图9所示的处理流程中，在估计了典型周期之后，确定整个确定区域中的周期性。随后，确定左侧部分区域中的周期性，此后确定右侧部分区域中的周期性，由此确定包括插值目标像素的区域中的周期性。然而，该实施例不限于此。例如，可在确定了左侧部分区域和右侧部分区域中的周期性之后确定整个确定区域中的周期性。替代地，当确定在左侧部分区域和右侧部分区域中存在周期性时，可利用其周期作为典型周期，并且确定在整个确定区域中存在周期性。另一方面，当确定在左侧部分区域和右侧部分区域中均不存在周期性时，确定在整个确定区域中不存在周期性。

由此，如果确定在左侧部分区域和右侧部分区域中的至少一个部分区域中存在周期性，则确定存在周期性。另一方面，如果确定在两个部分区域中都不存在周期性，则确定在整个确定区域中不存在周期性。这是因为，如果确定了在左侧部分区域和右侧部分区域中的至少一个部分区域中存在周期性，则很有可能在包括插值目标像素的区域中存在周期性。因此，当通过利用在确定在确定区域中存在周期性时使用的插值方法来执行插值处理时，能够以更高的精度来执行插值。

在图8所示的步骤S830中，当第一像素值生成单元32通过模板匹配生成插值目标像素的像素值时，第一像素值生成单元32执行图12所示的处理。首先，在步骤S1200中，处理开始，在步骤S1205中确定模板的尺寸。如上所述，可以参考典型周期来确定该尺寸。

随后，在步骤S1210中，基于如此确定的模板尺寸，分割包括该插值目标像素的具有该尺寸的区域，且所分割的区域被生成为基础图案。在步骤S1215中，基于典型周期确定和设置要被搜索以获取相似图案的区域。可以如上所述地确定和设置该要被搜索的区域。此外，在步骤S1220中，所生成的基础图案被作为模板，且从所设置的要被搜索的区域中计算和查找相似图案。可通过计算与模板的一致度并选择具有最高一致度的图案，来执行相似图案的搜索。

在步骤S1225中，将如此查找到的相似图案与用于查找相似图案的模板相互对比，且在相似图案内与插值目标像素在模板内的位置相对应的位置处的像素的像素值被获得作为要插入至插值目标像素的候选像素值。当获得候选像素值时，流程进入步骤S1230，且处理结束。

下一步，将描述根据本发明的图像处理装置的第二实施例。图像处理装置具有与图2所示的相同的配置，并且整个处理的流程与图8所示的流程图的处理相同。因而此处将不再提供描述，仅结合图13详细描述图8所示的步骤S845执行的处理的细节。

图13所示的处理开始于步骤S1300，其响应于图8所示的步骤S845的处理的开始。在步骤S1305中，像素值合并单元35确定所生成的候选像素值是否适用于合并。

作为确定候选像素值是否适用于合并的准则的示例，可通过确定像素值生成单元中的哪一者已生成候选像素值来进行确定。具体地，当设置了仅应使用由第一像素值生成单元32生成的候选像素值的准则时，并且在所获得的候选像素值由第一像素值生成单元32生成时，该候选像素值被确定为可适用的，否则，该候选像素值被确定为不可适用的。另一方面，当设置了仅应使用由第二像素值生成单元33生成的候选像素值时，并且在所获得的候选像素值由第二像素值生成单元33生成时，该候选像素值被确定为可适用的，否则，该候选像素值被确定为不可适用的。

这是因为：当第一像素值生成单元32利用图案匹配方法生成候选像素值、第二像素值生成单元33通过内插方法生成候选像素值、并且在由相应像素值生成单元所生成的候选像素值同时存在的条件下执行合并时，由于具有更低精度的内插方法的结果的同时存在，因此不能以高精度再现高频分量，而如果使用基于图案匹配方法的结果来再现所有周期性区域则可以再现所述高频分量。结果，插值的精度降低。在这种情况下，通过设置一确定准则使得优先利用第一像素值生成单元32所生成的候选像素值，可解决与插值精度降低相关联的问题。

随后，在步骤S1310中，确定是否存在适于合并的候选像素值。这可基于步骤S1305中的确定结果来确定。当存在适合的候选像素值时，流程进入步骤S1315，并且利用另一插值方法所生成的候选像素值来替换不适于合并的候选像素值。在步骤S1320中，通过以上合并方法来合并适合于合并的候选像素值和被替换的候选像素值按，由此生成一个合并像素值。

具体地，当第一像素值生成单元32所生成的候选像素值被确定为适于合并的候选像素值、并且一部分候选像素值由第二像素值生成单元33所生成时，由于存在适合的候选像素值，流程进入步骤S1315。然后，利用第一像素值生成单元32所生成的候选像素值替换不适合的并且由第二像素值生成单元33所生成的候选像素值，并在步骤S1320中合并候选像素值。

当不存在合适的候选像素值时，由于任何候选像素值均由第二像素值生成单元33生成，流程进入步骤S1325。然后，对候选像素值求平均以生成一个合并像素值。以这种方式，当在步骤S1320或S1325中生成合并像素值时，流程进入步骤S1330，且处理结束。

在该示例中，尽管步骤在S1325中对候选像素值求平均以生成一个合并像素值，但可以将所述候选像素值之一选择为典型值，而该典型值可被用作合并像素值。通过仅生成适于合并的候选像素值而不生成不适于合并的候选像素值，可消除步骤S1305至S1315及S1325中的处理。

接下来，将描述图像处理装置的第三实施例。该图像处理装置具有与图2所示的配置相同的配置，并且整个处理的流程与图8所示的流程图的流程相同。因而此处将不提供其描述，仅参考图14详细描述图8所示的步骤S845执行的处理的细节。

图14所示的处理开始于步骤S1400，其响应于图8所示的步骤S845处理的开始。在步骤S1405中，从预定合并方法中选择一种不对通过合并所生成的像素值的适用性进行确定的方法。作为合并方法，可应用以上所述的方法。

在步骤S1410中，利用所选择的方法合并候选像素值以生成一个像素值。随后，在步骤S1415中，确定所生成的像素值是否适用于插值。作为确定方法，可应用使用模板匹配的确定方法。

该确定方法与根据上述模板匹配方法的处理流程近乎相同。首先，确定模板的尺寸。随后，生成模板并确定要搜索的区域。接下来，计算在所确定的要搜索的区域内的相应位置处与模板的一致度，且具有最高一致度的位置被选择为相似图案。

由于处理目标图像为彩色图像，因此有必要计算由多个颜色分量所组成的像素之间的一致度。作为该计算的示例，可应用以下方法，其使用在特定颜色空间(诸如色差空间)中两个像素值之间的距离。具体地，在Lab颜色空间的情况下，该距离可通过以下操作来计算：计算L、a和b相应值之间差的平方，将平方进行相加，并求相加结果的平方根。一致度随距离的减小而增加，且一致度随距离的增加而减小。

除以上方法以外，可应用以下方法，其使用为每种颜色分量分离的纯色图像。当应用纯色图像时，根据两个像素值之间的距离来计算一致度，并合成一致度以由此获得最终一致度。作为合成一致度的方法，可应用上述计算加权平均的方法、使用最高或最低一致度的方法及类似方法。

在关于以这种方式选择的候选像素值的合并方法计算了置信度之后，在步骤S1420中确定是否已关于所有合并方法确定了适用性。当存在尚未确定其适用性的候选像素值合并方法时，流程返回步骤S1405，并且对于剩余的合并方法重复步骤S1405至S1420的处理。替代对于所有合并方法确定适用性，可以设置一致度的阈值，并且当检测到以下合并方法时，可跳过步骤S1405至S1420的处理，所述合并方法具有足够级别的适用性以使得其一致度等于或高于阈值。

当在步骤S1420中确定已经对于所有合并方法确定了适用性时，流程进入步骤S1425。在步骤S1425中，将由所计算出的一致度中具有最高一致度的合并方法所获得的合并像素值确定为要被插入至插值目标像素的像素值。然后，该像素值合并单元35将该像素值输出至控制单元34，且在步骤S1430中处理结束。

在处理结束后，流程进入图8中的步骤S850，并且像素值插入单元36将控制单元34所输出的合并像素值插入至在步骤S810中所设置的插值目标像素。在步骤S855中，确定是否所有插值目标像素均已被完整地插值。当确定所有插值目标像素均已被完整地插值时，流程进入步骤S860，处理目标图像的插值处理结束。

接下来，将描述根据图像处理装置的第四实施例。图像处理装置具有与图2所示的配置相同的配置，并且整个处理的流程与图8所示的流程图的流程相同。因而此处将不提供其描述，仅参考图15详细描述图8所示的步骤S845执行的处理的细节。

图15所示的处理开始于步骤S1500，其响应于图8所示的步骤S845的处理的开始。在步骤S1505中，类似于图14所示出的实施例，从预定合并方法中选择一种不对通过合并所生成的像素值的适用性进行确定的方法。作为合并方法，可应用上文提到的方法。

在步骤S1510中，选择候选像素值的合并。即，从当前对应于纯色图像的数量的候选像素值中选择预定数量的候选像素值，并且创建所选择的候选像素值的组。候选像素值的数量可为大于等于1并小于等于总像素计数的任何数量。然而，如果取决于合并方法存在对候选像素值的数量的限制，则候选像素值的数量需要由该限制确定。

例如，当一幅图像分成四种颜色以生成四幅纯色图像时，由于从每个纯色图像的具有最高一致度的相似图案中生成一个候选像素值，因此对于一个插值目标像素生成四个候选像素值。作为创建合并的示例，基于要合并的候选像素值的预定数量(在该示例中为两个)，从四个候选像素值中选择和合并两个候选像素值。当创建了相同的对时，其中一个被丢弃以避免冗余，最后，创建了六组候选像素值。

随后，在步骤S1515中，所创建的候选像素值组之一被选择，并且合并组成该组的候选像素值以计算一个合并像素值。在步骤S1520中，确定被计算出的合并像素值是否适于插值。作为确定方法，可应用使用模板匹配的确定方法。

在步骤S1525中，确定是否已经对于所有组确定了适用性。当存在尚未对于其确定适用性的组时，流程返回至S1510，而选择另一组，并且重复合并和确定适用性的处理。在这种情况下，替代对于所有组确定适用性，可以设置一致度的阈值，并且当检测到以下组时，可跳过步骤S1510至S1525的处理，所述组具有足够级别的适用性以使得其一致度等于或高于阈值。

当在步骤S1525中确定已经对于所有组确定了适用性时，流程进入步骤S1530，并确定是否已经对于所有合并方法确定了适用性。当存在尚未对于其确定适用性的合并方法时，流程返回至S1505，而选择另一种合并方法，并且重复步骤S1510至S1525的处理。在这种情况下，替代对于所有合并方法确定适用性，可以设置一致度的阈值，并且当检测到以下合并方法时，可跳过步骤S1505至S1530的处理，所述合并方法具有足够级别的适用性以使得其一致度等于或高于阈值。

当确定已经对于所有合并方法确定了适用性时，流程进入步骤S 1535。在步骤S1535中，将由所计算出的一致度中具有最高一致度的合并方法所获得的合并像素值确定为要被插入至插值目标像素的像素值。然后，该像素值合并单元35将该像素值输出至控制单元34，且在步骤S1540中处理结束。

在处理结束后，流程进入图8中的步骤S850，并且像素值插入单元36将控制单元34所输出的合并像素值插入至在步骤S810中所设置的插值目标像素。在步骤S855中，确定是否所有插值像素均已被完整地插值。当确定所有插值像素均已被完整地插值时，流程进入步骤S860，处理目标图像的插值处理结束。

图16为图示图像处理装置的第五实施例的功能框图。在该实施例中，图像处理装置包括颜色分离单元60、周期性确定单元61、第一像素值生成单元62、第二像素值生成单元63、控制单元64、像素值合并单元65以及像素值插入单元66，这与图2所示的第一实施例的那些单元相同。另外，图像处理装置包括边界确定单元67、有效性验证单元68以及第三像素值生成单元69。

由于通过该颜色分离单元60、周期性确定单元61、第一像素值生成单元62、第二像素值生成单元63、控制单元64、像素值合并单元65以及像素值插入单元66所执行的处理与第一实施例的那些处理相同，此处将不提供其描述。因此将描述边界确定单元67、有效性验证单元68以及第三像素值生成单元69。

当周期性确定单元61确定包括插值目标像素的图像区域为其中像素值周期性地变化的区域(周期性区域)时，边界确定单元67确定插值目标像素是否实质上属于周期性区域。该插值目标像素出现于一周期性区域内、或出现于一非周期性区域内，并且可依据在同一区域内出现在插值目标像素附近的像素的像素值来估计该插值目标像素的像素值。这是因为由包括该插值目标像素的若干连续像素组成的图案类似于其附近出现的图案，因此该图案可依据其附近出现的图案来进行估计。

然而，当该插值目标像素出现于周期性区域与非周期性区域之间边界的附近时，如果该插值目标像素位于周期性区域内但却采用了出现于其附近并位于非周期性区域中的图案，则难以正确地执行插值。因此，边界确定单元67确定插值目标像素实质上所属的区域，以使得可利用位于周期性区域内的合适的图案来估计该像素值。

作为一个示例，在围绕该插值目标像素的位置处设置参考区域，以与插值目标像素的左侧和右侧分离开预定距离进行分离，并且单独地计算被设置于插值目标像素的左侧和右侧的参考区域中的像素值的方差(其作为图像特征之一)。当在左侧参考区域和右侧参考区域两者中的方差等于或大于阈值时，可确定该插值目标像素处于周期性区域中。当该方差小于该阈值时，可确定该插值目标像素处于非周期性区域中。

该预定距离例如可为3个像素。这是因为：例如，当半色调点按照6个像素的间隔排列时，在下文描述的模板匹配中使用由插值像素的左侧三个像素和右侧三个像素组成的模板。因而，在该插值目标像素的左侧和右侧在与该插值目标像素分离开3个像素的位置处设置参考区域，其为该模板外侧的最接近位置。参考区域被设置于那些最接近位置的原因是因为大多数与模板相似的图案出现于模板的附近。该距离不限于3个像素，可利用任何距离，只要可以恰当地进行确定即可。

例如，参考区域可为包括该插值目标像素的具有1个像素高度的区域，即1行图像。替代地，类似于上述确定区域，该参考区域可为包括该插值目标像素的具有可选高度的矩形区域。与上述确定区域情况类似，该区域可由用户预先进行设置，也可由设备动态地设置。该参考区域不限于位于插值目标像素的左侧和右侧，而是可以例如在插值目标像素的上侧和下侧、或者上侧和下侧和左侧和右侧设置一个或更多个区域。

该方差可由下述表达式(11)来计算。在表达式(11)中，“x_i”是参考区域中第i个像素的像素值，“x_m”是参考区域中像素的像素值的均值，“n”是参考区域中的像素的数量。该方差可被替换为参考区域中像素的最大亮度值与最小亮度值之间的差值，或在彩色图像的情况下，可被替换为最大绿色分量值(G分量值)与最小G分量值之间的差值。

${\mathrm{\σ}}^2=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(x_i-x_m)}^2---\left(11\right)$

控制单元64基于由边界确定单元67进行的确定的结果以及由周期性确定单元61进行的周期性确定结果来确定插值方法，确定要利用第一、第二和第三像素值生成单元62、63和69中的哪一者，并使所确定的像素值生成单元生成要插入至插值目标像素的像素值。然而，这可用并行处理来实现，以使得预先由所有第一、第二和第三像素值生成单元62、63和69生成插值目标像素的像素值，而控制单元64选择相应的像素值之一。该第三像素值生成单元69通过与第一和第二像素值生成单元62和63所采用的插值方法不同的插值方法来生成候选像素值。

有效性验证单元68对第一、第二和第三像素值生成单元62、63和69所生成的候选像素值的有效性进行验证。当验证由一个像素值生成单元所生成的候选像素值无效时，使另一个像素值生成单元来生成候选像素值。然后，有效性验证单元68再次验证候选像素值的有效性。

例如，可使用在第一像素值生成单元62生成像素值时所获得的相关信息，来执行由第一像素值生成单元62所生成的候选像素值的有效性验证。当第一像素值生成单元62应用图案匹配方法作为插值方法时，可应用模板与对比目标图案之间的非相似度或相似度作为该相关信息。在这种情况下，作为模板，可应用不包括插值目标像素的模板，以及可应用在其中插入了所生成的像素值的模板。作为非相似度或相似度，可应用上文所述的SAD、SSD、相关性系数、方差等等。

有效性验证单元68可通过确定非相似度是否小于阈值或相似度是否等于或大于该阈值，来确定候选像素值是否有效。当非相似度小于该阈值或相似度等于或大于该阈值时，候选像素值被确定为有效。

因此，有效性验证单元68可在非相似度或相似度上执行阈值处理，并且非相似度小于该阈值或相似度等于或大于该阈值的条件可被用作确定有效性的条件。与上文所述的阈值等类似，该阈值可由用户预先设定，以及可由设备动态地确定。

与此有关，控制单元64使该有效性验证单元68验证在应用第一像素值生成单元62时生成的候选像素值是否有效。当确定候选像素值无效时，控制单元64使第三像素值生成单元69生成候选像素值。当该候选像素值也被确定为无效时，控制单元64使第二像素值生成单元63生成候选像素值。然而，该实施例不限于此，这可以通过并行处理来实现，以使得预先由所有第一、第二和第三像素值生成单元62、63和69生成候选像素值，而控制单元64基于有效性验证单元68进行的验证的结果来选择相应候选像素值之一。

将结合图17示出的流程图来描述利用图16所示的图像处理装置对插值目标像素的像素值进行纠正的处理。该处理开始于步骤S1700。首先，步骤S1705中，颜色分离单元60将处理目标图像分离成预先指定的颜色分量，并生成纯色图像，其为仅由相应颜色分量所组成的相应颜色的图像。此后，在步骤S1710中，像素指定单元选择一个纯色图像，从纯色图像中检测出其像素值要被插入的像素并且将该像素设置为插值目标像素。该检测可通过上文描述的方法来执行。当存在多个插值目标像素时，例如，可基于像素被排列所在的坐标位置按照排列顺序依序选择一个像素，而所选择的像素可被设置为插值目标像素。

在步骤S1715中，周期性确定单元61指定包括该插值目标像素的区域，并确定包括插值目标像素的区域内像素值的变化是否有周期性。使用确定区域尺寸的方法以及确定周期性的方法来指定该确定区域，并且确定周期性的存在。随后，在步骤S1720中，边界确定单元67确定该插值目标像素实质上是存在于周期性区域中还是非周期性区域中。在该确定处理中，利用了边界确定方法和确定参考区域尺寸的方法。通过以下操作来执行该确定：单独计算左侧参考区域和右侧参考区域的像素值的方差，并确定所计算的左侧参考区域和右侧参考区域中的方差是否等于或大于该阈值。当方差等于或大于该阈值时，插值目标像素被确定为出现于周期性区域中。

随后，在步骤S1725中，确定要用于插值目标像素的插值方法。在该步骤中，控制单元64基于步骤S1715和S1720中的确定结果来确定将要利用第一、第二和第三像素值生成单元62、63和69所利用的插值方法中的哪一种来生成候选像素值。

例如，当在包括插值目标像素的区域中出现周期性、并且该插值目标像素出现于周期性区域时，使用第一像素值生成单元62所利用的模板匹配方法。当在包括插值目标像素的区域中出现周期性、但该插值目标像素出现于非周期性区域时，使用第二像素值生成单元63所利用的内插方法。当在包括插值目标像素的区域中未出现周期性、并且该插值目标像素出现于非周期性区域时，使用第三像素值生成单元69所利用的其它插值方法。

除此之外，当包括插值目标像素的区域的周期较短、并且该插值目标像素在周期性区域内时，可以使用模板匹配方法。当包括插值目标像素的区域的周期较短、并且该插值目标像素在非周期性区域内时，可以使用内插方法。其它情况下，可以使用第三像素值生成单元69所利用的插值方法。

第三像素值生成单元69所利用的插值方法可为任何插值方法，只要其不同于第一和第二像素值生成单元62和63所利用的插值方法即可。例如，当第一像素值生成单元62利用模板匹配方法、第二像素值生成单元63利用三次插值时，该第三像素值生成单元69可利用其它插值方法例如一维模板匹配、最近邻居插值、线性插值、抛物线插值、多项式插值、样条插值、拉格朗日插值、双线性插值、双三次插值等等。

随后，在步骤S1730中，基于所确定的插值方法来确定是否将利用第一像素值生成单元62。当步骤S1730中确定利用第一像素值生成单元62时，流程进入步骤S1735，通过第一像素值生成单元62所利用的插值方法，对于相应颜色的纯色图像生成候选像素值。随后，在步骤S1740中，有效性验证单元68基于在第一像素值生成单元62生成候选像素值时获得的相关信息，来验证候选像素值的有效性。在步骤S1745中，确定该候选像素值的有效性。

当在步骤S1730中确定不利用第一像素值生成单元62时，流程进入步骤S1750，并且确定是否利用第三像素值生成单元69。当确定利用第三像素值生成单元69、以及在步骤S1745中确定候选像素值无效时，流程进入步骤S1755，而通过第三像素值生成单元69所用的插值方法来生成候选像素值。随后，在步骤S1760中，有效性验证单元68基于在第三像素值生成单元69生成候选像素值时获得的相关信息，来验证候选像素值的有效性。在步骤S1765中，确定该候选像素值的有效性。

当在步骤S1750中确定不利用第三像素值生成单元69时，流程进入步骤S1770，而通过第二像素值生成单元63所用的插值方法来生成候选像素值。此外，当在步骤S1765中确定候选像素值无效时，流程进入步骤S1770，而通过第二像素值生成单元63所用的插值方法来生成候选像素值。

当步骤S1745或S1765中确定候选像素值有效、以及在步骤S1770中生成候选像素值之后，流程进入步骤S1775，并确定是否已对于所有纯色图像完整地生成了要插入至插值目标像素的候选像素值。当尚未对于所有纯色图像完整地生成候选像素值时，流程返回至步骤S1715，且确定下一个纯色图像的周期性。另一方面，当确定已经对于所有纯色图像完整地生成候选像素值时，流程进入步骤S1780，并且所生成的候选像素值被合并以计算要插入至插值目标像素的一个合并像素值。对于合并方法，可以通过上文所述的方法来合并候选像素值。

随后，在步骤S1785中，将合并像素值插入至在步骤S1710中设置的插值目标像素。该合并像素值的插入可通过上文所述的两种方法中任一种来执行。然后，流程进入步骤S1790，并确定所有插值像素是否已被完整地插值。当在步骤S1710中检测到多个插值像素时，确定所生成的像素值是否已插入至所有的多个插值目标像素。

当步骤S1790中确定所有插值目标像素均已被完整地插值时，流程进入步骤S1795，且本处理结束。另一方面，当确定并非所有插值目标像素均已被完整地插值时，流程返回至步骤S1710。在步骤S1710中，再次执行以下处理：设置插值目标像素，生成候选像素值，合并候选像素值以计算合并像素值，以及插入该合并像素值。

在第五实施例中，图像处理装置被配置为除了包括颜色分离单元60、周期性确定单元61、第一像素值生成单元62、第二像素值生成单元63、控制单元64、像素值合并单元65以及像素值插入单元66之外还包括边界确定单元67、有效性验证单元68和第三像素值生成单元69。然而，在该实施例中，图像处理装置可进一步被配置为仅包括边界确定单元67、仅包括第三像素值生成单元69、仅包括边界确定单元67和有效性验证单元68、仅包括边界确定单元67和第三像素值生成单元69，或仅包括有效性验证单元68和第三像素值生成单元69。

除该图像处理装置以及由该图像处理装置所执行的图像检查方法之外，本发明可提供用于实现该方法的计算机可读程序。该程序可存储于记录介质(诸如FD、CD、DVD、SD卡、USB存储器等)中并被提供作为其中记录有程序的记录介质。

如上所述，图像处理装置包括颜色分离单元和像素值合并单元，并为每种颜色生成插值目标像素的候选像素值，以由此获得合并像素值作为要插入至插值目标像素的像素值。以这种方式，可再现彩色图像中各个颜色的半色调点。而且，该装置包括周期性确定单元和控制单元，并依赖于周期性的存在而切换插值方法。以这种方式，可对于像素值突变的图像执行高精度的插值处理。

此外，如上所述，图案匹配方法可被用作第一插值方法，并且可以将作为与第一插值方法不同的方法的内插方法用作第二插值方法。通过确定候选像素值是否适于合并，当由作为第一插值方法的图案匹配方法所生成的候选像素值和由作为第二插值方法的内插技术所生成的候选像素值在共同存在的状态下被合并时，通过与该内插技术所再现的值进行混合，防止了图案匹配方法所再现的高频分量的丢失。

并且，像素值合并单元利用多种合并方法关于该插值目标像素计算多个合并像素值，计算在具有预定尺寸基础图案(通过向其插入合并像素值而对其进行插值)与至少一个参考图案(其被设置在插值目标像素附近的位置，并与基础图案具有相同尺寸)之间的一致度，并基于所计算的一致度来确定相应的合并像素值是否适合于对插值目标像素进行插值。以这种方式，可以将被设置至基础图案的具有最高一致度的合并像素值确定为要插入至插值像素的合并像素值。

而且，如上所述，像素值合并单元创建多组候选像素值，合并包括于所述组中的候选像素值以计算多个合并像素值，并利用多个合并像素值创建多个基础图案。可计算基础图案与至少一个参考图案(其被设置在插值像素附近的位置，并与基础图案相类似)之间的一致度，并且可以将被设置至基础图案的具有最高一致度的合并像素值选择为要插入至插值像素的合并像素值。

该周期性确定单元确定包括该插值像素的图像区域是否为周期性区域。然而，存在以下情况：图像区域当从广范围(例如图像的一行)看上去时是周期性区域，但当从插值目标像素附近的狭小范围看上去时不是周期性区域。在这种情况下，按照确定准则，该图像区域被错误地确定为周期性区域。例如，在一半色调点区域附近的非半色调点区域、或者两个半色调点区域之间夹住的非半色调点区域可能经历检测错误。当检测错误出现时，半色调点区域外部的平坦区域可被插值为半色调点区域，作为插值的结果，出现错误的像素值。因此，在至少一个实施例中，该装置进一步包括边界确定单元，其被配置为当图像区域被确定为周期性区域时在插值目标像素附近设置至少一个参考区域，并基于所述至少一个参考区域的图像特征来确定该插值像素是出现在周期性区域中还是出现在非周期性区域中。

在这种情况下，控制单元基于边界确定单元获得的确定结果以及周期性确定单元获得的确定结果，来确定第一和第二像素值生成单元中的哪一者将用于生成像素值。

如上所述，为提高插值精度，优选地验证所生成的候选像素值的有效性。因而，在至少一个实施例中，该装置进一步包括用于执行验证的有效性验证单元。该有效性验证单元基于在第一像素值生成单元生成候选像素值时获得的相关信息来确定候选像素值的有效性。在这种情况下，当候选像素值被确定为无效时，控制单元使第二像素值生成单元代替第一像素值生成单元来生成像素值。

此外，如上所述，为提高插值精度，该装置进一步包括第三像素值生成单元，其被配置为利用不同于第一和第二插值方法的第三插值方法来生成插值像素的像素值。在这种情况下，有效性验证单元基于在第一像素值生成单元生成候选像素值时获得的相关信息来确定候选像素值的有效性。当候选像素值被确定为无效时，控制单元使第三像素值生成单元代替第一像素值生成单元来生成像素值。而且，有效性验证单元基于在第三像素值生成单元生成候选像素值时获得的相关信息来确定候选像素值的有效性。当候选像素值被确定为无效时，控制单元使第二像素值生成单元代替第三像素值生成单元来生成像素值。

尽管已经关于用于完整且清楚的公开的特定实施例描述了本发明，然而所附权利要求并不限于此，而应被解释为体现本领域技术人员可想到的完全落入这里提出的基本教导内的所有修改和可替代结构。

Claims (15)

1.一种图像处理装置，包括：

颜色分离单元，其被配置为将彩色图像分离成多个颜色分量以生成相应颜色的图像；

周期性确定单元，其被配置为对于相应颜色的图像的每一个，确定包括其像素值要被插值的目标像素的图像区域是否为其中像素值呈周期性变化的周期性区域；

第一像素值生成单元，其被配置为利用适于其中像素值呈周期性变化的周期性区域的第一插值方法生成像素的相应颜色的像素值；

第二像素值生成单元，其被配置为利用不同于第一插值方法的第二插值方法生成像素的相应颜色的像素值；

控制单元，其被配置为基于周期性确定单元所获得的确定结果来确定第一像素值生成单元和第二像素值生成单元中的哪一者要被用于生成目标像素的相应颜色的像素值；以及

像素值合并单元，其被配置为合并候选像素值以计算用于插值该目标像素的合并像素值，所述候选像素值是目标像素的相应颜色的像素值，并且由控制单元所确定的第一像素值生成单元或第二像素值生成单元所生成。

2.根据权利要求1的图像处理装置，

其中，该像素值合并单元基于已被用于生成候选像素值的插值方法来确定候选像素值是否适于合并，并且仅利用被确定为适于合并的候选像素值执行合并。

3.根据权利要求1或2的图像处理装置，

其中，该像素值合并单元利用多种合并方法来计算用于目标像素的多个合并像素值，并基于由包括目标像素的图像区域形成的基础图案与至少一个参考图案之间的一致度来确定相应的合并像素值是否适于对目标像素进行插值，所述至少一个参考图案被设置于目标像素附近的位置并与基础图案具有相同尺寸。

4.根据权利要求3的图像处理装置，

其中，像素值合并单元创建多组候选像素值，合并在所述组中包括的候选像素值以计算多个合并像素值，利用所述多个合并像素值创建多个基础图案，以及选择导致所述多个基础图案中与所述至少一个参考图案具有最高一致度的基础图案的合并像素值。

5.根据权利要求4的图像处理装置，进一步包括：

边界确定单元，其被配置为：当该图像区域被周期性确定单元确定为周期性区域时，设置该目标像素附近的至少一个区域作为参考区域，并且基于所述至少一个参考区域的图像特征来确定该目标像素是出现于周期性区域中还是非周期性区域中，

其中，该控制单元基于该周期性确定单元和边界确定单元所获得的确定结果来确定第一像素值生成单元和第二像素值生成单元中的哪一者将用于生成候选像素值。

6.根据权利要求4的图像处理装置，进一步包括：

有效性验证单元，其被配置为验证所生成的候选像素值的有效性，

其中，该有效性验证单元基于在第一像素值生成单元生成候选像素值时获得的相关信息来确定候选像素值的有效性，并当该有效性验证单元确定候选像素值无效时，控制单元使第二像素值生成单元代替第一像素值生成单元来生成候选像素值。

7.根据权利要求4的图像处理装置，进一步包括：

有效性验证单元，其被配置为验证所生成的候选像素值的有效性；以及

第三像素值生成单元，其被配置为利用不同于第一插值方法和第二插值方法的第三插值方法来生成目标像素的像素值，

其中，该有效性验证单元基于在第一像素值生成单元生成候选像素值时获得的相关信息来确定候选像素值的有效性，并当该有效性验证单元确定候选像素值无效时，控制单元使第三像素值生成单元代替第一像素值生成单元来生成候选像素值。

8.根据权利要求7的图像处理装置，

其中，该有效性验证单元基于在第三像素值生成单元生成候选像素值时获得的相关信息来确定候选像素值的有效性，并当该有效性验证单元确定候选像素值无效时，控制单元使第二像素值生成单元代替第三像素值生成单元来生成候选像素值。

9.一种在图像处理装置中执行的像素插值方法，所述图像处理装置包括利用适于其中像素值呈周期性变化的周期性区域的第一插值方法生成像素的像素值的第一像素值生成单元、以及利用不同于第一插值方法的第二插值方法生成像素的像素值的第二像素值生成单元，

该像素插值方法包括：

将彩色图像分离成多个颜色分量以生成相应颜色的图像；

对于相应颜色的图像的每一个，确定包括其像素值要被插值的目标像素的图像区域是否为其中像素值呈周期性变化的周期性区域；

基于在图像区域的周期性确定中所获得的确定结果，确定第一像素值生成单元和第二像素值生成单元中的哪一者要用于生成目标像素的相应颜色的像素值；以及

合并候选像素值以计算用于插值该目标像素的合并像素值，所述候选像素值是目标像素的相应颜色的像素值并且由在像素值生成单元的确定中所确定的第一像素值生成单元或第二像素值生成单元生成。

10.根据权利要求9的像素插值方法，

其中，该合并包括：基于已被用于生成候选像素值的插值方法来确定候选像素值是否适于合并，并且仅利用被确定为适于合并的候选像素值来执行合并。

11.根据权利要求9或10的像素插值方法，

其中，该合并包括：利用多种合并方法来计算用于目标像素的多个合并像素值，并基于在由包括目标像素的图像区域所形成的基础图案与至少一个参考图案之间的一致度来确定相应的合并像素值是否适于对目标像素进行插值，所述至少一个参考图案被设置于目标像素附近的位置并与基础图案具有相同尺寸。

12.根据权利要求11的像素插值方法，

其中，候选像素值的合并包括：创建多组候选像素值，合并在所述组中包括的候选像素值以计算多个合并像素值，利用所述多个合并的像素值创建多个基础图案，以及选择导致所述多个基础图案中与所述至少一个参考图案具有最高一致度的基础图案的合并像素值。

13.根据权利要求12的像素插值方法，进一步包括：

基于在第一像素值生成单元生成候选像素值时获得的相关信息来确定候选像素值的有效性，并且

当确定候选像素值无效时，使第二像素值生成单元代替第一像素值生成单元来生成候选像素值。

14.根据权利要求12的像素插值方法，进一步包括：

基于在第一像素值生成单元生成候选像素值时获得的相关信息来确定候选像素值的有效性，并且

当确定候选像素值无效时，使被配置为利用不同于第一和第二插值方法的第三插值方法生成目标像素的像素值的第三像素值生成单元代替第一像素值生成单元来生成候选像素值。

15.根据权利要求14的像素插值方法，进一步包括：

基于在第三像素值生成单元生成候选像素值时获得的相关信息来确定候选像素值的有效性，并且

当确定候选像素值无效时，使第二像素值生成单元代替第三像素值生成单元来生成候选像素值。