CN103430526B - 图像处理设备以及像素插值方法 - Google Patents

图像处理设备以及像素插值方法 Download PDF

Info

Publication number
CN103430526B
CN103430526B CN201280013602.XA CN201280013602A CN103430526B CN 103430526 B CN103430526 B CN 103430526B CN 201280013602 A CN201280013602 A CN 201280013602A CN 103430526 B CN103430526 B CN 103430526B
Authority
CN
China
Prior art keywords
pixel value
pixel
interpolation
unit
interpolating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280013602.XA
Other languages
English (en)
Other versions
CN103430526A (zh
Inventor
中村聪史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of CN103430526A publication Critical patent/CN103430526A/zh
Application granted granted Critical
Publication of CN103430526B publication Critical patent/CN103430526B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/401—Compensating positionally unequal response of the pick-up or reproducing head
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H04N1/4097—Removing errors due external factors, e.g. dust, scratches

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本发明涉及一种图像处理设备，其生成像素的像素值并采用该像素值对该像素进行插值，所述图像处理设备包括：周期性确定单元，其确定包括所述像素的区域是否为周期性区域；边界确定单元，其确定所述像素是属于周期性区域还是属于非周期性区域；第一像素值生成单元，其生成第一像素值；第二像素值生成单元，其生成第二像素值；控制单元，其基于所述周期性确定单元以及所述边界确定单元的确定结果，确定是第一像素值生成单元将被使用还是第二像素值生成单元将被使用；以及像素值输入单元，其把第一像素值和第二像素值之一输入到所述像素。

Description

图像处理设备以及像素插值方法
技术领域
本发明涉及一种执行像素插值处理以便对不具有像素值的像素或具有不正确值的像素进行插值的设备、一种有该设备执行的像素插值方法、以及实现该像素插值方法的计算机可读程序。
背景技术
使用光学单元读取图像的扫描仪设备包括采用接触式图像传感器（CIS）的扫描仪设备以及采用电耦合器件（CCD）的扫描仪设备。对于采用CIS的扫描仪设备，需要将原稿贴附在读取表面。使用CIS的扫描仪设备不适于读取三维原稿。不过，与采用CCD的扫描仪设备相比，采用CIS的扫描仪设备的主体的厚度更薄且价格更便宜。而且，对于采用CIS的扫描仪设备，降低在读取图像数据时易于产生的噪声的技术已经得到改进。因此采用CIS的扫描仪设备得到广泛使用。例如，CIS被用于在具有一遍双向扫描功能的图像读取设备中读取反面。
CIS使用RGB的发光二极管（LED）作为光源。RGB光束高速切换，并且来自原稿的光束通过镜头被输入到成像设备（COMS图像传感器）。对此作出响应，COMS图像传感器逐像素将所输入的光束转换成电压值并输出。
采用CIS的扫描仪设备采用接触式图像传感器方法，其中通过原稿经由辊子与传感器紧密接触，并且该原稿逐行被读取。读取部件通过将多个短传感器沿着其纵向方向排列而形成。这是因为制造单个的长传感器很难。不过，在这种情况下，会在传感器之间产生一些间隙。在这些间隙处不能获得图像信号。因此，会出现图像信号的缺陷。
而且，在扫描仪设备中，当读取图像信号的传感器出现故障，或者当光路中的在其上放置原稿的接触玻璃上存在诸如污物的障碍物时，图像信号可能或丢失或者读取图像信号会表示不正确值。
存在图像质量由于在读取图像是丢失像素值或者由于在读取图像中存在具有不正确的像素值的像素而下降的问题。考虑到该问题，传统上，已知一种技术，其中使用所述像素周围的像素值估算（estimate）具有丢失像素的像素值或不正确的像素值，并采用所估算的值替代丢失像素的像素值或不正确的像素值。
例如，可以考虑使用对象像素周围像素的像素值的线性插值法、多项式插值法、或使用两个或多个函数的样条插值法。基于线性插值法的插值方法适于对在其中密度（density）变化较小的部分进行插值。但是，基于线性插值法的插值方法并不适于对在其中密度变化较大的部分进行插值，诸如半色调点区域。
基于多项式插值法或样条插值法的插值方法可以高精度地估算数字照片等的像素值，对于该数字照片，用于对图像采样的采样周期相对于该图像的图案的波动（fluctuating）周期而言足够短。然而，就半色调点图像而言，由于图像的分辨率相比于半色调点的线数而言不足，因此采样周期相对于图像的波动周期可能会不足够短。因此，对于这种插值方法，可能存在多种情况，其中不能正确重构原始图案
因此，为了解决该插值方法的问题，已经提出了一种使用图案匹配的方法。在该方法中，期望使用插值方法不能被重构的高频分量能够使用在插值像素附近的相似图案而被重构。
然而，通常由于与插值法相比在图案匹配中使用更大量信息，因此可针对用作参考的图案获得最优方案（solution），然而，该最优方案对于插值像素并不总是最优。出现该问题是因为，当在图案匹配期间搜索类似图案时，整体上包含与参考图案的多个较小差别的图案以及其大部分与参考图案相同但是包含小部分与参考图案的对应部分显著不同的图案不会被区分出来。
尤其时，对于信息偏心位于具体像素处的情况，诸如其中存在多条线的半色调点区域，用于选择相似图案的选择方法对插值结果有极大影响。而且，在低密度的半色调点区域中，由于属于背景的像素的百分比相对较高，因此可以在背景区域中检测到不是半色调点区域的相似图案，或者相反，可能不能检测到相似图案。
因此，在执行插值时，有必要依赖于插值像素所属区域的特征选择插值方法。因此，为了精确估算所述插值像素的像素值，已经提出了一种设备，以便在插值像素的位置在半色调点区域内时，在所述图像中搜索与所述图案类似的包含插值像素的图案，并且该设备确定所述插值像素的像素值为与最相似图案中的插值像素对应的像素的像素值（专利文献1（日本注册专利JP4330164）。
该设备基于图像读取传感器所读取的图像数据，确定与接触式图像传感器的连接部分对应的将被插值的像素的位置是位于半色调点区域内还是位于非半色调点区域内。在被插值的像素的位置位于非半色调点区域内时，该设备基于线性插值法生成用于将被插值的像素的像素数据，并且采用该像素数据对将被插值的像素的位置进行插值。另一方面，在所述位置在半色调点区域内时，该设备基于图案匹配生成用于将被插值的像素的像素数据，并用该像素数据对将被插值的像素的位置进行插值。
此时，在位于将被插值的像素的位置的附近的图像区域中，限定包含将被插值的像素的标准块以及具有与该标准块相同尺寸并不包含将被插值的像素的多个参考块。基于标准块内的像素数据和每个参考块中的像素数据，计算标准块和每个参考块之间的相关性值。在包含在具有与标准块的最高相关性的参考块中像素数据中，所选择参考块中的与将被插值的像素对应的像素的像素数据被确定为将被插值的像素的像素数据。
但是，对于该插值方法，还存在这样的问题，对于其中像素值微小（minutely）变化的图像，可以高精度执行插值，但是对于对于其中像素值显著（significantly）变化的图像，插值的精确程度会急剧（severely）下降。而且，基于全局特征执行确定插值像素的位置是在半色调点区域中还是在被半色调点区域中。因此，例如，在全局特征和局部特征矛盾的情况下，对于半色调点区域和背景区域之间的边界线存在插值失败的问题。
这是因为，确定插值像素的位置是在半色调点区域中还是在被半色调点区域中是基于包括插值像素的线中的像素值的周期性。而且，存在这样的情况，当插值点的位置被视为一个相对较大的区域时，诸如一条线，该区域具有周期性，而当插值点的位置被视为一个较窄的区域时，诸如紧挨着插值像素的附近，该区域就不具有任何周期性。在这种情况下，就可能错误地确定该周期具有周期性。顺代而言，在半色调点区域的附近的非半色调点区域以及夹在两个半色调点区域之间的非半色调点区域趋向于被错误判定。当该区域被错误判定时，在半色调点区域之外的单调（flat）区域作为半色点点区域被插值。因此，会生成不正确的像素值。
因此，需要提供一种设备和方法，以便在获得插值像素的像素值事，依赖于全局特征和局部特征切换插值方法，从而与传统方法相比实现更高精度的像素插值。
发明内容
一方面，提供了一种图像处理设备，其生成位于预定位置的像素的像素值并采用该像素值对该像素进行插值，所述图像处理设备包括：周期性确定单元，其确定包括所述像素的区域是否为包含有像素值周期性变化的周期性区域；边界确定单元，当所述周期性确定单元确定所述区域为所述周期性区域时，其限定一个或多个参考区域，所述一个或多个参考区域在所述像素的附近，并且其配置为基于所述一个或多个参考区域的图像特征确定所述像素是属于周期性区域还是属于非周期性区域；第一像素值生成单元，其使用第一插值方法生成所述像素的第一像素值；第二像素值生成单元，其使用第二插值方法生成所述像素的第二像素值，第二插值方法与第一插值方法不同；控制单元，其基于所述周期性确定单元的确定结果以及所述边界确定单元的确定结果，确定是第一像素值生成单元被用来生成第一像素值还是第二像素值生成单元被用来生成第二像素值；以及像素值输入单元，其把由第一像素值生成单元生成的第一像素值和由第二像素值生成单元生成的第二像素值之一输入到所述像素，所述第一像素值和第二像素值之一由所述控制单元确定。
在另一方面，提供了一种像素插值方法，其中，位于预定位置的像素的像素值由图像处理设备生成，并且该像素采用该像素值进行插值，所述方法包括：周期性确定步骤，用于确定包括所述像素的图像区域是否为包含有像素值周期性变化的周期性区域；边界确定步骤，用于当所述周期性确定步骤确定所述区域为所述周期性区域时，限定一个或多个参考区域，所述一个或多个参考区域在所述像素的附近，并且用于基于所述一个或多个参考区域的图像特征确定所述像素是属于周期性区域还是属于非周期性区域；确定步骤，用于基于所述周期性确定步骤的确定结果以及所述边界确定步骤的确定结果，确定是第一像素值生成单元被用来为所述像素生成第一像素值还是第二像素值生成单元被用来为所述像素生成第二像素值，其中第一像素值生成单元包括在所述图像处理设备中并使用第一插值方法为所述像素生成所述像素的第一像素值，并且第二像素值生成单元包括在所述图像处理设备中并使用第二插值方法为所述像素生成所述像素的第二像素值；以及输入步骤，用于把由第一像素值生成单元生成的第一像素值和由第二像素值生成单元生成的第二像素值之一输入到所述像素，所述第一像素值和第二像素值之一由所述确定步骤确定。
附图说明
图1是举例说明根据本发明的图像处理设备的硬件配置示意图
图2是图释图像处理设备的第一实施例的功能方块示意图；
图3是举例说明包含将被插值的像素的图像示意图；
图4A和4B是图释确定区域、确定区域中水平方向上的像素的位置、以及像素值之间的关系的示意图；
图5A、5B以及5C是显示周期性区域和非周期性区域的实例的示意图；
图6A和6B是图释将被处理的图像和模板的示意图；
图7A和7B是图释像素位置和像素值之间关系的示意图；
图8显示由图2中所示的图像处理设备所执行的像素插值处理的流程的流程图；
图9是图释图像处理设备的第二实施例的功能方块示意图；
图10显示由图9中所示的图像处理设备所执行的像素插值处理的流程的流程图；
图11是图释图像处理设备的第三实施例的功能方块示意图；
图12显示由图11中所示的图像处理设备所执行的像素插值处理的流程的流程图；
图13显示由图11中所示的图像处理设备所执行的像素插值处理的流程的流程图；
参考标记的描述
10图像处理设备
11MPU
12ROM
13RAM
14存储控制接口
15硬盘
16接口
17输入/输出接口
18显示设备
19VRAM
20图形芯
21网络I/F
30、50、60周期性确定单元
31、51、61边界确定单元
32、52、62第一像素值生成单元
33、53、63第二像素值生成单元
34、54、64控制单元
35、55、65像素值输入单元
40像素（没有像素值）
56、66有效性验证单元
67第三像素值生成单元
具体实施方式
根据本实施例的图像处理设备直接或通过电缆经由网络与读取文件等的扫描仪设备相连。扫描仪设备使用CIS。通过扫描仪设备所读取的图像包括具有丢失的像素值的像素或具有不正确像素值的像素。因此，图像处理设备为所述像素生成像素值并执行处理以便采用所生成的像素值对所述像素进行插值。
在此，对于其中一个像素采用8比特来代表的灰度级图像，表示黑色的像素值为0，而表示白色的像素值为255。对于彩色图像，一个像素有RGB来代表，其中RGB的每个颜色由8比特来代表。一个像素值包括红色值、绿色值和兰色值，红色值、绿色值和兰色值中的每一个取值0-255。当所有值为0时，该像素代表黑色，当所有值为255，该像素表示白色。
为了执行像素插值处理，图像处理设备包括其中存储用于执行该处理的程序的存储设备，诸如个人计算机（PC）、工作站、服务器、MFP，用于读出和执行该程序的处理器、以及用于与扫描仪设备或互联网连接的接口。
具体而言，如图1所示，例如，图像处理设备10包括作为处理器的微处理器单元（MPU）11、作为存储设备的只读存储器（ROM）12，其是用于存储基本输入/输出系统（BIOS）或固件的非易失性存储器、以及随机存取存储器（RAM）13，其用于提供使得MPU11能处理程序的执行存储空间。
MPU11通过内部总线连接到作为接口之一的存储控制接口14。MPU11对硬盘15进行存取，硬盘是15是连接到存储控制接口14的存储设备之一，并且MPU11对各种类型的应用或数据执行读取、执行以及写入。作为存储控制接口14，基于诸如集成电路设备（IDE）、AT附加（ATA）、串行ATA（SATA）、超ATA(Ultra ATA)等标准管理硬盘15的输入和输出的接口通过内部总线控制诸如通用串行总线（USB）、IEEE1394等的串行或并行接口16。MPU11与诸如键盘、鼠标、打印机等的输入和输出设备17通信。MPU11可以接收来自用户的输入。
而且，图像处理设备10可以包括：视频RAM19（VRAM），其响应于来自MPU11的指令处理视频信号以便显示在显示设备18上；图形芯片20；以及网络I/F21，其被连接到网络以便通过网络与其他设备通讯。VRAM19是用作存储设备的RAM，用于采用显示设备18视频显示。图形芯片20为用于图像数据处理的集成电路。
当MPU11读取存储在诸如ROM12、硬盘15或附图中未示出的另一个NV-RAM、或SD卡等存储设备中的程序时，以及当MPU11在RAM13的存储区域中展开（expand）该程序时，在适当的操作系统（OS）下，图像处理设备10可以使得MPU11起到实现每个处理的单元的作用。作为OS，可以采纳Windows（注册商标）、UNIX（注册商标）、LINUX（注册商标）等。在此，图像处理设备10并不限于上述PC等，并且图像处理设备10可以配置为用于特定用于的特定用途集成电路（ASIC），其中多种功能的多个电路被集成用于用于特定应用。
图2是显示本发明的图像处理设备10的第一实施例的功能方块示意图。如上所述，当MPU11作为处理器读出并处理存储在诸如ROM12、硬盘15等存储设备中的程序时，图像处理设备10可实现每种功能。即，图像处理设备10包括周期性确定单元30、边界确定单元31、第一像素值生成单元32、第二像素值生成单元33、控制单元34、以及像素值输入单元35。尽管在图2中没有显示，但是图像处理设备10还可以包括像素设定单元，用于设定插值像素。
首先，图像处理设备10通过上述像素设定单元在将被处理的图像内检测将被输入像素值的插值像素。插值像素的位置可以通过用户预先检测，或者可以图像处理设备按顺序检测其位置。例如，该位置可以采用坐标（a,b）表达，其中左下角的坐标被确定为基准坐标（0,0），“a”是沿水平方向向右的像素编号，而“b”是沿垂直方向向上的像素编号。
作为用于图像处理设备10检测插值像素的方法，例如，可以考虑其中对每个像素核查该像素是否预定亮度或颜色并检测插值像素的方法、其中在读取已知图像时评估相对正确值的偏移（shifted）量的大小并检测插值像素的方法、以及其中检测水平方向或垂直方向的周期性不连续的位置以及检测位于所检测位置的像素作为插值像素的方法。插值像素可以是线段，因为间隙沿着成像设备的移动方向的子扫描方向连续形成以及间隙可能包括其中点连续的线段。
如图3所示，作为包括插值像素的图像，其中可以考虑一种图像，其中在半色调点图像中出现垂直线，在半色调点图像中规则排列着具有几乎相同大小的黑点。垂直线包括其中丢失点的部分和其中有些点与在周围区域中的点相比更大一些的部分，因为这些部分跨越图像的中心部分。在这种图像情况下，由于这些点均匀地（evenly）间隔开，但是在垂直线部分周期性时不连续的。因此，通过检测垂直周期性不连续的位置，可以检测插值像素。
周期性确定单元30限定预定尺寸的确定区域以便包含插值像素，并且确定在所述确定区域内的像素值的变化是否具有周期性。确定区域可以是包含插值像素的与一个像素的高度对应的区域，即一条线图像，或者是包含插值像素的具有任意高度的矩形区域。
确定区域的尺寸可以由用户预先限定或者可以由设备动态地确定。当设备动态确定该尺寸时，则在预定尺寸的区域内执行插值处理。如果能够对较小区域执行插值处理，那么可以将该尺寸逐步降低到某一尺寸。反过来说，如果不能执行插值处理，该尺寸可以逐渐增加到某一尺寸。
图4A和4B显示了其中一条线图像被抽取并设置为确定区域的实例。在图4A中，由黑色表示并且代表半色调点的像素和由白色表示并且代表背景的像素均匀地（evenly）间隔开，并且其间排列具有不同像素值的灰色像素，以便提供灰度级（gradation）。而且，在图4A中，显示了由于上述间隙而丢失的像素40。
图4B是举例说明确定区域中水平方向上的像素的位置和像素值之间的关系的图。由于像素值在像素中恒定，因此像素值表示离散值。不过，当这些离散值被同斜地（congruously）连接起来时，其可以采用一种波形代表，以便像素值以恒定周期增加和降低。因此，在确定区域中，可以确定像素值的变化具有周期性。
为了举例说明确定区域具有周期性，可以考虑图5A中所示的采用对角线代表的半色调点和半色调点区域。另一方面，为了举例说明确定区域不具有周期性，可以考虑图5B中所示的包括没有规则排列的字符或点的不连续区域、或图5C中所示的由一种颜色或灰度级代表的单调区域。
而且，对于由半色调点代表的半色调图像，这些点实际上排列成与任意网目（screen）角度成一条线。因此这些点沿着水平方向不均匀地间隔开，但是这些点沿倾斜方向均匀地间隔开。因此，该波形与图4B中所示的波形不同，而该波形不具有相同的幅度。该波形具有不同的幅度，但是该波形在每个很定间隔具有峰值。因此，可以确定该波形具有周期性。
通过显示如图3和4的情况的示意图，可以方便地确定所述确定区域是否具有周期性。不过，在实际中，不能画出一幅示意图并通过查询该示意图来确定。因此。例如，在确定区域中获得代表性周期，并且计算该代表性周期的可靠性。通过确定该可靠性是否大于或等于阈值来执行该确定。作为或的代表性周期的例子，记录像素值在确定区域中为局部最大值的位置（峰值位置），具体而言记录图4B中所示的波形表示的正方向峰值所在的像素位置。针对确定区域的整体，生成一个峰值和下一个峰值之间的距离的直方图。随后，选择与最频繁级别的值对应的距离（作为一种模式（mode）值）作为代表性周期。在图4A和4B中所示的实施例中，几乎每6个像素获得一个峰值，并且相邻峰值之间的距离为6个像素就是该频率。因此该代表性周期为6个像素。
此时，像素值为局部最小值的位置（图4B中所示的波形表示的在负方向峰值所在的像素位置），而不是像素值为局部最大值的位置，可以被用来获取代表性周期。在确定代表性周期时，可以使用像素值的变化的周期性，但是其噪声耐量（tolerance）较低。因此，在获取像素值的自相关性时，并且如果使用自相关性的变化的周期性，那么就要改善噪声耐量。因此当使用局部最大值位置和局部最小值位置获得代表性周期时，使用自相关性比较好。在此，改善噪声耐量的原因如下。在多种情况下，噪声附加到像素值。因此，当使用多个像素值所导出的自相关性被使用时，相对于直接使用像素值而言，噪声的影响会被降低。
自相关性是在信号和通过将预定相移相加到该信号获得同一信号之间的相关性。在这种情况下，在确定区域中计算自相关性，以及使用自相关值而不是像素值来创建直方图。该模式值可以被选作代表性周期。就自相关值而言，可以使用相关系数。或者该计算可以通过使用协方差而得到简化。
协方差S是表示两个像素值的协方差的幅值（amplitude）的指标。当将被比较的图案之一的第“i”个像素值被限定为xi，其他图案中的第“i”个像素值被限定为yi，所述图案之一的像素值的平均值被限定为xm在，而所述其他图案中的像素的像素值的平均值被限定为ym，并且在图案中的像素的数量为n。协方差S通过下面的公式1获得。
[方程1]
S = 1 n Σ i = 1 n ( x i - x m ) ( y i - y m )
相关系数R是表示连个随机变量之间的相似度的指标。当所述图案之一的标准偏差限定为σx，且所述其他图案的标准偏差限定为σy时，可以通过下面的公式2获得相关系数R。
[方程2]
R = Σ i = 1 n ( x i - x m ) ( y i - y m ) σ x σ y
例如，可以使用下面公式3获得可靠性（reliability）Cv。在公式3中，T为上面获得的代表性周期，Fr为在频率直方图中与代表性周期对应的距离的频率，而N表示确定区域中像素的数量。在此，对于Fr，不仅可以使用代表性周期T的频率，而且可以使用T±1的全部频率，以便容许在估算代表性周期有误差。方程3表示峰值之间的距离与代表性周期相同的峰值所占据的区域与整个确定区域之间的比率被定义为可靠性。
[表达式3]
C v = T × F r N
当可靠性程度大于阈值时，可以确定存在周期性，而当可靠性程度小于或等于该阈值时，可以确定不存在周期性。不过，该阈值可以由用户预先确定，或者该阈值可以由周动态地确定。当该阈值由用户设定时，阈值也可以通过执行模拟或实验以获取用于确定周期性存在或不存在的可靠性程度来确定，并能够设定该阈值。例如，当阈值动态确定时，针对实际上具有周期性的半色调点区域以及不具有周期性的非连续区域或单调区域获得可靠性程度，并且确定该阈值为它们的中间值。
当周期性确定单元30确定包括插值像素的图像区域为具有周期性的区域（周期性区域）时，边界确定单元31确认该插值像素实际上是否属于周期性区域。插值像素存在于周期性区域或非周期性区域之一内。插值像素的像素值可以根据存在于相同区域或在该插值像素附近的像素的像素值被估算出来。这是因为，由于包括以插值像素为中心的几个连续像素图案与在附近的图案类似，因此可以根据存在于附近的图案估算该插值像素。
然而，当插值像素位于周期性区域和非周期性区域之间的边界的附近时，如果存在于该附近但是属于非周期性区域的图案被选择，尽管插值像素存在于周期性区域中，也可能会不正确地执行插值。因此，边界确定单元31确定所述插值像属于哪个区域，以便能够选择位于周期性区域内的正确图案并能够执行估算。
例如，可以在与插值像素左右分离预定距离的位置设定两个参考区域。在限定于所述插值像素的左右的参考区域中，可以单独地获得作为图像的特征量之一的方差。当左侧和右侧的两个方差都等于或大于阈值时，可以确定所述插值像素实际上属于周期性区域。在左侧和右侧的两个方差小于该阈值时，确定所述插值像素属于非周期性区域。
上述预定距离距离可等于例如3个像素。就下面将描述的图案匹配而言，当半色调点每6个像素布置时，所述插值像素（插值像素位于中心）左侧的哦单个像素和右两侧三个像素被用作模板（template）。因此，参考区域被限定在与插值像素左右相隔3个像素的位置，其位于模板的外侧但是与模板最近的位置。其为最近位置的原因是与模板相似的图案倾向于存在于模板的附近。在此，所述距离不限于3个像素，并且如果可以适当地确定插值像素是存在于周期性区域还是存在于非周期性区域，该距离可以是任何值。
例如，参考区域可以是包括插值像素的具有一个像素高度的区域，，即一条线图像。而且该参考区域可以是包括插值像素的具有任意高度的矩形区域，与上述确定区域类似。与上述确定区域的情况类似，该区域可以由用户预先设定，或者可以动态设定。该参考区域不限于在所述插值像素的左右两侧。参考区域可以设置在所述插值像素的上下两侧，或者参考区域可以设置在插值像素的上、下、左、右侧。可以线的能够不只一个区域。
可以通过下述方程4获得方差。在方程4中，xi表示的参考区域中第“i”个像素的像素值，xm表示的参考区域中像素的平均值，而n表示参考区域内的像素的数量。在此，方差可以被代替为参考区域内的像素的最大亮度值和最小亮度值之间的差。当图像是彩色图像时，方差可以被代替为的最大绿色分量值（G分量值）和最小绿色分量值之间的差。
[表达式4]
σ 2 = 1 n Σ i = 1 1 ( x i - x m ) 2
第一像素值生成单元32使用例如图案匹配方法作为插值方法生成插值像素的像素值。作为图案匹配方法的具体实例，可以使用模板匹配方法。模板匹配方法使用作为图像指定部分的模板来搜索与模板类似的位置。其可以通过获得模板和图像中的图案之间的重合（coincidence）程度来执行该模板匹配方法。
例如，当待处理的图像为如图6A所示时，可以通过在图像中标识作为插值像素的像素40并切掉以插值像素为中心的预定区域（如图6B所示）来获得模板，该像素将被插值并且其像素值丢失。
获得模板和具有与模板尺寸相同尺寸的图案之间的重合程度。在此，该图案位于除了模板已经被切掉的位置的位置。然后，确定其重合程度最高的图案。获得位于图案中心的像素的像素值作为插值像素的像素值。作为重合程度，可以使用诸如绝对差的和（SAD）、平方差的和（SSD）的不相似程度或诸如相关系数或协方差的相似程度。
将与模板对比的图案被切掉，并且对于模板中的每个像素，获得该像素与图案中位于对应位置的像素的亮度值之间的差。SAD是该差值的和。当该和值比较小时，表示它们相似。当该和值比较大时，表示它们不相似。而且，对于SSD，对亮度值之间的每个差求平方，并使用它们的和。当该和值较小时，表示它们相似。当该和值比较大时，表示它们不相似。可以分别根据上述方程1和2获得协方差和相关系数。相关系数取值在-1和1之间。当该值接近1时，意味着存在强烈的正相关。当该值接近0时，意味着相关性较弱，以及当该值接近-1时，意味着存在负相关。这意味着，当该相关系数接近1时，该图案相似，而当该相关系数接近-1时，该图案反相（inverted）。因此，可以确定当该值较大时，相似度较高。由于协方差对应于相关系数，可确定当该值较大时，相似程度较高。
在评估重合程度时，比较好的是，可以从重合程度计算中去掉插值像素，以便插值像素不会影响重合程度，或者比较好的是，为插值像素，使用被比较的图案中的位于对应位置的像素的像素值赋予临时像素值。而且，对于相似图案，可以基于重合程度按照降序选择多个图案。
而且，当在整个图像中存在多个插值像素时，为了计算重合程度，比较好的是，不仅具当前待插值的插值像素而且其他插值像素从计算中被剔除，或者比较好的是，为其他插值像素，使用该图案中位于对应位置的像素的像素值赋予临时像素值。这是因为，可能不仅当前待插值的插值像素而且其他插值像素包含在参考图案或被比较的图案中，基本上，插值像素不具有像素值，或者插值像素具有不正确的值。因此，使用插值像素来继续按重合程度是不合适的。在此，对于已经被插值的插值像素的像素值可以被用于计算重合程度。而且，当在待比较的图案中存在插值像素时，比较好的是从计算中剔除插值像素以便插值像素不用于计算重合程度，或者比较好的是使用参考图案中位于对应位置的像素的像素值赋予临时像素值
在以这种方式确定的最相似图案中，获得模板中位于与插值像素的位置对应位置处的像素的像素值。当只是用最相似图案时，以这种方式获得像素值被设置为插值像素的像素值。当使用多个相似图案时，将从多个图案中获得像素值组合起来，并且能够获得插值像素的像素值。作为组合这些像素值的方法，可以考虑下面的方法。即，其中使用相同权重对这些像素值求平均值的方法、以及其中这些像素值被赋予权值使得具有较高相似程度的图案具有较大的权值，并求平均值。
而且，作为模板匹配方法，存在括二维模板匹配方法和一维模板匹配方法。在二维模板匹配方法中，通过切出图像中在插值像素附近的任意区域，即在插值像素的左、右、上、下或倾斜方向的任意区域，作为图案，并获取该图案与模板的重合程度，来找到最相似图案。另一方面，在一维模板匹配方法中，通过从存在插值像素的一条线从切出图案并获取重合程度来找到最相似图案。
第二像素值生成单元33使用与第一像素值生成单元32所使用的插值方法不同的插值方法生成插值像素的像素值。作为这种不同的插值法，可以使用下述插值方法。即，插值方法包括：最近邻插值法（零阶插值法）、线性插值法（一阶插值法）、抛物线插值法（二次插值法）、三次插值法、多项式插值法、样条插值法、拉格朗日（lagrange）插值法等。可以使用线性插值法和三次插值法被二维扩展的双线性插值法、双三次插值法。
假设像素A至F按照该顺序排列在一条线上，并且像素C的像素值丢失。图7A是显示表示像素的位置和像素值之间的曲线图的示意图。像素C的实际像素值是由白点所表示的值。在这种情况下，由于像素值随着像素的位置向右移动一个位置而增加大约恒定值，因此像素的位置和像素值之间的关系可以采用线性函数表达。要被插值的像素C的像素值可以使用所获得的线性函数计算（线性插值法）。
而且，当像素值由图7B所示的曲线代表时，通过选择该曲线的最适合的插值方法来执行插值。当该曲线可由二次函数代表时，可以选择抛物线插值法。当该曲线表示三次函数时，可以采用三次插值法。当该曲线表示多项式时，可以采用多项式插值法或拉格朗日插值法。当曲线表示单个（individual）多项式时，可以采用样条插值法。
在此，假设第一像素值生成单元32采用采用图案匹配方法以及第二像素值生成单元33采用内插值法。但是，第一像素值生成单元32也可以采用内插值法而第二像素值生成单元33也可以采用图案匹配方法。而且，可以采用不同插值方法，诸如线性插值法以及样条插值法（尽管这两者都是内插值方法）。
控制单元34接收待处理的图像数据时并把它发送到周期性确定单元30和边界确定单元31。随后控制单元34接收周期性确定单元30和边界确定单元31所确定的确定结果，并基于该结果确定将采用第一像素值生成单元32和第二像素值生成单元33中的哪一个来生成像素值。例如，当周期性确定单元30判定有周期性以及边界确定单元31判定其处于周期性区域时，控制单元34确定采用使用图案匹配方法的第一像素值生成单元32。对于其他情况，控制单元34确定采用使用内插值法的第二像素值生成单元33。随后控制单元34将图像发送到被确定的像素值生成单元，接收由所确定的像素值生成单元所生成的像素值，并且随后将该像素值与图像和已经被设置的像素的位置信息一起发送到像素值输入单元35。
像素值输入单元35将输入通过采用有控制单元34所确定的第一像素值生成单元32和第二像素值生成单元33之一所生成的像素值到之前已经设置的插值像素。这就完成对一个插值像素的插值处理。当有多个插值像素时，针对插值像素的数量，重复上述在对应单元处的处理。
通过参照图8中所示的流程图解释其中这些单元执行的对应处理、生成插值像素的像素值以及采用像素值对插值像素进行插值的过程。处理从步骤S800开始插值。首先，在步骤S805，像素设置单元检测将被输入像素值的插值像素并且像素设置单元设置将被应用插值处理的插值像素。可使用上述方法执行该检测。例如，当存在多个插值像素时，插值像素按照插值像素所在的坐标位置排列。然后按顺序逐一选择插值像素，并可以设定所选择一个插值像素。
在步骤S810中，周期性确定单元30设置包括插值像素的区域，并在该区域内，周期性确定单元30确定像素值的变化是否具有周期性。使用区域的尺寸的上述确定方法以及上述周期性确定方法指定所述区域并确定周期性的存在或不存在。随后，在步骤S815中，确定所述插值像素属于哪一个区域。对于该确定，可以采用上述确定边界的方法和确定参考区域的尺寸的方法。随后，分别获得用于左侧参考区域和右侧参考区域的方差，以及通过确定所获得的左侧参考区域和右侧参考区域两者的方差是否等于或大于阈值来做出判断。当方差等于或大于阈值时，可确定插值像素位于周期性区域中。
随后，在步骤S820处，确定用于插值像素的插值方法。即，基于在步骤S810和在步骤S815中确定的结果，控制单元34确定第一像素值生成单元32和第二像素值生成单元33中哪一个将被采用来生成插值像素的像素值。在步骤S825，确定是否采用第一像素值生成单元32。由于第一像素值生成单元32采用图案匹配方法，因此当确定所述区域具有周期性并且插值像素存在于周期性区域中时，可以确定采用第一像素值生成单元32
当在步骤S825中确定采纳了第一像素值生成单元32时，处理随后前进到步骤S830，并且通过第一像素值生成单元32所使用的插值方法生成插值像素的像素值。另一方面，当在步骤S825中确定没有采纳第一像素值生成单元32时，处理前进到步骤S835，并且通过使用插值法的第二像素值生成单元33生成插值像素的像素值。
随后，在步骤S840中，在步骤S830或步骤S835中生成的插值像素的像素值被已经在步骤S805中设定的插值像素。由于该插值像素可能不具有像素值，或者可能具有不正确的像素值，因此通过输入为该插值像素生成的像素值而将该像素值定义给所述插值像素。随后，处理前进到步骤S845，并且确定是否完成了所有插值像素的插值。当在步骤S805处检测到多个插值像素时，确定所生成的像素值是否输入到了所有插值像素。
当在步骤S845中确定已经完成了对所有插值像素的插值时，处理前进到步骤S850，并终止该处理。另一方面，当确定还没有完成所述插值时，处理返回到步骤S805。随后设置下一个插值像素，生成像素值，并执行输入像素值的处理。
图9是图释图像处理设备的第二实施例的功能方块示意图。在该实施例中，与图2所示的第一实施例类似，图像处理设备包括周期性确定单元50、边界确定单元51、第一像素值生成单元52、第二像素值生成单元53、控制单元54、以及像素值输入单元55。此外，该图像处理设备还包括有效性验证单元56，其验证第一像素值生成单元52和第二像素值生成单元53之一所生成的所述插值像素的像素值。即，该有效性验证单元验证第一像素值生成单元52被采用时所生成的像素值是否有效，并在确定该像素值无效时，由第二像素值生成单元53生成插值像素的像素值。
由周期性确定单元50、边界确定单元51、第一像素值生成单元52、第二像素值生成单元53、控制单元54、以及像素值输入单元55执行的处理与上述第一实施例相同，因此在此省略对其解释，并解释效性验证单元56。效性验证单元56例如第一像素值生成单元52所生成的像素值是否有效。
有效性的验证可以使用在第一像素值生成单元52生成像素值时获得的相关信息来执行。作为相关信息，当第一像素值生成单元52使用图案匹配方法作为插值方法时，可以考虑模板和被对比图案之间的非相似程度或相似程度。对于所述非相似程度或相似程度，可以使用如上所述的SAD、SSD、相关系数、协方差等。
有效性验证单元56获得最优图案和包括插值像素的参考图案之间的非相似程度或相似程度。在此，当第一像素值生成单元52是以图案匹配方法作为第一插值方法生成像素值时，最优图案为图像内被第一像素值生成单元52所采用的预定区域。有效性可以通过确定非相似程度是否小于阈值，或者通过确定相似性程度是否大于或等于阈值来验证。在该非相似程度小于所述阈值时，其有效；或者当所述相似程度等于或大于所述阈值时，其有效。
因此，在有效性验证单元56中，处理非相似程度或相似程度，并使用是非相似程度小于所述阈值或相似程度等于或大于所述阈值作为条件来验证有效性。与上述阈值相似，该阈值可以由用户预先定义或者该设备动态确定该阈值。
根据本发明，控制单元54通过有效性验证单元56验证在采用第一像素值生成单元52时生成的像素值是否有效。当确定其无效时，控制单元通过第二像素值生成单元53生成所述插值像素的像素值。但是，并不限于此。其可以通过并行处理来实现以便第一像素值生成单元52和第二像素值生成单元53两者预先生成像素值，并基于有效性验证单元56的验证结果选择像素值之一。
通过参照图10中所示的流程图解释使用图9中所示的图像处理设备校正插值像素的像素值的处理。处理从步骤S1000开始插值。首先，在步骤S1005，图9中未示出的像素设置单元检测将被输入像素值的插值像素并且设置单元设置插值像素。可使用上述方法执行该检测。当存在多个插值像素时，与上述类似，设置其中一个。
在步骤S1010中，周期性确定单元50确定在包括插值像素的区域内像素值的变化是否具有周期性。使用确定区域的尺寸的上述方法以及上述确定周期性的方法确定周期性。随后，在步骤S1015中，边界确定单元51确定所述插值像素属于哪一个区域。对于该确定，可以采用确定边界的上述方法和确定参考区域的尺寸的方法。随后，分别获得用于左侧参考区域和右侧参考区域的方差，以及通过确定所获得的左侧参考区域和右侧参考区域两者的方差是否等于或大于阈值来做出判断。当方差等于或大于阈值时，可确定插值像素位于周期性区域中。
随后，在步骤S1020处，确定用于插值像素的插值方法。即，基于在步骤S1010和在步骤S1015中确定的结果，控制单元54确定第一像素值生成单元52和第二像素值生成单元53中哪一个将被采用来生成插值像素的像素值。在步骤S1025，确定是否采用第一像素值生成单元52。
当在步骤S1025中确定采纳了第一像素值生成单元52时，处理随后前进到步骤S1030，并且通过第一像素值生成单元52所使用的插值方法，即图像匹配方法，生成插值像素的像素值。随后，在步骤S1035处，有效性验证单元56验证第一像素值生成单元52所生成的像素值是否有效，并在S1040处，确定该像素值是否有效。通过使用在生成该像素值时获得相关信息，具体而言通过使用非相似程度或相似程度，并通过确定该非相似程度是否小于阈值或通过确定相似程度是否大于或等于阈值，执行该像素值是否有效的判定。
当在步骤S1025中确定没有采纳第一像素值生成单元52时，处理前进到步骤S1045，并且通过使用插值法，即内插值法，的第二像素值生成单元53生成插值像素的像素值。而且，当在步骤S1040处确定其无效时，处理前进到步骤S1045，并且通过第二像素值生成单元53所使用的插值方法生成插值像素的像素值。
当在步骤S1040确定像素值有效时，或者在步骤S1045处由第二像素值生成单元53生成插值像素的像素值时，处理前进到步骤S1050，并且像素值被输入到在步骤S1005处已经检测的插值像素。采用这种方式，该像素值被设置为插值像素的像素值。随后，处理前进到步骤S1055，并且确定是否完成了所有插值像素的插值。当在步骤S1005处检测到多个插值像素时，确定所述像素值是否输入到了所有多个插值像素。
当在步骤S1055中确定已经完成了对所有插值像素的插值时，处理前进到步骤S1060，并终止该处理。另一方面，当确定还没有完成所述插值时，处理返回到步骤S1005。随后设置下一个插值像素，生成像素值，并执行输入像素值的处理。
图11是图释图像处理设备的第三实施例的功能方块示意图。在该实施例中，与图9所示的第二实施例类似，图像处理设备包括周期性确定单元60、边界确定单元61、第一像素值生成单元62、第二像素值生成单元63、控制单元64、像素值输入单元65以及有效性验证单元66。此外，该图像处理设备还包括第三像素值生成单元67，其使用与第一像素值生成单元62和第二像素值生成单元63所采用的插值方法不同的方法生成插值像素的像素值。因此，图像处理设备配置如下。即，该有效性验证单元66验证在第一像素值生成单元62被采用时所生成的像素值是否有效。当确定该像素值无效时，由第三像素值生成单元67生成插值像素的像素值。该有效性验证单元66验证该像素值是否有效。当确定该像素值无效时，由第二像素值生成单元63生成插值像素的像素值。
在第三实施例中，仅有第三像素值生成单元67被添加到图9所示的第二实施例的结构中。不过，该实施例并不限于此，而是可以添加第四像素值生成单元和第五像素值生成单元，并且图像处理设备可以包括4个或更多像素值生成单元。在这种情况下，确定像素值生成单元之一所生成的像素值是否有效，并且确定其无效时由另一个像素值生成单元生成像素值。
在第三实施例中，由周期性确定单元60、边界确定单元61、第一像素值生成单元62、第二像素值生成单元63、控制单元64、像素值输入单元65以及有效性验证单元66执行的处理与上述第二实施例相同。对于第三像素值生成单元67，仅仅插值方法不同，与第一像素值生成单元62和第二像素值生成单元63类似，其生成插值像素的像素值。因此在此省略对其解释。
而且，有效性验证单元66验证在采用第一像素值生成单元62时生成的像素值是否有效。当确定其无效时，由第三像素值生成单元67生成所述插值像素的像素值。然后，有效性验证单元66验证该像素值是否有效。当确定其无效时，由第二像素值生成单元63生成所述插值像素的像素值。但是，该实施例并不限于此。其可以通过并行处理来实现以便第一像素值生成单元62、第二像素值生成单元63和第三像素值生成单元67预先生成插值像素的像素值，并基于有效性验证单元66的验证结果选择像素值之一。
通过参照图12中所示的流程图解释使用图11中所示的图像处理设备校正插值像素的像素值的处理。处理从步骤S1200开始插值。首先，在步骤S1205，图11中未示出的像素设置单元检测将被输入像素值的插值像素并且设置单元设置插值像素。可使用上述方法执行该检测。当存在多个插值像素时，与上述类似，设置其中一个。
在步骤S1210中，在包括插值像素的区域内，确定像素值的变化是否具有周期性。使用确定区域的尺寸的上述方法以及上述确定周期性的方法确定周期性。随后，在步骤S1215中，确定所述插值像素属于哪一个区域。对于该确定，可以采用确定边界的上述方法和确定参考区域的尺寸的方法。随后，分别获得用于左侧参考区域和右侧参考区域的方差，以及通过确定所获得的左侧参考区域和右侧参考区域两者的方差是否等于或大于阈值来做出判断。当方差等于或大于阈值时，可确定插值像素位于周期性区域中。
随后，在步骤S1220处，确定用于插值像素的插值方法。即，基于在步骤S1210和在步骤S1215中确定的结果，控制单元64确定第一像素值生成单元62、第二像素值生成单元63以及第三像素值生成单元67中哪一个将被采用来生成插值像素的像素值。在步骤S1225，确定是否采用第一像素值生成单元62。
当在步骤S1225中确定采纳了第一像素值生成单元62时，处理随后前进到步骤S1230，并且通过第一像素值生成单元62所使用的插值方法生成插值像素的像素值。随后，在步骤S1235处，有效性验证单元66验证第一像素值生成单元62所生成的像素值是否有效，并在S1240处，确定该像素值是否有效。
有效性的确定可以使用在第一像素值生成单元62生成像素值时获得的相关信息来执行。第一像素值生成单元62所采用的插值方法是图案匹配方法时，被用于生成像素值的最优图案和包括插值像素的参考图案之间的非相似程度或相似程度被用作相关信息，并且，当非相似程度小于所述阈值时或者当所述相似程度等于或大于所述阈值时，确定其有效。此时，可使用其中插值像素被去除的模板或者其中输入所生成的像素值的模板。
当在步骤S1240确定像素值有效时，处理前进到步骤S1245，并且通过第三像素值生成单元67所使用的插值法生成插值像素的像素值。随后，在步骤S1250处，有效性验证单元66验证第三像素值生成单元67所生成的像素值是否有效，并在S1255处，确定该像素值是否有效。
当在步骤S1225处确定第一像素值生成单元62没有被采用时，或者在步骤S1255处确定该像素值无效时，处理前进到步骤S1260，并且通过第二像素值生成单元63所使用的插值法生成插值像素的像素值。
而且，当在步骤S1240处确定像素值有效时、或在步骤S1255处确定该像素值有效时、或在步骤S1260处生成像素值时，处理前进到步骤S1265，并且像素值被输入到在步骤S1205处已经检测的插值像素。随后，处理前进到步骤S1270，并且确定是否完成了所有插值像素的插值。当在步骤S1205处检测到多个插值像素时，确定所述像素值是否输入到了所有插值像素。
当在步骤S1270中确定已经完成了对所有插值像素的插值时，处理前进到步骤S1275，并终止该处理。另一方面，当确定还没有完成所述插值时，处理返回到步骤S1205。随后设置下一个插值像素，生成像素值，并执行输入像素值的处理。
在图像处理设备的第四实施例中，与图11中的第三实施例类似，包括：周期性确定单元60、边界确定单元61、第一像素值生成单元62、第二像素值生成单元63、控制单元64、像素值输入单元65、有效性验证单元66以及第三像素值生成单元67。因此省略了其功能模块示意图。图像处理设备配置为依赖于周期性确定单元60的确定结果和边界确定单元61的确定结果切换第一像素值生成单元62、第二像素值生成单元63和第三像素值生成单元67。
作为插值方法的确定方法的实例，当包括插值像素的区域具有周期性且当插值像素位于该周期性区域内时，可采用第一像素值生成单元62；当包括插值像素的区域具有周期性且当插值像素位于非周期性区域内时，可采用第二像素值生成单元63；而当包括插值像素的区域不具有任何周期性时，可采用第三像素值生成单元67。
作为另一个实例，当包括插值像素的区域的周期较短并且插值像素位于周期性区域中时，采用第一像素值生成单元62；当包括插值像素的区域的周期较短并且插值像素存在于非周期性区域中时，采用第二像素值生成单元63；以及在其他情况下，采用第三像素值生成单元67。
在该实施例中，有效性验证单元66验证在采用第一像素值生成单元62时生成的像素值是否有效。当确定其无效时，由第三像素值生成单元67生成所述插值像素的像素值。然后，有效性验证单元66验证该像素值是否有效。当确定其无效时，由第二像素值生成单元63生成所述插值像素的像素值。但是，该实施例并不限于此。其可以通过并行处理来实现以便第一像素值生成单元62、第二像素值生成单元63和第三像素值生成单元67预先生成插值像素的像素值，并基于有效性验证单元66的验证结果选择像素值之一。
在该实施例中，在采用第一像素值生成单元62时，有效性验证单元66验证所生成的像素值是否有效。当不采用第一像素值生成单元62时，则确定是否采用第三像素值生成单元67。当采用第三像素值生成单元67时，由第三像素值生成单元67生成所述插值像素的像素值，并且有效性验证单元验证所生成的像素值是否有效。当不采用第三像素值生成单元67时，由第二像素值生成单元63生成所述插值像素的像素值。但是，该实施例并不限于此。其可以通过并行处理来实现以便由第一像素值生成单元62、第二像素值生成单元63和第三像素值生成单元67预先生成插值像素的像素值，并基于有效性验证单元66的验证结果选择像素值之一
通过参照图13中所示的流程图解释使用根据第四实施例的图像处理设备校正插值像素的像素值的处理。处理从步骤S1300开始插值。首先，在步骤S1305，检测将被输入像素值的插值像素并且设置单元设置插值像素。可使用上述方法执行该检测。当存在多个插值像素时，与上述类似，设置其中一个。
在步骤S1310中，在包括插值像素的区域内，确定像素值的变化是否具有周期性。使用确定区域的尺寸的上述方法以及上述确定周期性的方法确定周期性。随后，在步骤S1315中，确定所述插值像素属于哪一个区域。对于该确定，可以采用确定边界的上述方法和确定参考区域的尺寸的方法。随后，分别获得用于左侧参考区域和右侧参考区域的方差，以及通过确定所获得的左侧参考区域和右侧参考区域两者的方差是否等于或大于阈值来做出判断。当方差等于或大于阈值时，可确定插值像素位于周期性区域中。
随后，在步骤S1320处，确定用于插值像素的插值方法。即，基于在步骤S1310和在步骤S1315中确定的结果，控制单元64确定第一像素值生成单元62、第二像素值生成单元63以及第三像素值生成单元67中哪一个将被采用来生成插值像素的像素值。在步骤S1325，确定是否采用第一像素值生成单元62。
当在步骤S1325中确定采纳了第一像素值生成单元62时，处理随后前进到步骤S1330，并且通过第一像素值生成单元62所使用的插值方法生成插值像素的像素值。随后，在步骤S1335处，有效性验证单元66验证第一像素值生成单元62所生成的像素值是否有效，并在S1340处，确定该像素值是否有效。
当在步骤S1325处确定第一像素值生成单元62没有被采用时，处理前进到步骤S1345，并确定是否采用第三像素值生成单元67。当确定采用第三像素值生成单元67时，处理前进到步骤S1350，并且通过通过第三像素值生成单元67所使用的插值法生成插值像素的像素值。随后，在步骤S1355处，有效性验证单元66验证第三像素值生成单元67所生成的像素值是否有效，并在S1360处，确定该像素值是否有效。
当在步骤S1345确定不采用第三像素值生成单元67，处理前进到步骤S1365，并且通过第二像素值生成单元63所使用的插值法生成插值像素的像素值。当在S1340处确定该像素值无效时，处理前进到步骤S1350，并且通过通过第三像素值生成单元67所使用的插值法生成插值像素的像素值。而且，当在步骤S1360处确定该像素值无效时，处理前进到步骤S1365，并且通过第二像素值生成单元63所使用的插值法生成插值像素的像素值。
当在步骤S1340处确定像素值有效时、或在步骤S1360处确定该像素值有效时、或在步骤S1365处生成像素值时，处理前进到步骤S1370，并且像素值被输入到在步骤S1305处已经检测的插值像素。随后，处理前进到步骤S1375，并且确定是否完成了所有插值像素的插值。当在步骤S1305处检测到多个插值像素时，确定所述像素值是否输入到了所有插值像素。
当在步骤S1375中确定已经完成了对所有插值像素的插值时，处理前进到步骤S1380，并终止该处理。另一方面，当确定还没有完成所述插值时，处理返回到步骤S1305。随后设置下一个插值像素，生成像素值，并执行输入像素值的处理。
根据本发明，除了上述图像处理设备和由该图像处理设备所执行的图像插值方法，还可以提供一种用于实现该方法的计算机可读程序。在此，该程序可以存储在诸如FD、CD、DVD、SD卡以及USB存储器的记录介质中，并且该程序可以作为其中记录了该程序的记录介质被提供。
至此，通过上述事实解释了作为图像处理设备和图像插值方法的本发明。但是，本发明并不限于上述实施例。本发明可以在本领域技术人员所能想到的范围内修改本发明，诸如另一个实施例、添加，修改以及删除。可以想到，在本发明范围内的任何实施例，只要该实施例阐明了本发明的效果。.
本申请基于在2011年01月19日提交的日文优先权申请2011-008653并要求其优先权，该申请的整体内容通过引用方式包含在本申请中。

Claims (15)

1.一种图像处理设备，其生成位于预定位置的插值像素的像素值并采用该像素值对该插值像素进行插值，所述图像处理设备包括：
周期性确定单元，配置为基于在包括所述插值像素的区域中所包括的像素值的变化在该区域中是否具有周期性而确定所述区域是否为周期性区域；
边界确定单元，配置为当所述周期性确定单元确定所述区域为周期性区域时，限定一个或多个参考区域，所述一个或多个参考区域在所述插值像素的上、下、左、右侧离开预定像素距离的位置处，并且配置为通过获得在所述一个或多个参考区域中包括的像素值的方差并且在所述方差大于或等于预定阈值时确定所述插值像素属于所述周期性区域来确定所述插值像素是属于周期性区域还是属于非周期性区域；
第一像素值生成单元，配置为使用第一插值方法生成所述插值像素的第一像素值；
第二像素值生成单元，配置为使用第二插值方法生成所述插值像素的第二像素值，第二插值方法与第一插值方法不同；
控制单元，配置为基于所述周期性确定单元的确定结果以及所述边界确定单元的确定结果，确定是第一像素值生成单元被用来生成第一像素值还是第二像素值生成单元被用来生成第二像素值；以及
像素值输入单元，配置为把由第一像素值生成单元生成的第一像素值和由第二像素值生成单元生成的第二像素值之一输入到所述插值像素，所述第一像素值和第二像素值之一由所述控制单元确定。
2.如权利要求1所述的图像处理设备，其中，所述第一插值方法是图案匹配方法。
3.如权利要求2所述的图像处理设备，其中，所述第二插值方法是内插值法。
4.如权利要求1所述的图像处理设备，还包括：
有效性验证单元，配置为验证采用所述第一像素值和第二像素值之一对所述插值像素进行插值的插值结果是否有效；以及
其中，在所述有效性验证单元验证采用由第一像素值生成单元生成的第一像素值对所述插值像素进行插值的第一插值结果并确定所述第一插值结果 无效时，所述控制单元使得第二像素值生成单元生成第二像素值。
5.如权利要求4所述的图像处理设备，
其中，当第一像素值生成单元使用图案匹配方法作为第一插值方法来生成第一像素值时，所述有效性验证单元通过确定一个图案和包括所述插值像素的参考图案之间非相似性程度是否小于一个阈值或者通过确定所述图案和所述参考图案之间相似性程度是否等于或大于所述阈值来确定第一插值结果是否有效，其中所述图案是在由第一像素值生成单元所采用的图像内的预定区域。
6.如权利要求4所述的图像处理设备，还包括：
第三像素值生成单元，配置为使用第三插值方法生成所述插值像素的第三像素值，第三插值方法与第一插值方法和第二插值方法不同，
其中，在所述有效性验证单元验证第一插值结果并确定所述第一插值结果无效时，所述控制单元使得第三像素值生成单元生成第三像素值。
7.如权利要求6所述的图像处理设备，
其中，在所述有效性验证单元验证采用由第三像素值生成单元生成的第三像素值对所述插值像素进行插值的第三插值结果并确定所述第三插值结果无效时，所述控制单元使得第二像素值生成单元生成第二像素值。
8.如权利要求1所述的图像处理设备，还包括：
第三像素值生成单元，配置为使用第三插值方法生成所述插值像素的第三像素值，第三插值方法与第一插值方法和第二插值方法不同，
其中，基于所述周期性确定单元的确定结果以及所述边界确定单元的确定结果，所述控制单元选择用于生成第一像素值的第一像素值生成单元、用于生成第二像素值的第二像素值生成单元、以及用于生成第三像素值的第三像素值生成单元之一。
9.如权利要求6所述的图像处理设备，
其中，第一插值方法为二维模板匹配方法，第二插值方法为内插值方法，以及第三插值方法为一维模板匹配方法。
10.一种像素插值方法，其中，位于预定位置的插值像素的像素值由图像处理设备生成，并且该插值像素采用该像素值进行插值，所述方法包括：
周期性确定步骤，用于基于在包括所述插值像素的图像区域中所包括的像素值的变化在该区域中是否具有周期性而确定所述区域是否为周期性区 域；
边界确定步骤，用于当所述周期性确定步骤确定所述区域为周期性区域时，限定一个或多个参考区域，所述一个或多个参考区域在所述插值像素的上、下、左、右侧离开预定像素距离的位置处，并且用于通过获得在所述一个或多个参考区域中包括的像素值的方差并且在所述方差大于或等于预定阈值时确定所述插值像素属于所述周期性区域来确定所述插值像素是属于周期性区域还是属于非周期性区域；
确定步骤，用于基于所述周期性确定步骤的确定结果以及所述边界确定步骤的确定结果，确定是第一像素值生成单元被用来为所述插值像素生成第一像素值还是第二像素值生成单元被用来为所述插值像素生成第二像素值，其中第一像素值生成单元包括在所述图像处理设备中并使用第一插值方法为所述插值像素生成第一像素值，并且第二像素值生成单元包括在所述图像处理设备中并使用第二插值方法为所述插值像素生成第二像素值；以及
输入步骤，用于把由第一像素值生成单元生成的第一像素值和由第二像素值生成单元生成的第二像素值之一输入到所述插值像素，所述第一像素值和第二像素值之一由所述确定步骤确定。
11.如权利要求10所述的像素插值方法，
其中所述第一插值方法是图案匹配方法。
12.如权利要求11所述的像素插值方法，
其中所述第二插值方法是内插值法。
13.如权利要求10所述的像素插值方法，还包括：
有效性验证步骤，用于验证采用所述第一像素值和第二像素值之一对所述插值像素进行插值的插值结果是否有效；以及
第二像素值生成步骤，用于在所述有效性验证步骤确定采用由第一像素值生成单元生成的第一像素值对所述插值像素进行插值的第一插值结果无效时，使得第二像素值生成单元生成第二像素值。
14.如权利要求13所述的像素插值方法，
其中，当第一像素值生成单元使用图案匹配方法作为第一插值方法来生成第一像素值时，所述有效性验证步骤通过确定一个图案和包括所述插值像素的参考图案之间非相似性程度是否小于一个阈值或者通过确定所述图案和所述参考图案之间相似性程度是否等于或大于所述阈值来确定第一插值结果 是否有效，其中所述图案是在由第一像素值生成单元所采用的图像内的预定区域。
15.如权利要求13所述的像素插值方法，
其中所述图像处理设备还包括第三像素值生成单元，配置为使用第三插值方法生成所述插值像素的第三像素值，第三插值方法与第一插值方法和第二插值方法不同，以及
其中，所述像素插值方法还包括第三像素值生成步骤，用于在所述有效性验证步骤确定第一插值结果无效时，使得第三像素值生成单元生成第三像素值。
CN201280013602.XA 2011-01-19 2012-01-11 图像处理设备以及像素插值方法 Active CN103430526B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011008653A JP5699621B2 (ja) 2011-01-19 2011-01-19 画像処理装置、画素補間方法およびプログラム
JP2011-008653 2011-01-19
PCT/JP2012/050883 WO2012099137A1 (en) 2011-01-19 2012-01-11 Image processing device and pixel interpolation method

Publications (2)

Publication Number Publication Date
CN103430526A CN103430526A (zh) 2013-12-04
CN103430526B true CN103430526B (zh) 2016-08-10

Family

ID=46515760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280013602.XA Active CN103430526B (zh) 2011-01-19 2012-01-11 图像处理设备以及像素插值方法

Country Status (6)

Country Link
US (1) US9042658B2 (zh)
EP (1) EP2666284B1 (zh)
JP (1) JP5699621B2 (zh)
KR (1) KR101460929B1 (zh)
CN (1) CN103430526B (zh)
WO (1) WO2012099137A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101599786B1 (ko) * 2014-01-24 2016-03-09 에스케이플래닛 주식회사 참조 영역 분할을 이용한 인페인팅 장치 및 방법
JP6476898B2 (ja) 2014-03-07 2019-03-06 株式会社リコー 画像処理装置、画像処理方法、プログラム及び記憶媒体
US10026010B2 (en) 2014-05-14 2018-07-17 At&T Intellectual Property I, L.P. Image quality estimation using a reference image portion
WO2017154125A1 (ja) * 2016-03-09 2017-09-14 三菱電機株式会社 合成開口レーダ信号処理装置
US11748852B2 (en) 2018-06-27 2023-09-05 Mitsubishi Electric Corporation Pixel interpolation device and pixel interpolation method, and image processing device, and program and recording medium

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007142667A (ja) * 2005-11-16 2007-06-07 Kyocera Mita Corp 画像補間装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5113455A (en) * 1990-02-27 1992-05-12 Eastman Kodak Company Digital image scaling by stepwise pixel movement
US5097518A (en) * 1990-02-27 1992-03-17 Eastman Kodak Company Technique for performing digital image scaling by logically combining or replicating pixels in blocks of differing groupsizes
JP3069147B2 (ja) 1991-04-30 2000-07-24 アキレス株式会社 型枠の施工方法
DE60131224D1 (de) * 2000-04-24 2007-12-20 Seiko Epson Corp Vorrichtung und Verfahren zur Interpolation von Bilddaten
JP2004072528A (ja) * 2002-08-07 2004-03-04 Sharp Corp 補間処理方法、補間処理プログラムおよびこれを記録した記録媒体ならびに画像処理装置およびこれを備えた画像形成装置
JP4203498B2 (ja) 2005-09-22 2009-01-07 アドバンスド・マスク・インスペクション・テクノロジー株式会社 画像補正装置、パターン検査装置、画像補正方法、及び、パターン欠陥検査方法
US7783122B2 (en) * 2006-07-14 2010-08-24 Xerox Corporation Banding and streak detection using customer documents
JP4900175B2 (ja) * 2007-10-04 2012-03-21 セイコーエプソン株式会社 画像処理装置及び方法並びにプログラム
CN100512374C (zh) * 2007-12-05 2009-07-08 北京航空航天大学 一种基于阈值分割的图像边缘检测方法
JP4958056B2 (ja) * 2009-05-12 2012-06-20 東芝ディーエムエス株式会社 画像補間装置および画像補間プログラム
US8736700B2 (en) * 2010-09-30 2014-05-27 Apple Inc. Techniques for synchronizing audio and video data in an image signal processing system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007142667A (ja) * 2005-11-16 2007-06-07 Kyocera Mita Corp 画像補間装置

Also Published As

Publication number Publication date
KR20130124527A (ko) 2013-11-14
WO2012099137A1 (en) 2012-07-26
CN103430526A (zh) 2013-12-04
KR101460929B1 (ko) 2014-11-13
EP2666284A4 (en) 2014-08-06
JP5699621B2 (ja) 2015-04-15
JP2012151646A (ja) 2012-08-09
EP2666284A1 (en) 2013-11-27
US20130272615A1 (en) 2013-10-17
US9042658B2 (en) 2015-05-26
EP2666284B1 (en) 2018-03-07

Similar Documents

Publication Publication Date Title
JP5741011B2 (ja) 画像処理装置、画素補間方法およびプログラム
JP5741007B2 (ja) 画像処理装置、画素補間方法およびプログラム
EP2668770B1 (en) Image processing apparatus and method of supplementing pixel value
CN103430526B (zh) 图像处理设备以及像素插值方法
US9485495B2 (en) Autofocus for stereo images
US8526759B2 (en) Method of filling a hole in a virtual view image warped from a two-dimensional image
JP2006259817A (ja) デジタルイメージ２値化装置、デジタルイメージ２値化方法及びデジタルデータ再生装置
JP5703777B2 (ja) 画像処理装置、画素補間方法およびプログラム
JP6810892B2 (ja) 画像処理装置
JP5786547B2 (ja) 画像補正システム、画像補正方法およびプログラム
CN112765390A (zh) 具备双倍搜索区间的立体匹配方法
JP2020173874A (ja) 二次元コード

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant