CN101690153B - 图像插值装置和方法、以及图像读取装置 - Google Patents

Abstract

本发明提供图像插值装置和方法、以及图像读取装置。图像插值装置具有：数据存储部(2)，其存储缺失像素附近的数据；滤波插值部(3)，其对数据存储部输出的数据进行积和运算；极限处理部(4)，其将滤波插值部输出的数据限制在数据存储部的范围内；以及插值数据插入部(5)，其在数据存储部输出的数据的与缺失像素对应的位置对极限处理部输出的数据进行插值。能够提高缺失像素的插值精度、特别是对读取包含周期性数据的原稿而得到的数据进行插值时的插值精度。

Description

图像插值装置和方法、以及图像读取装置

技术领域

本发明涉及使用扫描仪、传真机、复印机等以数字方式读取原稿时，在由于某种原因缺失了图像的情况下对像素进行插值的图像插值装置，特别涉及用于在密接图像传感器的传感器IC的连接点部分对像素进行插值的图像插值装置和方法，该密接图像传感器直线状排列有多个传感器IC芯片，该传感器IC芯片直线状排列有多个摄像元件。

背景技术

作为在上述这种情况下使用的现有的图像插值装置，存在使用如下方法等计算缺失像素的插值数据的装置：将与缺失像素邻接的像素的平均值作为插值数据的方法；使用最小二乘法求出与缺失像素邻接的像素的回归直线，根据该回归直线计算插值数据的方法；根据与缺失像素邻接的4个像素求出4次式的曲线，根据该4次式计算插值数据的方法，但是，在该装置中，难以对周期性数据进行插值(例如参照专利文献1)。

作为其改善策略，提出了如下方案：以包含缺失像素的多个像素的平均值和不包含缺失像素的多个像素的平均值相等的方式，求出缺失像素的插值数据，由此对周期性数据进行插值(例如参照专利文献2)。进而，提出了如下方案：具有特性不同的多个插值运算电路、评分电路、管理电路和输出电路，多个插值运算电路分别生成缺失像素和缺失像素附近的像素的插值数据，评分电路根据多个插值运算电路分别输出的缺失像素附近的像素的插值数据和与缺失像素附近的像素的插值数据对应的像素的原数据，生成评分数据，管理电路根据评分电路输出的评分数据，生成用于从多个插值运算电路输出的缺失像素的插值数据中选择一个插值数据的选择信号，输出电路根据所述管理电路输出的选择信号，输出所述多个插值运算电路输出的缺失像素的插值数据的一个，作为缺失像素的数据，由此，适当地切换插值方法(例如参照专利文献3)。

专利文献1：日本特开2003-101724号公报(第5-6页、第3～5图)

专利文献2：日本特开2005-141611号公报(第3-7页、第1图)

专利文献3：日本特开2005-117291号公报(第7-8页、第1图)

但是，在上述现有技术中，有时缺失像素的插值精度、特别是对读取包含周期性数据的原稿而得到的数据进行插值时的插值精度不充分。

发明内容

本发明正是为了消除上述课题而完成的，本发明的图像插值装置具有：数据存储部，其存储多个像素值的数据；滤波插值部，其接收从所述数据存储部读出的数据，进行对直线状排列的多个像素中位于缺失像素周边的多个周边像素的各个像素值乘以预先决定的系数并相加的积和运算，计算所述缺失像素用的插值值；极限处理部，其将所述滤波插值部输出的数据限制在所述缺失像素周边的数据值的范围内；以及数据插入部，其在所述数据存储部输出的数据的与缺失像素对应的位置插入所述极限处理部输出的数据。

根据本发明，使用对截止频率高的低通滤波器进行改良后的插值方法，所以，能够良好地对低于截止频率的周期性数据进行插值。

附图说明

图1是示出本发明的实施方式1的图像插值装置的结构的图。

图2是示出搭载本发明的图像插值装置的密接图像传感器的结构的图。

图3(a)和(b)是示出密接图像传感器的传感器芯片串的结构的图。

图4(a)和(b)是示出图1的数据存储部2的概略结构和动作的图。

图5是示出连接点附近的受光元件和系数存储部7存储的系数的关系的图。

图6是示出低通滤波器的系数和像素的位置关系的图。

图7是示出在具体的低通滤波器中使用的关注像素的周边像素相对于关注像素的相对位置和与该周边像素的数据相乘的系数的关系的图。

图8(a)～(c)是示出使用图7的低通滤波器对8个像素周期的数据的位置i的像素进行处理(滤波)时的数据和与数据相乘的系数的关系的图。

图9(a)～(c)是示出使用图7的低通滤波器对4个像素周期的数据的位置i的像素进行处理(滤波)时的数据和与数据相乘的系数的关系的图。

图10(a)～(c)是示出使用图7的低通滤波器对3个像素周期的数据的位置i的像素进行处理(滤波)时的数据和与数据相乘的系数的关系的图。

图11(a)～(c)是示出使用图7的低通滤波器对2个像素周期的数据的位置i的像素进行处理(滤波)时的数据和与数据相乘的系数的关系的图。

图12是示出图7的低通滤波器的频率特性的图。

图13是示出由图7的具体的低通滤波器计算出的插值用低通滤波器的系数的大小的图。

图14(a)～(c)是示出使用图13的插值用低通滤波器对8个像素周期的数据的连接点的像素i进行插值时的数据和与数据相乘的系数的关系的图。

图15(a)～(c)是示出使用图13的插值用低通滤波器对4个像素周期的数据的连接点的像素i进行插值时的数据和与数据相乘的系数的关系的图。

图16(a)～(c)是示出使用图13的插值用低通滤波器对3个像素周期的数据的连接点的像素i进行插值时的数据和与数据相乘的系数的关系的图。

图17(a)～(c)是示出使用图13的插值用低通滤波器对2个像素周期的数据的连接点的像素i进行插值时的数据和与数据相乘的系数的关系的图。

图18是示出图13的插值用低通滤波器的频率特性的图。

图19是说明基于软件处理的动作的流程图。

图20是示出本发明的实施方式2的图像插值装置的结构的图。

图21是用于说明平均维持插值部的动作的图。

图22是用于说明k＝3时的平均维持插值部的动作的图。

图23是示出使用k＝3的平均维持插值部对3个像素周期的数据进行处理时的参照范围的图。

图24是示出使用k＝3的平均维持插值部对4个像素周期的数据进行处理时的参照范围的图。

图25是示出试验插值像素和缺失像素的位置关系的图。

图26是示出试验插值像素T1～Tm与滤波插值部、第1平均维持插值部、第2平均维持插值部、第n平均维持插值部的评分数据M0～Mn的关系的图。

图27是作为插值方法而示出具有滤波插值部、第1平均维持插值部、第2平均维持插值部的本发明的实施方式2的图像插值装置的结构的图。

图28是在具体例中示出试验插值像素和缺失像素的位置关系的图。

图29是对位置i的像素进行插值时的4个像素周期的数据。

图30是对评分部输出的评分数据和管理部生成的合计数据进行总结的表。

图31是对位置i的像素进行插值时的3个像素周期的数据。

图32是对评分部输出的评分数据和管理部生成的合计数据进行总结的表。

图33是对位置i的像素进行插值时的2个像素周期的数据。

图34是对评分部输出的评分数据和管理部生成的合计数据进行总结的表。

图35是说明基于软件处理的动作的流程图。

标号说明

1：图像插值装置；2：数据存储部；3：滤波插值部；4：极限处理部；5：插值数据插入部；6：积和运算部；7：系数存储部；8：密接图像传感器；9：光源；10：传感器芯片串；11：A/D转换器；12：原稿；13-1～13-k：传感器芯片；14-1～14-m：左端的传感器芯片的受光元件；15-1：左端第2个传感器芯片的左端的受光元件；16-m：右端的传感器芯片的右端的受光元件；17-1～17-n：平均维持插值部；18：评分部；19：管理部；20：输出部。

具体实施方式

实施方式1

图1是示出本发明的实施方式1的图像插值装置的结构的图。图示的图像插值装置1具有：数据存储部2、滤波插值部3、极限处理部4以及插值数据插入部5。

图像数据DI被输入到数据存储部2。

数据存储部2使用纵向连接的多个触发器等存储缺失像素附近的一定范围的数据，作为数据Dm输出。

数据Dm被输入到滤波插值部3、极限处理部4以及插值数据插入部5。

滤波插值部3具有积和运算部6和系数存储部7。系数存储部7存储在积和运算部6中使用的系数。

积和运算部6将进行了积和运算后的结果作为数据Df输出，在该积和运算中，对从数据存储部2读出的数据Dm和系数存储部7输出的插值用低通滤波器的系数KF1～KFa进行相乘并相加。

数据Df被输入到极限处理部4。

极限处理部4输出以使数据Df收敛于数据Dm的范围内的方式进行处理后的数据，作为数据Dc。

数据Dc被输入到插值数据插入部5。

插值数据插入部5输出在数据Dm中插入了数据Dc后的数据，作为数据DO。

图2是示出搭载本发明的图像插值装置的密接图像传感器的结构的图。

密接图像传感器8具有：光源9、传感器芯片串10、A/D转换器11以及图像插值装置1。

另外，说明了将本发明的图像插值装置搭载于密接图像传感器，如以下详细叙述的那样对传感器芯片间的连接点进行插值的情况，但是，本发明的图像插值装置不限于对密接图像传感器的连接点进行插值的情况。例如，在一维的线性传感器或二维的照相机用图像传感器中，在对由于像素缺陷而没有读取的区域进行插值的情况下，也是有效的。

说明密接图像传感器8的动作。

光源9发出的光Ls照射到原稿12。

来自原稿12的反射光Lr照射到传感器芯片串10。

传感器芯片串10的各受光元件对反射光Lr进行光电转换，输出与反射光Lr对应的信号Sa。

信号Sa被输入到A/D转换器11。

A/D转换器11对信号Sa进行A/D转换，输出数字数据DI。

数据DI被输入到图像插值装置1。

图像插值装置1输出对与传感器芯片串13的连接点对应的区域进行了插值后的数据DO。

数据DO被用作扫描仪或复印机的取入数据。

说明传感器芯片串和读取数据的关系。

如图3(a)所示，传感器芯片串10直线状配置多个传感器芯片，该传感器芯片分别具有直线排列的多个受光元件(分别与像素对应)，因此，构成直线地、即一维地排列多个受光元件的线性传感器。具体而言，在传感器芯片串10上直线状配置k个(k为2以上的整数)传感器芯片13-1、13-2、13-3、…、13-k。在传感器芯片13-1上直线状配置m个(m为2以上的整数)光电二极管等的受光元件14-1、14-2、…、14-m，在传感器芯片13-2～13-k上也同样配置m个受光元件15-1～16-m。

在与传感器芯片13-1～13-k排列的方向垂直的方向上，在箭头DD所示的方向上搬送原稿12，通过受光元件14-1～16-m读取来自原稿12的反射光Lr。

但是，在传感器芯片的连接点部分不存在受光元件，所以，无法读取位于连接点部分的原稿15的反射光Lr。例如，传感器芯片13-1的右端的受光元件14-m和传感器芯片13-2的左端的受光元件15-1之间是传感器芯片的端缘部区域(框缘区域)等，不存在受光元件，所以，无法读取来自原稿12的反射光Lr。

因此，图像插值装置1根据包含传感器芯片13-1的右端的受光元件14-m和传感器芯片13-2的左端的受光元件15-1在内的传感器芯片的连接点附近的受光元件读取的数据，生成连接点部分的数据，将其插入所读取的数据的与连接点对应的部分中。并且，关于传感器芯片13-2和13-3的连接点部分等的传感器芯片串的所有连接点部分，与传感器芯片13-1和13-2的连接点同样对数据进行插值。

更详细而言，如图3(b)所示，传感器芯片13-1～13-k上的受光元件14-1～14-m以规定间隔(像素间距)p配置在直线上，与此相对，位于相互连接的2个传感器芯片13的邻接端部的受光元件相互隔开距离p’。例如，传感器芯片13-1的右端的受光元件14-m和传感器芯片13-2的左端的受光元件15-1的距离为p’。

这里，以p’为p的大约2倍的方式配置传感器芯片，设在传感器芯片相互间存在一个缺失像素14-X来进行插值处理，由此，能够得到高品质的插值结果。因此，以下说明p’为p的2倍的情况，但是本发明不一定限于此，能够进行基于距离的插值处理。

接着，说明图像插值装置1的动作。

图4(a)和(b)是说明数据存储部2的概略结构和动作的图。图4(a)示出传感器芯片的连接点附近的受光元件的位置关系，图4(b)示出数据存储部2的结构。

传感器芯片串10在1次读取中能够取得原稿12的横向1行的数据，但是，A/D转换器14每次仅处理1个像素的数据，所以，数据DI从1行的数据的左端起依次输入到图像插值装置1。在图4(a)中，按照像素La、…、L3、L2、L1、R1、R2、R3、…、Ra的顺序输入。在传感器芯片的连接点没有像素，所以无法取得位置X的数据。在上述中，Ls(s＝1～a)相对于位置X的像素(缺失像素)位于左侧，表示从缺失像素X分开s像素间距的位置的像素，Rs(s＝1～a)相对于位置X的像素(缺失像素)位于右侧，表示从缺失像素X分开s像素间距的位置的像素。

如图4(b)所示，数据存储部2使用纵向连接的多个触发器FFRa～FFLa存储所输入的数据，输出存储在触发器中的连接点附近的数据DLa～DRa。这里，DLa～DRa对应于图1的Dm，并且分别是像素La～Ra的数据。

另外，与缺失像素X对应的数据无法作为数据DI取得，在与数据DL1对应的像素L1和与数据DR1对应的像素R1之间，存在2个像素间距的间隔。

图5是示出连接点附近的受光元件和系数存储部7存储的系数KFs(s＝1、2、…、a)的一例的关系的图。横轴是受光元件的位置，纵轴是系数KFs的大小。受光元件L1和R1用的系数的大小为KF1，受光元件L2和R2用的系数的大小为KF2，受光元件L3和R3用的系数的大小为KF3，受光元件La和Ra用的系数的大小为KFa。这里，系数KF1～KFa对应于图1的KF1～KFa，利用标号KF来表示他们的集合。

另外，与缺失像素对应的系数KF0的值示出为零，但是，没有得到缺失像素的数据，所以，在积和运算部6中，不进行使用系数KF0的乘法。

在图5所示的例子中，表示系数KFs(s＝1～a)的图表以缺失像素X的位置为中心左右对称，数据DRs用的系数(KFs)和数据DLs用的系数(KFs)相互相等。

滤波插值部3具有进行积和运算的积和运算部6、以及存储在积和运算部6中使用的系数的系数存储部7，在积和运算部6中使用的系数如下决定，除了针对缺失像素的系数为0的情况以外，与在积和运算部6为低通滤波器时使用的系数成比例，且该系数的和为1。

优选在滤波插值部(3)中，设各周边像素与缺失像素的距离为d、第1规定常数为g时，由{sin(g×d)}/(g×d)和第2规定常数之积，给出与周边像素的各个像素值相乘的系数的大小。

积和运算部6对数据存储部2输出的数据Dm、即DLa～DRa和系数存储部10输出的系数KF1～KFa进行积和运算，输出数据Df。如下给出数据Df：

Df

＝KF1×DL1+KF2×DL2+KF3×DL3+

…+KFa×DLa

+KF1×DR1+KF2×DR2+KF3×DR3+

…+KFa×DRa。

存储在系数存储部7中的系数KF1～KFa如以下详细叙述的那样决定，除了针对缺失像素或插值对象像素的系数为0的点以外，与在积和运算部6为低通滤波器时使用的系数成比例，且该系数的和为1。下面，说明存储在系数存储部7中的系数KF1～KFa的决定方法。

通过低通滤波器生成插值用低通滤波器，设插值用低通滤波器的系数为系数KF1～KFa。

首先，说明低通滤波器。

图6是示出低通滤波器的系数的一例和像素的位置关系的图。横轴是像素的位置(相对于处理对象像素的相对位置)，纵轴是与该相对位置的像素的数据相乘的系数KSs的大小。关注像素C0的系数的大小为KS0，像素L1和R1的系数的大小为KS1，像素L2和R2的系数的大小为KS2，像素L3和R3的系数的大小为KS3，像素La和Ra的系数的大小为KSa。

图6所示的系数KSs的值由下述式(1)给出。

[数式1]

$\mathrm{KSs}=\mathrm{KS}0\×\frac{\sin (g\×d)}{(g\×d)}\·\·\·\left(1\right)$

在式(1)中，

KS0＝2Fc/Fs          …(2)

Fs是取样频率(空间频率)，等于像素间距p的倒数(1/p)，

Fc是截止频率(空间频率)。

d是各周边像素(乘以系数的周边像素)与处理对象像素的距离，由像素间距p和利用像素间距数来表示该周边像素与处理对象像素的距离后的值s之积

d＝s×p＝s/Fs  …(3)

给出。

常数g由

g＝2π×Fc     …(4)

给出。

将式(2)、(3)和(4)代入式(1)，改写式(1)，得到

[数式2]

$\mathrm{KSs}=(2\mathrm{Fc}/\mathrm{Fs})\×\frac{\sin (2\mathrm{\π}\×(\mathrm{Fc}/\mathrm{Fs})\×s)}{(2\mathrm{\π}\×(\mathrm{Fc}/\mathrm{Fs})\×s)}\·\·\·\left(5\right)$

或者

[数式3]

$\mathrm{KSs}=(2\mathrm{Fc}/\mathrm{Fs})\×\frac{\sin (2\mathrm{\π}\×\mathrm{Fc}\×p\×s)}{(2\mathrm{\π}\×\mathrm{Fc}\×p\×s)}\·\·\·\left(6\right)$

对关注像素C0的数据DC0、关注像素附近的像素La～Ra的数据DLa～DRa和系数KS0～KSa进行积和运算时，得到关注像素C0的低通滤波处理后的数据Dlpf(DC0)。数据Dlpf(DC0)如下：

Dlpf(DC0)

＝KS0×DC0

+KS1×DL1+KS2×DL2+KS3×DL3+

…+KSa×DLa

+KS1×DR1+KS2×DR2+KS3×DR3+

…+KSa×DRa。

积和运算中使用的系数的总和为1。即，

KS0+KS1+KS2+KS3+

…+KSa+KS1+KS2+KS3+

…+KSa

＝1。

接着，说明插值用低通滤波器。

通过图6所示的低通滤波器的系数，计算图5所示的插值用低通滤波器的系数。在图5中，无法读取连接点位置的数据，所以，在积和运算中不使用连接点位置X的数据。因此，设图6的系数KS0为0，计算系数KF1～KFa，以使连接点位置X用的系数以外的系数的总和为1。即，

KF1＝KS1/SKS

KF2＝KS2/SKS

KF3＝KS3/SKS

KFa＝KSa/SKS

进行一般化，则

KFs＝KSs/SKS

(其中，

SKS

＝KS1+KS2+KS3+…+KSa+KS1+KS2+KS3+…+KSa

＝2×(KS1+KS2+KS3+…+KSa))

由此，求出系数KF1～KFa(即KFs(s＝1、2、…、a))。

使用具体例说明滤波插值部的动作。首先，说明具体的低通滤波器的频率特性，接着，说明通过具体的低通滤波器的系数生成的插值用低通滤波器的频率特性。

图7是示出在具体的低通滤波器中关注像素的周边像素相对于关注像素的相对位置和与该周边像素的数据相乘的系数的关系的图。横轴是位置，纵轴是系数的大小。在设关注像素C0的系数KS0的大小为0.774的情况下，像素L1、R1的系数KS1的大小为0.195，像素L2、R2的系数KS2的大小为-0.124，像素L3、R3的系数KS3的大小为0.054，像素L4、R4的系数KS4的大小为-0.013。

参照图8(a)～(c)到图11(a)～(c)，说明使用图7的低通滤波器对8个像素周期、4个像素周期、3个像素周期、2个像素周期的数据进行的处理(滤波)。其中，图8(a)、图9(a)、图10(a)和图11(a)相互相同，示出图7所示的具体的低通滤波器的系数，即，在这些图中，示出位置i相对于处理对象像素的相对位置s和在低通滤波器中与该相对位置s的数据D相乘的系数KSs的关系。图8(b)和(c)、图9(b)和(c)、图10(b)和(c)以及图11(b)和(c)示出像素位置(利用标号i表示处理对象像素的位置，利用标号i+s(s＝-4～4)表示其附近的像素的像素位置)和该位置的数据D的大小的关系(横轴表示像素位置，纵轴表示数据的大小)。

图8(a)～(c)示出对8个像素周期的数据进行处理的情况。图8(b)示出对数据的上侧峰值进行处理的情况，图8(c)示出对数据的下侧峰值进行处理的情况。

在图8(b)的对位置i的数据进行处理的情况下，

根据D(i-4)＝0、D(i-3)＝0.15、D(i-2)＝0.5、D(i-1)＝0.85、D(i)＝1、D(i+1)＝0.85、D(i+2)＝0.5、D(i+3)＝0.15、D(i+4)＝0，

处理后的数据Dlpf(i)为

Dlpf(i)＝-0.013×0+0.054×0.15-0.124×0.5+0.195×0.85

+0.774×1

+0.195×0.85-0.124×0.5+0.054×0.15-0.013×0

＝1。

在图8(c)的对位置i的数据进行处理的情况下，

根据D(i-4)＝1、D(i-3)＝0.85、D(i-2)＝0.5、D(i-1)＝0.15、D(i)＝0、D(i+1)＝0.15、D(i+2)＝0.5、D(i+3)＝0.85、D(i+4)＝1，

处理后的数据Dlpf(i)为

Dlpf(i)

＝-0.013×1+0.054×0.85-0.124×0.5+0.195×0.15

+0.774×0

+0.195×0.15-0.124×0.5+0.054×0.85-0.013×1

＝0。

因此，设数据的取样频率为Fs时，4个像素周期的数据的增益G(Fs/8)为

Glpf(Fs/8)

＝|处理后的数据的振幅/输入数据的振幅|

＝|(1-0)/(1-0)|

＝1。

图9(a)～(c)示出对4个像素周期的数据进行处理的情况。图9(b)示出对数据的上侧峰值进行处理的情况，图9(c)示出对数据的下侧峰值进行处理的情况。

在图9(b)的对位置i的数据进行处理的情况下，

根据D(i-4)＝1、D(i-3)＝0.5、D(i-2)＝0、D(i-1)＝0.5、D(i)＝1、D(i+1)＝0.5、D(i+2)＝0、D(i+3)＝0.5、D(i+4)＝1，

处理后的数据Dlpf(i)为

Dlpf(i)

＝-0.013×1+0.054×0.5-0.124×0+0.195×0.5

+0.774×1

+0.195×0.5-0.124×0+0.054×0.5-0.013×1

＝1。

在图9(c)的对位置i的数据进行处理的情况下，

根据D(i-4)＝0、D(i-3)＝0.5、D(i-2)＝1、D(i-1)＝0.5、D(i)＝0、D(i+1)＝0.5、D(i+2)＝1、D(i+3)＝0.5、D(i+4)＝0，

处理后的数据Dlpf(i)为

Dlpf(i)

＝-0.013×0+0.054×0.5-0.124×1+0.195×0.5

+0.774×0

+0.195×0.5-0.124×1+0.054×0.5-0.013×0

＝0。

因此，4个像素周期的数据的增益Glpf(Fs/4)为

Glpf(Fs/4)

＝|处理后的数据的振幅/输入数据的振幅|

＝|(1-0)/(1-0)|

＝1。

图10(a)～(c)示出对3个像素周期的数据进行处理的情况。图10(b)示出对数据的上侧峰值进行处理的情况，图10(c)示出对数据的下侧峰值进行处理的情况。

在图10(b)的对位置i的数据进行处理的情况下，

根据D(i-4)＝0.25、D(i-3)＝1、D(i-2)＝0.25、D(i-1)＝0.25、D(i)＝1、D(i+1)＝0.25、D(i+2)＝0.25、D(i+3)＝1、D(i+4)＝0.25，

处理后的数据Dlpf(i)为

Dlpf(i)

＝-0.013×0.25+0.054×1-0.124×0.25+0.195×0.25

+0.774×1

+0.195×0.25-0.124×0.25+0.054×1-0.013×0.25

＝0.91。

在图10(c)的对位置i的数据进行处理的情况下，

根据D(i-4)＝0.75、D(i-3)＝0、D(i-2)＝0.75、D(i-1)＝0.75、D(i)＝0、D(i+1)＝0.75、D(i+2)＝0.75、D(i+3)＝0、D(i+4)＝0.75，

处理后的数据Dlpf(i)为

Dlpf(i)

＝-0.013×0.75+0.054×0-0.124×0.75+0.195×0.75

+0.774×0

+0.195×0.75-0.124×0.75+0.054×1-0.013×0.75

＝0.09。

因此，3个像素周期的数据的增益Glpf(Fs/3)为

Glpf(Fs/3)

＝|处理后的数据的振幅/输入数据的振幅|

＝|(0.91-0.09)/(1-0)|

＝0.82。

图11(a)～(c)示出对2个像素周期的数据进行处理的情况。图11(b)示出对数据的上侧峰值进行处理的情况，图11(c)示出对数据的下侧峰值进行处理的情况。

在图11(b)的对位置i的数据进行处理的情况下，

根据D(i-4)＝1、D(i-3)＝0、D(i-2)＝1、D(i-1)＝0、D(i)＝1、D(i+1)＝0、D(i+2)＝1、D(i+3)＝0、D(i+4)＝1，

处理后的数据Dlpf(i)为

Dlpf(i)

＝-0.013×1+0.054×0-0.124×1+0.195×0

+0.774×1

+0.195×0-0.124×1+0.054×0-0.013×1

＝0.5。

在图11(c)的对位置i的数据进行处理的情况下，

根据D(i-4)＝0、D(i-3)＝1、D(i-2)＝0、D(i-1)＝1、D(i)＝0、D(i+1)＝1、D(i+2)＝0、D(i+3)＝1、D(i+4)＝0，

处理后的数据Dlpf(i)为

Dlpf(i)

＝-0.013×0+0.054×1-0.124×0+0.195×1

+0.774×0

+0.195×1-0.124×0+0.054×1-0.013×0

＝0.5。

因此，2个像素周期的数据的增益Glpf(Fs/2)为

Glpf(Fs/2)

＝|处理后的数据的振幅/输入数据的振幅|

＝|(0.5-0.5)/(1-0)|

＝0。

以上，说明了对数据的峰值进行处理的情况，但是，峰值以外的部分也同样进行处理。

图12是示出图7的低通滤波器的频率特性的图。横轴是频率，纵轴是增益。如图8(a)～(c)到图11(a)～(c)所示，图7的低通滤波器在8个像素周期中，增益Glpf(Fs/8)＝1，在4个像素周期中，增益G(Fs/4)＝1，在3个像素周期中，增益G(Fs/3)＝0.82，在2个像素周期中，增益G(Fs/2)＝0。

图13是示出由图7的具体的低通滤波器计算出的插值用低通滤波器的系数的大小的图。横轴是相对于缺失像素(插值对象像素)的相对位置，纵轴是与该相对位置的像素的数据相乘的系数的大小。

说明根据图7的具体的低通滤波器决定插值用低通滤波器的系数的方法。

设图7的关注像素C0的系数为0，像素L1～L4和R1～R4的系数之和为1。系数KF1～KF4为

KF1

＝KS1/(KS1+KS2+KS3+KS4+KS1+KS2+KS3+KS4)

＝0.195/(0.195-0.124+0.054-0.013

+0.195-0.124+0.054-0.013)

＝0.870

KF2

＝KS2/(KS1+KS2+KS3+KS4+KS1+KS2+KS3+KS4)

＝-0.124/(0.195-0.124+0.054-0.013

+0.195-0.124+0.054-0.013)

＝-0.553

KF3

＝KS3/(KS1+KS2+KS3+KS4+KS1+KS2+KS3+KS4)

＝0.054/(0.195-0.124+0.054-0.013

+0.195-0.124+0.054-0.013)

＝0.241

KF4

＝KS4/(KS1+KS2+KS3+KS4+KS1+KS2+KS3+KS4)

＝-0.013/(0.195-0.124+0.054-0.013

+0.195-0.124+0.054-0.013)

＝-0.058

参照图14(a)～(c)到图17(a)～(c)，说明使用图13的插值用低通滤波器对8个像素周期、4个像素周期、3个像素周期、2个像素周期的数据的连接点的像素i进行插值的处理。其中，图14(a)、图15(a)、图16(a)和图17(a)相互相同，示出图13所示的具体的插值用低通滤波器的系数KFs。即，在这些图中，示出位置i相对于插值对象像素的相对位置s和在插值用低通滤波器中与该相对位置s的数据D相乘的系数KFs的关系。图14(b)和(c)、图15(b)和(c)、图16(b)和(c)以及图17(b)和(c)示出像素位置(利用标号i表示插值对象像素的位置，利用标号i+s(s＝-4～4)表示其附近的像素的像素位置)和该位置的数据D的大小的关系(横轴表示像素位置，纵轴表示数据的大小)。

图14(a)～(c)示出对8个像素周期的数据进行处理的情况。图14(b)示出对数据的上侧峰值进行处理的情况，图14(c)示出对数据的下侧峰值进行处理的情况。

在图14(b)的对位置i的数据进行插值的情况下，

根据D(i-4)＝0、D(i-3)＝0.15、D(i-2)＝0.5、D(i-1)＝0.85、D(i+1)＝0.85、D(i+2)＝0.5、D(i+3)＝0.15、D(i+4)＝0，

插值数据Df(i)为

Df(i)

＝-0.058×0+0.241×0.15-0.553×0.5+0.870×0.85

+0.870×0.85-0.553×0.5+0.241×0.15-0.058×0

＝0.9983。

在图14(c)的对位置i的数据进行插值的情况下，

根据D(i-4)＝1、D(i-3)＝0.85、D(i-2)＝0.5、D(i-1)＝0.15、D(i+1)＝0.15、D(i+2)＝0.5、D(i+3)＝0.85、D(i+4)＝1，

插值数据Df(i)为

Df(i)

＝-0.058×1+0.241×0.85-0.553×0.5+0.870×0.15

+0.870×0.15-0.553×0.5+0.241×0.85-0.058×1

＝0.0017。

因此，8个像素周期的数据的增益Gf(Fs/8)为

Gf(Fs/8)

＝|处理后的数据的振幅/输入数据的振幅|

＝|(0.9983-0.0017)/(1-0)|

＝0.9966。

图15(a)～(c)示出对4个像素周期的数据进行处理的情况。图15(b)示出对数据的上侧峰值进行处理的情况，图15(c)示出对数据的下侧峰值进行处理的情况。

在图15(b)的对位置i的数据进行插值的情况下，

根据D(i-4)＝1、D(i-3)＝0.5、D(i-2)＝0、D(i-1)＝0.5、D(i+1)＝0.5、D(i+2)＝0、D(i+3)＝0.5、D(i+4)＝1，

插值数据Df(i)为

Df(i)

＝-0.058×1+0.241×0.5-0.553×0+0.870×0.5

+0.870×0.5-0.553×0+0.241×0.5-0.058×1

＝0.995。

在图15(c)的对位置i的数据进行插值的情况下，

根据D(i-4)＝0、D(i-3)＝0.5、D(i-2)＝1、D(i-1)＝0.5、D(i+1)＝0.5、D(i+2)＝1、D(i+3)＝0.5、D(i+4)＝0，

插值数据Df(i)为

Df(i)

＝-0.058×0+0.241×0.5-0.553×1+0.870×0.5

+0.870×0.5-0.553×1+0.241×0.5-0.058×0

＝0.005。

因此，4个像素周期的数据的增益Gf(Fs/4)为

Gf(Fs/4)

＝|处理后的数据的振幅/输入数据的振幅|

＝|(0.995-0.005)/(1-0)|

＝0.99。

图16(a)～(c)示出对3个像素周期的数据进行处理的情况。图16(b)示出对数据的上侧峰值进行处理的情况，图16(c)示出对数据的下侧峰值进行处理的情况。

在图16(b)的对位置i的数据进行插值的情况下，

根据D(i-4)＝0.25、D(i-3)＝1、D(i-2)＝0.25、D(i-1)＝0.25、D(i+1)＝0.25、D(i+2)＝0.25、D(i+3)＝1、D(i+4)＝0.25，

插值数据DO(i)为

DO(i)

＝-0.058×0.25+0.241×1-0.553×0.25+0.870×0.25

+0.870×0.25-0.553×0.25+0.241×1-0.058×0.25

＝0.6115。

在图16(c)的对位置i的数据进行插值的情况下，

根据D(i-4)＝0.75、D(i-3)＝0、D(i-2)＝0.75、D(i-1)＝0.75、D(i+1)＝0.75、D(i+2)＝0.75、D(i+3)＝0、D(i+4)＝0.75，

插值数据DO(i)为

DO(i)

＝-0.058×0.75+0.241×0-0.553×0.75+0.870×0.75

+0.870×0.75-0.553×0.75+0.241×0-0.058×0.75

＝0.3885。

因此，3个像素周期的数据的增益Gf(Fs/3)为

Gf(Fs/3)

＝|处理后的数据的振幅/输入数据的振幅|

＝|(0.6115-0.3885)/(1-0)|

＝0.223。

图17(a)～(c)示出对2个像素周期的数据进行处理的情况。图17(b)示出对数据的上侧峰值进行处理的情况，图17(c)示出对数据的下侧峰值进行处理的情况。

在图17(b)的对位置i的数据进行插值的情况下，计算插值数据DO(i-1)时，根据D(i-4)＝1、D(i-3)＝0、D(i-2)＝1、D(i-1)＝0、D(i+1)＝0、D(i+2)＝1、D(i+3)＝0、D(i+4)＝1，

插值数据Df(i)为

Df(i)

＝-0.058×1+0.241×0-0.553×1+0.870×0

+0.870×0-0.553×1+0.241×0-0.058×1

＝-1.222。

在图17(c)的对位置i的数据进行插值的情况下，

根据D(i-4)＝0、D(i-3)＝1、D(i-2)＝0、D(i-1)＝1、D(i+1)＝1、D(i+2)＝0、D(i+3)＝1、D(i+4)＝0，

插值数据Df(i)为

Df(i)

＝-0.058×0+0.241×1-0.553×0+0.870×1

+0.870×1-0.553×0+0.241×1-0.058×0

＝2.222。

因此，2个像素周期的数据的增益Gf(Fs/2)为

Gf(Fs/2)

＝|处理后的数据的振幅/输入数据的振幅|

＝|(-1.222-2.222)/(1-0)|

＝3.444。

图18是示出图13的插值用低通滤波器的频率特性的图。横轴是频率，纵轴是增益。如图14(a)～(c)到图17(a)～(c)所示，图13的插值用低通滤波器在8个像素周期中，增益G(Fs/8)＝0.9966，在4个像素周期中，增益G(Fs/4)＝0.99，在3个像素周期中，增益G(Fs/3)＝0.223，在2个像素周期中，增益G(Fs/2)＝3.44。

在图6所示的低通滤波器的增益为1的频率范围内，插值用低通滤波器的增益为1，但是，在增益小于1的频率范围内，特性与图6所示的低通滤波器不同。特别地，频率增高时，增益大于1。

在图6所示的低通滤波器的增益为1的频率范围内，滤波插值部3能够良好地进行插值。另一方面，在增益不是1的频率范围内，无法良好地进行插值。

说明极限处理部4的动作。极限处理部4计算数据Dm的最大值max(Dm)和最小值min(Dm)，如果滤波插值部3输出的数据Df大于max(Dm)，则输出Dc＝max(Dm)，如果数据Df小于min(Dm)，则输出Dc＝min(Dm)，如果数据Df在min(Dm)以上且在max(Dm)以下，则输出Dc＝Df。

例如，在图17(a)～(c)所示的2个像素周期的数据中，根据max(Dm)＝1、min(Dm)＝0，在对图17(b)的位置i进行插值的情况下，插值数据Df(i)＝2.222，所以Dc(i)＝1，在对图17(c)的位置i进行插值的情况下，插值数据Df(i)＝-1.222，由此Dc(i)＝0。

通过将滤波插值部3输出的数据Df限制在数据Dm的范围内，即使在对频率高的数据进行插值的情况下，也能够抑制插值误差。

以上说明了通过硬件进行插值的情况，但是，也可以通过软件或软件和硬件的组合来进行插值。

图19是示出这种结构中的处理的顺序的流程图。

在步骤ST11中，存储缺失像素附近的数据Dm。

在步骤ST12中，使用数据Dm和根据如上所述决定的低通滤波器的系数决定的系数KF，进行积和运算，生成数据Df。

在步骤ST13中，生成将数据Df限制在数据Dm的范围内的数据Dc。

在步骤ST14中，生成在数据Dm的与连接点对应的位置插入了数据Dc后的数据DO。

图1中详细示出了各个步骤中的处理内容，所以这里省略说明。

实施方式2

图20是示出本发明的实施方式2的图像插值装置的结构的图。本发明的实施方式2的图像插值装置具有：数据存储部2、滤波插值部3、第1平均维持插值部17-1、第2平均维持插值部17-2、第n平均维持插值部17-n、选择控制部21、输出部20以及插值数据插入部5。选择控制部21具有评分部18和管理部19。

图像数据DI被输入到数据存储部2，数据存储部2使用触发器等存储一定范围的数据，并输出一定范围的数据Dm。数据Dm被输入到滤波插值部3、第1平均维持插值部17-1、第2平均维持插值部17-2、…、第n平均维持插值部17-n、评分部18。

滤波插值部3根据数据Dm，输出试验插值数据TD0和插值候选数据D0。试验插值数据TD0被输入到评分部18，插值候选数据D0被输入到输出部20。第1平均维持插值部17-1根据数据Dm，输出试验插值数据TD1和插值候选数据D1，第2平均维持插值部17-2根据数据Dm，输出试验插值数据TD2和插值候选数据D2，第n平均维持插值部17-n根据数据Dm，输出试验插值数据TDn和插值候选数据Dn，试验插值数据TD1、TD2、TDn被输入到评分部18，插值候选数据D1、D2、Dn被输入到输出部20。

评分部18使用对应的数据Dm对试验插值数据TD0～TDn进行评分，输出评分数据M0～Mn。评分数据M0～Mn被输入到管理部19。管理部19根据评分数据M0～Mn选择插值候选数据，输出选择信号C。选择信号C被输入到输出部20。输出部20根据选择信号C，从插值候选数据D0～Dn中进行选择，输出数据Dz。数据Dz被输入到插值数据插入部5。插值数据插入部5输出在数据Dm中插入了数据Dc后的数据，作为数据DO。

说明平均维持插值部17-1～17-n。

图21是用于说明平均维持插值部的动作的图。平均维持插值部17-1～17-n分别计算缺失像素X的数据，以使包含缺失像素X的像素串LC和不包含缺失像素X的像素串NA和NB的平均值相等。更详细而言，将缺失像素的值作为未知数X，以使由该缺失像素的周边像素构成的第1组的像素(属于像素串LC的像素)的值的平均值和位于缺失像素周边且由缺失像素以外的像素构成的第2组的像素(属于像素串NA、NB的像素)值的平均值一致的方式，决定缺失像素的值。即，以满足

(L1+...+Lj+X+R1+...+Rj)/k

＝((L1+...+Lk)/k+(R1+...+Rk)/k)/2

的方式，计算X(j为正整数)。

这里，k是像素串NA的像素数，该k的值在多个平均维持插值部17-1～17-n相互间不同。例如，在第1平均维持插值部17-1中k＝2，在第2平均维持插值部17-2中k＝3，在第n平均维持插值部17-n中k＝n+1。

j与k之间具有如下关系：

2j+1＝k，即，

j＝(k-1)/2。

使用具体例进行说明。

图22是用于说明k＝3时的平均维持插值部17-2的动作的图。平均维持插值部17-2计算缺失像素X的数据，以使包含缺失像素X的像素串LC和不包含缺失像素X的像素串NA和NB的平均值相等。即，

根据(L1+X+R1)/3

＝((L1+L2+L3)/3+(R1+R2+R3)/3)/2，

成为

X＝((-L1+L2+L3)+(-R1+R2+R3))/2。

图23是示出使用k＝3的平均维持插值部17-2对3个像素周期的数据进行处理时的参照范围的图。横轴是位置，纵轴是数据的大小。在将位置i的数据作为缺失像素X进行处理的情况下，将位置i-1、i、i+1设定为包含缺失像素的像素串LC，将位置i-3、i-2、i-1设定为不包含缺失像素的像素串NA，将位置i+1、i+2、i+3设定为不包含缺失像素的像素串NB。

根据D(i-3)＝1、D(i-2)＝0.25、D(i-1)＝0.25、D(i+1)＝0.25、D(i+2)＝0.25、D(i+3)＝1，

成为

X＝((-L1+L2+L3)+(-R1+R2+R3))/2

＝((-D(i-1)+D(i-2)+D(i-3))

+(-D(i+1)+D(i+2)+D(i+3)))/2

＝((-0.25+0.25+1)+(-0.25+0.25+1))/2

＝1。

图24是示出使用k＝3的平均维持插值部17-2对4个像素周期的数据进行处理时的参照范围的图。横轴是位置，纵轴是数据的大小。在将位置i的数据作为缺失像素X进行处理的情况下，将位置i-1、i、i+1设定为包含缺失像素的像素串LC，将位置i-3、i-2、i-1设定为不包含缺失像素的像素串NA，将位置i+1、i+2、i+3设定为不包含缺失像素的像素串NB。

根据D(i-3)＝0.5、D(i-2)＝1、D(i-1)＝0.5、D(i+1)＝0.5、D(i+2)＝1、D(i+3)＝0.5，

成为

X＝((-L1+L2+L3)+(-R1+R2+R3))/2

＝((-D(i-1)+D(i-2)+D(i-3))

+(-D(i+1)+D(i+2)+D(i+3)))/2

＝((-0.5+1+0.5)+(-0.5+1+0.5))/2

＝1。

在3个像素周期的数据中，位置i的期待值数据为1，k＝3的平均维持插值部17-2计算正确的插值数据，但是，在4个像素周期的数据中，位置i的期待值数据为0，k＝3的平均维持插值部17-2没有计算正确的插值数据。这样，平均维持插值部17-2的能够良好地进行插值的像素值的变化周期(或空间频率)根据k的值而改变。相反而言，各个平均维持插值部17-1～17-n的k的值(像素串LC的像素数)根据期待良好地(即高精度地)进行插值的像素值的变化的空间频率来决定。

说明评分部18的动作。

如上所述，评分部18根据试验插值数据TD0～TDn和从存储部得到的数据Dm进行评分。

试验插值数据TD0～TDn针对缺失像素附近的非缺失像素由滤波插值部3计算，试验插值数据TD1～TDn由平均维持插值部17-1～17-n计算。

图25是示出计算试验插值数据的像素(试验插值像素)和缺失像素的位置关系的图。将试验插值像素设定在缺失像素的附近，滤波插值部3和各个平均维持插值部17-1～17-n将所设定的试验插值像素假设地视为缺失像素，利用与缺失像素的插值相同的方法进行插值来计算插值数据，作为试验插值数据。评分部18将试验插值数据TD0～TD和关于试验插值像素的实际值(存储在数据存储部2中的值)的差分作为插值误差，输出表示插值误差的评分数据。

例如，在将L5设定为试验插值像素、并使用k＝3的平均维持插值部17-2计算试验插值数据的情况下，将L4～L6设定为包含缺失像素的像素串LC，将L6～L8设定为不包含缺失像素的像素串NA，将L2～L4设定为不包含缺失像素的像素串NB，来计算L5的位置的插值数据。

说明管理部19的动作。

图26是示出试验插值像素T1～Tm与滤波插值部3、第1平均维持插值部17-1、第2平均维持插值部17-2、第n平均维持插值部17-n的评分数据M0～Mn的关系的图。在缺失像素附近设定多个试验插值像素的情况下，通过评分部3计算滤波插值部3的评分数据M0[T1]～M0[Tm]。第1平均维持插值部17-1～第n平均维持插值部17-n也同样计算评分数据M1～Mn。

管理部19对滤波插值部的评分数据进行合计，计算合计数据S0。合计数据S0是评分数据M0[T1]～M0[Tm]之和。即，

S0＝M0[T1]+M0[T2]+...+M0[Tm]。

第1平均维持插值部17-1～第n平均维持插值部17-n的合计数据S1～Sn也同样，

S1＝M1[T1]+M1[T2]+...+M1[Tm]

S2＝M2[T1]+M2[T2]+...+M2[Tm]

Sn＝Mn[T1]+Mn[T2]+...+Mn[Tm]

使用合计数据最小的插值方法、即缺失像素附近的插值误差(关于缺失像素附近的多个试验插值像素的插值误差的合计)最小的插值方法，对缺失像素进行插值。管理部19选择合计数据S0～Sn中最小的合计数据，输出表示作为最小的合计数据的插值方法的选择信号C。

使用具体例说明本发明的实施方式2的图像插值装置的动作。

图27是作为插值方法而示出具有滤波插值部3、第1平均维持插值部17-1、第2平均维持插值部17-2的本发明的实施方式2的图像插值装置的结构的图。

第1平均维持插值部17-1是k＝2的平均维持插值部，计算缺失像素的数据，以使包含缺失像素的3个像素的平均值和不包含缺失像素的3个像素的平均值相等。

第2平均维持插值部17-2是k＝3的平均维持插值部，计算缺失像素的数据，以使包含缺失像素的2个像素的平均值和不包含缺失像素的2个像素的平均值相等。

图28是在具体例中示出试验插值像素和缺失像素的位置关系的图。设位于缺失像素X左侧的像素L6为T1、L5为T2，位于缺失像素X右侧的像素R5为T3、R6为T4。

说明使用图27的图像插值装置对4个像素周期的数据进行插值的情况。

图29是对位置i的像素进行插值时的4个像素周期的数据。设位置i-6为T1、i-5为T1、i+5为T3、i+6为T4。

滤波插值部3输出T1～T4的试验插值数据TD0和位置i的插值候选数据D0。设在滤波插值部3的系数存储部7中存储有图13的系数进行说明。试验插值数据TD0[T1]～TD0[T4]根据

DI(i-10)＝1、DI(i-9)＝0.5、DI(i-8)＝0、DI(i-7)＝0.5、DI(i-6)＝1、DI(i-5)＝0.5、DI(i-4)＝0、DI(i-3)＝0.5、DI(i-2)＝1、DI(i-1)＝0.5、DI(i+1)＝0.5、DI(i+2)＝1、DI(i+3)＝0.5、DI(i+4)＝0、DI(i+5)＝0.5、DI(i+6)＝1、DI(i+7)＝0.5、DI(i+8)＝0、DI(i+9)＝0.5、DI(i+10)＝1，

成为

TD0[T1]

＝-0.058×1+0.241×0.5-0.553×0+0.870×0.5

+0.870×0.5-0.553×0+0.241×0.5-0.058×1

＝0.995

TD0[T2]

＝-0.058×0.5+0.241×0-0.553×0.5+0.870×1

+0.870×0-0.553×0.5+0.241×1-0.058×0.5

＝0.5

TD0[T3]

＝-0.058×0.5+0.241×1-0.553×0.5+0.870×0

+0.870×1-0.553×0.5+0.241×0-0.058×0.5

＝0.5

ID0[T4]

＝-0.058×1+0.241×0.5-0.553×0+0.870×0.5

+0.870×0.5-0.553×0+0.241×0.5-0.058×1

＝0.995。

插值候选数据D0为

D0

＝-0.058×0+0.241×0.5-0.553×1+0.870×0.5

+0.870×0.5-0.553×1+0.241×0.5-0.058×0

＝0.005。

第1平均维持插值部17-1输出T1～T4的试验插值数据TD1和位置i的插值候选数据D1。试验插值数据TD1[T1]～TD1[T4]为

TD1[T1]＝(0+0.5+0-0.5)/2＝0

TD1[T2]＝(0.5+1+0.5-0)/2＝1

TD1[T3]＝(0.5+0+0.5-1)/2＝0

TD1[T4]＝(0+0.5+0-0.5)/2＝0。

插值候选数据D1为

D1＝(1+0.5+1-0.5)/2＝1。

第2平均维持插值部17-2输出T1～T4的试验插值数据TD2和位置i的插值候选数据D2。试验插值数据TD2[T1]～TD2[T4]为

TD2[T1]＝(0.5+0+0+0.5-0.5-0.5)/2＝0

TD2[T2]＝(0+0.5+0.5+1-1-0)/2＝0.5

ID2[T3]＝(1+0.5+0.5+0-0-1)/2＝0.5

TD2[T4]＝(0.5+0+0+0.5-0.5-0.5)/2＝0。

插值候选数据D1为

D2＝(0.5+1+1+0.5-0.5-0.5)/2＝1。

图30是对评分部18输出的评分数据和管理部19生成的合计数据进行总结的表。滤波插值部3的评分数据M0[T1]～M0[T4]为

M0[T1]＝|TD0[T1]-DI(i-6)|＝|0.995-1|＝0.005

M0[T2]＝|TD0[T2]-DI(i-5)|＝|0.5-0.5|＝0

M0[T3]＝|TD0[T3]-DI(i+5)|＝|0.5-0.5|＝0

M0[T4]＝|TD0[T4]-DI(i+6)|＝|0.995-1|＝0.005。

因此，合计数据S0为

S0＝M0[T1]+M0[T2]+M0[T3]+M0[T4]

＝0.005+0+0+0.005

＝0.01。

第1平均维持插值部17-1的评分数据M1[T1]～M1[T4]为

M1[T1]＝|TD1[T1]-DI(i-6)|＝|0-1|＝1

M1[T2]＝|TD1[T2]-DI(i-5)|＝|1-0.5|＝0.5

M1[T3]＝|TD1[T3]-DI(i+5)|＝|0-0.5|＝0.5

M1[T4]＝|TD1[T4]-DI(i+6)|＝|0-1|＝1。

因此，合计数据S1为

S1＝M1[T1]+M1[T2]+M1[T3]+M1[T4]

＝1+0.5+0.5+1

＝3。

第2平均维持插值部17-2的评分数据M2[T1]～M2[T4]为

M2[T1]＝|TD2[T1]-DI(i-6)|＝|0-1|＝1

M2[T2]＝|TD2[T2]-DI(i-5)|＝|0.5-0.5|＝0

M2[T3]＝|TD2[T3]-DI(i+5)|＝|0.5-0.5|＝0

M2[T4]＝|TD2[T4]-DI(i+6)|＝|0-1|＝1。

因此，合计数据S1为

S2＝M2[T1]+M2[T2]+M2[T3]+M2[T4]

＝1+0+0+1

＝2。

管理部19选择合计数据最小的滤波插值部3，输出表示选择滤波插值部3输出的插值候选数据D0的选择信号C。

输出部20根据选择信号C，输出滤波插值部3输出的插值候选数据D0＝0，作为数据Dz。

插值数据插入部5输出在位置i对数据Dz＝0进行插值后的数据DO。位置i的期待值为0，所以，插值候选数据D0＝0、D1＝1、D2＝1中插值候选数据D0的插值误差最小。

说明使用图27的图像插值装置对3个像素周期的数据进行插值的情况。

图31是对位置i的像素进行插值时的3个像素周期的数据。设位置i-6为T1、i-5为T1、i+5为T3、i+6为T4。

滤波插值部3输出T1～T4的试验插值数据TD0和位置i的插值候选数据D0。设在滤波插值部3的系数存储部7中存储有图13的系数进行说明。试验插值数据TD0[T1]～TD0[T4]根据

DI(i-10)＝0.75、DI(i-9)＝0、DI(i-8)＝0.75、DI(i-7)＝0.75、DI(i-6)＝0、DI(i-5)＝0.75、DI(i-4)＝0.75、DI(i-3)＝0、DI(i-2)＝0.75、DI(i-1)＝0.75、DI(i+1)＝0.75、DI(i+2)＝0.75、DI(i+3)＝0、DI(i+4)＝0.75、DI(i+5)＝0.75、DI(i+6)＝0、DI(i+7)＝0.75、DI(i+8)＝0.75、DI(i+9)＝0、DI(i+10)＝0.75，

成为

TD0[T1]

＝-0.058×0.75+0.241×0-0.553×0.75+0.870×0.75

+0.870×0.75-0.553×0.75+0.241×0-0.058×0.75

＝0.3885

TD0[T2]

＝-0.058×0+0.241×0.75-0.553×0.75+0.870×0

+0.870×0.75-0.553×0+0.241×0.75-0.058×0.75

＝0.55575

TD0[T3]

＝-0.058×0.75+0.241×0.75-0.553×0+0.870×0.75

+0.870×0-0.553×0.75+0.241×0.75-0.058×0

＝0.55575

TD0[T4]

＝-0.058×0.75+0.241×0-0.553×0.75+0.870×0.75

+0.870×0.75-0.553×0.75+0.241×0-0.058×0.75

＝0.3885。

插值候选数据D0为

D0

＝-0.058×0.75+0.241×0-0.553×0+.75+0.870×0.75

+0.870×0.75-0.553×0.75+0.241×0-0.058×0.75

＝0.3885。

第1平均维持插值部17-1输出T1～T4的试验插值数据TD1和位置i的插值候选数据D1。试验插值数据TD1[T1]～TD1[T4]为

TD1[T1]＝(0.75+0.75+0.75-0.75)/2＝0.75

TD1[T2]＝(0.75+0+0-0.75)/2＝0

TD1[T3]＝(0+0.75+0.75-0)/2＝0.75

TD1[T4]＝(0.75+0.75+0.75-0.75)/2＝0.75。

插值候选数据D1为

D1＝(0.75+0.75+0.75-0.75)/2＝0.75。

第2平均维持插值部17-2输出T1～T4的试验插值数据TD2和位置i的插值候选数据D2。试验插值数据TD2[T1]～TD2[T4]为

TD2[T1]＝(0+0.75+0.75+0-0.75-0.75)/2＝0

ID2[T2]＝(0.75+0.75+0+0.75-0-0.75)/2＝0.75

TD2[T3]＝(0.75+0+0.75+0.75-0.75-0)/2＝0.75

TD2[T4]＝(0+0.75+0.75+0-0.75-0.75)/2＝0。

插值候选数据D2为

D2＝(0+0.75+0.75+0-0.75-0.75)/2＝0。

图32是对评分部18输出的评分数据和管理部19生成的合计数据进行总结的表。滤波插值部3的评分数据M0[T1]～M0[T4]为

M0[T1]＝|TD0[T1]-DI(i-6)|

＝|0.3885-0|＝0.3885

M0[T2]＝|TD0[T2]-DI(i-5)|

＝|0.55575-0.75|＝0.19425

M0[T3]＝|TD0[T3]-DI(i+5)|

＝|0.55575-0.75|＝0.19425

M0[T4]＝|TD0[T4]-DI(i+6)|

＝|0.3885-0|＝0.3885。

因此，合计数据S0为

S0＝M0[T1]+M0[T2]+M0[T3]+M0[T4]

＝0.3885+0.19425+0.19425+0.3885

＝1.1655。

第1平均维持插值部17-1的评分数据M1[T1]～M1[T4]为

M1[T1]＝|TD1[T1]-DI(i-6)|

＝|0.75-0|＝0.75

M1[T2]＝|TD1[T2]-DI(i-5)|

＝|0-0.75|＝0.75

M1[T3]＝|TD1[T3]-DI(i+5)|

＝|0.75-0.75|＝0

M1[T4]＝|TD1[T4]-DI(i+6)|

＝|0.75-0|＝0.75。

因此，合计数据S1为

S1＝M1[T1]+M1[T2]+M1[T3]+M1[T4]

＝0.75+0.75+0+0.75

＝2.25。

第2平均维持插值部17-2的评分数据M2[T1]～M2[T4]为

M2[T1]＝|TD2[T1]-DI(i-6)|＝|0-0|＝0

M2[T2]＝|TD2[T2]-DI(i-5)|＝|0.75-0.75|＝0

M2[T3]＝|TD2[T3]-DI(i+5)|＝|0.75-0.75|＝0

M2[T4]＝|TD2[T4]-DI(i+6)|＝|0-0|＝0。

因此，合计数据S1为

S2＝M2[T1]+M2[T2]+M2[T3]+M2[T4]

＝0+0+0+0

＝0。

管理部19选择合计数据最小的第2平均维持插值部17-2，输出表示选择第2平均维持插值部17-2输出的插值候选数据D2的选择信号C。

输出部20根据选择信号C，输出第2平均维持插值部17-2输出的插值候选数据D2＝0，作为数据Dz。

插值数据插入部5输出在位置i对数据Dz＝0进行插值后的数据DO。位置i的期待值为0，所以，插值候选数据D0＝0.3885、D1＝0.75、D2＝0中插值候选数据D2的插值误差最小。

说明使用图27的图像插值装置对2个像素周期的数据进行插值的情况。

图33是对位置i的像素进行插值时的2个像素周期的数据。设位置i-6为T1、i-5为T1、i+5为T3、i+6为T4。

滤波插值部3输出T1～T4的试验插值数据TD0和位置i的插值候选数据D0。设在滤波插值部3的系数存储部7中存储有图13的系数进行说明。试验插值数据TD0[T1]～TD0[T4]根据

DI(i-10)＝0、DI(i-9)＝1、DI(i-8)＝0、DI(i-7)＝1、DI(i-6)＝0、DI(i-5)＝1、DI(i-4)＝0、DI(i-3)＝1、DI(i-2)＝0、DI(i-1)＝1、DI(i+1)＝1、DI(i+2)＝0、DI(i+3)＝1、DI(i+4)＝0、DI(i+5)＝1、DI(i+6)＝0、DI(i+7)＝1、DI(i+8)＝0、DI(i+9)＝1、DI(i+10)＝0，

成为

TD0[T1]

＝-0.058×0+0.241×1-0.553×0+0.870×1

+0.870×1-0.553×0+0.241×1-0.058×0

＝2.222

TD0[T2]

＝-0.058×1+0.241×0-0.553×1+0.870×0

+0.870×0-0.553×1+0.241×0-0.058×1

＝-1.222

TD0[T3]

＝-0.058×1+0.241×0-0.553×1+0.870×0

+0.870×0-0.553×1+0.241×0-0.058×1

＝-1.222

TD0[T4]

＝-0.058×0+0.241×1-0.553×0+0.870×1

+0.870×1-0.553×0+0.241×1-0.058×0

＝2.222。

插值候选数据D0为

D0

＝-0.058×0+0.241×1-0.553×0+0.870×1

+0.870×1-0.553×0+0.241×1-0.058×0

＝2.222。

第1平均维持插值部17-1输出T1～T4的试验插值数据TD1和位置i的插值候选数据D1。试验插值数据TD1[T1]～TD1[T4]为

TD1[T1]＝(0+1+0-1)/2＝0

TD1[T2]＝(1+0+1-0)/2＝1

TD1[T3]＝(1+0+1-0)/2＝1

TD1[T4]＝(0+1+0-1)/2＝0。

插值候选数据D1为

D1＝(0+1+0-1)/2＝0。

第2平均维持插值部17-2输出T1～T4的试验插值数据TD2和位置i的插值候选数据D2。试验插值数据TD2[T1]～TD2[T4]为

TD2[T1]＝(1+0+0+1-1-1)/2＝0

TD2[T2]＝(0+1+1+0-0-0)/2＝1

TD2[T3]＝(0+1+1+0-0-0)/2＝1

TD2[T4]＝(1+0+0+1-1-1)/2＝0。

插值候选数据D1为

D2＝(1+0+0+1-1-1)/2＝0。

图34是对评分部18输出的评分数据和管理部19生成的合计数据进行总结的表。滤波插值部3的评分数据M0[T1]～M0[T4]为

M0[T1]＝|TD0[T1]-DI(i-6)|

＝|2.222-0|＝2.222

M0[T2]＝|TD0[T2]-DI(i-5)|

＝|-1.222-1|＝2.222

M0[T3]＝|TD0[T3]-DI(i+5)|

＝|-1.222-1|＝2.222

M0[T4]＝|TD0[T4]-DI(i+6)|

＝|2.222-0|＝2.222。

因此，合计数据S0为

S0＝M0[T1]+M0[T2]+M0[T3]+M0[T4]

＝2.222+2.222+2.222+2.222

＝8.888。

第1平均维持插值部17-1的评分数据M1[T1]～M1[T4]为

M1[T1]＝|TD1[T1]-DI(i-6)|＝|0-0|＝0

M1[T2]＝|TD1[T2]-DI(i-5)|＝|1-1|＝0

M1[T3]＝|TD1[T3]-DI(i+5)|＝|1-1|＝0

M1[T4]＝|TD1[T4]-DI(i+6)|＝|0-0|＝0。

因此，合计数据S1为

S1＝M1|T1]+M1[T2]+M1[T3]+M1[T4]

＝0+0+0+0

＝0。

第2平均维持插值部17-2的评分数据M2[T1]～M2[T4]为

M2[T1]＝|TD2[T1]-DI(i-6)|＝|0-0|＝0

M2[T2]＝|TD2[T2]-DI(i-5)|＝|1-1|＝0

M2[T3]＝|TD2[T3]-DI(i+5)|＝|1-1|＝0

M2[T4]＝|TD2[T4]-DI(i+6)|＝|0-0|＝0。

因此，合计数据S1为

S2＝M2[T1]+M2[T2]+M2[T3]+M2[T4]

＝0+0+0+0

＝0。

管理部19选择合计数据最小的第1平均维持插值部17-2，输出表示选择第1平均维持插值部17-2输出的插值候选数据D1的选择信号C。

输出部20根据选择信号C，输出第1平均维持插值部17-2输出的插值候选数据D1＝0，作为数据Dz。

插值数据插入部5输出在位置i对数据Dz＝0进行插值后的数据DO。位置i的期待值为0，所以，插值候选数据D0＝2.222、D1＝0、D2＝0中插值候选数据D1和D2的插值误差小于D0。

如上所述，滤波插值部3和平均维持插值部17-1～17-n分别将位于缺失像素附近、且值已知的多个像素分别作为试验插值像素，求出利用与求出缺失像素的插值值相同的方法计算出的试验插值值TD0～TDn和试验插值像素的已知值Dm之间的差，作为插值误差，由评分部18和管理部19构成的选择控制部21选择滤波插值部3和平均维持插值部17-1～17-n中的针对多个试验插值像素的插值误差的合计最小的一方，输出部20输出通过滤波插值部3和平均维持插值部17-1～17-n中由选择控制部21选择出的一方针对缺失像素计算出的插值值，作为该缺失像素的插值数据，数据插入部5在数据存储部2输出的数据的与缺失像素对应的位置插入输出部20输出的插值数据。

如上所述，图20的图像插值装置为了对滤波插值部3不擅长(无法进行良好的(高精度的)插值)的空间频率高的数据进行插值，具有平均维持插值部17-1～17-n，并且，使用缺失像素的附近像素，对插值方法生成的试验插值数据进行评分，由此，选择最适于对缺失像素进行插值的插值方法，所以，利用滤波插值部对频率低的数据进行插值，利用平均维持插值部对频率高的数据进行插值。由此，能够在频率的全部范围中得到良好的插值结果。

以上说明了通过硬件进行插值的情况，但是，也可以通过软件或软件和硬件的组合来进行插值。

图35是示出这种结构中的处理的顺序的流程图。

在步骤ST21中，存储缺失像素附近的数据Dm。

在步骤ST22中，通过滤波插值，生成试验插值数据TD0。

在步骤ST23中，通过滤波插值，生成插值候选数据D0。

在步骤ST24中，通过平均维持插值，生成试验插值数据TD1～TDn。

在步骤ST25中，通过平均维持插值，生成插值候选数据D1～Dn。

在步骤ST26中，对试验插值数据TD0～TDn进行评分，生成评分数据M0～Mn。

在步骤ST27中，根据评分数据M0～Mn，选择插值数据。

在步骤ST28中，生成在数据Dm的与连接点对应的位置插入了数据Dc后的数据DO。

图20中详细示出了各个步骤中的处理内容，所以这里省略说明。

产业上的可利用性

作为本发明的活用例，能够应用于复印机或扫描仪等的密接图像传感器中。

Claims (9)

1.一种图像插值装置，所述图像插值装置对直线状排列的多个像素中的缺失像素进行插值，其特征在于，

所述直线状排列的多个像素中的所述缺失像素以外的像素相互以规定间距排列，所述直线状排列的多个像素中的夹着所述缺失像素的像素相互间具有所述规定间距的2倍的间隔，

所述图像插值装置具有：

数据存储部，其存储表示所述缺失像素以外的所述多个像素的像素值的数据；

滤波插值部，其接收从所述数据存储部读出的数据，进行对所述直线状排列的多个像素中位于所述缺失像素周边的多个周边像素的各个像素值乘以预先决定的系数并相加的积和运算，计算所述缺失像素用的插值值；

极限处理部，其将所述滤波插值部输出的数据限制在所述多个周边像素的像素值的范围内；以及

数据插入部，其在所述数据存储部输出的数据的与所述缺失像素对应的位置插入所述极限处理部输出的数据，

在所述滤波插值部中，设该周边像素与所述缺失像素的距离为d、第1规定常数为g时，由{sin(g×d)}/(g×d)与第2规定常数之积，给出与所述周边像素的各个像素值相乘的低通滤波器系数的大小，

如下决定插值用低通滤波器系数，除了针对所述缺失像素的插值用低通滤波器系数为零的点以外，与所述滤波插值部的进行所述积和运算的部分为低通滤波器时使用的低通滤波器系数成比例，且该低通滤波器系数的和为1，

用Fs表示像素间距的倒数、用Fc表示低通滤波器的截止空间频率、用s表示由像素间距数表示各周边像素与处理对象像素的距离的值时，

所述距离d由d＝s/Fs给出，

所述第1规定常数g由g＝2π×Fc给出，

所述第2规定常数KS0由KS0＝2Fc/Fs给出。

2.根据权利要求1所述的图像插值装置，其特征在于，

如果所述极限处理部的输入数据大于所述多个周边像素的像素值中的最大值，则所述极限处理部输出该最大值作为与该输入数据对应的输出数据，如果所述极限处理部的输入数据小于所述多个周边像素的像素值中的最小值，则所述极限处理部输出该最小值作为与该输入数据对应的输出数据。

3.一种图像读取装置，其特征在于，该图像读取装置具有：

光源，其对原稿照射光；

传感器芯片串，其直线状配置多个传感器芯片，对来自所述原稿的反射光进行光电转换，输出与反射光对应的信号；

A/D转换部，其将所述传感器芯片串输出的与所述反射光对应的信号转换成数字数据；以及

权利要求1或2所述的图像插值装置，其将所述A/D转换部输出的数字数据作为输入，

在所述多个传感器芯片上分别以所述规定间距排列像素，所述多个传感器芯片中相互邻接的所述传感器芯片端部的像素构成夹着所述缺失像素的像素，假设在所述相互邻接的传感器芯片端部的像素间存在所述缺失像素，进行所述滤波插值部的计算所述插值值的处理。

4.一种图像插值装置，所述图像插值装置对直线状排列的多个像素中的缺失像素进行插值，其特征在于，

所述直线状排列的多个像素中的所述缺失像素以外的像素相互以规定间距排列，所述直线状排列的多个像素中的夹着所述缺失像素的像素相互间具有所述规定间距的2倍的间隔，

该图像插值装置具有：

数据存储部，其存储表示所述缺失像素以外的所述多个像素的像素值的数据；

滤波插值部，其接收从所述数据存储部读出的数据，进行对所述直线状排列的多个像素中位于所述缺失像素周边的多个周边像素的各个像素值乘以预先决定的系数并相加的积和运算，计算所述缺失像素用的插值值；

平均维持插值部，其接收从所述数据存储部读出的数据，以使所述直线状排列的多个像素中包含所述缺失像素的像素串的像素的像素值平均值、和所述直线状排列的多个像素中不包含所述缺失像素的像素串的像素的像素值平均值彼此相等的方式，计算所述缺失像素用的插值值；

选择控制部，所述滤波插值部和所述平均维持插值部分别将所述直线状排列的多个像素中位于所述缺失像素附近且像素值已知的多个像素分别作为试验插值像素，利用与求出所述缺失像素用的插值值时相同的方法计算出试验插值值，所述选择控制部求出所述试验插值值与所述试验插值像素的所述已知值之间的差，作为插值误差，并且选择所述滤波插值部和所述平均维持插值部中针对所述多个试验插值像素的所述插值误差的合计最小的一方；

输出部，其输出通过所述滤波插值部和所述平均维持插值部中由所述选择控制部选择出的一方针对所述缺失像素计算出的插值值，作为该缺失像素的插值数据；以及

数据插入部，其在所述数据存储部输出的数据的与所述缺失像素对应的位置插入所述输出部输出的所述插值数据，

在所述滤波插值部中，设该周边像素与所述缺失像素的距离为d、第1规定常数为g时，由{sin(g×d)}/(g×d)与第2规定常数之积，给出与所述周边像素的各个像素值相乘的低通滤波器系数的大小，

如下决定插值用低通滤波器系数，除了针对所述缺失像素的插值用低通滤波器系数为零的点以外，与所述滤波插值部的进行所述积和运算的部分为低通滤波器时使用的低通滤波器系数成比例，且该低通滤波器系数的和为1，

用Fs表示像素间距的倒数、用Fc表示低通滤波器的截止空间频率、用s表示由像素间距数表示各周边像素与处理对象像素的距离的值时，

所述距离d由d＝s/Fs给出，

所述第1规定常数g由g＝2π×Fc给出，

所述第2规定常数KS0由KS0＝2Fc/Fs给出。

5.根据权利要求4所述的图像插值装置，其特征在于，

所述平均维持插值部在计算所述缺失像素用的插值值时，将所述缺失像素的值作为未知数，以使所述直线状排列的多个像素中由所述缺失像素和该缺失像素的周边像素构成的第1组像素的像素值平均值、和所述直线状排列的多个像素中位于所述缺失像素周边且由所述缺失像素以外的像素构成的第2组像素的像素值平均值一致的方式，决定所述缺失像素的像素值，

所述平均维持插值部在计算所述试验插值像素用的插值值时，代替所述缺失像素，假设将所述试验插值像素的值作为未知数，以使所述直线状排列的多个像素中由该试验插值像素和该试验插值像素的周边像素构成的第3组像素的像素值平均值、和所述直线状排列的多个像素中位于所述试验插值像素周边且由所述试验插值像素以外的像素构成的第4组像素的像素值平均值一致的方式，决定所述试验插值像素的像素值。

6.根据权利要求5所述的图像插值装置，其特征在于，

所述平均维持插值部设有多个，

该多个平均维持插值部在各自的处理中使用的所述第1组、第2组、第3组以及第4组的像素数在所述多个平均维持插值部之间彼此不同。

7.一种图像读取装置，其特征在于，该图像读取装置具有：

光源，其对原稿照射光；

传感器芯片串，其直线状配置多个传感器芯片，对来自所述原稿的反射光进行光电转换，输出与反射光对应的信号；

A/D转换部，其将所述传感器芯片串输出的与所述反射光对应的信号转换成数字数据；以及

权利要求4～6中的任意一项所述的图像插值装置，其将所述A/D转换部输出的数字数据作为输入，

在所述多个传感器芯片上分别以所述规定间距排列像素，所述多个传感器芯片中相互邻接的所述传感器芯片端部的像素构成夹着所述缺失像素的像素，假设在所述相互邻接的传感器芯片端部的像素间存在所述缺失像素，进行所述滤波插值部的计算所述插值值的处理。

8.一种图像插值方法，所述图像插值方法对直线状排列的多个像素中的缺失像素进行插值，其特征在于，

所述直线状排列的多个像素中的所述缺失像素以外的像素相互以规定间距排列，所述直线状排列的多个像素中的夹着所述缺失像素的像素相互间具有所述规定间距的2倍的间隔，

所述图像插值方法具有：

数据存储步骤，存储表示所述缺失像素以外的所述多个像素的像素值的数据；

滤波插值步骤，接收在所述数据存储步骤中存储的数据，进行对所述直线状排列的多个像素中位于所述缺失像素周边的多个周边像素的各个像素值乘以预先决定的系数并相加的积和运算，计算所述缺失像素用的插值值；

极限处理步骤，将在所述滤波插值步骤中通过插值而得到的数据限制在所述多个周边像素的像素值的范围内；以及

数据插入步骤，在所述数据存储步骤中存储的数据的与所述缺失像素对应的位置插入在所述极限处理步骤中生成的数据，

在所述滤波插值步骤中，设该周边像素与所述缺失像素的距离为d、第1规定常数为g时，由{sin(g×d)}/(g×d)与第2规定常数之积，给出与所述周边像素的各个像素值相乘的低通滤波器系数的大小，

如下决定插值用低通滤波器系数，除了针对所述缺失像素的插值用低通滤波器系数为零的点以外，与所述滤波插值步骤的进行所述积和运算的部分为进行低通滤波处理的部分时使用的低通滤波器系数成比例，且该低通滤波器系数的和为1，

用Fs表示像素间距的倒数、用Fc表示低通滤波器的截止空间频率、用s表示由像素间距数表示各周边像素与处理对象像素的距离的值时，

所述距离d由d＝s/Fs给出，

所述第1规定常数g由g＝2π×Fc给出，

所述第2规定常数KS0由KS0＝2Fc/Fs给出。

9.一种图像插值方法，所述图像插值方法对直线状排列的多个像素中的缺失像素进行插值，其特征在于，

所述直线状排列的多个像素中的所述缺失像素以外的像素相互以规定间距排列，所述直线状排列的多个像素中的夹着所述缺失像素的像素相互间具有所述规定间距的2倍的间隔，

该图像插值方法具有：

数据存储步骤，存储表示所述缺失像素以外的所述多个像素的像素值的数据；

滤波插值步骤，接收在所述数据存储步骤中存储的数据，进行对所述直线状排列的多个像素中位于所述缺失像素周边的多个周边像素的各个像素值乘以预先决定的系数并相加的积和运算，计算所述缺失像素用的插值值；

平均维持插值步骤，接收在所述数据存储步骤中存储的数据，以使所述直线状排列的多个像素中包含所述缺失像素的像素串的像素的像素值平均值、和所述直线状排列的多个像素中不包含所述缺失像素的像素串的像素的像素值平均值彼此相等的方式，计算所述缺失像素用的插值值；

选择控制步骤，所述滤波插值步骤和所述平均维持插值步骤分别将所述直线状排列的多个像素中位于缺失像素附近且像素值已知的多个像素分别作为试验插值像素，利用与求出所述缺失像素用的插值值时相同的方法计算出试验插值值，该选择控制步骤求出所述试验插值值与所述试验插值像素的所述已知值之间的差，作为插值误差，并选择所述滤波插值步骤和所述平均维持插值步骤中针对所述多个试验插值像素的所述插值误差的合计最小的一方；

输出步骤，输出通过所述滤波插值步骤和所述平均维持插值步骤中由所述选择控制步骤选择出的一方针对所述缺失像素计算出的插值值，作为该缺失像素的插值数据；以及

数据插入步骤，在所述数据存储步骤中存储的数据的与缺失像素对应的位置插入在所述输出步骤中输出的所述插值数据，

在所述滤波插值步骤中，设该周边像素与所述缺失像素的距离为d、第1规定常数为g时，由{sin(g×d)}/(g×d)与第2规定常数之积，给出与所述周边像素的各个像素值相乘的低通滤波器系数的大小，

如下决定插值用低通滤波器系数，除了针对所述缺失像素的插值用低通滤波器系数为零的点以外，与所述滤波插值步骤的进行所述积和运算的部分为进行低通滤波处理的部分时使用的系数成比例，且该系数的和为1，

用Fs表示像素间距的倒数、用Fc表示截止空间频率、用s表示由像素间距数表示各周边像素与处理对象像素的距离的值时，

所述距离d由d＝s/Fs给出，

所述第1规定常数g由g＝2π×Fc给出，

所述第2规定常数KS0由KS0＝2Fc/Fs给出。

Images