CN1918896A - 图像读取装置和信号处理方法 - Google Patents

Abstract

本发明提供了一种图像处理装置和信号处理方法。在校正(3)了摄像元件(8(1)、8(2))的特性的偏差之后求出(4)缺失像素的插值数据。特性的偏差的校正(3)包含例如黑电平校正(9)和灵敏度校正(10)。插值包含例如使得包含缺失像素的多个像素的值的平均值与不包含缺失像素的多个像素的值的平均值相等的插值运算(14(1)、14(2))，以及求解缺失像素的左右像素的平均的插值运算(14(0))，选择其中误差少的运算(13、15)。这样，能够恰当地对周期性高的图像中所包含的缺失像素进行插值，而且即使构成接触型影像传感器的各个摄像元件的灵敏度特性等有偏差，也能进行高精度的插值。

Description

图像读取装置和信号处理方法

技术领域

本发明涉及利用接触型影像传感器的图像读取装置和信号处理方法。

背景技术

在以往的图像读取装置中，使用以下的方法等来计算缺失像素的插值数据(例如，参照专利文献1)，即：把缺失像素的邻接像素的平均值作为插值数据的方法；使用最小自乘法求出与缺失像素邻接的像素的回归线，从该回归线计算插值数据的方法；从与缺失像素邻接的4个像素中求出4次式的曲线，从该4次式计算插值数据的方法等。

专利文献1：日本特开2003-101724号公报(第5～6页，第3～5图)

在以往的图像读取装置中，对于接触型影像传感器的摄像元件的间隔不均等的部分(因为等价于没有摄像元件，所以以下称为缺失像素)，进行线性插值或利用高阶函数的插值，因此存在由于构成接触型影像传感器的各个摄像元件的灵敏度特性等的偏差，无法进行正确的插值的问题，读取图像的质量变低。特别是在读取周期性高的图像时的插值结果中，产生大的误差，因此读取图像的像质显著劣化。

发明内容

本发明就是为了解决上述问题而提出的，目的在于提供一种能够对周期性高的图像中包含的缺失像素进行适当的插值，而且即使在构成接触型影像传感器的各个摄像元件的灵敏度特性等有偏差时，也能够高精度地进行插值的图像读取装置和信号处理方法。

本发明提供了一种图像读取装置，该装置利用使多个摄像元件配置成1列的影像传感器来读取图像，其特征在于，该图像读取装置具有：

摄像部，其将具有多个摄像元件的多个传感器芯片互相连接地配置成一列；

A/D转换部，其将从摄像部输出的图像信号转换为数字像素数据；

特性校正部，其校正所述传感器芯片的摄像元件的特性的偏差；以及

插值部，其对在所述多个传感器芯片相互的连接部中产生的像素数据的缺失进行插值；

所述图像读取装置在通过所述特性校正部校正了所述摄像元件的特性的偏差之后，通过所述插值部进行所述缺失像素的插值处理。

在本发明的图像读取装置中，对于由接触型影像传感器读取的图像数据，在校正了摄像元件中固有的特性的偏差之后，实施插值处理，因此即使在使用包含缺失像素的接触型影像传感器的情况下，也能得到质量好的读取图像。

附图说明

图1是表示实施方式1的图像读取装置的结构的方框图。

图2是表示图1的摄像部的概略图。

图3是表示图2的摄像部的局部放大的概略图。

图4是表示图2的特性校正部的详细情况的方框图。

图5(a)至(e)是表示图4的黑校正电路的动作的图。

图6(a)至(e)是表示图4的灵敏度校正电路的动作的图。

图7是表示图3的摄像部的摄像元件与缺失像素的关系的图。

图8(a)至(e)是表示图7中所示的缺失像素的插值处理的概念的图。

图9是表示图2的插值部的详细情况的方框图。

图10(a)和(b)是表示由实施方式1的图像读取装置的插值部所处理的像素列以及像素组的图。

图11是表示由实施方式1的图像读取装置的插值部对多个试验像素进行插值时的各插值运算电路的评价结果的图。

图12是表示实施方式1的图像读取装置的插值部的各插值运算电路的综合评价结果的图。

图13是表示实施方式1的图像读取装置的插值部的具体例的方框图。

图14(a)至(c)是表示由实施方式1的图像读取装置的插值部处理的像素数据的一例的图，(a)是表示图像的浓淡的图，(b)是波形图，(c)是表示缺失图像以及位于其近旁的试验像素的图。

图15(a)至(c)是表示由实施方式1的图像读取装置的插值部处理的像素列的图。

图16(a)至(e)是表示由实施方式1的图像读取装置的插值部处理的一串像素中的缺失像素以及位于其近旁的试验像素的图。

图17(a)至(e)是表示由实施方式1的图像读取装置的插值部处理的一串像素中的缺失像素以及位于其近旁的试验像素的图。

图18(a)至(e)是表示由实施方式1的图像读取装置的插值部处理的一串像素中的缺失像素以及位于其近旁的试验像素的图。

图19是表示在实施方式1的图像读取装置的插值部中对于多个试验像素进行插值时的各插值运算电路的评价结果的图。

图20是表示实施方式1的图像读取装置的插值部的各插值运算电路的综合评价结果的图。

图21(a)和(b)是表示由实施方式1的图像读取装置的像素插值部处理的像素数据的一例的图，(a)是波形图，(b)是表示缺失像素以及位于其近旁的试验像素的图。

图22是表示在实施方式1的图像读取装置的插值部中对于多个试验像素进行插值时的各插值运算电路的评价结果的图。

图23是表示实施方式1的图像读取装置的插值部的各插值运算电路的综合评价结果的图。

图24(a)和(b)是表示由实施方式1的图像读取装置的插值部处理的像素数据的一例的图，(a)是波形图，(b)是表示缺失像素以及位于其近旁的试验像素的图。

图25是表示在实施方式1的图像读取装置的插值部中对于多个试验像素进行插值时的各插值运算电路的评价结果的图。

图26是表示实施方式1的图像读取装置的插值部的各插值运算电路的综合评价结果的图。

图27是表示实施方式2的图像读取装置的插值部的平均维持插值电路的详细情况的方框图。

图28是表示由实施方式2的图像读取装置的插值部处理的像素列的图。

图29是表示由实施方式2的图像读取装置的插值部处理的像素数据的一例的波形图。

图30是表示实施方式3的信号处理方法的动作的流程图。

图31是表示实施方式3的插值动作的流程图。

图32是表示实施方式4的图像读取装置的结构的方框图。

图33是表示图32的摄像部的概略图。

图34是表示图32的A/D转换部的详细情况的方框图。

图35是表示实施方式5的图像读取装置的摄像部的摄像元件与缺失像素的关系的图。

图36是表示实施方式5的图像读取装置的结构的方框图。

图37是表示实施方式6的图像读取装置的摄像部的摄像元件与缺失像素的关系的图。

图38是表示实施方式6的图像读取装置的结构的方框图。

符号说明

1：摄像部；2：A/D转换部；3、3R、3G、3B：特性校正部；4、4R、4G、4B：插值部；5：接触型影像传感器；6：传感器芯片；7：光源；8：摄像元件；9：黑校正电路；10：灵敏度校正电路；11：黑校正数据发生电路；12：灵敏度校正数据发生电路；13：输出电路；14(0)：左右平均插值运算电路；14(1)～14(n)：平均维持插值运算电路；15：选择信号生成部；16：管理电路；17：评分电路；20：输出限制部；21：插值电路；31：摄像部；32：分配部；41：摄像部

具体实施方式

实施方式1

图1是表示本发明的图像读取装置的结构的图。

本发明的图像读取装置具有摄像部1、A/D转换部2、特性校正部3以及插值部4。

如后述那样，摄像部1具有一维排列的多个摄像元件，一维地读取图像并输出图像信号。A/D转换部2将从摄像部1输出的图像信号转换为一连串的数字像素数据。像素数据表示与各个摄像元件对应的像素的值。特性校正部3对于从A/D转换部2所输出的像素数据，校正摄像部1的摄像元件的特性的偏差，并输出校正数据。插值部4根据从特性校正部3所输出的校正数据，对缺失像素数据进行插值。

图2是表示摄像部1的图。图示的摄像部1由接触型影像传感器5构成。接触型影像传感器5具有在基板5a上互相连接地配置成一列的多个、例如a个的传感器芯片6(1)～6(a)以及光源7。

图3是更加详细地表示接触型影像传感器5的传感器芯片6(1)以及传感器芯片6(2)的图。

如图所示，传感器芯片6(1)、6(2)、6(3)各自具有多个、例如b个的摄像元件8(1)～8(b)。摄像元件8(1)～8(b)各自对应1个像素。

并且，当共同说明所有的多个传感器芯片时，有时用符号“6”，同样，当共同说明所有的多个摄像元件时，有时用符号“8”。

传感器芯片6上的摄像元件8(1)～8(b)以间隔dw1配置在直线上。并且，位于互相连接的2个传感器芯片6的邻接端部的摄像元件互相仅隔开距离dw2。

例如，传感器芯片6(1)的右端的摄像元件8(b)与传感器芯片6(2)的左端的摄像元件8(1)的距离为dw2。

在此，使dw2为dw1的大致2倍来配置传感器芯片，假设在传感器芯片相互之间存在一个缺失像素来进行插值处理，可以得到高质量的插值结果，所以，以下对于这样的情况进行说明，但本发明并不限于此，能够进行与距离相对应的插值处理。

图4是表示特性校正部3的结构的图。图示的特性校正部3具有：黑校正电路9，其校正摄像元件8的黑电平的特性，并输出黑校正处理后的图像数据BK1；灵敏度校正电路10，其校正摄像元件8的灵敏度，并输出灵敏度校正处理后的图像数据WH1；黑校正数据发生电路11，其产生在黑校正电路9中使用的黑校正数据BC1；以及灵敏度校正数据发生电路12，其产生在灵敏度校正电路10中使用的灵敏度校正数据WC1。

接着，对特性校正部3以前的动作进行说明。

接触型影像传感器5输出的图像信号A1被输入A/D转换部2。接触型影像传感器5被定时控制信号控制，由此决定了光源7的开与关、图像的读取定时、图像信号A1的输出定时，但此处图像信号A1假设以规定的定时输出的信号而未被图示。此外，接触型影像传感器5所具有的传感器芯片6(1)～6(a)构成为，对应于读取像素数的多个芯片沿主扫描方向连接成一列，图像信号A1通过连续地或间隔地读出从传感器芯片6(1)的摄像元件8(1)至传感器芯片6(a)的摄像元件8(b)的读取像素的值来构成1行图像信号，接着通过接触型影像传感器5沿副扫描方向移动或原稿沿副扫描方向移动等，以规定的定时反复读出该1行图像信号，从而形成二维的图像信号。

该二维图像信号由在对应于扫描方向的水平方向和对应于副扫描方向的垂直方向呈矩阵状排列的多个像素的集合构成。

通过对构成从摄像部1所输出的图像信号A1的各个像素的值进行抽样，输入A/D转换部2的图像信号A1转换为数字的图像数据D1。A/D转换部2输出的图像数据D1被输入特性校正部3。

输入特性校正部3的图像数据D1被输入黑校正电路9。黑校正电路9将所输入的图像数据D1按照黑校正数据发生电路11产生的黑校正数据BC1，对图像数据D1中所包含的各摄像元件8的黑电平的偏差进行校正。此处，黑电平的偏差是指，在各个摄像元件8中未输入光时所输出的信号电平的偏差。黑校正数据发生电路11保持预先作成的1行像素数个黑校正数据，并输出与被输入黑校正电路9中的图像数据D1的各个像素对应的黑校正数据BC1。将1行上的像素的序号设为p，关于像素序号为p的像素，如果将

从A/D转换部2所输出的图像数据D1、

通过黑校正数据发生电路11所产生的黑校正数据BC1、

在黑校正电路9中被黑校正处理后的图像数据BK1、

用D1(p)、BC1(p)、BK1(p)来表示，则黑校正电路9的校正处理可以用以下的式子来表示。

BK1(p)＝D1(p)-BC1(p)

图5是用于说明黑校正电路9的校正动作的概念的图。图5(a)是在原稿面的至少表示为“读取位置”的位置的主扫描方向(图中水平方向)的整个方向上，黑像素连续的黑的读取图像，图5(b)是图5(a)中示出的“读取位置”的图像的亮度，图5(c)是与读取图像对应的传感器芯片的水平方向(主扫描方向)上的位置关系，图5(d)是表示传感器芯片读取的图像的亮度的数据的一例，图5(e)是黑校正电路9输出的校正后的图像数据BK1。

如图5(d)所示，传感器芯片6(1)、6(2)上的摄像元件在分别表示黑的数据5(d)上有偏差。在黑校正电路9中校正该偏差，作用为如图5(e)所示，使读取黑图像时(或光未输入摄像元件8时)的数据均一化。即，黑校正数据发生电路11通过预先作成并保持光未入射到各摄像元件8时的输出数据，能够产生黑校正数据BC1。在该黑校正数据发生电路11中所保持的数据作为上述式子的BC1(p)被赋予黑校正电路9，由此进行以各摄像元件8为单位的黑电平的校正处理。

以上对黑校正电路9按照每个摄像元件8(1个像素单位)进行校正处理的情况进行了说明，构成为预先保持例如8(1)和8(2)这样的多个例如互相邻接的摄像元件8的黑电平的偏差的平均或代表值，并以与此相对的1个校正数据校正多个的摄像元件8的像素数据，由此，可以削减在黑校正数据发生电路中保持的黑校正数据BC1的数量。

代表值是以规定的基准选择的任一方的值，作为代表值，例如可以选择大的一方的值，也可以选择小的一方的值，还可以选择主扫描方向的一方侧的摄像元件8的黑电平。

接着，黑校正电路9输出的校正后的图像数据BK1被输入灵敏度校正电路10中。灵敏度校正电路10按照灵敏度校正数据发生电路12产生的灵敏度校正数据WC1，校正所输入的图像数据BK1，以校正各摄像元件8的灵敏度的偏差。此处，灵敏度的偏差是指，各摄像元件的输出信号的动态范围的偏差，即来自光源7的光被白色的原稿面反射而输入各摄像元件8的情况下的输出信号的电平、与完全没有输入光的情况下的输出信号的电平的差的偏差。在该情况下，由光源7发出的光的量的偏差的影响也包含在这里所说的灵敏度的偏差中。

灵敏度校正数据发生电路12保持预先作成的1行像素数个灵敏度校正数据，输出与输入到灵敏度校正电路10中的图像数据BK1的各像素对应的灵敏度校正数据WC1。将1行上的像素的序号设为p，关于像素序号为p的像素，如果将在黑校正电路9中被黑校正处理后的图像数据BK1、由灵敏度校正数据发生电路12所产生的灵敏度校正数据WC1和灵敏度校正电路10输出的灵敏度校正处理后的图像数据WH1用BK1(p)、WC1(p)、WH1(p)来表示，则灵敏度校正电路10的校正处理可以用以下的式子来表示。

WH1(p)＝BK1(p)*TG/WC1(p)

其中，TG是表示白的灰度值。

图6是用于说明灵敏度校正电路10的校正动作的概念的图。图6(a)是在原稿面的至少表示为“读取位置”的位置上的主扫描方向(图中水平方向)的整个方向上，白像素连续的白的读取图像，图6(b)是图6(a)中示出的“读取位置”的图像的亮度，图6(c)是与读取图像对应的传感器芯片的水平方向(主扫描方向)上的位置关系，图6(d)表示传感器芯片读取的图像的亮度，是黑电平校正后的数据，图6(e)是灵敏度校正电路10输出的校正后的图像数据WH1。

如图6(d)所示，传感器芯片6上的各摄像元件8在分别表示白的数据上有偏差。在灵敏度校正电路10中校正该偏差，作用为如图6(e)所示，使读取白图像时的数据均一化。即，灵敏度校正数据发生电路12通过预先作成并保持对读取了作为基准的白图像的数据实施黑电平校正处理的图像数据，能够产生灵敏度校正数据WC1。在该灵敏度校正数据发生电路12中所保持的数据作为上述式子的WC1(p)被赋予灵敏度校正电路10，从而进行各摄像元件8的灵敏度的校正处理。

如上所述，对灵敏度校正电路10按照每个摄像元件8(1个像素单位)进行校正处理的情况进行了示出，可以构成为保持例如8(1)和8(2)这样的多个例如互相邻接的摄像元件8的黑电平的偏差的平均或代表值，并以与此相对的校正数据校正多个摄像元件8的像素数据，由此，可以削减在灵敏度校正数据发生电路12中保持的灵敏度校正数据WC1的数量。

代表值是以规定的基准选择的任一方的值，作为代表值，例如可以选择大的一方的值，也可以选择小的一方的值，还可以选择主扫描方向的一方侧的与摄像元件8对应的校正数据。

灵敏度校正电路10输出的图像数据WH1被输入插值部4中，进行图像数据的插值处理，从插值部4输出包含已插值的像素数据的图像数据IP1。利用图7和图8说明插值部4的插值处理的概要。图7是示意性地表示传感器芯片6和配置在传感器芯片6上的摄像元件8的主扫描方向的位置、与对应于各位置的图像数据WH1和图像数据IP1的关系的图。在图7中，对于8个摄像元件8配置在每个传感器芯片6上的情况，即b＝8的情况进行说明。在图中，WH1(1)～WH1(8)是与传感器芯片6(1)的摄像元件8(1)～8(8)对应的像素数据，WH1(10)～WH1(17)是与传感器芯片6(2)的摄像元件8(1)～8(8)对应的像素数据。传感器芯片6(1)的摄像元件8(8)和传感器芯片6(2)的摄像元件8(1)以大于dw1的dw2的间距来配置，因此没有相当于像素数据WH1(9)的摄像元件。即，在图像信号WH1中，假定缺失了与像素数据WH1(9)对应的像素来进行处理。例如，把dw2设为dw1的2倍，假定在传感器芯片6(1)的摄像元件8(8)与传感器芯片6(2)的摄像元件8(1)之间缺失了1个像素来进行处理。

在插值部4中，通过插值运算来算出该缺失的像素数据WH1(9)，输出插值后的图像数据IP1(9)。插值部4对于在传感器芯片6之间缺失的所有像素数据进行该插值处理，从而输出没有缺失像素的图像数据IP1。

图8是说明插值部4对在显示为“读取位置”的位置上的从主扫描方向(图中水平方向)的左至右逐渐变亮的原稿进行插值处理时的动作的图。图8(a)是所述原稿，图8(b)是表示图8(a)中示出的读取位置的原稿的亮度的图，图8(c)是表示传感器芯片6相对于原稿的主扫描方向的位置关系的图，图8(d)是表示对于图8(c)中示出的传感器芯片6所输出的图像信号，经A/D转换部2和特性校正部3实施了前述处理的图像数据WH1的亮度的图，表示如上所述缺失了像素数据WH1(9)和像素数据WH1(17)的状态。图8(e)是表示图8(d)中示出的图像数据经插值部4进行插值处理后的结果的图，作为图8(d)的像素数据WH1(9)和像素数据WH1(17)，示出了数据IP1(9)和数据IP1(17)被插值的状态。

如图8(d)、(e)所示，插值部4在摄像元件8的间隔被配置得很宽的位置处(各个传感器芯片6之间)对缺失的像素数据进行插值。

并且，在上述说明中以dw2为dw1的倍数进行了说明，但不限于此，可以插值与dw1和dw2的比例相对应的像素数。

(插值部4的详细说明)

以下，对于插值部4的更加详细的结构和动作进行说明。

图9是表示实施方式1的插值部4的更加详细的结构的图。

图示的插值部4具有：左右平均插值运算电路14(0)、第1～第n平均维持插值运算电路14(1)～14(n)、选择信号生成部15以及输出电路13。选择信号生成部15具有管理电路16以及评分电路17。

图像数据WH1被输入左右平均插值运算电路14(0)以及n个的平均维持插值运算电路，即第1平均维持插值运算电路14(1)、第2平均维持插值运算电路14(2)、…、第n平均维持插值运算电路14(n)，以及评分电路17。

左右平均插值运算电路14(0)根据图像数据WH1输出试验插值数据TD0和插值数据DI0。从左右平均插值运算电路14(0)所输出的试验插值数据TD0被输入评分电路17，插值数据DI0被输入到输出电路13。

左右平均插值运算电路14(0)把位于插值对象像素例如缺失像素左右的邻接像素的值的平均值作为插值数据来生成。并且，此处所说的“左右”是指当把一连串的像素排列在水平方向上时，位于插值对象像素的左右，相当于把一连串的像素作为时间序列数据时的位于“前后”的数据。

各个第1～第n平均维持插值运算电路14(1)～14(n)进行插值，使得位于插值对象像素例如缺失像素的附近的、包含插值对象像素的多个像素的值的平均值与不包含插值对象像素的多个像素的值的平均值相等，从而求出插值对象像素的像素数据。例如，进行插值，使得由包含插值对象像素的规定数量的像素组成的像素组的像素数据的平均值与由不包含插值对象像素的规定数量的像素组成的像素组的像素数据的平均值相等。

各个像素组例如可以由与缺失像素位于同一行的单一像素的列构成，另外，不仅可以由与缺失像素同行的单一像素的列构成，也可以由位于不同行的多个列构成。

例如，选择为包含插值对象像素的规定数量的像素与不包含插值对象像素的规定数量的像素一部分互相重叠。

作为指定上述的规定数量的数据，对第1平均维持插值运算电路14(1)～第n平均维持插值运算电路14(n)分别赋予参数k＝k1～kn。

在进行互相重叠kw个像素的、使得包含插值对象像素的多个像素的平均和不包含插值对象像素的多个像素的平均相等的平均维持插值运算时，当参数k或k-w等于像素周期Pd时，平均维持插值运算的精度变高。

并且，在进行互相不重复的、使得包含插值对象像素的多个像素的平均和不包含插值对象像素的多个像素的平均相等的平均维持插值运算时，当参数k等于像素周期Pd时，平均维持插值运算的精度变高。

第1平均维持插值运算电路14(1)根据图像数据WH1和参数k＝k1，输出试验插值数据TD1和插值数据DI1。从第1平均维持插值运算电路14(1)输出的试验插值数据TD1被输入评分电路17，插值数据DI1被输入到输出电路13。

同样，第2平均维持插值运算电路14(2)～第n平均维持插值运算电路14(n)根据图像数据WH1和各自的参数k＝k2至k＝kn，分别输出试验插值数据TD2～TDn和插值数据DI2～DIn。由第2平均维持插值运算电路14(2)～第n平均维持插值运算电路14(n)输出的试验插值数据TD2～TDn被输入评分电路17，插值数据DI2～DIn被输入到输出电路13。

评分电路17根据图像数据WH1(通过与图像数据的比较)，对从左右平均插值运算电路14(0)输出的试验插值数据TD0进行评分，把该结果作为评分数据M0输出。从评分电路17中输出的评分数据M0被输入管理电路16。

并且，评分电路17对由第1平均维持插值运算电路14(1)～第n平均维持插值运算电路14(n)输出的试验插值数据TD1～TDn也同样地根据图像数据WH1(通过与图像数据的比较)进行评分，把各自的结果作为评分数据M1～Mn输出。从评分电路17输出的评分数据M1～Mn被输入管理电路16。

管理电路16评价从评分电路17输出的评分数据M0～Mn，根据该结果输出选择信号C。从管理电路16输出的选择信号C被输入到输出电路13。例如试验插值数据与图像数据之间的差越小，评分数据值越小。例如，对于所有的试验像素，把试验插值数据与图像数据的差的绝对值累积后(求总和后)的值作为评分数据。然后，判断评分数据最小的插值运算电路是产生最好结果的电路，生成选择该插值运算电路的输出的选择信号C。

输出电路13根据从管理电路16中输出的选择信号C，从左右平均插值运算电路14(0)以及第1平均维持插值运算电路14(1)～第n平均维持插值运算电路14(n)所输出的插值数据DI0～DIn中选择一个，作为输出数据IP1输出。

图10是二维表示图像数据WH1的图，横向对应于图像的水平方向，纵向对应于图像的垂直方向。图10表示构成1个画面的图像的一部分的3行中的各行的一部分，即m+1个像素。在图10中，○表示实际存在的像素(非缺失像素)，×表示缺失像素。

对于缺失像素L，将T1～Tm表示的非缺失像素决定为试验像素(设m＝2k)。此处，试验像素是指位于缺失像素的附近的非缺失像素，是虚拟地看作缺失像素，作为用于试验的插值对象像素而生成插值数据的像素，也称作试验用非缺失像素。图10(a)是以缺失像素L为中心，在主扫描方向上一维地左右两侧分别设定k个试验像素的例子。并且，在本例子中，试验像素的数(k)与参数k，即以平均维持插值运算求平均值时的像素的数一致，但这必非是必须的。

试验像素可以设定为相对于缺失像素左右不均等地设定，也可以仅设定左右的单方。此外，也可以如图10(b)所示那样二维地设定。即，不仅是与缺失像素L位于同行的非缺失像素，位于不同行的非缺失像素也可以作为试验像素。

利用图9和图10(a)对试验像素T1～Tm的左右平均插值运算电路14(0)、第1平均维持插值运算电路14(1)～第n平均维持插值运算电路14(n)以及评分电路17的动作详细地进行说明。

首先，在试验像素T1的位置上，左右平均插值运算电路14(0)输出把试验像素T1虚拟地看作缺失像素，作为插值对象像素时的试验插值数据TD0[T1]。试验插值数据TD0[T1]能够通过求出位于试验像素T1左右的像素的数据的平均来得到。

评分电路17求解在试验像素T1的位置上的图像数据WH1(特性校正部3的输出)的像素数据WH1[T1]与所述试验插值数据TD0[T1]的差的绝对值，并作为评分数据M0[T1]来输出。评分数据M0[T1]成为

M0[T1]＝|TD0[T1]-WH1[T1]|。

评分数据M0[T1]小的情况下，试验插值数据接近输入图像，即，表示在试验像素T1中左右平均插值运算电路14(0)的运算处理是恰当的。相反，评分数据M0[T1]大的情况下，表示在试验像素T1中左右平均插值运算电路14(0)的运算处理不恰当。即，评分数据M0[T1]表示在试验像素T1中的左右平均插值运算电路14(0)的恰当性。

接着，对于试验像素T2，左右平均插值运算电路14(0)也同样输出把试验像素T2虚拟地看作缺失像素，作为插值对象像素时的试验插值数据TD0[T2]。评分电路17求在试验像素T2的位置上的图像数据WH的像素数据WH1[T2]与所述试验插值数据TD0[T2]的差的绝对值，并作为评分数据M0[T2]来输出。评分数据M0[T2]成为

M0[T2]＝|TD0[T2]-WH1[T2]|。

评分数据M0[T2]表示在试验像素T2中的左右平均插值运算电路14(0)的恰当性。

左右平均插值运算电路14(0)对于剩余的试验像素T3～Tm，也同样输出试验插值数据TD0[T3]～TD0[Tm]。评分电路17求解所述试验插值数据TD0[T3]～TD0[Tm]与对应各个试验插值数据的图像数据WH1的数据WH1[T3]～WH1[Tm]的差的绝对值，并作为评分数据M0[T3]～M0[Tm]来输出。评分数据M0[T3]～M0[Tm]成为

M0[T3]＝|TD0[T3]-WH1[T3]|

～

M0[Tm]＝|TD0[Tm]-WH1[Tm]|。

评分数据M0[T3]～M0[Tm]表示在试验像素T3～Tm中的左右平均插值运算电路14(0)的恰当性。

这样，评分电路17得到与试验像素T1～Tm中的左右平均插值运算电路14(0)输出的试验插值数据对应的评分数据。

对于第1平均维持插值运算电路14(1)也同样，在试验像素T1的位置上输出把试验像素T1虚拟地看作缺失像素，作为插值对象像素时的试验插值数据TD1[T1]。第1平均维持插值运算电路14(1)把试验像素的值作为未知的值，通过决定试验像素的值的运算来进行插值，以使得包含试验像素的k＝k1个的像素的值的平均值和不包含试验像素T1的k＝k1个的像素的值的平均值相等。

评分电路17求解在试验像素T1的位置上的图像数据WH1的像素数据WH1[T1]与所述试验插值数据TD1[T1]的差的绝对值，并作为评分数据M1[T1]来输出。评分数据M1[T1]成为

M1[T1]＝|TD1[T1]-WH1[T1]|。

评分数据M1[T1]表示试验像素T1中的第1平均维持插值运算电路14(1)的恰当性。

第1平均维持插值运算电路14(1)对于剩余的试验像素T2～Tm，也同样输出试验插值数据TD1[T2]～TD1[Tm]。评分电路17求解所述试验插值数据TD1[T2]～TD1[Tm]与对应各个试验插值数据的图像数据WH1的数据WH[T2]～WH[Tm]的差的绝对值，并作为评分数据M1[T2]～M1[Tm]来输出。评分数据M1[T2]～M1[Tm]成为

M1[T2]＝|TD1[T2]-WH1[T2]|

～

M1[Tm]＝|TD1[Tm]-WH1[Tm]|。

评分数据M1[T2]～M1[Tm]表示试验像素T2～Tm中的第1平均维持插值运算电路14(1)的恰当性。

对于第2平均维持插值运算电路14(2)～第n平均维持插值运算电路14(n)也同样输出试验像素T1～Tm中的试验插值数据TD2[T1]…TD2[Tm]～TDn[T1]…TDn[Tm]，评分电路17根据所述试验插值数据TD2[T1]…TD2[Tm]～TDn[T1]…TDn[Tm]分别输出评分数据M2[T1]…M2[Tm]～Mn[T1]…Mn[Tm]。

这样，能够求出所有的试验像素T1～Tm中的平均维持插值运算电路14(0)以及第1平均维持插值运算电路14(1)～第n平均维持插值运算电路14(n)的各个插值运算电路的恰当性。

图11是汇总试验像素T1～Tm中的各个插值运算电路的评分数据的表。

通过利用试验像素的试验插值数据与试验像素位置上的图像数据WH1的像素数据的差分的绝对值，能够按照每个试验像素求出插值处理的恰当性。

接着，对管理电路16的动作进行说明。

为了评价在缺失像素附近的左右平均插值运算电路14(0)的恰当性，管理电路16把评分数据M0[T1]～M0[Tm]相加，生成左右平均插值运算电路14(1)的评价数据S0。评价数据S0为

S0＝M0[T1]+M0[T2]+…+M0[Tm]。

评价数据S0小的情况下，表示缺失像素附近的左右平均插值运算电路14(0)的运算处理是恰当的。相反，当评价数据S0大时，表示缺失像素附近的左右平均插值运算电路14(0)的运算处理不恰当。

对于第1平均维持插值运算电路14(1)～第n平均维持插值运算电路14(n)也同样，为了评价在缺失像素附近的恰当性，管理电路16把评分数据M1[T1]…M1[Tm]～Mn[T1]…Mn[Tm]分别相加，并分别生成第1平均维持插值运算电路14(1)～第n平均维持插值运算电路14(n)的评价数据S1～Sn。评价数据S1～Sn为

S1＝M1[T1]+M1[T2]+…+M1[Tm]

～

Sn＝Mn[T1]+Mn[T2]+…+Mn[Tm]。

图12是评价数据S0～Sn的汇总表。

通过对每个试验像素的评分数据进行相加，能够求出在缺失像素附近的插值处理的恰当性。

评价数据越小的插值运算电路越能够对缺失像素附近的像素进行适当的插值，因此可类推为对缺失像素也能够恰当地进行插值。管理电路16输出选择信号C，该信号用于选择具有在评价数据S0～Sn之中最小的评价数据的插值运算电路输出的插值数据。

输出电路13根据从管理电路16所输出的选择信号C选择由左右平均插值运算电路14(0)以及第1平均维持插值运算电路14(1)～第n平均维持插值运算电路14(n)输出的插值数据DI0～DIn之中的一个，作为输出数据IP1来输出。

插值数据DI0～DIn之中，插值数据DI0是通过左右平均插值运算电路14(0)求出的，通过对位于缺失像素L的左右的像素的值进行平均来求出。插值数据DIy(y＝1～n)是通过第y平均维持插值运算电路14(y)求出的，确定为使包含缺失像素的k＝ky个像素的值的平均值与不包含缺失像素的k＝ky个像素的值的平均值相等。

图9所示的插值部4的结构进行缺失像素附近的像素的左右平均插值运算电路14(0)以及第1平均维持插值运算电路14(1)～第n平均维持插值运算电路14(n)输出的试验插值数据的评分，评价该结果并类推缺失像素的恰当的插值运算，从多个插值运算电路输出的插值结果中选择其一，因此能够通过适合于缺失像素附近的图像的运算来插值缺失像素。

接着，用具体的例子进行说明。

图13是表示作为图9中的多个平均维持插值运算电路具有设参数k＝5的第1平均维持插值运算电路和设参数k＝7的第2平均维持插值运算电路的结构的图。

根据图13的具体例说明插值部4的结构。

图13的具体例的插值部4具有：输出电路13、左右平均插值运算电路14(0)、第1平均维持插值运算电路14(1)和第2平均维持插值运算电路14(2)、管理电路16以及评分电路17。

图像数据WH1被输入左右平均插值运算电路14(0)、第1平均维持插值运算电路14(1)、第2平均维持插值运算电路14(2)以及评分电路17。左右平均插值运算电路14(0)根据图像数据WH1输出试验插值数据TD0以及插值数据DI0。对于各个试验像素，左右平均插值运算电路14(0)求出位于其左右的像素的值的平均，输出试验插值数据TD0，求出位于缺失像素的左右的像素的值的平均，输出插值数据DI0。从左右平均插值运算电路14(0)输出的试验插值数据TD0被输入评分电路17，插值数据DI0被输入到输出电路13。

参数k＝5被输入第1平均维持插值运算电路14(1)。第1平均维持插值运算电路14(1)根据图像数据WH1和参数k＝5，输出试验插值数据TD1以及插值数据DI1。即，对于各个试验像素，设试验像素的值为未知，使得位于试验像素的附近、包含试验像素的k＝5个的像素的值的平均值与不包含试验像素的k＝5个的像素的值的平均值相等来决定试验像素的值，输出试验插值数据TD1，同样地，使得位于缺失像素的附近、包含缺失像素的k＝5个的像素的值的平均值与不包含缺失像素的k＝5个的像素的值的平均值相等来决定缺失像素的值，输出插值数据DI1。从第1平均维持插值运算电路14(1)输出的试验插值数据TD1被输入评分电路17，插值数据DI1被输入到输出电路13。

参数k＝7被输入第2平均维持插值运算电路14(2)。第2平均维持插值运算电路14(2)根据图像数据WH1和参数k＝7，输出试验插值数据TD2以及插值数据DI2。即，对于各个试验像素，设试验像素的值为未知，使得位于试验像素的附近、包含试验像素的k＝7个的像素的值的平均值与不包含试验像素的k＝7个的像素的值的平均值相等来决定试验像素的值，输出试验插值数据TD2，同样地，使得位于缺失像素的附近、包含缺失像素的k＝7个的像素的值的平均值与不包含缺失像素的k＝7个的像素的值的平均值相等来决定缺失像素的值，输出插值数据DI2。从第2平均维持插值运算电路14(2)输出的试验插值数据TD2被输入评分电路17，插值数据DI2被输入到输出电路13。

评分电路17根据图像数据WH1对从左右平均插值运算电路14(0)输出的试验插值数据TD0进行评分，输出该结果作为评分数据M0。

评分电路17根据图像数据WH1对从第1平均维持插值运算电路14(1)输出的试验插值数据TD1进行评分，输出该结果作为评分数据M1。

评分电路17根据图像数据WH1对从第2平均维持插值运算电路14(2)输出的试验插值数据TD2进行评分，输出该结果作为评分数据M2。从评分电路17输出的评分数据M0～M2被输入管理电路16。

管理电路16根据从评分电路17输出的评分数据M0～M2，输出选择信号C。从管理电路16所输出的选择信号C被输入到输出电路13。

输出电路13根据从管理电路16所输出的选择信号C选择由左右平均插值运算电路14(0)、第1平均维持插值运算电路14(1)和第2平均维持插值运算电路14(2)输出的插值数据DI0～DI2之中的一个，并作为输出数据IP1来输出。

图14是表示具有周期性的图像数据的一例的图。图14(a)表示沿水平方向(主扫描方向)以固定周期Pd重复同一图像的图像，图14(b)表示图14(a)中所示的读取位置的水平方向上的各位值的图像的浓度(或亮度)。图14(b)的横轴X表示像素位置，纵轴D表示浓度值。图14(b)的实线表示图14(a)的图像的亮度，白圈表示以抽样周期Ps(Ps＝Pd/5)对图14(a)的图像进行抽样时的值。

在图14中，因为Pd＝5Ps，所以设Pp＝Pd/Ps＝5为图像数据的像素周期。像素周期Pp表示每个周期的抽样数。并且，各个被抽样的像素的值在每个周期Pd中重复数据a＝74、b＝57、c＝100、d＝143和e＝126。图14(c)表示缺失图像与试验像素的位置关系。并且，作为与缺失像素L对应的试验像素T1～T4，一维地设定以缺失像素L为中心左右各2个。

图15是用于说明平均维持插值运算的试验插值处理的图。

图15(a)表示由包含缺失像素L的多个像素组成的像素列LC和一部分与其重复、由不包含缺失像素L的多个像素组成的2个像素列NA、NB之间的位置关系。图15(b)是表示将试验像素T虚拟地看作缺失、作为插值对象像素进行试验插值时使用的多个像素的图，表示由包含试验像素T和缺失像素L的多个像素组成的像素列TC与由不包含试验像素LC、而包含缺失像素L的多个像素组成的像素列TB之间的位置关系。图15(c)表示由包含试验像素T、而不包含缺失像素L的多个像素组成的像素列TC与由既不包含试验像素T又不包含缺失像素L的多个像素组成的像素列TA之间的位置关系。

对平均维持插值运算电路的试验插值处理进行说明。

平均维持插值运算电路14(1)和14(2)，在将缺失像素附近的非缺失像素作为插值对象像素来进行试验插值时，需要根据缺失像素的位置来变换插值处理。并且，在试验插值中，仅使用不包含试验像素的2个像素列之中的任一方。

如图15(b)所示，在包含试验像素T的像素列TC中包含缺失像素L时，平均维持插值运算电路14(1)和14(2)需要考虑缺失像素L来建立方程式。因此，设定不包含试验像素T的像素列TB，使其包含缺失像素L，通过在包含试验像素T的像素列TC和不包含试验像素T的像素列TB的两方均包含缺失像素，使缺失像素在方程式上被消去，能够适当地求出试验像素T的试验插值数据。方程式为：

(TC[1]+…+TC[k-i-1]+T+L+TD[1]+…+TD[i-1])/k

＝(L+TD[1]+…+TD[i-1]+TB[1]+…+TB[k-i])/k。

试验像素T为：

T＝(TB[1]+…+TB[k-i])-(TC[1]+…+TC[k-i-1])。

如图15(c)所示，在包含试验像素T的像素列TC中不包含缺失像素L的情况下，设定为在不包含试验像素T的像素列TA中也不包含缺失像素。平均维持插值运算电路的方程式为：

(TA[1]+…+TA[k-i]+TD[1]+…+TD[i])/k

＝(TD[1]+…+TD[i]+T+TC[1]+…+TC[k-i-1])/k，

试验像素T为：

T＝(TA[1]+…+TA[k-i])-(TC[1]+…+TC[k-i-1])。

这样，通过使用考虑了缺失像素的位置的试验插值处理，能够恰当地对各个平均维持插值运算电路进行评分。

图16是用于说明试验像素T1～T4以及缺失像素L中的左右平均插值运算电路14(0)以及评分电路17的动作的图。图16(a)是表示算出试验像素T1中的左右平均插值运算电路14(0)的试验插值数据情况的图，图16(b)是表示算出试验像素T2中的左右平均插值运算电路14(0)的试验插值数据情况的图，图16(c)是表示算出试验像素T3中的左右平均插值运算电路14(0)的试验插值数据情况的图，图16(d)是表示算出试验像素T4中的左右平均插值运算电路14(0)的试验插值数据情况的图，图16(e)是表示算出缺失像素L中的左右平均插值运算电路14(0)的试验插值数据情况的图。

对试验像素T1～T4以及缺失像素L中的左右平均插值运算电路14(0)以及评分电路17的动作进行说明。

如图16(a)所示，左右平均插值运算电路14(0)将像素T1L以及T1R的平均值作为试验像素T1的试验插值数据TD0[T1]输出。根据T1L＝b＝57、T1R＝d＝143，试验插值数据TD0[T1]为：

TD0[T1]＝(T1L+T1R)/2＝(57+143)/2＝100。

评分电路17将试验像素T1的位置上的图像数据WH1的像素数据WH1[T1]和试验插值数据TD0[T1]的差的绝对值作为评分数据M0[T1]输出。根据TD0[T1]＝100、WH1[T1]＝c＝100，评分数据M0[T1]为：

M0[T1]＝|TD0[T1]-WH1[T1]|＝|100-100|＝0。

如图16(b)所示，左右平均插值运算电路14(0)将像素T2L以及T2R的平均值作为试验像素T2的试验插值数据TD0[T2]输出。根据T2L＝c＝100、T2R＝a＝74，试验插值数据TD0[T2]为：

TD1＝(T2L+T2R)/2＝(100+74)/2＝87。

评分电路17将试验像素T2的位置上的图像数据WH1的像素数据WH1[T2]和试验插值数据TD0[T2]的差的绝对值作为评分数据M0[T2]输出。根据TD0[T2]＝87、WH1[T2]＝d＝143，评分数据M0[T2]为

M0[T2]＝|TD0[T2]-WH1[T2]|＝|87-143|＝56。

如图16(c)所示，左右平均插值运算电路14(0)将像素T3L以及T3R的平均值作为试验像素T3的试验插值数据TD0[T3]输出。根据T3L＝d＝143、T3R＝b＝57，试验插值数据TD0[T3]为；

TD0＝(T3L+T3R)/2＝(143+57)/2＝100。

评分电路17将试验像素T3的位置上的图像数据WH1的像素数据WH1[T3]和试验插值数据TD0[T3]的差的绝对值作为评分数据M0[T3]输出。根据TD0[T3]＝100、WH1[T3]＝a＝74，评分数据M0[T3]为：

M0[T3]＝|TD0[T3]-WH1[T3]|＝|100-74|＝26。

如图16(d)所示，左右平均插值运算电路14(0)将像素T4L以及T4R的平均值作为试验像素T4的试验插值数据TD0[T4]输出。根据T4L＝a＝74、T4R＝c＝100，试验插值数据TD0[T4]为

TD0[T4]＝(T4L+T4R)/2＝(74+100)/2＝87。

评分电路17将试验像素T4的位置上的图像数据WH1的像素数据WH1[T4]和试验插值数据TD0[T4]的差的绝对值作为评分数据M0[T4]输出。根据TD0[T4]＝87、WH1[T4]＝b＝57，评分数据M1[T4]为：

M0[T4]＝|TD0[T4]-WH1[T4]|＝|87-57|＝30。

如图16(e)所示，左右平均插值运算电路14(0)将像素LL和LR的平均值作为缺失像素L的插值数据DI0输出。由于LL＝d＝143、LR＝a＝74，插值数据DI0为：

DI0＝(LL+LR)/2＝(143+74)/2＝108.5。

图17是用于说明试验像素T1～T4和缺失像素L中的第1平均维持插值运算电路14(1)以及评分电路17的动作的图。图17(a)是表示算出试验像素T1中的第1平均维持插值运算电路14(1)的试验插值数据的情况的图，图17(b)是表示算出试验像素T2中的第1平均维持插值运算电路14(1)的试验插值数据的情况的图，图17(c)是表示算出试验像素T3中的第1平均维持插值运算电路14(1)的试验插值数据的情况的图，图17(d)是表示算出试验像素T4中的第1平均维持插值运算电路14(1)的试验插值数据的情况的图，图17(e)是表示算出缺失像素L中的第1平均维持插值运算电路14(1)的试验插值数据的情况的图。

对试验像素T1～T4和缺失像素L中的第1平均维持插值运算电路14(1)以及评分电路17的动作进行说明。

如图17(a)所示，第1平均维持插值运算电路14(1)求出试验像素T1的试验插值数据TD1[T1]，使得包含试验像素T1的像素列T1C的平均值与不包含试验像素T1的像素列T1B的平均值相等。因此，通过方程式

(T1C[1]+T1C[2]+TD1[T1]+T1D[1]+L)/5

＝(T1D[1]+L+T1B[1]+T1B[2]+T1B[3])/5，

试验插值数据TD1[T1]为：

TD1[T1]＝(T1B[1]+T1B[2]+T1B[3])-(T1C[1]+T1C[2])。

根据T1C[1]＝a＝74，T1C[2]＝b＝57，T1B[1]＝a＝74，T1B[2]＝b＝57，T1B[3]＝c＝100，

TD1[T1]＝(74+57+100)-(74+57)＝100。

评分电路17将所述试验像素T1的位置上的图像数据WH1的像素数据WH1[T1]和试验插值数据TD1[T1]的差的绝对值作为评分数据M1[T1]输出。根据TD1[T1]＝100、WH1[T1]＝c＝100，评分数据M1[T1]为：

M1[T1]＝|TD1[T1]-WH1[T1]|＝|100-100|＝0。

如图17(b)所示，第1平均维持插值运算电路14(1)求出试验像素T2的试验插值数据TD1[T2]，使得包含试验像素T2的像素列T2C的平均值与不包含试验像素T2的像素列T2B的平均值相等。因此，通过方程式

(T2C[1]+T2C[2]+TD1[T2]+L+T2D[1])/5

＝(L+T2D[1]+T2B[1]+T2B[2]+T2B[3])/5，

试验插值数据TD1[T2]为：

TD1[T2]＝(T2B[1]+T2B[2]+T2B[3])-(T2C[1]+T2C[2])。

根据T2C[1]＝b＝57，T2C[2]＝c＝100，T2B[1]＝b＝57，T2B[2]＝c＝100，T2B[3]＝d＝143，

TD1[T2]＝(57+100+143)-(57+100)＝143。

评分电路17将所述试验像素T2的位置上的图像数据WH1的像素数据WH1[T2]和试验插值数据TD1[T2]的差的绝对值作为评分数据M1[T2]输出。根据TD1[T2]＝143、WH1[T2]＝d＝143，评分数据M1[T2]为

M1[T2]＝|TD1[T2]-WH1[T2]|＝|143-143|＝0。

如图17(c)所示，第1平均维持插值运算电路14(1)求出试验像素T3的试验插值数据TD1[T3]，使得包含试验像素T3的像素列T3C的平均值与不包含试验像素T3的像素列T3A的平均值相等。因此，通过方程式

(T3A[1]+T3A[2]+T3A[3]+T3D[1]+L)/5

＝(T3D[1]+L+TD1[T3]+T3C[1]+T3C[2])/5，

试验插值数据TD1[T3]为：

TD1[T3]＝(T3A[1]+T3A[2]+T3A[3])-(T3C[1]+T3C[2])。

根据T3C[1]＝b＝57，T3C[2]＝c＝100，T3A[1]＝a＝74，T3A[2]＝b＝57，T3A[3]＝c＝100，

TD1[T3]＝(74+57+100)-(57+100)＝74。

评分电路17将所述试验像素T3的位置上的图像数据WH1的像素数据WH1[T3]和试验插值数据TD1[T3]的差的绝对值作为评分数据M1[T3]输出。根据TD1[T3]＝74、WH1[T3]＝a＝74，评分数据M1[T3]为

M1[T3]＝|TD1[T3]-WH1[T3]|＝|74-74|＝0。

如图17(d)所示，第1平均维持插值运算电路14(1)求出试验像素T4的试验插值数据TD1[T4]，使得包含试验像素T4的像素列T4C的平均值与不包含试验像素T4的像素列T4A的平均值相等。因此，通过方程式

(T4A[1]+T4A[2]+T4A[3]+L+T4D[1])/5

＝(L+T4D[1]+TD1[T4]+T4C[1]+T4C[2])/5，

试验插值数据TD1[T4]为：

TD1[T4]＝(T4A[1]+T4A[2]+T4A[3])-(T4C[1]+T4C[2])。

根据T4C[1]＝c＝100，T4C[2]＝d＝143，T4A[1]＝b＝57，T4A[2]＝c＝100，T4A[3]＝d＝143，

TD1[T1]＝(57+100+143)-(100+143)＝57。

评分电路17将所述试验像素T4的位置上的图像数据WH1的像素数据WH1[T4]和试验插值数据TD1[T4]的差的绝对值作为评分数据M1[T4]输出。由于TD1[T4]＝57、WH1[T4]＝b＝57，评分数据M1[T4]为

M1[T4]＝|TD1[T4]-WH1[T4]|＝|57-57|＝0。

如图17(e)所示，第1平均维持插值运算电路14(1)求出缺失像素L的插值数据DI1，使得包含缺失像素L的像素列LC的平均值与不包含缺失像素L的像素列NA和NB的平均值相等。因此，通过方程式

(AD[1]+AD[2]+DI1+BD[1]+BD[2])/5

＝((NA[1]+NA[2]+NA[3]+AD[1]+AD[2])/5

+(BD[1]+BD[2]+NB[1]+NB[2]+NB[3])/5)/2，

插值数据DI1为：

DI1＝((NA[1]+NA[2]+NA[3]+AD[1]+AD[2])

+(BD[1]+BD[2]+NB[1]+NB[2]+NB[3]))/2

-(AD[1]+AD[2]+BD[1]+BD[2])。

根据NA[1]＝e＝126，NA[2]＝a＝74，NA[3]＝b＝57，AD[1]＝c＝100，AD[2]＝d＝143，BD[1]＝a＝74，BD[2]＝b＝57，NB[1]＝c＝100，NB[2]＝d＝143，NB[3]＝e＝126，

DI1＝((126+74+57+100+143)+(74+57+100+143+126))/2

-(100+143+74+57)

＝126。

图18是用于说明试验像素T1～T4和缺失像素L中的第2平均维持插值运算电路14(2)以及评分电路17的动作的图。图18(a)是表示算出试验像素T1中的第2平均维持插值运算电路14(2)的试验插值数据的情况的图，图18(b)是表示算出试验像素T2中的第2平均维持插值运算电路14(2)的试验插值数据的情况的图，图18(c)是表示算出试验像素T3中的第2平均维持插值运算电路14(2)的试验插值数据的情况的图，图18(d)是表示算出试验像素T4中的第2平均维持插值运算电路14(2)的试验插值数据的情况的图，图18(e)是表示算出缺失像素L中的第2平均维持插值运算电路14(2)的插值数据的情况的图。

对试验像素T1～T4和缺失像素L中的第2平均维持插值运算电路14(2)以及评分电路17的动作进行说明。

如图18(a)所示，第2平均维持插值运算电路14(2)求出试验像素T1的试验插值数据TD2[T1]，使得包含试验像素T1的像素列T1C的平均值与不包含试验像素T1的像素列T1B的平均值相等。因此，通过方程式

(T1C[1]+T1C[2]+T1C[3]+TD2[T1]+T1D[1]+L+T1D[2])/7

＝(T1D[1]+L+T1D[2]+T1B[1]+T1B[2]+T1B[3]+T1B[4])/7，

试验插值数据TD1[T1]为：

TD2[T1]＝(T1B[1]+T1B[2]+T1B[3]+T1B[4])

-(T1C[1]+T1C[2]+T1C[3])。

根据T1C[1]＝e＝126，T1C[2]＝a＝74，T1C[3]＝b＝57，T1B[1]＝b＝57，T1B[2]＝c＝100，T1B[3]＝d＝143，T1B[4]＝e＝126，

TD2[T1]＝(57+100+143+126)-(126+74+57)＝169。

评分电路17将所述试验像素T1的位置上的图像数据WH1的像素数据WH1[T1]和试验插值数据TD2[T1]的差的绝对值作为评分数据M2[T1]输出。根据TD2[T1]＝169、WH1[T1]＝c＝100，评分数据M2[T1]为；

M2[T1]＝|TD2[T1]-WH1[T1]|＝|169-100|＝69。

如图18(b)所示，第2平均维持插值运算电路14(2)求出试验像素T2的试验插值数据TD2[T2]，使得包含试验像素T2的像素列T2C的平均值与不包含试验像素T2的像素列T2B的平均值相等。因此，通过方程式

(T2C[1]+T2C[2]+T2C[3]+TD2[T2]+L+T2D[1]+T2D[2])/7

＝(L+T2D[1]+T2D[2]+T2B[1]+T2B[2]+T2B[3]+T2B[4])/7，

试验插值数据TD2[T2]为：

TD2[T2]＝(T2B[1]+T2B[2]+T2B[3]+T2B[4])

-(T2C[1]+T2C[2]+T2C[3])。

根据T2C[1]＝a＝74，T2C[2]＝b＝57，T2C[3]＝c＝100，T2B[1]＝c＝100，T2B[2]＝d＝143，T2B[3]＝e＝126，T2B[4]＝a＝74，

TD2[T2]＝(100+143+126+74)-(74+57+100)＝212。

评分电路17将所述试验像素T2的位置上的图像数据WH1的像素数据WH1[T2]和试验插值数据TD2[T2]的差的绝对值作为评分数据M2[T2]输出。根据TD2[T2]＝212、WH1[T2]＝d＝143，评分数据M2[T2]为：

M2[T2]＝|TD2[T2]-WH1[T2]|＝|212-143|＝69。

如图18(c)所示，第2平均维持插值运算电路14(2)求出试验像素T3的试验插值数据TD2[T3]，使得包含试验像素T3的像素列T3C的平均值与不包含试验像素T3的像素列T3A的平均值相等。因此，通过方程式

(T3A[1]+T3A[2]+T3A[3]+T3A[4]+T3D[1]+T3D[2]+L)/7

＝(T3D[1]+T3D[2]+L+TD2[T3]+T3C[1]+T3C[2]+T3C[3])/7，

试验插值数据TD2[T3]为：

TD2[T3]＝(T3A[1]+T3A[2]+T3A[3]+T3A[4])

-(T3C[1]+T3C[2]+T3C[3])。

根据T3C[1]＝b＝57，T3C[2]＝c＝100，T3C[3]＝d＝143，T3A[1]＝d＝143，T3A[2]＝e＝126，T3A[3]＝a＝74，T3A[4]＝b＝57，

TD1[T3]＝(143+126+74+57)-(57+100+143)＝100。

评分电路17将所述试验像素T3的位置上的图像数据WH1的像素数据WH1[T3]和试验插值数据TD2[T3]的差的绝对值作为评分数据M2[T3]输出。根据TD2[T3]＝100、WH1[T3]＝a＝74，评分数据M2[T3]为；

M2[T3]＝|TD2[T3]-WH1[T3]|＝|100-74|＝26。

如图18(d)所示，第2平均维持插值运算电路14(2)求出试验像素T4的试验插值数据TD2[T4]，使得包含试验像素T4的像素列T4C的平均值与不包含试验像素T3的像素列T4A的平均值相等。因此，通过方程式

(T4A[1]+T4A[2]+T4A[3]+T4A[4]+T4D[1]+L+T4D[2])/7

＝(T4D[1]+L+T4D[2]+TD2[T4]+T4C[1]+T4C[2]+T4C[3])/7，

试验插值数据TD2[T4]为：

TD2[T4]＝(T4A[1]+T4A[2]+T4A[3]+T4A[4])

-(T4C[1]+T4C[2]+T4C[3])。

根据T4C[1]＝c＝100，T4C[2]＝d＝143，T4C[3]＝e＝126，T4A[1]＝e＝126，T4A[2]＝a＝74，T4A[3]＝b＝57，T4A[4]＝c＝100，

TD1[T1]＝(126+74+57+100)-(100+143+126)＝-12。

评分电路17将所述试验像素T4的位置上的图像数据WH1的像素数据WH1[T4]和试验插值数据TD2[T4]的差的绝对值作为评分数据M2[T4]输出。根据TD2[T4]＝-12、WH1[T4]＝b＝57，评分数据M2[T4]为：

M2[T4]＝|TD2[T4]-WH1[T4]|＝|-12-57|＝69。

如图18(e)所示，第2平均维持插值运算电路14(2)求出缺失像素L的插值数据，使得包含缺失像素L的像素列LC的平均值与不包含缺失像素L的像素列NA和NB的平均值相等。因此，通过方程式

(AD[1]+AD[2]+AD[3]+DI1+BD[1]+BD[2]+BD[3])/7

＝((NA[1]+NA[2]+NA[3]+NA[4]+AD[1]+AD[2]+AD[3])/7

+(BD[1]+BD[2]+BD[3]+NB[1]+NB[2]+NB[3]+NB[4])/7)/2，

插值数据DI1为；

DI1＝((NA[1]+NA[2]+NA[3]+NA[4]+AD[1]+AD[2]+AD[3])

+(BD[1]+BD[2]+BD[3]+NB[1]+NB[2]+NB[3]+NB[4]))/2

-(AD[1]+AD[2]+AD[3]+BD[1]+BD[2]+BD[3])。

根据NA[1]＝c＝100，NA[2]＝d＝143，NA[3]＝e＝126，NA[4]＝a＝74，AD[1]＝b＝57，AD[2]＝c＝100，AD[3]＝d＝143，BD[1]＝a＝74，BD[2]＝b＝57，BD[3]＝c＝100，NB[1]＝d＝143，NB[2]＝e＝126，NB[3]＝a＝74，NB[4]＝b＝57，

DI1＝((100+143+126+74+57+100+143)

+(74+57+100+143+126+74+57))/2

-(57+100+143+74+57+100)

＝156。

图19是试验像素T1～T4的评分数据M0～M2的汇总表。

对管理电路16的动作进行说明。

管理电路16将左右平均插值运算电路14(0)的评分数据M0[T1]～M0[T4]相加后的值作为评价数据S0来生成。根据M0[T1]＝0，M0[T2]＝56，M0[T3]＝26，M0[T4]＝30，评价数据S0为：

S0＝M0[T1]+M0[T2]+M0[T3]+M0[T4]

＝0+56+26+30＝112。

管理电路16对于第1平均维持插值运算电路14(1)也同样，将评分数据M1[T1]～M1[T4]相加后的值作为评价数据S1来生成。根据M1[T1]＝0，M1[T2]＝0，M1[T3]＝0，M2[T4]＝0，评价数据S1为：

S1＝M1[T1]+M1[T2]+M1[T3]+M1[T4]

＝0+0+0+0＝0。

管理电路16对于第2平均维持插值运算电路14(2)也同样，将评分数据M2[T1]～M2[T4]相加后的值作为评价数据S2来生成。根据M2[T1]＝69，M2[T2]＝69，M2[T3]＝26，M2[T4]＝69，评价数据S2为：

S2＝M2[T1]+M2[T2]+M2[T3]+M2[T4]

＝69+69+26+69＝233。

图20是把左右平均插值运算电路14(0)、第1平均维持插值运算电路14(1)和第2平均维持插值运算电路14(2)的评价数据S0～S2汇总的表。

评价数据越小的插值运算电路越能够在缺失像素附近进行适当的插值，因此能够类推为对缺失像素也能够适当地进行插值。管理电路16输出选择信号C，该信号用于选择具有在评价数据S0～S2之中最小的评价数据(S1＝0)的第1平均维持插值运算电路14(1)所输出的插值数据。

输出电路13输出与管理电路16输出的选择信号C对应的插值数据DI1＝126，作为IP1。如图14(b)所示，缺失像素L的图像数据WH1的像素数据是126，可以明白能够以最小的误差进行插值。

根据图13中示出的结构例的插值部4生成缺失像素L附近的试验像素T1～T4中的3个插值运算电路的试验插值数据，通过对其进行评分和评价，选择3个插值运算电路中与图像的内容相适应的插值运算结果，因此能够适当地对缺失像素进行插值。

利用图13中示出的结构表示对其它的图像数据进行插值的例子。

图21是表示具有周期性的图像数据的一例的图。图21(a)以像素周期Pp＝7来重复浓度值a＝80、b＝56、c＝65、d＝100、e＝135、f＝144、g＝120。图21(b)表示缺失像素与试验像素的位置关系。并且，作为与缺失像素L对应的试验像素T1～T4，以缺失像素L为中心左右各2个地一维设定。

利用左右平均插值运算电路14(0)、第1平均维持插值运算电路14(1)以及第2平均维持插值运算电路14(2)对图21(b)的试验像素T1～T4进行试验插值处理与图16～18所示的处理相同，因此省略说明。

图22是将试验像素T1～T4的评分数据M0～M2汇总的表。

对管理电路16的动作进行说明。

管理电路16将左右平均插值运算电路14(0)的评分数据M0[T1]～M0[T4]相加后的值作为评价数据S0来生成。根据M0[T1]＝13，M0[T2]＝4.5，M0[T3]＝71，M0[T4]＝8，评价数据S0为：

S0＝M0[T1]+M0[T2]+M0[T3]+M0[T4]

＝13+4.5+71+8＝96.5。

管理电路16对于第1平均维持插值运算电路14(1)也同样，将评分数据M1[T1]～M1[T4]相加后的值作为评价数据S1来生成。根据M1[T1]＝143，M1[T2]＝35，M1[T3]＝143，M2[T4]＝35，评价数据S1为：

S1＝M1[T1]+M1[T2]+M1[T3]+M1[T4]

＝143+35+143+35＝356。

管理电路16对于第2平均维持插值运算电路14(2)也同样，将评分数据M2[T1]～M2[T4]相加后的值作为评价数据S2来生成。根据M2[T1]＝0，M2[T2]＝0，M2[T3]＝0，M2[T4]＝0，评价数据S2为：

S2＝M2[T1]+M2[T2]+M2[T3]+M2[T4]

＝0+0+0+0＝0。

图23是把左右平均插值运算电路14(0)、第1平均维持插值运算电路14(1)和第2平均维持插值运算电路14(2)的评价数据S0～S2汇总的表。

评价数据越小的插值运算电路越能够在缺失像素附近进行适当的插值，因此能够类推为对缺失像素也能够适当地进行插值。管理电路16输出选择信号C，该信号用于选择具有在评价数据S0～S2之中最小的评价数据(S2＝0)的第2平均维持插值运算电路14(2)输出的插值数据。

输出电路13输出与管理电路16输出的选择信号C对应的插值数据DI2＝135，作为IP1。如图21(a)所示，缺失像素L的图像数据WH1的像素数据是135，可以明白能够以最小的误差进行插值。

根据图13中示出的结构例的插值部4生成缺失像素L附近的试验像素T1～T4中的3个插值运算电路的试验插值数据，通过对其进行评分和评价，选择3个插值运算电路中与图像的内容相适应的插值运算结果，因此对于图21的数据也能够适当地对缺失像素进行插值。

表示利用图13中示出的结构对另一其它的图像数据进行插值的例子。

图24是表示具有周期性的图像数据的一例的图。图24(a)以像素周期Pp＝17来重复浓度值a＝100、b＝116、c＝130、d＝140、e＝145、f＝143、g＝136、h＝124、i＝108、j＝92、k＝76、l＝64、m＝57、n＝55、o＝60、p＝70、q＝84。图24(b)表示缺失像素与试验像素的位置关系。并且，作为与缺失像素L对应的试验像素T1～T4，以缺失像素L为中心左右各2个地一维设定。

利用左右平均插值运算电路14(0)、第1平均维持插值运算电路14(1)以及第2平均维持插值运算电路14(2)对图24(b)的试验像素T1～T4进行试验插值处理与图16～18所示的处理相同，因此省略说明。

图25是将试验像素T1～T4的评分数据M0～M2汇总的表。

对管理电路16的动作进行说明。

管理电路16将左右平均插值运算电路14(0)的评分数据M0[T1]～M0[T4]相加后的值作为评价数据S0来生成。根据M0[T1]＝3.5，M0[T2]＝8.5，M0[T3]＝1.5，M0[T4]＝0，评价数据S0为：

S0＝M0[T1]+M0[T2]+M0[T3]+M0[T4]

＝3.5+8.5+1.5+0＝13.5。

管理电路16对于第1平均维持插值运算电路14(1)也同样，将评分数据M1[T1]～M1[T4]相加后的值作为评价数据S1来生成。根据M1[T1]＝91，M1[T2]＝152，M1[T3]＝91，M2[T4]＝152，评价数据S1为：

S1＝M1[T1]+M1[T2]+M1[T3]+M1[T4]

＝91+152+91+152＝486。

管理电路16对于第2平均维持插值运算电路14(2)也同样，将评分数据M2[T1]～M2[T4]相加后的值作为评价数据S2来生成。M2[T1]＝191，M2[T2]＝269，M2[T3]＝86，M2[T4]＝191，评价数据S2为：

S2＝M2[T1]+M2[T2]+M2[T3]+M2[T4]

＝191+269+86+191＝737。

图26是把左右平均插值运算电路14(0)、第1平均维持插值运算电路14(1)和第2平均维持插值运算电路14(2)的评价数据S0～S2汇总的表。

评价数据越小的插值运算电路越能够在缺失像素附近进行适当的插值，因此能够类推为对缺失像素也能够适当地进行插值。管理电路16输出选择信号C，该信号用于选择具有在评价数据S0～S2之中最小的评价数据(S0＝13.5)的左右平均插值运算电路14(0)输出的插值数据。

输出电路13输出与管理电路16输出的选择信号C对应的插值数据DI0＝133.5，作为IP1。如图24(a)所示，缺失像素L的图像数据WH1的像素数据是136，可以明白能够以最小的误差进行插值。

根据图13中示出的结构例的插值部4生成缺失像素L附近的试验像素T1～T4中的3个插值运算电路的试验插值数据，通过对其进行评分和评价，选择3个插值运算电路中与图像的内容相适应的插值运算结果，因此对于图24的数据也能够适当地对缺失像素进行插值。

这样，由管理电路16、评分电路17构成的选择信号生成部15将位于缺失像素附近的非缺失像素作为插值对象像素，评价以各自的插值运算电路进行插值时的插值结果，选择输出利用生成最佳插值结果的插值运算电路所生成的缺失像素的插值结果，生成根据图像数据来选择适当的插值运算电路的插值数据的选择信号，因此具有选择信号生成部15的插值部4能够恰当地对缺失像素进行插值。

并且，替代在所有的插值运算电路中进行缺失像素的插值运算，而评价在各个插值运算电路中将位于选择像素附近的非缺失像素作为插值对象像素来进行插值时的插值结果，可以仅在产生最佳插值结果的插值运算电路中进行缺失像素的插值运算。也可以说，这样的评价以及插值运算的选择是将位于缺失像素附近的非缺失像素作为插值对象像素，利用不同数量的像素来进行，并评价该插值结果，利用与被判定为得到评价结果最佳的结果的数量相等的数量的像素，来进行缺失像素的插值处理。

如上所述，因为在实施摄像元件的特性校正之后进行缺失像素的插值，因此即使在存在摄像元件的特性的偏差的情况下，也能够得到质量高的读取图像。

并且，在缺失像素的插值中，求出缺失像素的插值数据，使得包含缺失像素的多个像素的平均值与不包含缺失像素的多个像素的平均值相等，因此，即使在读取周期性高的图像的情况下，也能够得到质量高的读取图像。

并且，在上述的动作说明中，对于光源7是任意一色(白色或其它的单一的颜色)的情况进行了说明，但把光源7设为可任意切换多个颜色(例如，红、绿、蓝)的结构，在读取1行图像时，通过依次切换光源7的颜色多次读取，能够得到彩色图像数据。

实施方式2

图27是表示实施方式2的图像读取装置的平均维持插值电路的结构的图。实施方式2将实施方式1的多个平均维持插值运算电路14(1)～14(n)分别置换为图27中示出的结构的平均维持插值电路21。

如图所示，追加了限制平均维持插值运算电路14的输出限制部20。输出限制部20由输出范围生成电路18和限制电路19构成，减少因噪声等产生的平均维持插值运算电路14的插值误差。

这样，在实施方式2中，由平均维持插值运算电路14和输出限制部20构成平均维持插值电路21。与此相对，可以说在实施方式1中仅由平均维持插值运算电路(14(1)～14(n))来构成平均维持插值电路。

图28表示图像数据WH1的一部分，表示缺失像素与参照数据范围的位置关系。

图像数据WH1被输入到输出范围生成电路18以及平均维持插值运算电路14。参数k被输入到平均维持插值运算电路14。平均维持插值运算电路14根据图像数据WH1和参数k输出限制前数据Da。限制前数据Da被输入限制电路19，并且在试验插值时，作为试验插值数据TDn输出给评分电路17。试验插值数据TDn与实施方式1中的相同。

从外部提供的指定参照数据范围r的数据被输入到输出范围生成电路18。输出范围生成电路18根据图像数据WH1的缺失像素的右侧r个像素与左侧r个像素，生成输出最大值Lmax和输出最小值Lmin。输出最大值Lmax为：

Lmax＝max(M[1]、…、M[r]、M[r+1]、…、M[2r])。

其中，max(M[1]、…、M[r]、M[r+1]、…、M[2r])是求像素M[1]、…、M[r]、M[r+1]、…、M[2r]的最大值的函数。输出最大值Lmax被输入到限制电路19中。

并且，输出最小值Lmin为：

Lmin＝min(M[1]、…、M[r]、M[r+1]、…、M[2r])。

其中，min(M[1]、…、M[r]、M[r+1]、…、M[2r])是求像素M[1]、…、M[r]、M[r+1]、…、M[2r]的最小值的函数。输出最小值Lmin被输入到限制电路19中。

限制电路19根据输出最大值Lmax和输出最小值Lmin来限制限制前数据Da，将限制后的插值数据作为DIn输出到输出电路13。限制后的插值数据Din为：

当Da＜Lmin时，DIn＝Lmin

当Lmin≤Da≤Lmax时，DIn＝Da

当Lmax＜Da时，DIn＝Lmax。

根据以上结构，在实施方式2中，能够将平均维持插值运算电路14(1)～14(n)的输出限制在缺失像素附近的2r个的浓度值的范围内。即，利用缺失像素附近的像素值的最大值和最小值，能够限制输出信号取得的值的范围。

利用具体例子进行说明。

图29是具体例的插值运算电路的结构。

图29表示像素周期Pp＝5的图像数据。在图29中，假设由于噪声而使像素NB[3]的浓度值变为74～94。

图像数据WH1被输入到平均维持插值运算电路14和输出范围生成电路18。参数k＝9被输入到平均维持插值运算电路14。平均维持插值运算电路14求出缺失像素L的插值数据，使得包含缺失像素的像素列LC与不包含缺失像素的两个像素列NA和NB的平均值相等。方程式为：

(AD[1]+AD[2]+AD[3]+AD[4]+L

+BD[1]+BD[2]+BD[3]+BD[4])/9

＝((NA[1]+NA[2]+NA[3]+NA[4]+NA[5]

+AD[1]+AD[2]+AD[3]+AD[4])/9

+(BD[1]+BD[2]+BD[3]+BD[4]

+NB[1]+NB[2]+NB[3]+NB[4]+NB[5])/9)/2，

缺失像素L为：

L＝((NA[1]+NA[2]+NA[3]+NA[4]+NA[5]

+AD[1]+AD[2]+AD[3]+AD[4])

+(BD[1]+BD[2]+BD[3]+BD[4]

+NB[1]+NB[2]+NB[3]+NB[4]+NB[5]))/2

-(AD[1]+AD[2]+AD[3]+AD[4]

+BD[1]+BD[2]+BD[3]+BD[4])。

根据NA[1]＝126、NA[2]＝74、NA[3]＝57、NA[4]＝100、NA[5]＝143、AD[1]＝126、AD[2]＝74、AD[3]＝57、AD[4]＝100、BD[1]＝126、BD[2]＝74、BD[3]＝57、BD[4]＝100、NB[1]＝143、NB[2]＝126、NB[3]＝94、NB[4]＝57、NB[5]＝100，

L＝((126+74+57+100+143+126+74+57+100)

+(126+74+57+100+143+126+94+57+100))/2

-(126+74+57+100+126+74+57+100)

＝153。

将缺失像素的插值数据L作为限制前的数据Da。限制前数据Da输入限制电路19。

参照数据范围r＝9被输入到输出范围生成电路18。输出范围生成电路18将图像数据WH1中的缺失像素L的右侧9个和左侧9个的最大值作为输出最大值Lmax输出。输出最大值Lmax为：

Lmax＝143。

输出最大值Lmax输入限制电路19。

并且，输出范围生成电路18将图像数据WH1中的缺失像素L的右侧9个和左侧9个的最小值作为输出最小值Lmin输出。输出最小值Lmin为：

Lmin＝57。

输出最小值Lmin输入限制电路19。

限制电路19根据输出最大值Lmax和输出最小值Lmin，限制限制前数据Da，输出限制后数据。平均维持插值电路14(n)在进行试验插值时，输出试验插值数据TDn，在进行插值运算时，输出限制后的插值数据DIn。限制后的试验插值数据TDn和限制后的插值数据DIn根据Da＝153、Lmax＝143、Lmin＝57，使得Lmax＜Da成立，因此TDn＝Lmax＝143、或者DIn＝Lmax＝143。

根据图29，缺失像素L的图像数据WH1的像素数据为143，限制后Db＝143的误差为|143-143|＝0。限制前数据的误差为|153-143|＝10，能够通过限制减小误差。

实施方式3

在实施方式1中说明了通过硬件对缺失像素进行插值的图像插值装置的结构，但也可以通过软件对缺失像素进行插值。此外，也可以并用软件和硬件。

图30是说明基于软件的图像读取装置的信号处理的动作的流程图。

对动作进行说明。

在步骤s1中，获取1行图像数据。这相当于实施方式1中的从摄像部1所输出的图像信号A1在A/D转换部2中转换为数字的图像数据之前的动作。

在步骤s1中所获取的1行图像数据，在步骤s2中进行黑电平的偏差校正。这相当于实施方式1的黑校正电路9的动作。

在步骤s2中被黑校正后的图像数据，在步骤s3中进行灵敏度的偏差的校正。这相当于实施方式1的灵敏度校正电路10的动作。

在步骤s3中被灵敏度校正后的图像数据，在图像数据的缺失部中进行像素的插值处理。这相当于实施方式1的插值部4的动作。

在步骤s4中被进行插值的图像数据，在步骤s5中判定是否是最终的行，在不是最终行的情况下，返回步骤s1，重复步骤s1～s4的动作。当是最终行的情况下，结束处理。

图31是说明根据软件处理对缺失像素进行插值的动作(图像插值处理)的流程图。

在步骤s4-1中，生成试验像素T1中的左右平均插值运算处理的试验插值数据(相当于实施方式1的TD0[T1])。

在步骤s4-2中，将试验像素T1的位置上的图像数据WH1的像素数据(相当于实施方式1的WH1[T1])和在步骤s4-1中所生成的试验插值数据的差的绝对值作为评分数据(相当于实施方式1的M0[T1])来生成。

接着，返回步骤s4-1，生成试验像素T2中的左右平均插值运算处理的试验插值数据(相当于实施方式1的TD0[T2])。

在步骤s4-2中，将试验像素T2的位置上的图像数据WH1的像素数据(相当于实施方式1的WH1[T2])和在步骤s4-1中所生成的试验插值数据的差的绝对值作为评分数据(相当于实施方式1的M0[T2])来生成。

对于试验像素T3～Tm也同样，重复步骤s4-1和步骤s4-2的步骤(步骤s3)。这样，得到所有的试验像素T1～Tm中的左右平均插值运算处理的评分数据。

在步骤s4-4中，生成缺失像素L中的左右平均插值运算处理的插值数据。

接着，返回步骤s4-1中，生成试验像素T1中的第1平均维持插值运算处理的试验插值数据(相当于实施方式1的TD1[T1])。

在步骤s4-2中，将试验像素T1的位置上的图像数据WH1的像素数据(相当于实施方式1的WH1[T1])和在步骤s4-1中所生成的试验插值数据的差的绝对值作为评分数据(相当于实施方式1的M1[T1])来生成。

接着，返回步骤s4-1中，生成试验像素T2中的第1平均维持插值运算处理的试验插值数据(相当于实施方式1的TD1[T2])。

在步骤s4-2中，将试验像素T2的位置上的图像数据WH1的像素数据(相当于实施方式1的WH1[T2])和在步骤s4-1中所生成的试验插值数据的差的绝对值作为评分数据(相当于实施方式1的M1[T2])来生成。

对于试验像素T3～Tm也同样，重复步骤s4-1和步骤s4-2的步骤(步骤s3)。这样，得到所有的试验像素T1～Tm中的第1平均维持插值运算处理的评分数据。

在步骤s4-4中，生成缺失像素L中的第1平均维持插值运算处理的插值数据。

对于第2平均维持插值运算处理～第n平均维持插值运算处理也同样重复步骤s4-1～步骤s4-4的步骤(步骤s4-5)。关于各左右平均插值运算处理和第1平均维持插值运算处理～第n平均维持插值运算处理，得到所有的试验像素T1～Tm中的评分数据和缺失像素L的插值数据。

在步骤s4-6中，按照插值运算处理将评分数据相加，生成左右平均插值运算电路和第1平均维持插值运算处理～第n平均维持插值运算处理的各自的评价数据(相当于实施方式1的S0～Sn)。

在步骤s4-7中，根据在步骤s4-6中所生成的评价数据，选择对缺失像素进行插值的插值数据。

重复上述步骤s4-1至步骤s4-7的步骤，直至到达最后的缺失像素为止(步骤s4-8)。

关于各个步骤的处理内容，因为在实施方式1中详尽地进行了说明，所以在此省略说明。

以上这样在实施了摄像元件的特性校正之后进行缺失像素的插值，因此即使在存在摄像元件的特性的偏差的情况下，也能得到质量高的读取图像。

并且，在缺失像素的插值中，求出缺失像素的插值数据，使得包含缺失像素的多个像素的平均值与不包含缺失像素的多个像素的平均值相等，因此，即使在读取周期性高的图像的情况下，也能够得到质量高的读取图像。

实施方式4

在实施方式1中，对于摄像部1将1行图像信号A1作为串行信号输出的情况进行了说明，如图32所示也可以把1行的图像信号分割为多个并行地输出。一般地在A/D转换部以后，能够比摄像部早动作，所以通过图32这样的结构，能够缩短1行的处理所需的时间。

在图32中，22是摄像部，23是A/D转换部，24是重新排列部。

图33是表示摄像部22的结构的图。在图33中，1行被分割为4部分，从而从接触型影像传感器25并列地输出4个图像信号AS1、AS2、AS3、AS4。图像信号AS1、AS2、AS3、AS4分别对应于1行的4分割后的各部分的像素的列。

图34是表示实施方式4中的A/D转换部23的结构的图。图示的A/D转换部23包含抽样保持电路26、从多个图像信号中选择1个的开关27以及A/D转换器28。

从接触型影像传感器25中输出的对1行进行了4分割后的图像信号AS1～AS4被输入抽样保持电路28(1)～28(4)，以规定的定时对图像信号进行抽样并保持。

开关27依次选择抽样保持电路28(1)～28(4)并输出给A/D转换器28。A/D转换器28将从开关27所输出的图像信号AS1～AS4依次转换为数字数据。此时，开关27依次选择接触型影像传感器25输出的图像信号AS1～AS4的各自1个像素的时间以内的4个信号并输出，A/D转换器28将开关27输出的4个信号转换为数字数据，因此，A/D转换器28的抽样速度以大于等于接触型影像传感器25输出图像信号的速度的4倍来进行动作。

A/D转换器28输出的图像数据与实施方式1同样地被输入特性校正部3，实施黑校正和灵敏度校正。在特性校正部3中被校正后的图像数据被输入重新排列部24，进行图像数据的重新排列。

输入到重新排列部24中的图像数据以接触型影像传感器25输出的图像数据的顺序，即，以被4分割后的位置的像素数据依次排列的状态被输入，因此在主扫描方向不连续。这样对插值运算不便，因此重新排列为在主扫描方向上连续的图像数据。重新排列部24利用SRAM等的临时存储单元，将在主扫描方向上不连续的图像数据连续地重新排列，并向插值部4输出。

输入到插值部4中的图像数据以及插值部4的动作与实施方式1相同。

通过以上这样的结构，能够缩短1行的处理所需的时间。

并且，在上述实施方式4的动作的说明中，对在特性校正部3之后配置重新排列部24的结构进行了说明，但作为在重新排列部24之后配置特性校正部3的结构也能得到相同的效果。

并且，摄像部22的1行的分割数也可以设为4以外的结构，考虑摄像部22中的摄像元件的数量、摄像部22的动作速度以及A/D转换部23以后的动作速度，能够任意选择分割数，以使1行的处理时间缩短。

例如，在摄像部22以最大Fa(MHz)的时钟频率动作，A/D转换部23以后以最大Fb(MHz)动作的情况下，最大的分割数n可以用下式求出。

n＝Int(Fb/Fa)

其中，Int(x)是返回x的整数部分的函数，通过在大于等于2且小于等于n的范围内选择分割数，能够缩短1行的处理所需的时间。

实施方式5

在实施方式1中，示出了关于用于接触型影像传感器的传感器芯片读取单色(例如白黑)的图像、或依次切换多个光源读取彩色图像的情况，但通过摄像元件自身具有彩色滤光片等，也可以构成为在1个传感器芯片上设置对不同颜色具有灵敏度的摄像元件，以单色的光源读取彩色图像。

图35是表示实施方式5的接触型影像传感器的结构的图。在图35所示的接触型影像传感器中，各传感器芯片29对于多个(例如Nc个)不同颜色，例如红(R)、绿(G)、蓝(B)的3色具有灵敏度，因此包含读取不同颜色的图像的多种类的摄像元件(R、G、B)，对上述不同颜色具有灵敏度的多种(Nc种类)摄像元件在一列上以规定的顺序，例如以红/绿、蓝的顺序进行排列。

多个传感器芯片29位于左端的像素的颜色(摄像元件具有灵敏度的颜色)相同(全为红)，位于右端的像素的颜色(摄像元件具有灵敏度的颜色)相同(全为蓝)，配置在各传感器芯片29上的摄像元件的数量与颜色的数量(例如Nc＝3)乘以整数q(图35的例子中q＝3)所得的值(Nc×q)相等。在该情况下，为了不破坏红、绿、蓝的排列顺序，假设在互相邻接的传感器芯片相互之间存在红、绿、蓝的3个缺失像素，来求解它们的插值数据。

当把相同的传感器芯片29上的摄像元件的间隔与实施方式1同样设为dw1时，一个传感器芯片29(1)的右端的读取蓝色图像的摄像元件、与和其邻接的传感器芯片29(2)的左端的读取红色图像的摄像元件之间的间隔配置为大于dw1的dw3。如上所述，配置在传感器芯片29上的摄像元件的种类为Nc种，在传感器芯片29上排列了Nc×q个摄像元件的情况下，通过配置传感器芯片使dw3＝dw1×Nc，能够简化插值部的结构。

插值部的动作构成为仅利用从对相同颜色具有灵敏度的摄像元件所得到的数据，按照颜色进行像素的插值。例如，插值红的缺失像素时，仅使用位于附近的红的非缺失像素，插值绿的缺失像素时，仅使用位于附近的绿的非缺失像素，插值蓝的缺失像素时，仅使用位于附近的蓝的非缺失像素。

图36包含具有图35所示的传感器芯片29的列的摄像部31，是表示实施方式5的图像读取装置的方框图。该图像读取装置除摄像部31之外，还具有A/D转换部2、分配部32、红特性校正部3R、绿特性校正部3G、蓝特性校正部3B、红插值部4R、绿插值部4G以及蓝插值部4B。

摄像部31除参照图35说明的点以外，与实施方式1的摄像部1是相同的。

A/D转换部2将从摄像部31输出的图像信号转换为一连串的数字像素数据。

分配部32分配从A/D转换部2输出的像素数据，向红特性校正部3R提供与来自红的摄像元件的信号相对应的像素数据，向绿特性校正部3G提供与来自绿的摄像元件的信号相对应的像素数据，向蓝特性校正部3B提供与来自蓝的摄像元件的信号相对应的像素数据。

红特性校正部3R、绿特性校正部3G和蓝特性校正部3B对于分别与所提供的来自红、绿、蓝的摄像元件的信号对应的像素数据，进行与实施方式1的特性校正部3同样的特性校正。

红插值部4R、绿插值部4G和蓝插值部4B利用分别来自红特性校正部3R、绿特性校正部3G和蓝特性校正部3B的校正后的像素数据，进行缺失像素的插值。即，红的缺失像素的插值在红插值部4R中，仅根据与来自红的摄像元件的信号对应的像素数据进行，绿的缺失像素的插值在绿插值部4G中，仅根据与来自绿的摄像元件的信号对应的像素数据进行，蓝的缺失像素的插值在蓝插值部4B中，仅根据与来自蓝的摄像元件的信号对应的像素数据进行。

通过以上这样构成，能够削减接触型影像传感器的光源所需的颜色数，并提高读取的处理速度。

实施方式6

图37是表示实施方式6的接触型影像传感器的结构的图。在图37所示的接触型影像传感器中，各传感器芯片30对于多个(例如Nc个)不同颜色，例如红(R)、绿(G)、蓝(B)的3色具有灵敏度，因此包含读取不同颜色的图像的多种摄像元件(R、G、B)，对上述不同颜色具有灵敏度的多种(Nc种)摄像元件在一列上以规定的顺序，例如以红、绿、蓝的顺序进行排列。

多个传感器芯片30位于左端的像素的颜色(摄像元件具有灵敏度的颜色)相同(全为红)，位于右端的像素的颜色(摄像元件具有灵敏度的颜色)相同(全为绿)，配置在各传感器芯片30上的摄像元件的数量等于颜色的数量(例如Nc＝3)乘以整数q(图35的例子中q＝3)再减去1所得的值(Nc×q-1)相等。该情况下，与实施方式35不同，为了不破坏红、绿、蓝的排列的顺序，假设在互相邻接的传感器芯片相互之间存在蓝的缺失像素的数据，来求解它们的插值数据即可。

当把相同的传感器芯片30上的摄像元件的间隔与实施方式1同样地设为dw1时，一个传感器芯片30(1)的右端的读取绿色图像的摄像元件、与和其邻接的传感器芯片30(2)的左端的读取红色图像的摄像元件之间的间隔配置为大于dw1的dw3。如上所述，配置在传感器芯片30上的摄像元件的种类为Nc种，在传感器芯片30上排列了(Nc×q-1)个的摄像元件的情况下，配置传感器芯片使dw3＝dw1×2，从而能够简化插值部4的结构。

这样，在实施方式6中，插值部4仅进行蓝的插值即可，能够简化插值部4的结构。与实施方式5相同，蓝的缺失像素仅使用位于附近的蓝的非缺失像素来进行插值。

图38包含具有图37所示的传感器芯片30的列的摄像部41，是表示实施方式6的图像读取装置的方框图。该图像读取装置除摄像部41之外，还具有A/D转换部2、分配部32、红特性校正部3R、绿特性校正部3G、蓝特性校正部3B和蓝插值部4B。

摄像部41除参照图37说明的点以外，与实施方式1的摄像部1是相同的。

A/D转换部2将从摄像部41输出的图像信号转换为一连串的数字像素数据。

分配部32分配从A/D转换部2输出的像素数据，向红特性校正部3R提供与来自红的摄像元件的信号相对应的像素数据，向绿特性校正部3G提供与来自绿的摄像元件的信号相对应的像素数据，向蓝特性校正部3B提供与来自蓝的摄像元件的信号相对应的像素数据。

红特性校正部3R、绿特性校正部3G和蓝特性校正部3B对于分别与所提供的来自红、绿、蓝的摄像元件的信号对应的像素数据，进行与实施方式1的特性校正部3同样的特性校正。

蓝插值部4B利用来自蓝特性校正部3B的校正后的像素数据，进行缺失像素的插值。

这样，蓝的缺失像素的插值在蓝插值部4B中，仅根据与来自蓝的摄像元件的信号对应的像素数据进行。

关于其它结构与动作，与实施方式5相同。

通过以上这样构成，能够缩短传感器芯片之间的间隔，因此能够提高插值图像的质量。

并且，插值所需的缺失像素数可以比实施方式5的情况更少。

Claims (13)

1.一种图像读取装置，该装置利用使多个摄像元件配置成一列的影像传感器来读取图像，其特征在于，该图像读取装置具有：

摄像部，其将具有多个摄像元件的多个传感器芯片互相连接地配置成一列；

A/D转换部，其将从摄像部输出的图像信号转换为数字像素数据；

特性校正部，其校正所述传感器芯片的摄像元件的特性的偏差；以及

插值部，其对在所述多个传感器芯片相互的连接部中产生的像素数据的缺失进行插值；

所述图像读取装置在通过所述特性校正部校正了所述摄像元件的特性的偏差之后，通过所述插值部进行所述缺失像素的插值处理。

2.根据权利要求1所述的图像读取装置，其特征在于，所述特性校正部在校正所述摄像元件的黑电平的偏差之后校正灵敏度的偏差。

3.根据权利要求1所述的图像读取装置，其特征在于，所述插值部具有至少1个插值电路，该插值电路进行插值，使得包含缺失像素的多个像素的平均值与不包含缺失像素的多个像素的平均值相等，从而求出缺失像素的像素数据。

4.根据权利要求3所述的图像读取装置，其特征在于，

所述插值电路设有多个，将位于所述缺失像素附近的非缺失像素作为插值对象像素来评价在各自的插值电路中进行插值时的插值结果，并利用产生最佳插值结果的插值电路来进行所述缺失像素的插值。

5。根据权利要求3所述的图像读取装置，其特征在于，所述插值电路具有以缺失像素的附近的像素的值的最大值和最小值来限制输出范围的电路。

6。根据权利要求1所述的图像读取装置，其特征在于，来自构成所述影像传感器芯片的各个部分的多个部分的信号被并行地输出；所述A/D转换部具有：对所述并行输出的信号分别进行抽样和保持的多个抽样保持电路；依次选择所述多个抽样保持电路的输出的开关；以及对所述开关的输出进行A/D转换的A/D转换器。

7.根据权利要求1所述的图像读取装置，其特征在于，所述摄像元件包含对不同颜色具有灵敏度的多种摄像元件，对上述不同颜色具有灵敏度的多种摄像元件以规定的顺序来排列；所述插值部仅根据与缺失像素相同颜色的像素的像素数据进行插值处理。

8.一种信号处理方法，该方法用于对通过将多个传感器芯片配置在1列上的摄像部所读取的图像信号进行处理，其特征在于，

在校正了包含在所述图像信号中的所述传感器芯片的摄像元件的特性的偏差之后，对传感器芯片相互的连接部中产生的缺失像素进行插值处理。

9.根据权利要求8所述的信号处理方法，其特征在于，所述特性的偏差的校正包含所述摄像元件的黑电平的偏差的校正和灵敏度的偏差的校正。

10.根据权利要求8所述的信号处理方法，其特征在于，进行所述插值，使得包含缺失像素的多个像素的平均值与不包含缺失像素的多个像素的平均值相等。

11.根据权利要求10所述的信号处理方法，其特征在于，将位于所述缺失像素附近的非缺失像素作为插值对象像素，利用互不相同的数量的像素来进行所述插值，评价该插值结果，利用与被判定为获得评价结果最佳的结果的数量相等的数量的像素，来进行缺失像素的插值。

12.根据权利要求10所述的信号处理方法，其特征在于，所述插值还包含以缺失像素的附近的像素的值的最大值和最小值来限制输出范围。

13.根据权利要求8所述的信号处理方法，其特征在于，

所述摄像元件包含对不同颜色具有灵敏度的多种摄像元件，对上述不同颜色具有灵敏度的多种摄像元件以规定的顺序来排列；

所述插值仅根据与缺失像素相同颜色的像素的像素数据来进行。

Images