CN100350794C - 图像拾取装置及其信号处理方法 - Google Patents

Abstract

一种图像拾取装置(100)，包括：光电转换元件(122)，其将由图像光学系统(110)形成的光学图像进行光电转换，以获得图像数据，读取控制单元(124)，其按需要缩减像素，并读取由光电转换元件(122)获取的图像数据，区域设置单元(132)，其设置输出图像的区域，读取规则选择单元(134)，其选择读取控制单元(124)的像素缩减读取规则，以及变形校正单元(140)，其校正从光电转换元件(122)读取的图像数据的变形。变形校正单元(140)包括：滤波处理单元(142)，其对图像数据进行滤波处理，滤波系数设置单元(144)，其根据像素缩减读取规则设置滤波处理单元(142)的滤波系数。

Description

图像拾取装置及其信号处理方法

发明领域

本发明涉及一种数字图像拾取装置以及，更具体地，涉及一种数字图像拾取装置，其利用比装配在该图像拾取装置上的图像传感器件像素数量更少的像素，快速生成高质量的图像。

技术背景

随着个人电脑的快速普及，将数字相机作为图像输入设备的需求正在增加。并且，广泛地使用如数字视频录像机之类的高质量的录像装置作为视频录像机。

电子照相机的图像质量由几个因素决定。特别地，图像传感元件的像素数量是所感应的图像的分辨率的非常重要的因素。最近的某些商品化的电子照相机具有超过5百万的像素。然而，并不是所有的应用目的都需要5百万像素的数据。显示在互联网的网页上的图像通常，如果有的话，具有较小的像素尺寸。

在目前的数字相机中，从图像传感元件到图像存储器的发送时间(flashing time)是瓶颈。大多数具有大量像素的型号不能进行高速连续拍摄。并且，即使数字相机也需要具有视频感应功能作为一种附加的功能。因此，必须高速完成向存储器的传输。为了这个目的，最好预先减少将要处理的数据量。

如果输出图像的像素数量小于图像传感元件的像素数量，要使用的像素数量是预先限定的。因此，可以减少从图像传感元件传输到存储器的数据量，并且可以增加存储器传输速度。

在利用线性插值的尺寸减小中，利用全部的像素产生具有大尺寸的图像。然后，利用线性插值产生具有小尺寸的图像。

图15显示了一种情形，其中的全彩色缩小图像是利用双线性插值采样从一个拜尔(Bayer)矩阵产生的。在图15显示的双线性插值中，A、B、C和D点的全彩色数据是从12个相邻点的R、G和B数据计算得到的。更具体地，利用R43，R45，R63，R65，B34，B36，B54，B56，G44，G53，G55以及G64的线性组合，得到点A的全彩色数据。类似地，利用R03，R05，R23，R25，B14，B16，B34，B36，G15，G24，G26以及G35的线性组合，得到点B的全彩色数据。此过程同样应用于点C和D。

图16显示了一种情形，其中的全彩色缩小图像是利用双三次插值采样从一个拜尔矩阵产生的。在图16所示的双三次插值中，点的全彩色数据是从48个相邻点的R，G和B数据计算得到的。例如，点B的全彩色数据是利用R61，R63，R65，R67，R01，R03，R05，R07，R21，R23，R25，R27，R41，R43，R45，R47，B72，B74，B76，B70，B12，B14，B16，B10，B32，B34，B36，B30，B52，B54，B56，B50，G75，G04，G06，G13，G15，G17，G22，G24，G26，G20，G33，G35，G37，G44，G46和G55线性组合得到的。

这样利用线性插值调整尺寸可以确保高的图像质量。然而，由于使用全部像素数据进行插值，运算量大。因此，此方法对于上述的连续拍摄功能或者视频传感并不合适。

有一种减少存储器读取数据量的方法，其中图像传感元件增加了积分功能，从而使得能够通过读出少量的平均数据产生缩小的图像。日本专利申请公开No.2001-245141公报公开了使用此方法的一种高速图像缩小方法。

日本专利申请公开No.2001-016441公报公开了一种装置，进行数据缩减(thinning)并且也校正在分辨率数量受限制时的数据变形。此参考文献的一个实施例公开了利用具有600dpi分辨率的装置创建400-dpi数据。当直接缩减600-dpi数据时，数据发生变形。为了解决这个问题，利用线性插值从该600-dpi数据中产生像素数据，用于补偿位置变形。

在日本专利申请公开No.2001-245141公报中公开的方法对于缩减比率约为20％或者更少的缩小是有效的。然而，在高缩减比率(大约40％或者更高)的缩小中，仅仅通过积分平均不能消除读出像素位置造成的图像变形。因此，当在大范围内以缩小尺寸改变尺寸时，难以形成高质量的图像。

日本专利申请公开No.2001-16441公报中公开的装置，通过利用扫描获得的600-dpi数据完全地进行插值，创建了400-dpi数据。本发明公开了一种关于隔行扫描的新技术，其处理由于读取时间的限制，基本分辨率数据(在日本专利申请公开No.2001-16441公报中，通过扫描获得的600-dpi的数据)不能被全部读取的情况。例如，在日本专利申请公开No.2001-16441公报中，从图6(b)所示的缩减数据阵列创建没有变形的数据阵列。

发明内容

根据本发明的图像拾取装置包括图像传感器件。该图像传感器件包括：光电转换元件，其将光学图像进行光电转换，以获得图像数据；以及读取控制单元，其按照需要缩减像素，并读取由光电转换元件获得的图像数据。该图像拾取装置进一步包括：区域设置单元，其设置来自图像传感器件的输出图像的区域；读取规则选择单元，其根据区域设置单元的区域设置，选择读取控制单元的像素缩减读取规则，以及一个变形校正单元，其校正由读取控制单元从光电转换器件读取的图像数据的变形。该变形校正单元包括滤波处理单元，其基于由读取规则选择单元选择的像素缩减读取规则，对从光电转换元件读取的图像数据进行滤波处理。

附图简述

图1为示出了根据本发明的第一实施例的图像拾取装置的设置的框图；

图2示出了一个例子，其中的图像在垂直方向上具有经过14/16缩小变换的RG/GB拜尔矩阵；

图3示出了一种情形，其中变换前的16个像素中从上侧起第八和第九像素数据在图2所示的转换中的被忽略；

图4示出了一个例子，例子中在水平和垂直方向上均缩减了16个像素中的两个；

图5示出了对像素数据左侧第一列的数据的进行变形校正的变换，其中该像素数据根据图4所示的例子进行了缩减；

图6示出了用于包括单芯片彩色图像传感元件的光电转换元件的滤波处理单元的设置；

图7示出了用于包括单色图像传感元件或者多芯片彩色图像传感元件的光电转换元件的滤波处理单元的设置；

图8为流程图，示出了变形校正处理的流程；

图9示出了一个例子，其中在水平和垂直方向上均缩减了8个像素中的两个；

图10为示出了根据本发明的第二实施例的图像拾取装置的设置的框图；

图11示出了利用重复6/8缩减读取的读取中的帧读取范围，其中读取范围的读取开始位置与光电转换元件的像素矩阵的左上像素相对应；

图12示出了利用重复6/8缩减读取的读取中的帧读取范围，其中读取范围的读取结束位置与光电转换元件的像素矩阵的右下像素相对应；

图13示出了通过对14像素中的两个进行缩减读取(6/7尺寸变化)然后进行连续帧之间的平均化处理而获得的图像；

图14示出了通过在对14像素中的两个进行缩减读取(6/7尺寸变化)同时进行变形校正(像素数据插值)，然后在连续帧之间进行平均化处理而获得的图像；

图15示出了一种情形，其中的全彩色缩减图像是利用双线性插值采样从一个拜尔矩阵产生的；

图16示出了一种情形，其中的全彩色缩减图像是利用双三次插值采样从一个拜尔矩阵产生的；以及

图17为示出了根据本发明的第三实施例的图像拾取装置的设置的框图。

发明详述

下面将参照附图描述本发明的实施例。

第一实施例

图1示出了根据本发明第一实施例的图像拾取装置的设置。图像拾取装置100具有成像光学系统110和图像传感器件120。成像光学系统110形成物体的光学图像。图像传感器件120在由成像光学系统110形成的光学图像的预定区域中输出一个图像信号。图像传感器件120具有二维光电转换元件(图像传感元件)122和读取控制单元124。该光电转换元件122对由成像光学系统110形成的光学图像进行光电转换并获取数字图像数据(像素数据组)。该读取控制单元124按需要对由光电转换元件122获得的图像数据进行像素缩减，并读取该图像数据。

图像拾取装置100还具有区域设置单元132，读取规则选择单元134，以及变形校距单元140。区域设置单元132设置图像的区域(即，上述的预定区域)阐于输出(显示)(即，指定要显示的图像的尺寸和位置)。根据由区域设置单元132设置的区域，读取规则选择单元134选择读取控制单元124的像素缩减读取规则。变形校正单元140校正通过读取控制单元124从光电转换元件122读取的数字图像数据的变形。

在由读取规则选择单元134选择的像素缩减读取规则的基础上，读取控制单元124读取相应于在光电转换元件122的像素矩阵范围的像素数据。结果，从图像传感器件120输出缩减的图像数据。

变形校正单元140具有滤波处理单元142和滤波系数设置单元144。滤波处理单元142对通过读取控制单元124从光电转换元件122读取的数字图像数据进行滤波处理。根据由读取规则选择单元134选择的像素缩减读取规则，滤波系数设置单元144设置用于使用滤波处理单元142进行的滤波处理的滤波系数。

滤波系数设置单元144具有LUT存储单元146和滤波系数选择单元148。LUT存储单元146存储包含有多个滤波系数的查找表(LUT)。滤波系数选择单元148从存储在LUT存储单元146中的查找表中选择滤波系数。

滤波系数设置单元144不必一定有LUT存储单元146和滤波系数选择单元148。滤波系数设置单元144可以通过进行相应于由读取规则选择单元134选择的像素缩减读取规则的运算处理，从而计算滤波系数。

虽然运算处理的工作量可能不大，但是使用LUT的滤波系数设置单元144需要一个大的存储容量来存储LUT。另一方面，尽管运算处理的工作量大，不使用LUT的滤波系数设置单元144也不需要大的存储容量。

图像拾取装置100还具有图像信号处理单元152和图像显示单元154。图像信号处理单元152对来自变形校正单元140输出的变形校正后的图像信号输出进行预定的处理(例如，白平衡，灰度级转换，或者边缘增强)。图像显示单元154根据来自图像信号处理单元152输出的图像信号而显示图像。此外，图像拾取装置100具有图像记录单元156，其根据图像信号处理单元152输出的图像信号记录图像。

当区域设置单元132没有设置区域时，图像拾取装置100在图像显示单元154上直接显示由光电转换元件122获得的图像数据。即，显示所有的图像数据的像素数据。因此，图像显示单元154显示与成像光学系统110形成的光学图像相同的图像。

区域设置单元132包括，例如，图形用户接口(GUI)，用于图像显示单元154的屏幕。因此，通过在显示在图像显示单元154屏幕上的图像上操作按钮或者鼠标，用户可以指定期望的范围。

图像传感器件120可以进行缩减读取操作。利用缩减读取操作，图像传感器件120可以在比读取所有像素更短的时间内读取在光电转换元件122上的指定区域内的像素。

例如，当光电转换元件122为使用CMOS的图像传感元件时，图像传感器件120可以通过在水平和垂直方向上都使用位移寄存器，指定一个读取位置。

更具体地，将第j行的第i个元素定义为C(i，j)。从这里开始，水平方向上的像素定义为C(i+1，j)，C(i+2，j)，C(i+3，j)，C(i+4，j)，C(i+5，j)，C(i+6，j)，C(i+7，j)，C(i+8，j)，...在这种情况下，可以在任意水平位置缩减和读取数据，如C(i+1，j)，C(i+2，j)，C(i+3，j)，C(i+4，j)，C(i+7，j)，C(i+8，j)，...。

这同样可以应用于垂直方向。在行方向上排列的像素，即，第j行，第(j+1)行，第(j+2)行...可以在任意行被缩减。

当光电转换元件122为CCD时，其在水平方向上进行电荷转移时读取数据。由于这个原因，图像传感器件120读取在水平方向上的所有像素，但是可以在垂直方向上缩减数据。

变形校正单元140使用忽略的信息插值缩减的数字图像数据，并还进行用于尺寸变换的滤波处理。即，在此说明书中，变形校正意味着同时进行“插值”和“尺寸变换”。

在上述的双线性插值中(图15)，如果尺寸变换限于有理数(整数之比)，并重复两次线性插值，算法得到简化。图2示出了一个例子，其中具有RG/GB拜尔矩阵的图像在水平方向上经受14/16的缩减变换。参照图2，上面的部分说明了在缩减变换之前的一维像素数据阵列，下面的部分说明了在缩减变换之后的一维像素数据阵列。

此变换可以由下面给出的矩阵表达。

$\left(\begin{array}{c}{\mathrm{Rc}}_0\\ {\mathrm{Gc}}_1\\ {\mathrm{Rc}}_2\\ {\mathrm{Gc}}_3\\ {\mathrm{Rc}}_4\\ {\mathrm{Gc}}_5\\ {\mathrm{Rc}}_6\\ {\mathrm{Gc}}_7\\ {\mathrm{Rc}}_8\\ {\mathrm{Gc}}_9\\ {\mathrm{Rc}}_{10}\\ {\mathrm{Gc}}_{11}\\ {\mathrm{Rc}}_{12}\\ {\mathrm{Gc}}_{13}\end{array}\right)\left(\begin{array}{cccccccccccccccc}1& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& \frac{13}{14}& 0& \frac{1}{14}& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& \frac{12}{14}& 0& \frac{2}{14}& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& \frac{11}{14}& 0& \frac{3}{14}& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& \frac{10}{14}& 0& \frac{4}{14}& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& \frac{9}{14}& 0& \frac{5}{14}& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& \frac{9}{14}& 0& \frac{6}{14}& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& \frac{7}{14}& 0& \frac{7}{14}& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& \frac{6}{14}& 0& \frac{6}{14}& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& \frac{5}{14}& 0& \frac{9}{14}& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& \frac{4}{14}& 0& \frac{10}{14}& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& \frac{3}{14}& 0& \frac{11}{14}& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& \frac{2}{14}& 0& \frac{12}{14}& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& \frac{1}{14}& 0& \frac{13}{14}\end{array}\right)\left(\begin{array}{c}{\mathrm{Ri}}_0\\ {\mathrm{Gi}}_1\\ {\mathrm{Ri}}_2\\ {\mathrm{Gi}}_3\\ {\mathrm{Ri}}_4\\ {\mathrm{Gi}}_5\\ {\mathrm{Ri}}_6\\ {\mathrm{Gi}}_7\\ {\mathrm{Ri}}_8\\ {\mathrm{Gi}}_9\\ {\mathrm{Ri}}_{10}\\ {\mathrm{Gi}}_{11}\\ {\mathrm{Ri}}_{12}\\ {\mathrm{Gi}}_{13}\\ {\mathrm{Ri}}_{14}\\ {\mathrm{Gi}}_{15}\end{array}\right)...\left(1\right)$

在等式(1)中，Ri_2p和Gi_2p+1(p为整数，0≤p≤7)代表光电转换元件122中水平方向上连续排列的像素的像素数据，并具有相应于在水平方向排列的像素位置的连续下标。Rc_2q和Gc_2q+1(q为整数，0≤q≤6)代表转换后的像素数据，并具有相应于在水平方向排列的像素位置的连续下标。

例如，使用Ri₂和Ri₄，变换后的Rc₂表示为：

${\mathrm{Rc}}_2=\frac{12}{14}{\mathrm{Ri}}_2+\frac{2}{14}{\mathrm{Ri}}_4...\left(2\right)$

等式(1)一般地表达了从16个像素到14个像素的变换，其中每一像素以上述的方式变换。

图3示出了变换前16个像素的状态，在图2所示的变换中从左侧起第八和第九像素数据被忽略。在此情况下，通过利用相同通道的像素数据Ri₆和Ri₁₀以及Gi₉和Gi₁₁，根据

${\mathrm{Ri}}_8=\frac{{\mathrm{Ri}}_6+{\mathrm{Ri}}_{10}}{2},{\mathrm{Gi}}_9=\frac{{\mathrm{Gi}}_7+{\mathrm{Gi}}_{11}}{2}...\left(3\right)$

被忽略的像素数据Ri₈和Gi₉被线性插值。

如果根据等式(3)替换等式(1)中的Ri₈和Gi₉，我们得到

$\left(\begin{array}{c}{\mathrm{Rc}}_0\\ {\mathrm{Rc}}_1\\ {\mathrm{Rc}}_2\\ {\mathrm{Rc}}_3\\ {\mathrm{Rc}}_4\\ {\mathrm{Rc}}_5\\ {\mathrm{Rc}}_6\\ {\mathrm{Rc}}_7\\ {\mathrm{Rc}}_8\\ {\mathrm{Rc}}_9\\ {\mathrm{Rc}}_{10}\\ {\mathrm{Rc}}_{11}\\ {\mathrm{Rc}}_{12}\\ {\mathrm{Rc}}_{13}\end{array}\right)\left(\begin{array}{cccccccccccccccc}1& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& \frac{13}{14}& 0& \frac{1}{14}& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& \frac{12}{14}& 0& \frac{2}{14}& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& \frac{11}{14}& 0& \frac{3}{14}& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& \frac{10}{14}& 0& \frac{4}{14}& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& \frac{9}{14}& 0& \frac{5}{14}& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& \frac{8}{14}& 0& \frac{6}{14}& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& \frac{7}{14}& 0& \frac{7}{14}& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& \frac{6}{14}& 0& \frac{8}{14}& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& \frac{5}{14}& 0& \frac{9}{14}& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& \frac{4}{14}& 0& \frac{10}{14}& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& \frac{3}{14}& 0& \frac{11}{14}& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& \frac{2}{14}& 0& \frac{12}{14}& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& \frac{1}{14}& 0& \frac{13}{14}\end{array}\right)\left(\begin{array}{c}{\mathrm{Ri}}_0\\ {\mathrm{Gi}}_1\\ {\mathrm{Ri}}_2\\ {\mathrm{Gi}}_3\\ {\mathrm{Ri}}_4\\ {\mathrm{Gi}}_5\\ {\mathrm{Ri}}_6\\ {\mathrm{Gi}}_7\\ \frac{{\mathrm{Ri}}_6+{\mathrm{RI}}_{10}}{2}\\ \frac{{\mathrm{Gi}}_7+{\mathrm{Gi}}_{11}}{2}\\ {\mathrm{Ri}}_{10}\\ {\mathrm{Gi}}_{11}\\ {\mathrm{Ri}}_{12}\\ {\mathrm{Gi}}_{13}\\ {\mathrm{Ri}}_{14}\\ {\mathrm{Gi}}_{15}\end{array}\right)....\left(4\right)$

等式(4)右侧的十六数据阵列Ri₀，Gi₁，...，Ri₁₄和Gi₁₅可以表示为

$\left(\begin{array}{c}{\mathrm{Ri}}_0\\ {\mathrm{Gi}}_1\\ {\mathrm{Ri}}_2\\ {\mathrm{Gi}}_3\\ {\mathrm{Ri}}_4\\ {\mathrm{Gi}}_5\\ {\mathrm{Ri}}_6\\ {\mathrm{Gi}}_7\\ \frac{{\mathrm{Ri}}_6+{\mathrm{Ri}}_{10}}{2}\\ \frac{{\mathrm{Gi}}_7+{\mathrm{Gi}}_{11}}{2}\\ {\mathrm{Ri}}_{10}\\ {\mathrm{Gi}}_{11}\\ {\mathrm{Ri}}_{12}\\ {\mathrm{Gi}}_{13}\\ {\mathrm{Ri}}_{14}\\ {\mathrm{Gi}}_{15}\end{array}\right)\left(\begin{array}{cccccccccccccc}1& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 1& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 1& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 1& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 1& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 1& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 1& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 1& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& \frac{1}{2}& 0& \frac{1}{2}& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& \frac{1}{2}& 0& \frac{1}{2}& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 1& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& 1& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 1& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 1& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 1& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 1\end{array}\right)\left(\begin{array}{c}{\mathrm{Ri}}_0\\ {\mathrm{Gi}}_1\\ {\mathrm{Ri}}_2\\ {\mathrm{Gi}}_3\\ {\mathrm{Ri}}_4\\ {\mathrm{Gi}}_5\\ {\mathrm{Ri}}_6\\ {\mathrm{Gi}}_7\\ {\mathrm{Ri}}_{10}\\ {\mathrm{Gi}}_{11}\\ {\mathrm{Ri}}_{12}\\ {\mathrm{Gi}}_{13}\\ {\mathrm{Ri}}_{14}\\ {\mathrm{Gi}}_{15}\end{array}\right)....\left(5\right)$

如果将其代入等式(4)中，我们得到

如果计算等式(6)中矩阵的乘积，我们得到

$\left(\begin{array}{c}{\mathrm{Rc}}_0\\ {\mathrm{Gc}}_1\\ {\mathrm{Rc}}_2\\ {\mathrm{Gc}}_3\\ {\mathrm{Rc}}_4\\ {\mathrm{Gc}}_5\\ {\mathrm{Rc}}_6\\ {\mathrm{Gc}}_7\\ {\mathrm{Rc}}_8\\ {\mathrm{Gc}}_9\\ {\mathrm{Rc}}_{10}\\ {\mathrm{Gc}}_{11}\\ {\mathrm{Rc}}_{12}\\ {\mathrm{Gc}}_{13}\end{array}\right)\left(\begin{array}{cccccccccccccccc}1& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& \frac{13}{14}& 0& \frac{1}{14}& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& \frac{12}{14}& 0& \frac{2}{14}& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& \frac{11}{14}& 0& \frac{3}{14}& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& \frac{10}{14}& 0& \frac{4}{14}& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& \frac{9}{14}& 0& \frac{5}{14}& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& \frac{9}{14}& 0& \frac{6}{14}& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& \frac{7}{14}& 0& \frac{7}{14}& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& \frac{6}{14}& 0& \frac{6}{14}& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& \frac{5}{14}& 0& \frac{9}{14}& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& \frac{4}{14}& 0& \frac{10}{14}& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& \frac{3}{14}& 0& \frac{11}{14}& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& \frac{2}{14}& 0& \frac{12}{14}& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& \frac{1}{14}& 0& \frac{13}{14}\end{array}\right)\left(\begin{array}{c}{\mathrm{Ri}}_0\\ {\mathrm{Gi}}_1\\ {\mathrm{Ri}}_2\\ {\mathrm{Gi}}_3\\ {\mathrm{Ri}}_4\\ {\mathrm{Gi}}_5\\ {\mathrm{Ri}}_6\\ {\mathrm{Gi}}_7\\ {\mathrm{Ri}}_8\\ {\mathrm{Gi}}_9\\ {\mathrm{Ri}}_{10}\\ {\mathrm{Gi}}_{11}\\ {\mathrm{Ri}}_{12}\\ {\mathrm{Gi}}_{13}\\ {\mathrm{Ri}}_{14}\\ {\mathrm{Gi}}_{15}\end{array}\right)....\left(7\right)$

此变换等效于等式(4)，并且有相应于14个像素数据输入的14个像素数据输出。换句话说，经过14/16缩减变换后，此变换从除像素数据Ri₈和Gi₉之外的14个像素数据中，获得了14个像素数据。

图4示出了一个例子，其中在水平和垂直两个方向上缩减了16个像素中的两个。在这个例子中，在水平和垂直两个方向上的第八和第九像素被缩减。

图5示出了根据图4中示出的例子缩减的像素数据的左侧第一列的变换。如图5所示，在垂直方向上实际读取的像素数据为14个数据：Ri₀，Gi₁，Ri₂，Gi₃，Ri₄，Gi₅，Ri₆，Gi₇，Ri₁₀，Gi₁₁，Ri₁₂，Gi₁₃，Ri₁₄，以及Gi₁₅。

等式(7)等效于一种变换，经过14/16缩减变换后，此变换从除去被缩减的第八(第八行)和第九(第九行)像素数据外的14个像素数据中，获得了14个像素数据。

从由等式(7)的矩阵表达的线性运算的等式中，可以清楚地知道，由于进行了像素缩减，在变形校正后不同位置上的像素数据Rc₆和Rc₈由原始像素数据Ri₆和Ri₁₀的加权线性和表示，由

${\mathrm{Rc}}_6=\frac{11}{14}{\mathrm{Ri}}_6+\frac{3}{14}{\mathrm{Ri}}_{10}$

${\mathrm{Rc}}_8=\frac{3}{14}{\mathrm{Ri}}_6+\frac{11}{14}{\mathrm{Ri}}_{10}...\left(8\right)$

表示。用于获得像素数据Rc₈的像素数据与用于获得像素数据Rc₆的像素数据相同。更具体地，用于获得像素数据Rc₈的像素数据，与此之前(即，相位发生变化)用于获得从像素数据Rc₁到Rc₆的像素数据的顺序不同。这同样应用在像素数据Gc₇和Gc₉上。

如图5所示，实际读取的像素数据为14个数据：Ri₀，Gi₁，Ri₂，Gi₃，Ri₄，Gi₅，Ri₆，Gi₇，Ri₁₀，Gi₁₁，Ri₁₂，Gi₁₃，Ri₁₄，以及Gi₁₅。这些数据由Rj₀，Gj₁，Ri₂，Gj₃，Rj₄，Gj₅，Rj₆，Gj₇，Rj₈，Gj₉，Rj₁₀，Gj₁₁，Rj₁₂，以及Gj₁₃给出。即：

$\left(\begin{array}{c}{\mathrm{Ri}}_0\\ {\mathrm{Gi}}_1\\ {\mathrm{Ri}}_2\\ {\mathrm{Gi}}_3\\ {\mathrm{Ri}}_4\\ {\mathrm{Gi}}_5\\ {\mathrm{Ri}}_6\\ {\mathrm{Gi}}_7\\ {\mathrm{Ri}}_{10}\\ {\mathrm{Gi}}_{11}\\ {\mathrm{Ri}}_{12}\\ {\mathrm{Gi}}_{13}\\ {\mathrm{Ri}}_{14}\\ {\mathrm{Gi}}_{15}\end{array}\right)\left(\begin{array}{c}{\mathrm{Rj}}_0\\ {\mathrm{Gj}}_1\\ {\mathrm{Rj}}_2\\ {\mathrm{Gj}}_3\\ {\mathrm{Rj}}_4\\ {\mathrm{Gj}}_5\\ {\mathrm{Rj}}_6\\ {\mathrm{Gj}}_7\\ {\mathrm{Rj}}_8\\ {\mathrm{Gj}}_9\\ {\mathrm{Rj}}_{10}\\ {\mathrm{Gj}}_{11}\\ {\mathrm{Rj}}_{12}\\ {\mathrm{Gj}}_{13}\end{array}\right)...\left(9\right)$

如上所述，Ri_2p和Gi_2p+1(p为整数，0≤p≤7)代表在光电转换元件122中排列在水平方向上的像素的像素数据。不连续的下标代表在读取中被缩减的数据。Rj_2r和Gj_2r+1(r为整数，0≤r≤6)代表像素缩减读取实际读取的像素，并且具有相应于读取顺序的连续下标。

当用等式(9)带入等式(7)，我们得到

$\left(\begin{array}{c}{\mathrm{Rc}}_0\\ {\mathrm{Gc}}_1\\ {\mathrm{Rc}}_2\\ {\mathrm{Gc}}_3\\ {\mathrm{Rc}}_4\\ {\mathrm{Gc}}_5\\ {\mathrm{Rc}}_6\\ {\mathrm{Gc}}_7\\ {\mathrm{Rc}}_8\\ {\mathrm{Gc}}_9\\ {\mathrm{Rc}}_{10}\\ {\mathrm{Gc}}_{11}\\ {\mathrm{Rc}}_{12}\\ {\mathrm{Gc}}_{13}\end{array}\right)\left(\begin{array}{cccccccccccccccc}1& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& \frac{13}{14}& 0& \frac{1}{14}& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& \frac{12}{14}& 0& \frac{2}{14}& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& \frac{11}{14}& 0& \frac{3}{14}& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& \frac{10}{14}& 0& \frac{4}{14}& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& \frac{9}{14}& 0& \frac{5}{14}& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& \frac{9}{14}& 0& \frac{6}{14}& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& \frac{7}{14}& 0& \frac{7}{14}& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& \frac{6}{14}& 0& \frac{6}{14}& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& \frac{5}{14}& 0& \frac{9}{14}& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& \frac{4}{14}& 0& \frac{10}{14}& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& \frac{3}{14}& 0& \frac{11}{14}& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& \frac{2}{14}& 0& \frac{12}{14}& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& \frac{1}{14}& 0& \frac{13}{14}\end{array}\right)\left(\begin{array}{c}{\mathrm{Ri}}_0\\ {\mathrm{Gi}}_1\\ {\mathrm{Ri}}_2\\ {\mathrm{Gi}}_3\\ {\mathrm{Ri}}_4\\ {\mathrm{Gi}}_5\\ {\mathrm{Ri}}_6\\ {\mathrm{Gi}}_7\\ {\mathrm{Ri}}_8\\ {\mathrm{Gi}}_9\\ {\mathrm{Ri}}_{10}\\ {\mathrm{Gi}}_{11}\\ {\mathrm{Ri}}_{12}\\ {\mathrm{Gi}}_{13}\\ {\mathrm{Ri}}_{14}\\ {\mathrm{Gi}}_{15}\end{array}\right)....\left(10\right)$

此变形校正变换从利用像素缩减读取而实际顺序读取的14个像素，获得14/16缩减变换之后的14个像素数据。

上述的线性变形校正可以以下面的方式扩展至二维阵列。

等式(10)表示为

C＝A·B                                 ...(11)

其中，A为进行线性变形补偿(即，在上述的例子中，针对利用缩减16个像素中的两个得到的14个像素数据的变形补偿)的变换矩阵，B为代表变形补偿之前像素数据的n(行)×1(列)的矩阵，C为代表变形补偿之后像素数据的n(行)×1(列)的矩阵。图4中所示的读取数据用矩阵D_i表示为

等式(12)中，在被省略的部分下面划线。假设D₀为均匀的14(像素)×14(像素)阵列。在水平方向的变形校正之后，用于垂直方向上的变形校正的变换，利用在等式(11)中的A表示为

D_C＝A·A^T·D_i          ...(13)

其中A^T为A的转置矩阵。

该线性校正变换，即，从等式(4)到等式(7)的重写，也可以如下看待。

(1)当在位置X的像素数据被读取，并且在位置X+2的像素数据也被读取时，等式(4)中的系数直接被用作像素数据的加权系数。

(2)当在位置X的像素数据被读取，并且在位置X+2的像素数据未被读取，而在位置X+4的像素数据被读取作为代替时。在位置X的像素数据的加权系数x变为x′＝0.5(x+1)。在位置X+4的像素数据的加权系数为变化的系数x′到1的残差，即1-x′。

(3)当在位置X的像素数据未被读取，并且在位置X+2的像素数据被读取时，位置X的读取位置前移两位到X-2。在位置X-2的像素数据的加权系数x变为x′＝0.5x。在位置X+2的像素数据的加权系数为变化的系数到1的残差，即1-x′。

因此，通过使用CPU的运算处理功能可以从读取规则直接计算出变形校正系数，从而替代了通过利用查找表(LUT)使像素的读取位置对应于校正系数进行变形校正。

单芯片彩色图像传感元件的概括

图6示出了滤波处理单元的配置，其对光电转换元件122利用流水线处理进行等式(7)表达的变换，其中在光电转换元件112中包括设置在前表面上的、具有彩色滤波器阵列(CFA)的单芯片彩色图像传感元件。

此滤波处理单元具有一个移位寄存器162，两个选择器164和166，两个乘法器174和176，以及一个加法器178。从单芯片彩色图像传感元件读取的图像信号输入到移位寄存器162。选择器164和166选择读取位置，在该位置从移位寄存器162中读出图像信号。乘法器174和176分别用校正系数k1和k2乘以由选择器164和166从移位寄存器162中读出的图像信号。加法器178将来自两个乘法器174和176的运算结果相加。该滤波处理单元利用流水线处理，校正从单芯片彩色图像传感元件读出的图像信息的变形，流水线处理中输入数据的数量与输出数据的数量相等。

参照图6，通过使用由等式(18)(将在后面说明)定义的变换矩阵的元素b_i，j，变形校正系数k1和k2以及选择器的选择控制信号s1和s2如下表示：

k_i1＝b_ih|b_i1|1＜h＝0   ...(14)

这里k_i1为矩阵第i行左端的非零元素(b_i1||1＜h＝0代表第i行中从第一个到第h个元素全部为零)；

k_i2＝1-k_i1      ...(15)

这里k_i2为矩阵的k_i1到1的残差；

if(i＝＝h|b_i1|1＜h＝0)

s1＝s2＝0            ...(16)

当i＝h时，没有读取移位出现，并且s1＝s2＝0；

elseif(i＝＝h-1|b_i1|1＜h＝0)

s1＝s2＝1

                   ...(17)

当i＝h-2时，读取中移动了两个像素，并且s1＝s2＝1。图6中的读取按照这种方式转换。

选择器的数量随着读取的位移量(i-h)增加(图6示出了对应于两个像素位移量的例子)。

下标 i代表图6中所示的滤波处理单元进行的流水线处理的序号，k_i1代表在第 i序列的系数。在下标 i和 j之间的差别代表了关于由选择器164和166选择的位置的选择标准，在此位置，数据将从移位寄存器162中被读出。

元素b_i，j由下式定义

Pi_i和Qi_i+1代表在变形校正之前的第i个和第(i+1)个像素数据，Pc_i和Qc_i+1代表校正后的像素数据，b_i，j代表变形校正变换矩阵的一个元素(变形校正系数)。

在前表面配置有彩色滤波器阵列(CFA)的单芯片彩色图像传感元件中，图像数据具有拜尔矩阵颜色(Bayer matrix colors)。P与Q(Pi与Qi，Pc与Qc)具有关系P≠Q(Pi≠Qi，Pc≠Qc)。它们中的每一个对应于R，G，和B通道中的一个。读取的连续性如下分类。

(1)当Pi_i，Qi_i+1，Pi_i+2，和Qi_i+3为连续数据

b_i，i-D-2F＝a_i，i-2F，b_i，i-D-2F+2＝1-b_i，i-D-2F

b_i+1，i-D-2F＝a_i，i-2F，b_i，i-D-2F+2＝1-b_i+1，i-D-2F

b_i，j＝0，j≠i-D-2F，i-D-2F+2                 ...(19)

b_i+1，j＝0，j≠i-D-2F+1，i-D-2F+3

这里a_i，j由等式(23)(将在后面说明)表示。直到在成像器件上的 m个连续像素块中读取的 n个像素中的第i个像素被读出时，被缩减的像素数目为D。F为小于Wi的最大整数(F≤0)，定义为

$\mathrm{Wi}=\frac{n-\frac{(m-n)}{2}i}{n}...\left(20\right)$

(2)当Pi_i与Qi_i+1为某一缩减像素前面的两个像素时

b_i，i-D-2F＝0.5(a_i，i-2F+1)，b_i，i-D-2F+2＝1-b_i，i-D-2F

b_i+1，i-D-2F＝0.5(a_i+1，i-2F+1+1)，b_{i+1，i-D-2F+3}＝b_i+1，i-D-2F

b_i，j＝0，j≠i-D-2F，i-D-2F+2                  ...(21)

b_i+1，j＝0，j≠i-D-2F+1，i-D-2F+3

(3)当Pi_i与Qi_i+1为某一缩减像素后面的两个像素时

b_i，i-D-2F＝0.5a_i，i-2F，b_i，i-D-2F+2＝1-b_i，i-D-2F

b_i+1，i-D-2F＝0.5a_i+1，i-2F+1，b_{i+1，i-D-2F+3}＝1-b_i+1，i-D-2F

b_i，j＝0，j≠i-D-2F，i-D-2F+2                   ...(22)

b_i+1，j＝0，j≠i-D-2F+1，i-D-2F+3

这里a_i，j为变换中的n(行)×m(列)矩阵的系数，此变换通过线性插值进行n/m(n＜m)的尺寸改变，并且表示为

Pi₁和Qi_i+1为在尺寸变换之前的第i个和第(i+1)个像素数据，Po_i和Qo_i+1为变换后的像素数据，a_i，j为变换矩阵的一个元素(尺寸变换的线性插值系数)。

元素a_i，j由

a_i，i-F＝W_i′，a_i，i-F+1＝1-W_i′，a_i，j＝0  j≠i-F，i-F+1  ...(24)给出。这里W_i′由

W_i′＝Wi-F                                                 ...(25)

给出。如上所述，Wi由等式(20)定义，并且F为小于Wi的最大整数(F≤0)。

单色图像传感元件或者多芯片彩色图像传感元件的概括

图7示出了滤波处理单元的配置，其针对包括单色图像传感元件或者多芯片彩色图像传感元件的光电转换元件122，利用流水线处理进行等式(7)表达的变换。

此滤波处理单元具有一个移位寄存器182，两个选择器184和186，两个乘法器194和196，以及一个加法器198。从单色图像传感元件或者多芯片彩色图像传感元件读取的图像信号被输入到移位寄存器182。选择器184和186选择读取位置，在该位置从移位寄存器182中读出图像信号。乘法器194和196分别用校正系数k1和k2乘以由选择器184和186从移位寄存器182中读出的图像信号。加法器198将来自两个乘法器194和196的运算结果相加。该滤波处理单元利用流水线处理，校正从单色图像传感元件或者多芯片彩色图像传感元件读出的图像信息的变形，流水线处理中输入数据的数量与输出数据的数量相等。

参照图7，通过使用由等式(30)(将在后面说明)定义的变换矩阵元素b_i，j，变形校正系数k1和k2以及选择器的选择控制信号s1和s2如下表示：

k_i1＝b_ih|b_i1|1＜h＝0       ...(26)

这里k_i1为矩阵第i行左端的非零元素(b_i1||1＜h＝0代表第i行中从第一个到第h个元素全部为零)；

k_i2＝1-k_i1                 ...(27)

这里k_i2为矩阵的k_i1到1的残差；

if(i＝＝h|b_i1|1＜h＝0)

s1＝s2＝0

                            ...(28)

当i＝h时，没有读取移位存在，并且s1＝s2＝0；

elseif(i＝＝h-1|b_i1|1＜h＝0)

s1＝s2＝1

                            ...(29)

当i＝h-2时，读取中移动了一个像素，并且s1＝s2＝1。图7中的读取按照这种方式转换。

选择器的数量随着读取的位移量(i-h)增加(图7示出了对应于一个像素位移量的例子)。

下标 i代表图7中所示的滤波处理单元进行的流水线处理的序号，k_i1代表在第 i序列的系数。在下标 i和 j之间的差别代表了关于由选择器184和186选择的位置的选择标准，在此位置数据将从移位寄存器182中被读出。

元素b_i，j由下式定义：

Pi_i代表在变形校正之前的第i个像素数据，Pc_i代表校正后的像素数据，b_i，j代表变形校正变换矩阵的一个元素(变形校正系数)。

在单色图像传感元件或者多芯片彩色图像传感元件中，读取的连续性如下分类。

(1)当Pi_i和Pi_i+1为连续数据

b_i，i-D-F＝a_i，i-F，b_i，i-D-F+1＝1-b_i，i-D-F

b_i，j＝0，j≠i-D-F，i-D-F+1                     ...(31)

这里a_i，j由等式(35)(将在后面说明)表示。直到在成像器件上的 m个连续像素块中读取的 n个像素中的第i个像素被读出时，被缩减的像素数目为D。F为小于Wi的最大整数(F≤0)，由

$\mathrm{Wi}=\frac{n-(m-n)i}{n}...\left(32\right)$

定义。

(2)当Pi_i为某一缩减像素前面的像素时

b_i，i-D-F＝0.5(a_i，i-F+1)，b_i，i-D-F+1＝1-b_i，i-D-2F

b_i，j＝0，j≠i-D-F，i-D-F+1                     ...(33)

(3)当Pi_i为某一缩减像素后面的像素时

b_i，i-D-F＝0.5a_i，i-F，b_i，i-D-F+1＝1-b_i，i-D-F

b_i，j＝0，j≠i-D-F，i-D-F+1                   ...(34)

这里a_i，j为变换中的n(行)×m(列)矩阵的系数，此变换通过线性插值进行n/m(n＜m)的尺寸变换，并且由

表示。

Pi_i为尺寸变换之前的第i个像素数据，Po_i为变换后的像素数据，a_i，j为变换矩阵的一个元素(尺寸变换的线性插值系数)。

元素a_i，j由

a_i，i-F＝W_i′，a_i，i-F+1＝1-W_i′，a_i，j＝0  j≠i-F，i-F+1  ...(36)定义。这里W_i′由

W_i′＝Wi-F                                                 ...(37)

给出。如上所述，Wi由等式(32)定义，并且F为小于Wi的最大整数(F≤0)。

变形校正处理流程

图8示出了变形校正处理的流程。在光栅扫描中，图像信号具有光电转换强度信息S1以及时序信息S2。可以从该时序信息计算出像素位置(S4)。如上所述，相应于比例变换的读取规则为周期性的。例如，当约93％的尺寸变换(电子变焦)进行到最大时，28/30＝0.933。因此，用于尺寸变换的缩减读取的周期最大为大约30个像素。可以从读取规则的缩减位置和像素位置信息中计算出在该周期中的目标像素的位置。例如，在以12个像素为周期的处理中，从水平起始位置起的第261个像素具有的相位为mod(261，12)＝第9像素。在这种情况中，mod(N，x)表示利用数值N除以数值x得到的余数。如上所述，根据在S4中计算得到的像素位置信息和读取规则周期的信息和S4中的缩减位置，可以获得由等式(7)表示的加权加法操作的系数(S5)和将经受该加法操作的像素的相位操作信息(S6)。在S7中，根据该相位而切换所使用的图像信号。这样，通过使用由相位信息指定的像素以及加法加权系数，进行加法操作(S8)，以获得变形校正输出像素。

当光电转换读取单元的图像信号是直接存储在存储器中，并且通过地址指定执行的操作，可以避免上述相位的问题。下面将描述更高速度的流水线处理。

图9示出了一个例子，其中在水平和垂直方向上均有八个像素中的两个像素被缩减。例如，将检查在水平方向上缩减的第一行的读取。如果图9中的左上角被定义为起始位置，读取像素位置为Ri₀，Gi₁，Ri₂，Gi₃，Ri₆，和Gi₇。此规则被反复使用。此例子中的变形校正(变换)的矩阵表达由

$\left(\begin{array}{c}{\mathrm{Rc}}_0\\ {\mathrm{Gc}}_1\\ {\mathrm{Rc}}_2\\ {\mathrm{Gc}}_3\\ {\mathrm{Rc}}_4\\ {\mathrm{Gc}}_5\end{array}\right)=\left(\begin{array}{cccccc}1& 0& 0& 0& 0& 0\\ 0& \frac{5}{6}& 0& \frac{5}{6}& 0& 0\\ 0& 0& \frac{5}{6}& 0& \frac{1}{6}& 0\\ 0& 0& 0& \frac{3}{4}& 0& \frac{1}{6}\\ 0& 0& \frac{1}{6}& 0& \frac{5}{6}& 0\\ 0& 0& 0& \frac{1}{12}& 0& \frac{11}{12}\end{array}\right)\left(\begin{array}{c}{\mathrm{Ri}}_0\\ {\mathrm{Gi}}_1\\ {\mathrm{Ri}}_2\\ {\mathrm{Gi}}_3\\ {\mathrm{Ri}}_6\\ {\mathrm{Gi}}_7\end{array}\right)...\left(38\right)$

给出。

利用图6所示的滤波处理单元进行流水线处理。移位寄存器162将保持的图像数据逐一向右移动，用于相应于时钟脉冲的每一操作。选择器164根据s1的状态，选择移位寄存器162保持的五个相邻像素数据中的第一或者第三像素数据中的一个。选择器166根据s2的状态，选择移位寄存器162保持的五个相邻像素数据中的第三或者第五像素数据中的一个。

乘法器174将来自选择器164的输出d1乘以加权加法的系数k1。乘法器176将来自选择器166的输出d2乘以加权加法的系数k2。加法器178将来自乘法器174的输出和来自乘法器176的输出相加。

表1示出了在图6中示出的滤波处理单元的流水线处理的操作(状态转换)。

                                                                            表1

c1	c2	c3	c4	c5	c6	s1	s2	d1	d2	k1	k2	out
															i	i1	i2	i3	i4	i5	0	0	i2	i4	1	0	1×i2	+	0×i4
i1	i2	i3	i4	i5	i6	0	0	i3	i5	5/6	1/6	5/6×i3	+	1/6×i5
															i2	i3	i4	i5	i6	i7	0	0	i4	i6	5/6	1/6	5/6×i4	+	1/6×i6
i3	i4	i5	i6	i7	i8	0	0	i5	i7	3/4	1/4	3/4×i5	+	1/4×i7
															i4	i5	i6	i7	i8	i9	1	1	i4	i6	1/6	5/6	1/6×i4	+	5/6×i6
i5	i6	i7	i8	i9	i10	1	1	i5	i7	1/12	11/12	1/12×i5	+	11/12×i7
															i6	i7	i8	i9	i10	i11	0	0	i8	i10	1	0	1×i8	+	0×i10
i7	i8	i9	i10	i11	i12	0	0	i9	i11	5/6	1/6	5/6×i9	+	1/6×i11
															i8	i9	i10	i11	i12	i13	0	0	i10	i12	5/6	1/6	5/6×i10	+	1/6×i12
i9	i10	i11	i12	i13	i14	0	0	i11	i13	3/4	1/4	3/4×i11	+	1/4×i13
															i10	i11	i12	i13	i14	i15	1	1	i10	i12	1/6	5/6	1/6×i10	+	5/6×i12
i11	i12	i13	i14	i15	i16	1	1	i11	i13	1/12	11/12	1/12×i11	+	11/12×i13
															i12	i13	i14	i15	i16	i17	0	0	i14	i16	1	0	1×i14	+	0×i16
i13	i14	i15	i16	i17	i18	0	0	i15	i17	5/6	1/6	5/6×i15	+	1/6×i17
															i14	i15	i16	i17	i18	i19	0	0	i16	i18	5/6	1/6	5/6×i16	+	1/6×i18
i15	i16	i17	i18	i19	i20	0	0	i17	i19	3/4	1/4	3/4×i17	+	1/4×i19
															i16	i17	i18	i19	i20	i21	1	1	i16	i18	1/6	5/6	1/6×i16	+	5/6×i18
i17	i18	i19	i20	i21	i22	1	1	i17	i19	1/12	11/12	1/12×i17	+	11/12×i19
															i18	i19	i20	i21	i22	i23	0	0	i20	i22	1	0	1×i20	+	0×i22
i19	i20	i21	i22	i23	i24	0	0	i21	i23	5/6	1/6	5/6×i21	+	1/6×i23
															i20	i21	i22	i23	i24	i25	0	0	i22	i24	5/6	1/6	5/6×i22	+	1/6×i24

对于根据来自C1＝i0，C2＝i1，以及C3＝i2的初始状态的时钟的每一操作，提供给移位寄存器162的像素数据序列(i0，i1，i2，...)向右移动。因此，选择器164当s1为1(d1＝C1)时选择C1，当s1为0(d1＝C3)时选择C3。另一方面，当s2为1(d2＝C3)时选择器166选择C3，当s2为0(d2＝C5)时选择C5。与时钟同步地，从滤波系数设置单元144的存储器中向乘法器174提供系数k1，以及向乘法器176提供系数k2。加法器178输出out＝k1×d1+k2×d2。

从表1可以清楚地知道，当序列数据移动时，选择器的切换根据s1和s2的状态，输出相应于由等式(7)表示的缩减规则的加权系数k1和k2，并同时进行加权加法操作，执行包括像素相位操作(选择器切换)的流水线处理。

当在单个图像传感元件上只有一种颜色信息时，比如在单色或者3芯片彩色图像传感元件，而不是具有例如拜尔矩阵或者补色滤波器矩阵这样的CFA(彩色滤波器阵列)的图像传感元件，在变形校正中不需要准备一个像素的间隔以处理相同颜色的像素，不像拜尔矩阵的CFA一样。此外，不用对两个连续的像素进行缩减以使得相同颜色的信号具有相同的相位(按照预定的顺序进行读取，例如，R，G，R，G，...)

在单色图像传感元件中，当选择数据时完成相邻数据的加权相加。因此，变形校正(变换)由

Pc₂＝aPi₁+(1-a)Pi₂       ...(39)

表示，这里Pc为变换后的像素数据，Pi为作为变换源的像素数据。

利用图7所示的滤波处理单元进行流水线处理。移位寄存器182将保持的图像数据逐一向右移动，用于相应于时钟的每一操作。选择器168根据s1的状态选择三个相邻像素数据中的第一或者第二像素数据中的一个。选择器186根据s2的状态选择三个相邻像素数据中的第二或者第三像素数据中的一个。

乘法器194将来自选择器184的输出d1乘以加权加法的系数k1。乘法器196将来自选择器186的输出d2乘以加权加法的系数k2。加法器178将来自乘法器194的输出和来自乘法器196的输出相加。操作的顺序与图6中的相同。

在此实施例的图像拾取装置中，缩减并读取由光电转换元件获取的图像数据，其中缩减在硬件中进行，至少在垂直方向上进行，且最好在水平和垂直两个方向上进行。因此，此实施例的图像拾取装置可以以比普通图像拾取装置更短的时间读取图像数据，其中该普通图像拾取装置从光电转换元件中读出所有的图像数据，然后利用软件缩减该图像数据。

此外，此实施例的图像拾取装置执行针对缩减像素的变形校正并读取图像数据，其中缩减的像素数据为线性地插值，以及根据设置的区域缩减像素数据。因此，此实施例的图像拾取装置可以形成高质量的图像。

第二实施例

此实施例特别针对适合用于传感视频的图像拾取装置。

图10示出了根据本发明的第二实施例的图像拾取装置的配置。在图10中，与第一实施例的图像拾取装置100中相同的附图标记代表相同的元件，并且关于它们的详细描述将被省略以避免重复的描述。

本实施例的图像拾取装置200具有成像光学系统110和图像传感器件220。成像光学系统110形成物体的光学图像。图像传感器件220在由成像光学系统110形成的光学图像的预定区域中顺序输出一个图像信号。即，从图像传感器件220输出的图像信号为视频信号。一个视频信号包含多个序列帧的图像数据。

图像传感器件220具有二维光电转换元件222和读取控制单元224。该光电转换元件222对由成像光学系统110形成的光学图像进行光电转换，并获取数字图像数据(像素数据组)。该读取控制单元224按需要对由光电转换元件222获得的图像数据进行像素缩减，并顺序读取该图像数据。

该图像拾取装置200还具有区域设置单元132，读取规则选择单元234，以及变形校正单元140。区域设置单元132设置待输出图像的区域。读取规则选择单元234选择读取控制单元224的像素缩减读取规则。变形校正单元140校正从图像传感器件220读取的图像数据的变形。变形校正单元140的细节与第一实施例中所描述相同。

图像拾取装置200还具有读取相位控制单元230和图像区域选择处理单元240。读取相位控制单元230为每一帧改变利用读取控制单元224从光电转换元件222中读取的图像数据范围(读取范围)的参考位置。在由读取相位控制单元230对每一帧设置的读取范围的参考位置的基础上，图像区域选择处理单元240选择由变形校正单元140校正的图像数据的所有帧共有的范围。

读取相位控制单元230为每一帧改变读取范围的参考位置，图像区域选择处理单元240选择所有帧共有的范围。读取规则选择单元234据此选择像素缩减读取规则，使得读取控制单元224在比由区域设置单元132设置的图像区域更宽的范围内读取图像数据。

以由读取规则选择单元234选择的读取规则和由读取相位控制单元230设置的读取范围的参考位置为基础，在光电转换元件222的像素序列中的相应范围内，图像传感器件220中的读取控制单元224顺序读取图像数据(一帧具体的像素数据)。结果，图像传感器件220输出包含着多个顺序帧的图像数据的视频信号。

图像拾取装置200最好还具有三个循环帧存储器252，254，以及256，以及帧间运算处理单元260。循环帧存储器252，254，以及256临时存储多个帧的图像数据。通过运算处理存储在帧存储器252，254，以及256中的多个帧的图像数据，帧间运算处理单元260产生新的图像数据。

在常规视频系统中的视频传感中，常常使用隔行扫描方法，其中2场＝1帧。在通常的1/30的帧频下，隔行操作引起的图像闪烁并不引人注意。如果，利用隔行操作，在和在全扫描操作中相同的时间内，可以获得在更宽的范围内的图像信息，并可以利用在场间插值以高速获得高分辨率的图像。

甚至当进行由上述的等式(7)表示的变形校正的时候，没有读取的像素数据不能被重建。

在此实施例的图像拾取装置200中，省略的像素数据在两个连续帧之间插值，从而隔行操作将省略的数据在两场之间插值。

为了此目的，读取相位控制单元230为每一帧改变将被缩减并由读取控制单元224从光电转换元件222读取的像素数据的范围(读取范围)的参考位置。更具体地，读取相位控制单元230根据预定的规则，周期性地为每一帧改变读取范围的参考位置。

例如，读取相位控制单元230移动将要被读取控制单元224读取的像素数据的范围的参考位置，从而使得多个连续帧的图像数据中总体上没有被省略的像素数据。更优选的是，读取相位控制单元230移动读取范围的参考位置，从而使得两个连续帧的图像数据中没有共同省略的像素数据。移动量最好是大约4到8个像素。

因而，在光电转换元件222中的特定位置上，为一个特定帧的图像数据的缩减读取而省略的像素数据，包含在另一帧的图像数据中。即，可以避免在光电转换元件222中特定的位置上的图像数据在从图像传感器件220输出的图像信号中总是被省略。

帧间运算处理单元260对于存储在帧存储器252，254，以及256中的连续帧的图像数据执行用于插值省略像素数据的处理。例如，对两幅连续帧的图像数据进行1/2∶1/2相加。或者另一种，可以对三幅连续帧的图像数据进行1/4∶1/2∶1/4相加。

图11和12示意性地示出了在利用重复6/8缩减读取的读取中，读取范围的参考位置的移动。参照图11和图12，[x，y]代表在光电转换元件122中的像素序列的像素位置，而(x，y)代表在读取范围内像素数据阵列的索引。

如图11和12所示，光电转换元件122在水平方向上的像素数为k，在垂直方向上为 l。因此，在光电转换元件122左上的像素的位置可以表示为[0，0]，而右下的像素的位置可以表示为[k，l]。在一帧的读取范围内，水平方向上的像素数为 m，在垂直方向上为 n。因此，该帧的左上读取开始位置可以表示为(0，0)，右下的读取结束位置可以表示为(m，n)。图12中所示的帧读取范围从图11中所示的帧读取范围上在水平方向上移动了+2像素，在垂直方向上移动了+2像素。

在图11所示的帧中，在左上的读取开始位置(0，0)与光电转换元件222的左上像素位置[0，0]相对应。即

(0，0)＝[0，0]。        ...(40)

读取结束位置(m，n)由

(m，n)＝[k-2，l-2]      ...(41)

给出。

另一方面，在图12所示的帧中，在左上的读取开始位置由

(0，0)＝[2，2]          ...(42)

给出。读取结束位置由

(m，n)＝[k，l]          ...(43)

给出。

图像区域选择处理单元240选择图11所示的帧与图12所示的帧共同的范围。即，对于图11所示的帧，图像区域选择处理单元240选择以(2，2)和(m，n)作为对角线顶点的矩形范围。对于图12中所示的帧，图像区域选择处理单元240选择以(0，0)和(m-2，n-2)为对角顶点的矩形范围。由图像区域选择处理单元240选择的范围总是具有(m-2)×(n-2)个像素数据。

如果预先考虑将被裁减的区域，将从光电转换元件222读取的图像的总数必须考虑输出的图像尺寸和相移量。在读取开始位置的信息的基础上，图像区域选择处理单元240改变裁减范围。

帧存储器252，254，以及256为FIFO(先入先出)存储器。通过利用在帧存储器252，254，以及256中相同位置的像素，帧间运算处理单元260产生输出图像。

对于例如两帧，合成的图像输出(i，j)由

out(i，j)＝0.5I(k，i，j)+0.5I(k-1，i，j)     ...(44)

给出，此处i，j为像素的位置，并且I(k，i，j)为第k帧在像素位置i，j的图像信号的强度。

对于三帧，合成的图像输出(i，j)通过采用加权分布，由

out(i，j)＝0.25I(k，i，j)+0.5I(k-1，i，j)+0.25I(k-2，i，j) ...(45)

给出。如果进行帧间插值，除了变形校正效果还可以通过低通操作获得提高图像质量的效果。

在此实施例中，在水平和垂直方向上均进行缩减读取，并通过在水平和垂直方向上均进行流水线处理进行线性变形校正。对于CCD，作为进行垂直转移→水平转移操作的图像传感元件，原理上在水平方向上不能缩减图像数据并读取图像数据。由于此原因，在水平方向上，必须读取所有的像素，并且必须进行利用线性插值的尺寸改变，如等式(1)。在垂直方向上，进行缩减读取和变形校正，如上述的等式(7)所示。

在假设插值的情况下，在垂直方向上可以进行多个场的隔行读取，以缩短图像传感时间，就如同在常规的视频系统中一样，并且可以在水平方向上进行上述的缩减读取和变形校正。作为变形校正之后每场的图像，在利用与如图10所示配置的相同配置的插值的基础上，通过合成产生图像。

图13示出了视频的截图，此视频是通过对14个像素的两个进行缩减读取(6/7尺寸变换)，然后进行连续帧之间的平均处理而获得的。图14显示了视频的截图，此视频是通过变形校正(像素数据插值)并且对1 4个像素的两个进行缩减读取(6/7尺寸变换)，然后进行连续帧之间的平均处理而获得的。如果将图像进行对比，图14中所示的图像的边缘部分的变形比图13中所示图像的边缘部分变形小。

本实施例图像拾取装置具有与第一实施例的图像拾取装置同样的优点。

此外，本实施例的图像拾取装置在改变视频传感中的每一帧的读取规则时，读取图像数据，从而避免忽略在光电转换元件的特定位置的像素数据。利用此设置，此实施例的图像拾取装置可以形成变形减小的高分辨率视频。

此实施例的图像拾取装置最好在连续帧的图像数据的基础上插值忽略的像素数据，以避免在某些帧中忽略实际存在的像素数据。利用此设置，此实施例的图像拾取装置可以形成变形和莫尔条纹进一步减小的高分辨率视频。

第三实施例

图17示出了根据本发明的第三实施例的图像拾取装置的设置。与第一实施例的图像拾取装置100中相同的附图标记代表在图17中相同的元件，并且关于它们的详细描述将被省略以避免重复的描述。此实施例的图像拾取装置300具有成像光学系统110和图像传感器件220。成像光学系统110形成物体的光学图像。图像传感器件220在由成像光学系统110形成的光学图像的预定区域中顺序输出图像信号。即，从图像传感器件220输出的图像信号为视频。视频包含多个序列帧的图像数据。

图像传感器件220具有二维光电转换元件222和读取控制单元224。该光电转换元件222对由成像光学系统110形成的光学图像进行光电转换，并获取数字图像数据(像素数据组)。该读取控制单元224按需要对由光电转换元件222获得的图像数据进行像素缩减，并顺序读取该图像数据。

该图像拾取装置300还具有区域设置单元132，读取规则选择单元302，以及变形校正单元140。区域设置单元132设置待输出图像的区域。读取规则选择单元302选择读取控制单元224的像素缩减读取规则。变形校正单元140校正从图像传感器件220读取的图像数据的变形。变形校正单元140的细节与第一实施例中所描述相同。

在图像拾取装置300中，对于利用读取控制单元224从光电转换元件222读取图像数据的读取规则，读取规则调整单元306与定时发生器304同步地为每一帧调整读取规则。读取规则调整单元306为各个帧产生不同的读取设置。然而，像素的总数没有改变。变形校正单元140具有滤波处理单元142和滤波系数设置单元144。滤波处理单元142根据由读取规则调整单元306产生的读取规则进行滤波处理。滤波系数设置单元144设置滤波系数，以用于由滤波处理单元142进行的滤波处理。

对于根据不同读取规则在多个帧之间读取并经过变形校正的滤波处理的图像数据，通过帧间运算单元308而经受帧间运算处理，从而使得数据被输出到随后的处理系统(未示出)。

上面参照附图描述了本发明的实施例。然而，本发明不局限于这些实施例，并且可以在不背离本发明的精神和范围的情况下进行各种变动和修改。

工业应用

根据本发明，提供了一种图像拾取装置，可以在短时间内从图像传感元件读取图像数据，并且，形成的高分辨率图像减小了在尺寸改变中的变形。

Claims (21)

1、一种图像拾取装置，用于输出物体的图像，包括：

图像传感器件，其包括光电转换元件，用于将光学图像进行光电转换以获取图像数据，以及读取控制单元，用于按需要缩减像素并读取由该光电转换元件获取的该图像数据；

区域设置单元，其设置该图像传感器件的输出图像的区域；

读取规则选择单元，其根据由该区域设置单元设置的区域，选择该读取控制单元的像素缩减读取规则；以及

变形校正单元，其校正由该读取控制单元从该光电转换元件读取的该图像数据的变形，该变形校正单元具有滤波处理单元，该滤波处理单元在与由该读取规则选择单元选择的该像素缩减读取规则对应的滤波系数的基础上，对从该光电转换元件读取的该图像数据进行滤波处理。

2、根据权利要求1的图像拾取装置，其中该变形校正单元还包括：滤波系数设置单元，其设置用于该滤波处理的滤波系数，该滤波系数设置单元包括存储单元，用于存储包含该滤波系数的查找表；以及滤波系数选择单元，其根据由该读取规则选择单元选择的该像素缩减读取规则，从存储在该存储单元中的该查找表选择该滤波系数。

3、根据权利要求2的图像拾取装置，其中根据该读取规则设置该滤波系数的该查找表。

4、根据权利要求1或者2的图像拾取装置，其进一步包括定时发生器和读取规则调整单元，该读取规则调整单元对于来自该读取规则选择单元的该读取规则，同步于该定时发生器而调整对每一帧的读取规则，以及

其中该变形校正单元根据由该读取规则调整单元产生的该读取规则，进行该滤波处理。

5、根据权利要求1的图像拾取装置，其中该变形校正单元还包括滤波系数设置单元，其设置用于该滤波处理的滤波系数，通过进行根据由该读取规则选择单元设置的该像素缩减读取规则的操作，该滤波系数设置单元计算该滤波系数。

6、根据权利要求1的图像拾取装置，其中从该光电转换元件输出的该图像信号为视频信号，其包含多个顺序帧的图像数据，以及

其进一步包括：读取相位控制单元，其对于该多个帧的每一帧，改变将由该读取控制单元从该光电转换元件读取的图像数据的读取范围的参考位置，

图像区域选择处理单元，根据由该读取相位控制单元为每一帧设置的读取范围参考位置，为该图像数据的多个帧选择共同的区域的范围，其中该图像数据由该变形校正单元校正，以及

图像信号处理单元，其输出在由该图像区域选择处理单元所选择范围的区域内的该图像信号。

7、根据权利要求1的图像拾取装置，其中从该光电转换元件输出的该图像信号为包含多个顺序帧的图像数据的视频信号，该读取规则对该多个帧的每一帧进行改变，并且该滤波处理单元根据该读取规则进行变形校正。

8、根据权利要求7的图像拾取装置，进一步包括图像处理单元，对于从该变形校正单元输出的该图像信号进行预定处理。

9、根据权利要求6或者8的图像拾取装置，其进一步包括暂时存储该多个帧的图像数据的多个存储单元，以及帧间运算处理单元，其对于存储在该多个存储单元中的多个帧的图像数据进行运算处理，以产生新的图像数据，以及其中该图像信号处理单元输出由该帧间运算处理单元形成的图像的图像信号。

10、根据权利要求6或者8的图像拾取装置，其进一步包括帧间运算处理单元，其对于该多个帧的图像数据进行运算处理，以产生新的图像数据，以及其中该图像信号处理单元输出由该帧间运算处理单元形成的图像的图像信号。

11、根据权利要求9的图像拾取装置，其中对于该多个帧的图像数据的该运算处理为加权平均。

12、根据权利要求10的图像拾取装置，其中对于该多个帧的图像数据的该运算处理为加权平均。

13、根据权利要求1的图像拾取装置，其中该光电转换元件为前表面设置有彩色滤波器阵列(CFA)的单芯片彩色图像传感元件，并且该滤波处理单元具有：移位寄存器，其暂时地保持从该单芯片彩色图像传感元件读出的图像信号，两个选择器，其选择读取位置，在该读取位置上将从该移位寄存器读出该图像信号的相同颜色的信号分量，两个乘法器，其分别将由该两个选择器从该移位寄存器读取的图像信号与校正系数相乘，以及加法器，其将来自该两个乘法器的运算结果相加，并且利用流水线处理校正从单芯片彩色图像传感元件读取的图像信息的变形，其中在流水线处理中输入数据的数量与输出数据的数量相等。

14、根据权利要求1的图像拾取装置，其中该光电转换元件为单色图像传感元件与多芯片彩色图像传感元件图像拾取元件其中之一，并且该滤波处理单元具有：移位寄存器，其暂时地保持从该单色图像传感元件和该多芯片彩色图像传感元件其中之一读出的图像信号；两个选择器，用于选择读取位置，在该读取位置将该图像信号将从该移位寄存器读出；两个乘法器，其分别将由该两个选择器从该移位寄存器读取的该图像信号与校正系数相乘；以及加法器，其将来自该两个乘法器的运算结果相加，并且利用流水线处理校正从该单色图像传感元件和多芯片彩色图像传感元件其中之一读取的图像信息的变形，其中在该流水线处理中输入数据的数量与输出数据的数量相等。

15、根据权利要求13或者14的图像拾取装置，其中该选择器选择该读取位置，在由该读取规则选择单元选择的该像素缩减读取规则的基础上，在该读取位置将该图像信号将从该移位寄存器读出。

16、一种用于图像拾取装置的信号处理方法，该图像拾取装置包括图像传感器件，该图像传感器件包括将光学图像进行光电转换以获取图像数据的光电转换元件，该处理方法包括步骤：

设置该图像传感器件的输出图像的区域；

根据该设置的区域选择像素缩减读取规则；

根据该选择的像素缩减读取规则，从该光电转换元件读取该图像数据；以及

基于与该选择的像素缩减读取规则对应设置的滤波系数，对读取的该图像数据进行滤波处理，以校正该图像数据的变形。

17、根据权利要求16的信号处理方法，该图像拾取装置还包括读取控制单元，其按需要缩减像素并读取由该光电转换元件获取的该图像数据，该处理方法还包括步骤：

使得该读取控制单元根据该选择的像素缩减读取规则缩减像素并从该光电转换元件读取该图像数据；以及

对于该变形校正的图像信号进行预定的处理。

18、根据权利要求16的信号处理方法，其中在校正该图像数据变形的步骤中，根据该选择的像素缩减读取规则设置滤波系数，并对从该光电转换元件读取的该图像数据进行滤波处理。

19、根据权利要求17或者18的信号处理方法，其中根据该选择的像素缩减读取规则从包含多个滤波系数的查找表中选择该滤波系数。

20、根据权利要求17或者18的信号处理方法，其中通过执行根据该选择的像素缩减读取规则的运算，而计算该滤波系数。

21、根据权利要求16或者17的信号处理方法，其中从该图像传感器件输出的视频信号含有多个序列帧的图像数据，

对于每一帧设置将从该图像传感元件读出的图像数据的读取范围，并根据对于每一帧设置的该读取范围参考位置进行该变形校正，

选择该变形校正后的图像数据的多个帧共同的区域的范围，以及

将所选择的区域范围内的该图像信号输出。

Images