CN102685407A - 图像处理 - Google Patents

Abstract

本发明公开了图像处理。图像处理装置包括解拼处理器，用于接收包括来自光敏元件的阵列的像素数据的视频信号，每个光敏元件具有相应颜色滤光器以将该光敏元件的敏感性限制到从一组三个或更多个原色范围中选择的一原色范围，阵列使得交替行中的光敏元件对于第一原色范围敏感并且居间行中的光敏元件对于其他原色范围敏感；像素数据包括来自对第一原色范围敏感的行的第一子集的像素数据，第一子集在视频信号的图像与图像之间是相同的；和来自对其他原色范围敏感的光敏元件的行的第二子集的像素数据，第二子集在视频信号的图像与图像之间是变化的；解拼处理器包括垂直插值器，用于垂直移位第二子集的像素数据以与第一子集的像素数据垂直对齐。

Description

图像处理

技术领域

本发明涉及图像处理。

背景技术

现在将联系数字视频相机来描述示例性的图像处理应用。

为了利用固态图像传感器(例如电荷耦合器件(CCD)图像传感器)生成彩色图像，必须确保关于每个像素位置检测不同的颜色成分。需要颜色滤光器(colour filter)的一些布置，因为通常图像传感器中的个体光敏元件是在只有很小或没有波长特异性的情况下检测光强度的，因此其本身无法检测分开的颜色信息。

提供颜色检测的一种方式是采用多个图像传感器，每个检测一相应的颜色成分。例如，许多数字视频相机使用三CCD系统，其中每个CCD检测绿、红、蓝颜色成分中相应的一个。此布置要求三个CCD相互光学上相互对齐到亚像素精度，并且还需要分光器和颜色滤光器布置。诸如二向色(或薄膜)滤光器之类的光学滤光器可用于此任务，因为它们具有使某一范围的波长的光通过、同时使该范围外的光偏转(而不是吸收之)的有用属性。

然而，许多数字相机却转而利用联合颜色滤光器阵列(CFA)操作的单个CCD。CFA是在图像传感器的个体像素传感器上制作的微小颜色滤光器的拼接(mosaic)。

颜色滤光器按波长范围过滤光，以使得分开的经过滤的强度包括关于光的颜色的信息。一般使用吸收(而不是二向色)滤光器。

CFA的使用的示例在附图的图1中示意性地示出。包括透镜布置20、布置在CCD图像传感器40上的CFA 30以及图像处理器50的相机90捕捉场景10。CFA 30包括个体滤光器元件80的阵列，一般对于CCD图像传感器40的每个个体像素传感器有一个个体滤光器元件80，每个个体滤光器元件80被布置为使相应颜色的光通过。虽然在图1中，CFA 30被示为CCD图像传感器40上的覆盖，但在实践中光学滤光器元件可作为整个半导体制作过程的一部分被直接制作在像素传感器上面。

存在许多类型的CFA。例如，最初在US-A-3971065中提出的所谓拜耳(Bayer)滤光器包含给出关于红、绿、蓝(RGB)波长范围中的光的强度的信息的滤光器元件。拜耳滤光器的像素滤光器布局的示例在附图的图2中示出，该图示意性地示出了在少数几个像素位置100上的滤光器布局，其中R表示使红光通过的滤光器，G表示使绿光通过的滤光器，并且B表示使蓝光通过的滤光器。在CCD传感器的整个范围上重复四个像素的基本样式(2×2像素的方阵)110。

提供的绿元件比红或蓝元件更多的一个原因是人眼一般对绿光比对其他原色更敏感。因此，关于绿光的额外分辨率模仿了人眼的颜色响应。其有用的另一个原因是当红、绿、蓝颜色成分信号被电组合在一起以形成单色亮度信号(Y)时，来自每个颜色成分的贡献被加权以使得亮度信号包含的绿成分的比例比另两个成分更大。

由图像传感器捕捉到的原始图像数据随后通过针对每类颜色滤光器定制的所谓解拼(demosaicing)算法被转换成全色图像，其中在每个像素处表示所有三种原色的强度。换言之，检测到的颜色成分的拼接关系被解拼算法撤消以便为每个像素提供关于单个有效像素位置的所有三个颜色成分。在图1的系统中，此功能是由图像处理器50提供的，图像处理器50生成输出彩色图像60。CFA元件的光谱透射率与解拼算法一起联合决定相机的颜色表现。

发明内容

本发明提供了一种图像传感器，包括：

光敏元件的阵列，每个光敏元件具有相应的颜色滤光器以将该光敏元件的敏感性限制到从一组的三个或更多个原色范围中选择的一原色范围，该阵列是这样的：交替行中的光敏元件对于第一原色范围敏感，并且居间行中的光敏元件对于其他原色范围敏感；以及

像素数据读取器，被布置为关于视频信号的每个相继图像，输出来自对第一原色范围敏感的行的第一子集的像素数据，该第一子集在视频信号的图像与图像之间是相同的；

该像素数据读取器被布置为输出来自对其他原色范围敏感的光敏元件的行的第二子集的像素数据，该第二子集在视频信号的图像与图像之间是变化的。

本发明提供了有利的技术，用于从具有所定义的类型的图像传感器中读取像素数据的子集，同时在帧与帧之间维持一种颜色(例如绿)像素的相同位置。

本发明的各种其他各个方面和特征在权利要求中限定。

附图说明

现在将仅以示例方式参考附图描述本发明的实施例，附图中：

图1示意性地示出数字相机中的CFA的使用；

图2示意性地示出拜耳滤光器；

图3示意性地示出双拜耳滤光器；

图4示意性地示出相机和图像处理装置；

图5示意性地示出HQ模式中的操作；

图6和7分别示意性地示出静态GBR模式中关于偶数线和奇数线的像素的推导；

图8和9分别示意性地示出交替GBR模式中关于偶数和奇数线的像素的推导；

图10和11分别示意性地示出交替BR模式中关于偶数和奇数线的像素的推导；

图12是CCD/CFA单元和相关联的控制器的示意图；

图13示意性地示出解拼处理器；

图14示意性地示出增强型解拼处理器；

图15至19分别示意性地示出滤光处理的源像素；

图20示意性地示出运动检测处理的源像素；

图21示意性地示出运动控制值；

图22示意性地示出解拼和下变频器单元；并且

图23示意性地示出帧存储的使用。

具体实施方式

参考附图，所提出的另一种类型的CFA是所谓的双拜耳滤光器，其示例在图3中示意性示出。个体滤光器元件的布置和形状与图2中所示的形成对照。首先，每个个体滤光器元件150的朝向相对于像素阵列的像素行方向160旋转了45度。其次，此布置使得存在整行170的绿滤光器元件，其间散布有交替的蓝和红元件形成的行180。注意，在本申请的优先权日，双拜耳滤光器不一定表示公开可得的现有技术。

图4示意性地示出相机和图像处理装置。该布置涉及数字视频相机，但所示技术的适当方面可联系静止图像的捕捉来使用。因此图4示出了包括图像传感器和用于处理由图像传感器捕捉的图像的装置的视频相机装置。

在图4中，数字视频相机200包括透镜布置210以及CFA/CCD传感器220，也就是说具有根据图3中示意性示出的重复的双拜耳样式的关联CFA的CCD传感器。CFA/CCD传感器220以4096水平像素×2160垂直像素的最大或本原分辨率工作，这在图中以简写为“4k×2k”，或者只是“4k”，其中“k”是“大约1000”的简略表达方式。在此分辨率下，CFA/CCD传感器220可按60逐行扫描图像每秒的图片率工作，这在图中缩写为“60p”。当讨论传感器的分辨率时，“像素”的数目指的是可从捕捉的数据推导的三原色的不同群组的数目，并且在实践中对应于绿像素传感器的数目。因此，为了捕捉全分辨率4k×2k图像，CFA/CCD图像传感器要求4k×2k的绿像素传感器，加上根据双拜耳样式的相应的红和蓝像素传感器。因此，个体像素传感器的总数将是4k×2k的倍数。因此，CFA/CCD图像传感器220提供了光敏元件的阵列，其中每个光敏元件具有相应的颜色滤光器以将该光敏元件的敏感性限制到从一组的三个或更多个原色范围中选择的一原色范围，该阵列是这样的：交替行中的光敏元件对于第一原色范围(在此示例中是绿)敏感，而居间的行中的光敏元件对于其他原色范围(在此示例中是红和蓝)敏感。

在以其全分辨率工作的CFA/CCD传感器220中，输出像素位置对齐到绿样本位置。这意味着，在每个输出像素位置，只有绿样本值是已知的，而蓝和红样本值必须利用绿样本值和周围的蓝和红样本值来估计。

图像处理器230提供上述的解拼功能。图像处理器230可实现在相机本身的主体内或者(例如)单独的相机控制单元(CCU)内。

CFA/CCD传感器220或图像处理器230中的任一个(或两者的组合)提供用于从CFA/CCD传感器中读取适当的像素数据的像素数据读取器。

图像处理器230可在至少两种模式中工作。为了图的清晰，这些模式被示为分开的处理路径，但它们当然可以共享一些处理资源。因为在两种情况下从CFA/CCD传感器中读取数据的方式不同，所以设想到用户对于任何特定的视频捕捉操作在这两种模式之间选择。也就是说，图4的装置不一定同时在两种模式中工作。

在被称为“HQ”(高质量)模式的第一处理路径240中，由CFA/CCD 220生成的全分辨率(4k×2k，60p)图像数据被传递到解拼处理器250，该解拼处理器250生成4k×2k 60p GBR(绿、蓝、红)视频数据。如果需要，这可以作为输出260被提供。作为替换(或附加)，由于当前使用的许多显示设备具有2048×1080像素或1920×1012×(“2k×1k”，或者就是“2k”)的最大显示分辨率，因此4k×2k 60p数据可被下变频器270空间下变频到2k×1k，60p的较低分辨率，以用于在2k×1k显示设备280上显示。

在被称为“HS”(高速)模式的第二处理路径300中，关于每个相继的图像只从CFA/CCD图像传感器220中读取像素数据的子集，这使得可按HQ模式的速率的两倍从CFA/CCD图像传感器220中读取图像，即120个逐行扫描图片每秒或“120p”。从CFA/CCD图像传感器中读取的数据的子集可被认为是4k×1k 120p数据，虽然此分辨率下的图像数据不作为装置的输出被提供。120p图像数据被传递到解拼处理器和下变频器310，以便直接作为2k×1k，120p图像数据输出。因此，在第二处理路径中，不可能有4k×2k图像数据的中间输出。然而，第二处理路径允许了以120p的更高图像速率输出2k×1k数据。

现在将描述在第一和第二处理路径中可从中推导出输出图像的所捕捉的绿、蓝、红像素的样式。

在第一处理路径中(HQ模式)，每个输出像素的绿成分是从所捕捉绿像素中的一个或多个推导出的。该输出像素的红成分是通过该绿像素周围的可能插值绿像素和红像素之间的插值推导出的。通过使用绿样本，对于插值处理在插值的绿样本和已知的蓝/红样本之间形成了色差信号。这帮助了维持恒定的色调。该输出像素蓝成分是通过该绿像素周围的可能插值绿像素和蓝像素之间的插值推导出的。此布置在图5中示意性示出，其中包括单个绿像素和红蓝各一个的两个周围像素在内的一组像素被用于推导出关于空间位置360的输出GBR像素。下一GBR像素是从空间位置370周围的类似群组推导出的，依此类推。

在第二处理路径中(HS模式)，存在不同的选项：

(a)静态GBR模式

图6和7分别示意性地示出静态GBR模式中关于偶数帧(图6)和奇数帧(图7)的像素的推导。按比例缩减的输出像素位置被示为圆圈400。用于生成相继帧的传感器输出的样式是静态的，也就是说在帧与帧之间其不会变化。

(b)交替GBR模式

图8和9示意性地示出此模式。利用在交替帧中相互偏移的样本位置来生成绿、蓝、红样本。具体地，在交替的帧中，绿样本位置垂直偏移±1像素，并且蓝/红样本垂直偏移±1像素且水平偏移±1像素。

(c)交替BR模式

图10和11分别示意性地示出2k 120p逐行扫描输出的偶数和奇数帧中的交替BR模式。输出像素位置400在帧与帧之间保持相同，并且以绿图像传感器位置为中心，但蓝/红样本在交替的帧中垂直偏移±1像素且水平偏移±1像素。此操作模式与交替GBR线扫描模式相比具有使用了每一帧中同一空间位置的绿样本的优点，从而稳定了输出。

因此，在交替BR模式中，以上提及的像素数据读取器被布置为：关于视频信号的每个相继图像，输出来自对第一原色范围(在此示例中是绿)敏感的行的第一子集的像素数据，该第一子集在视频信号的图像与图像之间是相同的；并且输出来自对其他原色范围(在此示例中是蓝和红)敏感的光敏元件的行的第二子集的像素数据，第二子集在视频信号的图像与图像之间是变化的。在本发明的实施例中，第一子集包括对第一原色范围敏感的那些行中的交替行，和/或第二子集在视频信号的图像与图像之间在两个可能的第二行子集之间交替。在本发明的实施例中，两个可能的第二子集包括：包括紧挨在第一子集中的相应行下方的那些行的第二子集；以及包括紧挨在第一子集中的相应行上方的那些行的第二子集。在本发明中的实施例中，第二子集中的行中的像素位置相对于第一子集的行中的像素位置是水平偏移的。

本发明的实施例涉及交替BR模式。

图12示意性地示出CCD/CFA单元220以及包括像素数据读取器410和模式控制器420的相关控制器逻辑。图12的布置允许了在上述的HQ和HS模式之间以及在HS模式内在静态GBR、交替GBR和交替BR模式之间可能在每一帧改变从CCD器件读取像素的样式和速率。在操作中，模式控制器420例如从用户接收模式指定信息，并且向像素数据读取器410应用适当的控制设定。像素数据读取器可选地向CCD/CFA单元220应用控制信号430(例如时钟信号)，并且从CFA/CCD单元中读取具有适合于当前模式的速率和样式的像素数据。像素数据被适当地提供给解拼处理器250或者解拼处理器和下变频器310。

图13示意性地示出关于交替BR线扫描的解拼处理(例如被解拼和下变频器单元310使用)。

在本发明的这种实施例中，解拼和下变频器300提供了用于从(例如由CFA/CCD传感器220提供的)光敏元件的阵列接收包括像素数据的视频信号的解拼处理器，该解拼处理器包括垂直插值器，用于垂直移位第二子集的像素数据以便与第一子集的像素数据垂直对齐。在本发明的其中第二子集中的行中的像素位置相对于第一子集的行中的像素位置水平偏移的实施例中，该技术利用了第一水平插值器，用于水平移位第一子集的行的像素数据的像素位置，以便提供与第二子集的行的像素数据垂直对齐的中间像素数据，该中间像素数据被作为输入提供给该垂直插值器；以及第二水平插值器，用于水平移位由垂直插值器输出的像素数据以便与第一子集的行的像素数据水平对齐。

图10和11中所示的交替BR线扫描样式生成在每一帧中位于相同空间位置的绿样本以及在交替的帧中垂直和水平都偏移±1像素的蓝/红样本。图13示意性地示出在解拼处理的每一阶段的所有输入和输出的相对空间位置。

从CCD/CFA 220读取的GBR信号被提供作为输入信号530。信号530中(从CCD/CFA读取的)绿、蓝、红像素的位置在图13的下部被示为530′。这些位置对应于图10和11中所示的信号的一帧。

从信号530，绿数据被传递到水平绿插值器，该水平绿插值器执行水平空间插值以生成插值的绿信号G′，该插值的绿信号G′与原始信号B和R相结合形成第二GBR信号540。插值的绿信号G′的水平移位的像素位置(移位0.5像素)也在540′处示意性地示出。它们垂直堆叠，与B和R像素的位置对齐。

信号540被作为输入提供给垂直颜色插值器510，该垂直颜色插值器510分别在B和R信号的像素位置之间插值以生成与信号G′中的像素位置相对应的像素位置处的垂直移位的信号B′和R′。B和R信号的这个插值包括将一行向下移位0.5像素并将下一行向上移位0.5像素，依此类推。随后从B′和R′信号中减去G′信号以分别生成(B′-G′)和(R′-G′)信号作为具有被示为550′的像素位置的第三中间信号550的一部分。

最后，原始G信号和(B′-G′)和(R′-G′)信号被作为输入提供给水平颜色插值器520。这些色差值被水平插值以计算所要求的输出像素位置处的色差值。插值的色差值随后被用于计算所要求的红/蓝值，以便生成输出信号560，该输出信号560包括原始G信号以及具有现在与G信号中的像素位置对齐的像素位置的B″和R″信号(如560′处所示)。

色差插值

自然图像通常在颜色通道之间表现出很高程度的空间相关性。正是这个高相关可能性使得本实施例的空间插值器可以比简单的非相关双线性插值器更准确地估计缺失的颜色样本值。空间插值器式子都是基于如下规则的：即，在图像的局部区域内，沿着插值方向的不同颜色通道之间的差异或比率是恒定的。

相邻像素n和n+1之间的色差规则：

(G_n+1-G_n)≈α_B(B_n+1-B_n)                式1

(G_n+1-G_n)≈α_R(R_n+1-R_n)                式2

色比规则：

$\frac{B_n}{G_n}\≈\frac{B_{n+1}}{G_{n+1}}\≈\frac{(B_{n+1}-B_n)}{(G_{n+1}-G_n)}\≈\frac{1}{{\mathrm{\α}}_B}$ 式3

$\frac{R_n}{G_n}\≈\frac{R_{n+1}}{G_{n+1}}\≈\frac{(R_{n+1}-R_n)}{(G_{n+1}-G_n)}\≈\frac{1}{{\mathrm{\α}}_R}$ 式4

其中：α_B＝G/B增益并且α_R＝G/R增益。

以上式子中的α项是用于蓝和红通道的白平衡增益。这些项用于校正三个输入通道中的任何不平衡。

在本发明的实施例中，只有色差[式1和式2]规则被用于推导空间插值器式子。图14示意性地示出图13中所示的系统的实现方式，其中运动检测被用于在与图13的布置相对应的“标准”插值算法和利用图像间数据的“增强型”插值算法所推导出的输出像素之间进行选择。注意，“增强型”插值算法不涉及交替BR扫描方案，因此是仅作为技术背景提供的。

在图14中，考虑了三个输入帧(帧n-1、n和n+1)。以帧n为当前帧，在标准插值算法中，其被传递到水平绿插值器500，然后到垂直颜色插值器510，再然后到水平颜色插值器520。输出信号560被传递到包括第一乘法器700、第二乘法器710和加法器720的复用器布置。

乘法器700、710接收控制信号α，该控制信号α是运动检测器730的输出，指示在该像素位置处输入图像中的图像间运动。参数α在-1和1之间变化，在图像间运动低时具有低绝对值，在图像间运动高时具有高绝对值，并且具有取决于有较大图像间运动的方向(相对于当前帧)的极性。此参数的推导将在下文中进一步描述。乘法器700将输出信号560乘以1-|α|(其中符号|..|指示绝对值)并且乘法器710将增强型插值器的输出信号(下文将描述)乘以α，两个乘法器的输出被加法器720相加以生成输出信号740。

现在转到增强型插值处理，当前帧n如上所述被水平绿插值器500处理。前一帧n-1和下一帧n+1被等同的水平绿插值器502、504处理。实际上，取决于设计，可能只需要一个水平绿插值器500，其结果在相继帧的处理之间被存储。

在增强型处理中，水平绿插值器的输出被传递到增强型垂直颜色插值器，具体而言是后向增强型垂直颜色插值器512和前向增强型垂直颜色插值器514。它们的操作是相同的，除了其输入不同以外。后向增强型垂直颜色插值器512是水平绿插值器关于帧n-1和帧n的输出。前向增强型垂直颜色插值器514的输入是水平绿插值器关于帧n和帧n+1的输出。

后向增强型垂直颜色插值器512和前向增强型垂直颜色插值器514的各个输出被提供给复用器750，该复用器750测试由运动检测器730生成的运动控制信号α的极性。如果运动控制信号的极性指示出运动在向后图像方向上较大，则后向增强型垂直颜色插值器512的结果被复用器750传递；否则，或者如果α是零，则前向增强型垂直颜色插值器514的结果被复用器750传递。

复用器750的输出被传递到增强型水平颜色插值器522，其输出如上所述被传递到乘法器710。

水平绿插值器500(502、504)

这是解拼处理的第一阶段。对于与已知颜色样本垂直对齐的未知绿样本值的水平估计是利用贝塞尔(Bessel)中心差异插值器来计算的(但也可使用其他插值技术，例如Sinc或线性插值)。水平绿插值器被用于估计已知的绿样本值之间中途的绿信号的值。

此插值器使用的输入绿(G)像素的相对空间位置在图15中示意性地示出。在此图和其他图中，术语“西”和“东”指的是图像内的向左和向右水平方向。术语“南”和“北”指的是图像内的向下和向上垂直方向。阴影像素(例如像素580)指示用作所讨论的插值处理的输入的像素。空白像素(例如像素590)不用作所讨论的插值处理的输入。在图15中，中心像素位置被示为位置0(零)，任一侧的相对偏移利用零的任一侧的整数来编号。像素编号的极性是任意的，只是为了描述清晰。

定义：

G＝绿样本

注意，在变量名上画一横杠的记号与记号G′之类是可互换使用的。

贝塞尔中心差异插值器被用于估计像素位置零(在图14的中心示出)处的绿信号的值。对于未知绿信号值的估计是利用以下式子来计算的。

${\stackrel{\‾}{G}}_0=\frac{10005}{16384}(G_{-1}+G_{+1})$

$-\frac{2382}{16384}(G_{-3}+G_{+3})$

$+\frac{715}{16384}(G_{-5}+G_{+5})$

$-\frac{170}{16384}(G_{-7}+G_{+7})$

$+\frac{26}{16384}(G_{-9}+G_{+9})$

$-\frac{2}{16384}(G_{-11}+G_{+11})$ 式5

垂直颜色插值器510、512、514

这是解拼处理的第二阶段。垂直色差插值器被用于估计在第一阶段中计算的绿样本值处的蓝和红色差值。

标准垂直颜色插值器510

此插值器使用来自时间上相邻的帧的额外的蓝/红样本值来产生经修正的对色差信号的估计。

此插值器使用的样本的相对空间位置在图16中所示。在通过置换所有式子中的所有蓝和红符号来交换蓝和红样本时也可使用此插值器。

定义：

G＝绿样本

B＝蓝样本

R＝红样本

α_B＝蓝白平衡    α_R＝红白平衡

利用以下式子来计算蓝和红样本值的北(N)和南(S)方向估计：

${\stackrel{\‾}{B}}_S={\mathrm{\α}}_B(\frac{1}{32}{B}_{-7}+\frac{22}{32}{B}_{-3}+\frac{9}{32}{B}_{+1})+\frac{1}{2}{\stackrel{\‾}{G}}_0-\frac{1}{2}{\stackrel{\‾}{G}}_{-4}$ 式6

${\stackrel{\‾}{R}}_S={\mathrm{\α}}_R(\frac{9}{32}{R}_{-5}+\frac{22}{32}{R}_{-1}+\frac{1}{32}{R}_{+3})+\frac{1}{2}{\stackrel{\‾}{G}}_0-\frac{1}{2}{\stackrel{\‾}{G}}_{-4}$ 式7

${\stackrel{\‾}{B}}_N={\mathrm{\α}}_B(\frac{1}{32}{B}_{-3}+\frac{22}{32}{B}_{+1}+\frac{9}{32}{B}_{+5})+\frac{1}{2}{\stackrel{\‾}{G}}_0-\frac{1}{2}{\stackrel{\‾}{G}}_{+4}$ 式8

${\stackrel{\‾}{R}}_N={\mathrm{\α}}_R(\frac{9}{32}{R}_{-1}+\frac{22}{32}{R}_{+3}+\frac{1}{32}{R}_{+7})+\frac{1}{2}{\stackrel{\‾}{G}}_0-\frac{1}{2}{\stackrel{\‾}{G}}_{+4}$ 式9

利用以下式子来计算色差的南(S)估计：

$\stackrel{\‾}{D}{b}_S={\stackrel{\‾}{B}}_S-{\stackrel{\‾}{G}}_0$ 式10

$\stackrel{\‾}{D}{b}_S={\mathrm{\α}}_B(\frac{1}{32}{B}_{-7}+\frac{22}{32}{B}_{-3}+\frac{9}{32}{B}_{+1})-\frac{1}{2}{\stackrel{\‾}{G}}_0-\frac{1}{2}{\stackrel{\‾}{G}}_{-4}$ 式11

$\stackrel{\‾}{D}{r}_S={\stackrel{\‾}{R}}_S-{\stackrel{\‾}{G}}_0$ 式12

$\stackrel{\‾}{D}{r}_S={\mathrm{\α}}_R(\frac{9}{32}{R}_{-5}+\frac{22}{32}{R}_{-1}+\frac{1}{32}{R}_{+3})-\frac{1}{2}{\stackrel{\‾}{G}}_0-\frac{1}{2}{\stackrel{\‾}{G}}_{-4}$ 式13

利用以下式子来计算色差的北(N)估计：

$\stackrel{\‾}{D}{b}_N={\stackrel{\‾}{B}}_N-{\stackrel{\‾}{G}}_0$ 式14

$\stackrel{\‾}{D}{b}_N={\mathrm{\α}}_B(\frac{1}{32}{B}_{-3}+\frac{22}{32}{B}_{+1}+\frac{9}{32}{B}_{+5})-\frac{1}{2}{\stackrel{\‾}{G}}_0-\frac{1}{2}{\stackrel{\‾}{G}}_{+4}$ 式15

$\stackrel{\‾}{D}{r}_N={\stackrel{\‾}{R}}_N-{\stackrel{\‾}{G}}_0$ 式16

$\stackrel{\‾}{D}{r}_N={\mathrm{\α}}_R(\frac{9}{32}{R}_{-1}+\frac{22}{32}{R}_{+3}+\frac{1}{32}{R}_{+7})-\frac{1}{2}{\stackrel{\‾}{G}}_0-\frac{1}{2}{\stackrel{\‾}{G}}_{+4}$ 式17

自适应垂直加权：

${\mathrm{\Δ}}_N=|{\stackrel{\‾}{G}}_{+4}-{\stackrel{\‾}{G}}_0|+\frac{1}{4}{\mathrm{\α}}_B|B_{+1}-B_{-3}|+\frac{3}{4}{\mathrm{\α}}_R|R_{+3}-R_{-1}|$

$+\frac{3}{4}{\mathrm{\α}}_B|B_{+5}-B_{+1}|+\frac{1}{4}{\mathrm{\α}}_R|R_{+7}-R_{+3}|$ 式18

${\mathrm{\Δ}}_S=|{\stackrel{\‾}{G}}_0-{\stackrel{\‾}{G}}_{-4}|+\frac{1}{4}{\mathrm{\α}}_B|B_{-3}-B_{-7}|+\frac{3}{4}{\mathrm{\α}}_R|R_{-1}-R_{-5}|$

$+\frac{3}{4}{\mathrm{\α}}_B|B_{+1}-B_{-3}|+\frac{1}{4}{\mathrm{\α}}_R|R_{+3}-R_{-1}|$ 式19

Δ_V＝Δ_N+Δ_S    式20

${\mathrm{\α}}_V=\left\{\begin{array}{cc}\frac{1}{2}& {\mathrm{\Δ}}_V=0\\ \frac{{\mathrm{\Δ}}_N}{{\mathrm{\Δ}}_V}& {\mathrm{\Δ}}_V\≠0\end{array}\right.$

最终色差估计：

$\stackrel{\‾}{D}{b}_0=\stackrel{\‾}{D}{b}_N-{\mathrm{\α}}_V(\stackrel{\‾}{D}{b}_N-\stackrel{\‾}{D}{b}_S)$ 式21

$\stackrel{\‾}{D}{r}_0=\stackrel{\‾}{D}{r}_N-{\mathrm{\α}}_V(\stackrel{\‾}{D}{r}_N-\stackrel{\‾}{D}{r}_S)$ 式22

增强型垂直颜色插值器512、514

这是用于增强型解拼处理的替换垂直色差插值器。此插值器使用来自时间上相邻的帧的额外绿和蓝/红样本值来产生经修正的对色差信号的估计。此插值器可与交替GBR线扫描一起使用。

此插值器使用的样本的相对空间位置在图16中所示。在通过置换所有式子中的所有蓝和红符号来交换蓝和红样本时也可使用此插值器。

定义：

G＝绿样本

B＝蓝样本

R＝红样本

α_B＝蓝白平衡    α_R＝红白平衡

利用以下式子来计算蓝和红样本值的北(N)和南(S)方向估计：

${\stackrel{\‾}{B}}_S={\mathrm{\α}}_B(\frac{1}{32}{B}_{-7}+\frac{22}{32}{B}_{-3}+\frac{9}{32}{B}_{+1})+\frac{3}{4}{\stackrel{\‾}{G}}_0-\frac{1}{2}{\stackrel{\‾}{G}}_{-2}-\frac{1}{4}{\stackrel{\‾}{G}}_{-4}$ 式23

${\stackrel{\‾}{R}}_S={\mathrm{\α}}_R(\frac{9}{32}{R}_{-5}+\frac{22}{32}{R}_{-1}+\frac{1}{32}{R}_{+3})+\frac{3}{4}{\stackrel{\‾}{G}}_0-\frac{1}{2}{\stackrel{\‾}{G}}_{-2}-\frac{1}{4}{\stackrel{\‾}{G}}_{-4}$ 式24

${\stackrel{\‾}{B}}_N={\mathrm{\α}}_B(\frac{1}{32}{B}_{-3}+\frac{22}{32}{B}_{+1}+\frac{9}{32}{B}_{+5})+\frac{3}{4}{\stackrel{\‾}{G}}_0-\frac{1}{2}{\stackrel{\‾}{G}}_{+2}-\frac{1}{4}{\stackrel{\‾}{G}}_{+4}$ 式25

${\stackrel{\‾}{R}}_N={\mathrm{\α}}_R(\frac{9}{32}{R}_{-1}+\frac{22}{32}{R}_{+3}+\frac{1}{32}{R}_{+7})+\frac{3}{4}{\stackrel{\‾}{G}}_0-\frac{1}{2}{\stackrel{\‾}{G}}_{+2}-\frac{1}{4}{\stackrel{\‾}{G}}_{+4}$ 式26

利用以下式子来计算色差的南(S)估计：

$\stackrel{\‾}{D}{b}_S={\stackrel{\‾}{B}}_S-{\stackrel{\‾}{G}}_0$ 式27

$\stackrel{\‾}{D}{b}_S={\mathrm{\α}}_B(\frac{1}{32}{B}_{-7}+\frac{22}{32}{B}_{-3}+\frac{9}{32}{B}_{+1})-\frac{1}{4}{\stackrel{\‾}{G}}_0-\frac{1}{2}{\stackrel{\‾}{G}}_{-2}-\frac{1}{4}{\stackrel{\‾}{G}}_{-4}$ 式28

$\stackrel{\‾}{D}{r}_S={\stackrel{\‾}{R}}_S-{\stackrel{\‾}{G}}_0$ 式29

$\stackrel{\‾}{D}{r}_S={\mathrm{\α}}_R(\frac{9}{32}{R}_{-5}+\frac{22}{32}{R}_{-1}+\frac{1}{32}{R}_{+3})-\frac{1}{4}{\stackrel{\‾}{G}}_0-\frac{1}{2}{\stackrel{\‾}{G}}_{-2}-\frac{1}{4}{\stackrel{\‾}{G}}_{-4}$ 式30

利用以下式子来计算色差的北(N)估计：

$\stackrel{\‾}{D}{b}_N={\stackrel{\‾}{B}}_N-{\stackrel{\‾}{G}}_0$ 式31

$\stackrel{\‾}{D}{b}_N={\mathrm{\α}}_B(\frac{1}{32}{B}_{-3}+\frac{22}{32}{B}_{+1}+\frac{9}{32}{B}_{+5})-\frac{1}{4}{\stackrel{\‾}{G}}_0-\frac{1}{2}{\stackrel{\‾}{G}}_{+2}-\frac{1}{4}{\stackrel{\‾}{G}}_{+4}$ 式32

$\stackrel{\‾}{D}{r}_N={\stackrel{\‾}{R}}_N-{\stackrel{\‾}{G}}_0$ 式33

$\stackrel{\‾}{D}{r}_N={\mathrm{\α}}_R(\frac{9}{32}{R}_{-1}+\frac{22}{32}{R}_{+3}+\frac{1}{32}{R}_{+7})-\frac{1}{4}{\stackrel{\‾}{G}}_0-\frac{1}{2}{\stackrel{\‾}{G}}_{+2}-\frac{1}{4}{\stackrel{\‾}{G}}_{+4}$ 式34

自适应垂直加权：

$\begin{array}{c}{\mathrm{\Δ}}_N=\frac{1}{2}|{\stackrel{\‾}{G}}_{+2}-{\stackrel{\‾}{G}}_0|+\frac{1}{4}{\mathrm{\α}}_B|B_{+1}-B_{-3}|+\frac{3}{4}{\mathrm{\α}}_R|R_{+3}-R_{-1}|\\ +\frac{1}{2}|{\stackrel{\‾}{G}}_{+4}-{\stackrel{\‾}{G}}_{+2}|+\frac{3}{4}{\mathrm{\α}}_B|B_{+5}-B_{+1}|+\frac{1}{4}{\mathrm{\α}}_R|R_{+7}-R_{+3}|\end{array}$ 式35

$\begin{array}{c}{\mathrm{\Δ}}_S=\frac{1}{2}|{\stackrel{\‾}{G}}_{-2}-{\stackrel{\‾}{G}}_{-4}|+\frac{1}{4}{\mathrm{\α}}_B|B_{-3}-B_{-7}|+\frac{3}{4}{\mathrm{\α}}_R|R_{-1}-R_{-5}|\\ +\frac{1}{2}|{\stackrel{\‾}{G}}_0-{\stackrel{\‾}{G}}_{-2}|+\frac{3}{4}{\mathrm{\α}}_B|B_{+1}-B_{-3}|+\frac{1}{4}{\mathrm{\α}}_R|R_{+3}-R_{-1}|\end{array}$ 式36

Δ_V＝Δ_N+Δ_S

${\mathrm{\α}}_V=\left\{\begin{array}{cc}\frac{1}{2}& {\mathrm{\Δ}}_V=0\\ \frac{{\mathrm{\Δ}}_N}{{\mathrm{\Δ}}_V}& {\mathrm{\Δ}}_V\≠0\end{array}\right.$ 式37

最终色差估计：

$\stackrel{\‾}{D}{b}_0=\stackrel{\‾}{D}{b}_N-{\mathrm{\α}}_V(\stackrel{\‾}{D}{b}_N-\stackrel{\‾}{D}{b}_S)$ 式38

$\stackrel{\‾}{D}{r}_0=\stackrel{\‾}{D}{r}_N-{\mathrm{\α}}_V(\stackrel{\‾}{D}{r}_N-\stackrel{\‾}{D}{r}_S)$ 式39

水平颜色插值器520、522

这是增强型解拼处理的第三阶段。水平颜色插值器使用在第二阶段中计算出的垂直色差估计以及已知的绿样本值来估计绿像素位置处的蓝和红信号值。

标准水平颜色插值器520

此插值器只使用来自当前帧的色差值来产生对绿像素位置处的蓝和红信号值的估计。

此插值器使用的样本的相对空间位置在图18中示出。

定义：

G＝绿样本

α_B＝蓝白平衡    α_R＝红白平衡

贝塞尔中心差异插值器被用于估计像素位置零处的色差信号的值。利用以下式子来计算对未知色差值的估计。

$\stackrel{\‾}{D}{b}_0=\frac{14297}{16384}\stackrel{\‾}{D}{b}_{-1}+\frac{4766}{16384}\stackrel{\‾}{D}{b}_{+3}$

$-\frac{2043}{16384}\stackrel{\‾}{D}{b}_{-5}-\frac{1459}{16384}\stackrel{\‾}{D}{b}_{+7}$

$+\frac{567}{16384}\stackrel{\‾}{D}{b}_{-9}+\frac{464}{16384}\stackrel{\‾}{D}{b}_{+11}$

$-\frac{131}{16384}\stackrel{\‾}{D}{b}_{-13}-\frac{113}{16384}\stackrel{\‾}{D}{b}_{+15}$

$+\frac{20}{16384}\stackrel{\‾}{D}{b}_{-17}+\frac{18}{16384}\stackrel{\‾}{D}{b}_{+19}$

$-\frac{1}{16384}\stackrel{\‾}{D}{b}_{-21}-\frac{1}{16384}\stackrel{\‾}{D}{b}_{+23}$ 式40

$\stackrel{\‾}{D}{r}_0=\frac{14297}{16384}\stackrel{\‾}{D}{r}_{-1}+\frac{4766}{16384}\stackrel{\‾}{D}{r}_{+3}$

$-\frac{2043}{16384}\stackrel{\‾}{D}{r}_{-5}-\frac{1459}{16384}\stackrel{\‾}{D}{r}_{+7}$

$+\frac{567}{16384}\stackrel{\‾}{D}{r}_{-9}+\frac{464}{16384}\stackrel{\‾}{D}{r}_{+11}$

$-\frac{131}{16384}\stackrel{\‾}{D}{r}_{-13}-\frac{113}{16384}\stackrel{\‾}{D}{r}_{+15}$

$+\frac{20}{16384}\stackrel{\‾}{D}{r}_{-17}+\frac{18}{16384}\stackrel{\‾}{D}{r}_{+19}$

$-\frac{1}{16384}\stackrel{\‾}{D}{r}_{-21}-\frac{1}{16384}\stackrel{\‾}{D}{r}_{+23}$ 式41

最终颜色估计由以下式子给出：

${\stackrel{\‾}{B}}_0=\frac{1}{{\mathrm{\α}}_B}(\stackrel{\‾}{D}{b}_0+G_0)$ 式42

${\stackrel{\‾}{R}}_0=\frac{1}{{\mathrm{\α}}_R}(\stackrel{\‾}{D}{r}_0+G_0)$ 式43

增强型水平颜色插值器522

这是用于增强型解拼处理的替换水平颜色插值器。此插值器使用来自时间上相邻的帧的额外色差值来产生经修正的对绿像素位置处的蓝和红信号值的估计。此插值器可与两种交替线扫描一起使用。

此插值器使用的样本的相对空间位置在图19中示出。

定义：

G＝绿样本

α_B＝蓝白平衡    α_R＝红白平衡

贝塞尔中心差异插值器被用于估计像素位置零处的色差信号的值。利用以下式子来计算对未知色差值的估计。

$\stackrel{\‾}{D}{b}_0=\frac{10005}{16384}(\stackrel{\‾}{D}{b}_{-1}+\stackrel{\‾}{D}{b}_{+1})$

$-\frac{2382}{16384}(\stackrel{\‾}{D}{b}_{-3}+\stackrel{\‾}{D}{b}_{+3})$

$+\frac{715}{16384}(\stackrel{\‾}{D}{b}_{-5}+\stackrel{\‾}{D}{b}_{+5})$

$-\frac{170}{16384}(\stackrel{\‾}{D}{b}_{-7}+\stackrel{\‾}{D}{b}_{+7})$

$+\frac{26}{16384}(\stackrel{\‾}{D}{b}_{-9}+\stackrel{\‾}{D}{b}_{+9})$

$-\frac{2}{16384}(\stackrel{\‾}{D}{b}_{-11}+\stackrel{\‾}{D}{b}_{+11})$ 式44

$\stackrel{\‾}{D}{r}_0=\frac{10005}{16384}(\stackrel{\‾}{D}{r}_{-1}+\stackrel{\‾}{D}{r}_{+1})$

$-\frac{2382}{16384}(\stackrel{\‾}{D}{r}_{-3}+\stackrel{\‾}{D}{r}_{+3})$

$+\frac{715}{16384}(\stackrel{\‾}{D}{r}_{-5}+\stackrel{\‾}{D}{r}_{+5})$

$-\frac{170}{16384}(\stackrel{\‾}{D}{r}_{-7}+\stackrel{\‾}{D}{r}_{+7})$

$+\frac{26}{16384}(\stackrel{\‾}{D}{r}_{-9}+\stackrel{\‾}{D}{r}_{+9})$

$-\frac{2}{16384}(\stackrel{\‾}{D}{r}_{-11}+\stackrel{\‾}{D}{r}_{+11})$ 式45

最终的颜色估计由以下式子给出：

${\stackrel{\‾}{B}}_0=\frac{1}{{\mathrm{\α}}_B}(\stackrel{\‾}{D}{b}_0+G_0)$ 式46

${\stackrel{\‾}{R}}_0=\frac{1}{{\mathrm{\α}}_R}(\stackrel{\‾}{D}{r}_0+G_0)$ 式47

运动检测器730

图20示意性地示出用于计算所有逐行扫描模式中绿样本位置处的绝对像素差异(SAD)的加和的绿样本。该加和在当前像素位置周围的m×n像素的阵列上发生。

前向SAD计算：

${\mathrm{SAD}}_{+1}=\frac{1}{m\×n}\underset{y=0}{\overset{m-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{n-1}{\mathrm{\Σ}}}|G_{\mathrm{frame},\mathrm{line},\mathrm{pixel}}-G_{\mathrm{frame}+1,\mathrm{line},\mathrm{pixel}}|$ 式48

后向SAD计算：

${\mathrm{SAD}}_{-1}=\frac{1}{m\×n}\underset{y=0}{\overset{m-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{n-1}{\mathrm{\Σ}}}|G_{\mathrm{frame},\mathrm{line},\mathrm{pixel}}-G_{\mathrm{frame}-1,\mathrm{line},\mathrm{pixel}}|$ 式49

其中：

m＝3  line＝2y-2

n＝5  pixel＝x-2

组合的SAD计算：

$\mathrm{SAD}=\left\{\begin{array}{cc}{-\mathrm{SAD}}_{-1}& {\mathrm{SAD}}_{-1}<{\mathrm{SAD}}_{+1}\\ {+\mathrm{SAD}}_{+1}& {\mathrm{SAD}}_{-1}\&GreaterEqual;{\mathrm{SAD}}_{+1}\end{array}\right.$ 式50

运动控制信号(α)是由运动检测器利用以下式子从所生成的SAD值计算的：

$\mathrm{\&alpha;}=\left\{\begin{array}{cc}1& \left|\mathrm{SAD}\right|<{\mathrm{SAD}}_{\min }\\ \frac{{\mathrm{SAD}}_{\max }-\left|\mathrm{SAD}\right|}{{\mathrm{SAD}}_{\max }-{\mathrm{SAD}}_{\min }}& {\mathrm{SAD}}_{\min }\&le;\left|\mathrm{SAD}\right|<{\mathrm{SAD}}_{\max }\\ 0& \left|\mathrm{SAD}\right|\&GreaterEqual;{\mathrm{SAD}}_{\max }\end{array}\right.$ 式51

${\mathrm{\&alpha;}}^{\&prime;}=\left\{\begin{array}{cc}1& \left|\mathrm{SAD}\right|<{\mathrm{SAD}}_{\min }\\ \frac{{\mathrm{SAD}}_{\max }-\left|\mathrm{SAD}\right|}{{\mathrm{SAD}}_{\max }-{\mathrm{SAD}}_{\min }}& {\mathrm{SAD}}_{\min }\&le;\left|\mathrm{SAD}\right|<{\mathrm{SAD}}_{\max }\\ 0& \left|\mathrm{SAD}\right|\&GreaterEqual;{\mathrm{SAD}}_{\max }\end{array}\right.$

α＝α′×(SAD＞0)？1：-1            式52

其中SAD_min和SAD_max是可编程的常数，并且表达式α＝α′×(SAD＞0)？1：-1的含义是最终的α值是通过将α′乘以SAD值的符号来生成的。SAD推导的示例性结果在图21中示出。

如上所述，在已知的绿样本位置处，运动指示符(α)被用于将标准解拼算法的结果与增强型解拼算法的结果相混合。

缩放

图22示意性地示出解拼和下变频器单元310，其是由解拼处理器800(如上所述)和缩放滤波器810形成的。解拼处理器800生成4k×1k图像，并且缩放滤波器810将其转换为2k×1k图像。

来自解拼处理的4096×1080图像被缩放滤波器810同时缩放到以下输出格式：

·2048×1080

·1920×1012

·2048×1080要求2→1的水平缩放并且不要求垂直缩放，而1920×1012缩放要求32→15的水平缩放和16→15的垂直缩放。对于两种输出格式，宽高比(H∶V)都维持在256∶135。

通过利用以下方法之一水平和垂直缩放到正确的输出尺寸来生成输出图像(4096×1080)。

·Sinc缩放滤波器

·线性缩放滤波器

·高斯缩放滤波器

用于每类缩放滤波器的抽头的数目在下面列出：

缩放滤波器	水平抽头	垂直抽头
			Sinc函数	7	7
高斯函数	7	5
			线性函数	5	3

Sinc缩放滤波器抽头是利用以下Sinc缩放函数生成的：

$y=\frac{\sin \left(\mathrm{\&pi;x}\right)}{\mathrm{\&pi;x}}$ 式53

水平和垂直Sinc缩放滤波器产生最锐利的输出图像。频率响应不是循环的，并且即使启用了波纹减小，也可察觉到一些波纹。

滤波器抽头是利用已知技术生成的。线性缩放滤波器抽头是利用线性缩放函数生成的：

$y=\left\{\begin{array}{cc}1-\left|x\right|& \mathrm{where}\left|x\right|<1\\ 0& \mathrm{elsewhere}\end{array}\right.$ 式54

水平和垂直线性缩放滤波器使用最小数目的滤波器抽头。

高斯缩放滤波器抽头是利用高斯缩放函数生成的：

$y=e^{-\mathrm{\&pi;}{x}^2}$ 式55

水平和垂直高斯缩放滤波器产生具有循环频率响应的平滑输出图像。

帧存储

图23示意性地示出了适用于提供过去和将来帧(相对于当前处理的帧n)给解拼处理器800和运动检测器730的帧存储的布置。提供了帧存储900、910、920和930，其中数据在相应的一个帧延迟之后被从一个帧存储传递到下一个(按所绘出的从左到右的顺序)。

软件实现

上述技术当然可用在通用数据处理装置上运行的计算机软件、用硬件、用诸如专用集成电路或现场可编程门阵列之类的可编程硬件或者用这些的组合来实现。在实现方式涉及计算机软件的情况下，将会明白这种软件和承载这种软件的介质表示本发明的实施例。

Claims (12)

1.一种图像传感器，包括：

光敏元件的阵列，每个光敏元件具有相应的颜色滤光器以将该光敏元件的敏感性限制到从一组的三个或更多个原色范围中选择的一原色范围，所述阵列是这样的：交替行中的光敏元件对于第一原色范围敏感，并且居间行中的光敏元件对于其他原色范围敏感；以及

像素数据读取器，被布置为关于视频信号的每个相继图像，输出来自对所述第一原色范围敏感的行的第一子集的像素数据，所述第一子集在所述视频信号的图像与图像之间是相同的；

所述像素数据读取器被布置为输出来自对所述其他原色范围敏感的光敏元件的行的第二子集的像素数据，所述第二子集在所述视频信号的图像与图像之间是变化的。

2.根据权利要求1所述的传感器，其中，所述第一原色范围是绿范围，并且所述其他原色范围是蓝和红范围。

3.根据权利要求1或权利要求2所述的传感器，其中，所述第一子集包括对所述第一原色范围敏感的那些行中的交替的行。

4.根据权利要求1至3中的任何一项所述的传感器，其中，所述第二子集在所述视频信号的图像与图像之间在行的两个可能的第二子集之间交替。

5.根据权利要求4所述的传感器，其中，所述两个可能的第二子集包括：

包括紧挨在所述第一子集中的相应行下方的那些行的第二子集；以及

包括紧挨在所述第一子集中的相应行上方的那些行的第二子集。

6.根据在前权利要求中的任何一项所述的传感器，其中，所述第二子集中的行中的像素位置相对于所述第一子集的行中的像素位置是水平偏移的。

7.一种图像处理装置，包括：

解拼处理器，用于接收包括来自光敏元件的阵列的像素数据的视频信号，每个光敏元件具有相应的颜色滤光器以将该光敏元件的敏感性限制到从一组的三个或更多个原色范围中选择的一原色范围，所述阵列是这样的：交替行中的光敏元件对于第一原色范围敏感，并且居间行中的光敏元件对于其他原色范围敏感；

所述像素数据包括：

来自对所述第一原色范围敏感的行的第一子集的像素数据，所述第一子集在所述视频信号的图像与图像之间是相同的；以及

来自对所述其他原色范围敏感的光敏元件的行的第二子集的像素数据，所述第二子集在所述视频信号的图像与图像之间是变化的；

所述解拼处理器包括垂直插值器，用于垂直移位所述第二子集的像素数据以便与所述第一子集的像素数据垂直对齐。

8.根据权利要求7所述的装置，其中，所述第二子集中的行中的像素位置相对于第一子集的行中的像素位置是水平偏移的，所述装置包括：

第一水平插值器，用于水平移位第一子集的行的像素数据的像素位置，以便提供与第二子集的行的像素数据垂直对齐的中间像素数据，所述中间像素数据被作为输入提供给所述垂直插值器；以及

第二水平插值器，用于水平移位由所述垂直插值器输出的像素数据以便与所述第一子集的行的像素数据水平对齐。

9.一种视频相机装置，包括：

根据权利要求1至6中的任何一项所述的图像传感器；以及

根据权利要求7至8中的任何一项所述的装置，用于对由所述图像传感器捕捉的图像进行处理。

10.一种图像处理方法，包括：

接收包括来自光敏元件的阵列的像素数据的视频信号，每个光敏元件具有相应的颜色滤光器以将该光敏元件的敏感性限制到从一组的三个或更多个原色范围中选择的一原色范围，所述阵列是这样的：交替行中的光敏元件对于第一原色范围敏感，并且居间行中的光敏元件对于其他原色范围敏感；

所述像素数据包括：

来自对所述第一原色范围敏感的行的第一子集的像素数据，所述第一子集在所述视频信号的图像与图像之间是相同的；以及

来自对所述其他原色范围敏感的光敏元件的行的第二子集的像素数据，所述第二子集在所述视频信号的图像与图像之间是变化的；

所述方法包括垂直移位所述第二子集的像素数据以便与所述第一子集的像素数据垂直对齐。

11.一种计算机软件，用于执行根据权利要求10所述的方法。

12.一种存储介质，承载着根据权利要求11所述的软件。

Images