CN101505368A - 逐行到隔行转换方法、图像处理装置、成像装置 - Google Patents

Abstract

本发明涉及逐行到隔行变换方法、图像处理装置以及成像装置。其中，为第一帧将逐行输入的图像数据的对应于两条扫描线1和2、3和4、5和6…中的各个的像素的像素值的和以扫描线的顺序按照时序输出；并为第二帧将图像数据的对应于两条扫描线2和3、4和5、6和7…中的各个的像素的像素值的和输出；为每一帧重复上述动作。

Description

逐行到隔行转换方法、图像处理装置、成像装置

相关申请的交叉引用

本申请要求于2008年2月7日申请的日本优先权文件2008-028069的优先权，并通过引用结合该文件的全部内容。

技术领域

本发明涉及一种逐行到隔行(progressive-to-interlace)转换技术，其用于将来自成像设备的逐行输入的信号转换为输出到显示设备的隔行输出的信号。

背景技术

通常，在成像装置等中，从成像设备沿扫描线顺序地对图像进行逐行扫描。当将经过逐行扫描的图像以隔行扫描的状态输出到NTSC型显示设备时，则需要逐行到隔行转换(PI转换)。

传统地，PI转换为每一帧首先输出奇数扫描线(第一扫描线，第三扫描线...)，随后输出偶数扫描线(第二扫描线，第四扫描线...)。例如，专利号为3821415的日本专利揭示了一种用于执行隔行的解析度转换的装置，其通过上述方法从逐行图像信号生成隔行图像信号。

传统的PI转换方法通过输出奇数扫描线构成第一场，随后通过输出偶数扫描线构成第二场；因此，对于每个逐行扫描帧，需要至少能够存储一副图画的数据的帧存储器；特别是对于高解析度的图像装置，其需要大容量存储器，使得装置本身的成本增加。

作为解决装置成本的方法，可以设想一种系统，其按照时序为每一帧交替地输出第一帧的奇数扫描线和下一帧的偶数扫描线，以输出逐行输入的图像数据。对于这种方案，尽管适用于几条扫描线的数据量的线缓冲器(line buffer)对于系统是足够的；但是由于对于每一帧来说，要读取并丢弃一半的扫描线，因此造成了浪费。此外，有效的亮度量减半，造成了在黑暗区域的亮度量不足。

发明内容

本发明的目的在于至少部分解决现有技术中存在的问题。

根据本发明的一个方面，提供了一种逐行到隔行的转换方法，其通过按照时序交替地输出奇数扫描线的图像数据和偶数扫描线的图像数据，将逐行输入的图像数据转换为隔行输出的图像数据，该方法包括：隔行输出步骤，包括将对应于当前扫描线的图像数据的像素的像素值与对应于下一扫描线的图像数据的像素的像素值相加的步骤；以及第一输出步骤，其包括将在相加步骤所获得的图像数据以隔行格式输出。

此外，根据本发明的另一方面，提供了一种图像处理装置，包括：逐行到隔行转换单元，其基于根据本发明的逐行到隔行转换方法，将逐行输入图像数据转换为隔行输出图像数据。

并且，根据本发明的再一方面，提供了一种成像装置，包括：一种成像设备，其输出逐行图像数据；以及根据本发明的图像处理装置

例如，基于传感器的自动增益控制(AGC)电路的增益量确定色彩的亮度。根据这种方案，能够降低除了黑暗区域的图像质量。

结合附图阅读下文具体说明的本发明优选实施例，将会更好地理解本发明的上述和其他目标、特征、优点以及技术和工业上的有效性。

附图说明

图1示出了根据本发明实施例的成像装置的处理系统的总体框图；

图2A示出了用于G信号的Bayer彩色滤波器阵列的示意图；

图2B示出了用于R信号的Bayer彩色滤波器阵列的示意图；

图2C示出了用于B信号的Bayer彩色滤波器阵列的示意图；

图3示出了根据实施例的MTF校正单元的框图；

图4示出了FIR滤波器示例的示意图；

图5示出了传统的逐行到隔行转换方法的示意图；

图6示出了根据本发明的逐行到隔行转换方法的示意图；

图7示出了根据实施例的逐行到隔行转换单元的示意图。

具体实施方式

下面参考附图详细说明本申请的示例实施例。将采用具有广视角和较大倍率色像差(chromatic aberration of magnification)及较大失真的光学系统为对象拍摄图像的成像装置作为本发明的一个实施例；其构造包括图像处理系统，该系统执行对于倍率色像差和失真的校正，并执行根据本发明的逐行到隔行转换。然而，本发明并不限于该实施例。此外，尽管将图像的色彩成分考虑为加法三原色的红(R)、绿(G)、蓝(B)，同样可以采用减法三原色的黄(Y)、红紫(M)、蓝绿(C)。

图1示出了根据本发明实施例的成像装置的处理系统的整体框图。该成像装置还包括在图1中省略了的操作单元、图像显示单元、光学系统、以及快门速度控制和透镜孔径调节机构等。尽管，假设所述图像装置被用于汽车相机设备，其还可以应用于多种用途。

如图1所示，控制单元100通过为各个单元提供必要的信号(时钟、水平/垂直同步信号等)，从而以管线方式控制各个单元的操作。控制单元100包括逐行到隔行(PI)转换切换信号生成单元105，其根据亮度生成切换信号以用于控制PI转换单元190的PI转换方法的切换。

例如，在成像设备110中配置将光学图像转换为电学信号(图像信号)的电荷耦合设备(CCD)或者互补金属氧化物半导体(CMOS)传感器，所述光学图像是由具有广视角、较大倍率色像差和失真的光学系统(未示出)拍摄的。成像设备100包括Bayer彩色滤波器阵列，从而基于来自控制单元100的控制信号(时钟、水平/垂直同步信号等)顺序地逐行输出Bayer阵列RGB图像信号。

AGC电路120将输出自成像设备100的模拟图像信号放大为预定数值。由所需的亮度和噪声量之间的权衡，将AGC电路120的增益量确定为适当的数值。在本实施例中，控制单元100的PI转换切换信号生成单元105从AGC电路120的增益量确定亮度，并将切换信号发送到PI转换单元190。

模拟数字(A/D)转换器130将Bayer阵列RGB图像信号转换为数字信号(图像数据)，并将图像数据输出到Bayer补偿单元140，所述RGB图像信号是由AGC电路120放大后的模拟信号。图像数据是由如全部为8比特的RGB构成的。

Bayer补偿单元140接收被转换为数字信号的Bayer阵列RGB图像数据，通过线性插入生成图像数据的全部坐标位置，并将图像数据输出到倍率色像差校正单元150。

图2A至2C是Bayer彩色滤波器阵列的示意图，其中G₀、R₂、R₄、R₆、R₈和R₀是由等式(1)到(6)获得的。

G₀＝(G₂+G₄+G₆+G₈)/4  (1)

R₂＝(R₁+R₃)/2        (2)

R₄＝(R₃+R₅)/2        (3)

R₆＝(R₅+R₇)/2        (4)

R₈＝(R₁+R₇)/2        (5)

R₀＝(R₁+R₃+R₅+R₇)/4  (6)

B₂、B₄、B₆、B₈及B₀与R₂、R₄、R₆、R₈及R₀的情况相同。

尽管实施例涉及使用Bayer彩色滤波器阵列的成像设备，同样可以通过采用其他类型的CMYG阵列或者RGB+Ir(红外线)的彩色滤波器阵列获得所述效果。特别是，期望于较高的效果，相对于如RGB的三色彩类型，所述具有四种色彩的彩色滤波器阵列的成像设备需要低延迟存储器或者4端口RAM。

倍率色像差校正单元150接收经Bayer补偿的RGB数据，采用预定的多项式等对RGB的每个色彩成分分别执行坐标转换(倍率色像差坐标转换)，并将经倍率色像差校正后的RGB像素数据输出。尽管每个色彩成分的倍率色像差均不相同，但是差别的数量较小。因此，可以将低容量及低延迟存储器或者具有多个端口的低容量存储器(如SRAM)用于校正倍率色像差的坐标转换。

调制传递函数(MTF)校正单元160接收经倍率色像差校正后的RGB像素数据，采用FIR滤波器对图像数据执行MTF校正处理，并将经MTF校正后的RGB像素数据输出。

图3示出了MTF校正单元160的框图。转换单元162基于等式(7)至(9)将RGB图像数据转换为YCbCr图像数据。

Y＝0.299R+0.587G+0.114B     (7)

Cr＝0.500R-0.419G-0.081B    (8)

Cb＝-0.169R-0.332G+0.500B   (9)

FIR滤波器(5×5滤波器)164仅接收YCbCr的亮度信号Y，并执行信号的预定的MTF校正。图4示出了FIR滤波器的示例的示意图。通过仅对Y信号进行滤波(执行MTF校正)可以获得色彩信号杂波的放大被抑制后的高质量图像。由于Y信号被滤波，需要在倍率色像差校正后执行MTF校正。若在失真校正后执行MTF校正，由于坐标转换的转换距离较大，易于在失真校正中发生算法错误，而MTF校正又会将错误放大，因此会导致对于图像质量所不希望的效果。由于这个原因，较佳的是在倍率色像差校正之后的阶段，并在失真校正之前的阶段行MTF校正。

逆转换单元166接收CbCr信号及经过MTF校正的Y信号，并基于等式(10)至(12)将经过逆转换的RGB图像数据输出。

R＝Y+1.402Cr           (10)

G＝Y-0.714Cr-0.344Cb   (11)

B＝Y+1.772Cb           (12)

控制单元100的PI转换切换信号生成单元105同样可以从在MTF校正单元160获得的亮度信号Y确定亮度。

失真校正单元170接收经倍率色像差校正和MTF校正的RGB像素数据；通过预定的多项式等，执行常见于RGB的各个色彩成分的坐标变换(失真坐标转换)；并将经失真校正的RGB像素数据输出。尽管相对于倍率色像差校正，失真校正的坐标转换需要较大的存储容量(一副图片的最大尺寸)；由于一个端口可以满足转换的执行，因此可以采用高延迟存储器(如DRAM)。并且可以同时校正倍率色像差及失真。

伽马校正单元180接收输出自失真校正单元170的RGB图像数据；采用查找表对RGB的成分执行预定的伽马校正；并将经过伽马校正的RGB图像数据输出。

从伽马校正单元180输出的RGB图像数据是按照扫描线顺序的逐行信号。PI转换单元190为每个RGB图像数据将输出自伽马校正单元180的逐行信号转换为隔行信号，并将隔行信号传输到NTSC类型的显示设备(未显示)。

上文是对于图1所述的根据实施例的成像装置的整体操作的说明。在下文中将详细说明作为本发明主要部件的PI转换单元190。

首先给出对于在本发明中所采用的逐行到隔行转换方法的说明。

图5是用于说明现有逐行到隔行转换方法的示意图。如图5中的(a)所示，按照扫描线的顺序1、2、3....为每一帧读取来自成像设备110的RGB图像信号，从而执行对于图像信号的逐行读取；并最终按照扫描线的顺序1、2、3...为来自伽马校正单元180的每一帧将经过伽马校正的RGB图像以类似的方式输出。当将这种RGB数据输出到NTSC等的显示设备中时，逐行到隔行转换是必须的。如图5中的(b)所示，现有的逐行到隔行转换方法为第一帧(在隔行输出端的第一场)交替地输出奇数扫描线的图像数据，如1、3、5....；并为第二帧交替地输出偶数扫描线的图像数据，如2、4、6....；为每一帧重复以上动作。在这种现有逐行到隔行转换方法中，在每一帧丢弃一半的扫描线，从而导致一半亮度量的浪费，引起在黑暗区域的亮度量不足。

图6示出了根据本发明的逐行到隔行转换方法的示意图。在图6中，(a)与图5中的(a)相同，示出了图像信号的逐行读取。如图6中的(b)所示，根据本发明的逐行到隔行转换方法，将对应于逐行输入的第一帧的两条扫描线1和2、3和4、5和6...中的各个的像素的像素值的和输出到第一帧(隔行输出端的第一场)；并将对应于逐行输入的第二帧的两条扫描线2和3、4和5、6和7...中的各个的像素的像素值的和输出到第二帧(隔行输出端的第二场)；为每一帧重复上述动作。在根据本发明的方法中，可以实现在逐行到隔行转换中不发生亮度量的损失(亮度量2倍于图5所示的现有方法)，从而能够在黑暗区域获得足够的亮度量。这样能够实现高感光度成像装置。

另一方面，通过根据本发明的逐行到隔行转换方法，纵向的解析度被降低了，引起了图像质量的下降。虽然这种图像质量的下降不是非常重要，但是可以通过在适当切换所述方法来解决这个问题，即，仅在亮度量不充足的情况下使用根据本发明的方法(感光度优先)，而在其他情况下使用现有的方法(图像质量优先)。例如，通过从照片的亮度或者成像设备的增益量读取亮度量的变化，从而可以根据色彩的亮度对如图5所示的现有逐行到隔行转换方法和如图6所示的根据本发明的逐行到隔行转换方法进行切换。

图7示出了PI转换单元190的框图。基于水平/垂直同步信号和时钟将逐行输入图像数据顺序地累积在线缓冲器191中。线缓冲器191可以具有至少2线(扫描线)，从而至少积累图像数据的上2条扫描线，并将旧扫描线的图像数据顺序丢弃。将垂直/水平同步信号用于隔行地址计算器192。隔行地址计算器192计算线缓冲器191的读取地址，从而以隔行格式将累积在线缓冲器191中的图像数据读取，并将计算出的地址输出。特别是，隔行地址计算器192为其他每一帧交替读取奇数线的地址和相应奇数线中的像素地址，以及偶数线地址和相应偶数线中的像素地址；并将得到的地址作为读取地址1顺序输出。同时，隔行地址计算器192读取下一线的线地址和相应线的像素地址，并将其作为读取地址2输出。

为特定的帧(隔行输出端的特定场)从线缓冲器191中将扫描线1、3、5....的图像数据作为数据1读出，并将扫描线2、4、6....的图像数据作为数据2读出；并且，基于输出自隔行地址计算器192的读取地址1和读取地址2，为下一帧将扫描线2、4、6....的图像数据作为数据1读出，并将扫描线3、5、7....的图像数据作为数据2读出；为其他所有帧交替地重复上述动作。

将从线缓冲器191中读取的数据1和数据2输入到加法器193中，将与两条扫描线相应的像素的像素数值顺序相加，并将相加的结果作为数据3输出到选择电路194，所述数据3将作为选择电路194的第一输入。在选择电路194的第二输入中，将从线缓冲器191中读取的数据1保持原状地输入。选择电路194基于来自PI转换切换信号生成单元105的切换信号选择数据1或者数据3，并输出所选择的数据。当选择了数据1时，将如图5中的(b)所示的现有隔行格式的图像数据输出；当选择了数据3时，将如图6中的(b)所示的根据本发明的隔行格式的图像数据输出。切换信号做出切换，从而在色彩亮度等于或高于预定等级时选择数据1(图像质量优先)，否则选择数据3(感光度优先)。

在加法器193中进行相加的数据仅包括R信号、G信号、B信号和如Y信号的亮度信息；对于YUV信号和YCbCr信号的情况，将YUV信号和YCbCr信号作为两个数据的平均数值或者两个数据中任意一个的数值输出。

PI转换切换信号生成单元105根据色彩的亮度，生成用于控制在PI转换单元190的PI转换方法的切换的切换信号。特别是，执行对PI转换方法的切换，从而在色彩的亮度等于或者高于预定级别时运行现有的PI转换方法(选择数据1)，否则运行根据本发明的PI转换方法(选择数据3)。

基于色彩的亮度在PI转换切换信号生成单元105生成切换信号的方法可以如下文所述。下文所述的方法仅作为一个示例，也就是说可以采用任何能够确定色彩亮度的方法。

(1)通常，在由A/D转换器130对成像设备110的输出信号进行模拟到数字转换之前，通过AGC电路120将其放大。基于图片所需的色彩亮度和噪声量之间的权衡，将AGC电路120的增益确定为适当的数值。然而，当色彩的亮度降低并且增益等于或者大于预定数值时，噪声量会变为大于可容忍的范围。通过从AGC电路120的增益确定色彩的亮度以生成切换信号，从而在增益低于预定数值时采用现有PI转换方法，在增益等于或高于预定数值时采用根据本发明的PI转换方法。当增益等于或者高于预定数值时，将PI转换方法切换为根据本发明的PI转换方法，通过保持增益能够在不增加噪声的情况下增加图片色彩的亮度。

(2)通过调整AGC电路120的增益、成像设备的快门速度和透镜的孔径，可以获得具有所需的色彩亮度的图像。通过从快门速度和透镜的孔径来确定色彩的亮度，以生成切换信号；从而在现有PI转换方法与根据本发明的PI转换方法之间进行PI转换方法的切换。

(3)从整个图片的总体亮度计算色彩亮度；或者在某些情况下，基于在MTF校正单元160获取的亮度信号Y，通过对图片中央的物体加权等，从而获取亮度的总和。基于计算出的色彩的亮度生成切换信号，从而在现有PI转换方法与根据本发明的PI转换方法之间进行PI转换方法的切换。

(4)通过安装独立的照度传感器(illuminance sensor)，基于照度传感器的输出生成切换信号；从而在现有PI转换方法与根据本发明的PI转换方法之间进行PI转换方法的切换。

如上文所述，根据本发明的一个方面，较少扫描线的数据量的线缓冲器足够用于逐行到隔行转换；此外，在不会浪费每一帧中一半的扫描线的情况下，能够有效地使用扫描线，并增加有效的亮度量。因此，可以提供黑暗区域的亮度量减少获得改进并且成本较低的高感光度成像装置。

尽管已经结合特定实施例对本发明进行了完整清楚的描述，但是上述描述并不构成对所附权利要求的限制，而是用于解释落入前述基本教示中的本领域技术人员可能遇到的所有变形和可选构造。

Claims (6)

1.一种逐行到隔行转换方法，通过按照时序交替地输出奇数扫描线的图像数据和偶数扫描线的图像数据，将逐行输入的图像数据转换为隔行输出的图像数据，该逐行到隔行转换方法包括隔行输出步骤，

所述隔行输出步骤包括：

相加步骤，将与当前扫描线的图像数据相对应的像素的像素值和与下一扫描线的图像数据相对应的像素的像素值相加；以及

第一输出步骤，包括将在上述相加步骤所获得的图像数据以隔行格式输出。

2.根据权利要求1所述的逐行到隔行转换方法，其中：

当色彩的亮度等于或者高于预定级别时，所述隔行输出步骤进一步包括第二输出步骤，所述第二输出步骤包括将逐行输入的图像数据的奇数扫描线和偶数扫描线的图像数据按照隔行格式交替地输出，以及

当色彩的亮度低于所述预定级别时，所述隔行输出步骤包括所述相加步骤和所述第一输出步骤。

3.根据权利要求1或2所述的逐行到隔行转换方法，其中所述相加步骤包括：将像素的亮度值相加。

4.根据权利要求2或3所述的逐行到隔行转换方法，进一步包括：基于自动增益控制电路的增益量来确定色彩的亮度，所述自动增益控制电路根据色彩的亮度放大图像数据。

5.一种图像处理装置，包括：逐行到隔行转换单元，该逐行到隔行转换单元基于根据权利要求1至4中任意一项所述的逐行到隔行转换方法将逐行输入的图像数据转换为隔行输出的图像数据。

6.一种成像装置，包括：

成像设备，用于输出逐行的图像数据；以及

根据权利要求5所述的图像处理装置。

Images