CN103314575A - 成像装置、成像方法和程序 - Google Patents

Abstract

在本发明中，在已经在A/D转换器（103）处被量化的固态成像元件（101）的输出信号中，仅在OB线选择器（105）处选择垂直OB线期间的信号，并将其存储在线存储器（106）中。电平适配器（107）电平调整前一垂直OB线信号，所述前一垂直OB线信号在放大器（102）的放大因数已经变化的帧的第一垂直OB线期间已经被从线存储器（106）读出，从而经由选择器A（108）输出所述信号。减法器（109）从当前垂直OB线信号中减去经电平调整的信号。在放大因数已经变化的帧的第一垂直OB线期间，乘法器（111）经由选择器B（110）将已经执行减法的信号乘以循环系数K_1H。减法器（112）从当前垂直OB线信号中减去乘法结果，从而通过将减法结果重写到线存储器（106）来执行循环操作。结果，提供了用于获取高图像质量的适当的垂直线校正技术。

Description

成像装置、成像方法和程序

技术领域

本发明涉及一种使用固态图像传感器的成像装置、成像方法以及程序。

背景技术

传统地，使用固态图像传感器的成像装置有关于图像质量劣化的问题，所述图像质量劣化是由系统所导致的循环时钟噪声或由垂直移位寄存器中的缺陷所导致的噪声所造成的。尽管噪声电平本身极低，但噪声在屏幕上显示为固定垂直线噪声、并且高度可见，导致图像质量的显著劣化。此外，在具有比其环境更高亮度的对象的成像时刻对于全部图像发生的线性爆发高亮（blown-out highlights）的拖影现象（smear phenomenon）也是图像质量劣化的主要原因之一。

正在研究移除这种垂直线噪声的方法，并且专利文献1（日本专利公开号7-67038）公开了一种方法，其基于每个像素在固态图像传感器的垂直方向（垂直OB区域）上通过积分（平均）光学黑色像素部分的输出信号并将随机噪声分量平均为零从而检测固定模式噪声信号、以及从固态图像传感器的有效像素部分的输出信号减去固定模式噪声信号，来减少白线等以及拖影。

图4是示出在使用上述垂直OB区域执行垂直线噪声（在下文中，简称为“垂直线”）的校正的时刻的传统成像装置的示例构造概貌的框图，所述垂直OB区域是光学黑色区域。

如图4中所示，从固态图像传感器1001输出的信号由放大器1002放大，由AD转换器1003量化，并接着输入到垂直线校正单元1004。

垂直线校正单元1004包括OB线选择器1005、线存储器1006、线积分器1007、以及减法器1008。

在有效像素区域的信号和垂直OB区域的信号中，OB线选择器1005仅输出垂直OB区域的信号。线积分器1007基于每个像素使用线存储器1006线积分（平均）垂直OB区域的信号。因而移除了随机噪声，并获得对于每条线的校正值。该校正值被存储在线存储器1006中。线积分器1007读出存储在线存储器1006中的校正值，并将其输出到减法器1008。减法器1008基于每个像素，从固态图像传感器1001输出的每个线信号中减去上述校正值。以这种方式，获得移除垂直线噪声的信号（其已经关于垂直线而被校正）。

[引用列表]

专利文献

专利文献1：日本专利公开号7-67038

发明内容

[技术问题]

然而，关于上述传统方法，如果固态图像传感器中提供的垂直OB区域中的线的数目小，在帧中执行线积分（平均）的时刻在垂直方向上每一个像素平均的次数减小，并且噪声有时并未充分减小，并且噪声可能在校正之后留在信号中。并且，在帧之间执行平均的情况下，特别地，如果成像装置的放大器1002的增益在帧之间变化，则噪声和垂直线可能留下。

鉴于上述传统成像装置的问题而做出本发明，并且本发明的目的是提供用于即使垂直OB区域中的线的数目小或者放大器的增益在帧之间变化、也可以通过适当执行垂直线校正来获得高图像质量的技术。

[问题的解决方案]

为了解决上述问题，本发明的成像设备包括：包括光学黑色区域的固态图像传感器；以及用于对固态图像传感器的输出信号执行垂直线校正的垂直线校正单元，垂直线校正单元包括：OB线选择器，用于选择固态图像传感器的输出信号中包括的光学黑色线信号；存储器，用于存储光学黑色线信号；电平调整器，用于根据固态图像传感器的输出信号的视频增益，调整从存储器读出的前一帧的光学黑色线信号的电平；第一减法器，用于计算当前帧的第一光学黑色线信号和其电平已经被调整的前一帧的光学黑色线信号之间的差信号；乘法器，用于计算差信号乘以循环系数的乘积；第二减法器，用于获得作为已经从其中减去所述差信号和循环系数的乘积的所述当前帧的光学黑色线信号的信号，并将减法之后的信号作为光学黑色线信号重写到所述存储器；以及第三减法器，用于将从固态图像传感器的有效像素区域输出的信号减去从存储器读出的信号。

并且，本发明的成像方法是对包括光学黑色区域的固态图像传感器的输出信号执行垂直线校正的成像方法，所述方法包括：选择固态图像传感器的输出信号中包括的光学黑色线信号的步骤；将光学黑色线信号存储在存储器中的步骤；从存储器读取前一帧的光学黑色线信号并根据固态图像传感器的输出信号的视频增益调整电平的步骤；第一减法步骤，计算当前帧的第一光学黑色线信号和其电平已经被调整的前一帧的光学黑色线信号之间的差信号；计算差信号乘以循环系数的乘积的步骤；第二减法步骤，获得作为已经从其中减去所述差信号和循环系数的乘积的所述当前帧的光学黑色线信号的信号，并将减法之后的信号作为光学黑色线信号重写到所述存储器；以及第三减法步骤，将从固态图像传感器的有效像素区域输出的信号减去从存储器读出的信号。

此外，本发明的程序是用于对包括光学黑色区域的固态图像传感器的输出信号执行垂直线校正的程序，所述程序用于使计算机执行下列步骤：选择固态图像传感器的输出信号中包括的光学黑色线信号的步骤；将光学黑色线信号存储在存储器中的步骤；从存储器读取前一帧的光学黑色线信号并根据固态图像传感器的输出信号的视频增益调整电平的步骤；第一减法步骤，计算当前帧的第一光学黑色线信号和其电平已经被调整的前一帧的光学黑色线信号之间的差信号；计算差信号乘以循环系数的乘积的步骤；第二减法步骤，获得作为已经从其中减去所述差信号和循环系数的乘积的所述当前帧的光学黑色线信号的信号，并将减法之后的信号作为光学黑色线信号重写到所述存储器；以及第三减法步骤，将从固态图像传感器的有效像素区域输出的信号减去从存储器读出的信号。

[发明的有益效果]

根据本发明，即使当垂直OB区域中的线的数目小时，也通过帧之间的循环操作有效地减小噪声，并且可以执行适当的垂直线校正。并且，即使当成像装置的放大器的增益在帧之间变化时，循环到前一帧的垂直OB线信号的电平也可以被调整到视频电平变化的程度并且被循环。结果，通过使垂直线校正信号的电平跟随诸如放大因数的变化的视频电平变化，可以在减小校正残余（residue）的同时执行垂直线校正。

附图说明

图1是示出根据实施例的成像装置的构造的框图。

图2是通过根据本实施例的成像装置进行增益调整的说明图。

图3是根据本实施例的信号处理的流程图。

图4是示出在使用垂直OB区域执行用于移除垂直线噪声的校正的时刻的传统成像装置的示例构造概貌的框图，所述垂直OB区域是光学黑色区域。

具体实施方式

以下将参考附图描述用于实现本发明的实施例。

[实施例]

图1是示出根据本实施例的成像装置的构造的框图。

固态图像传感器101的输出信号由放大器102放大，由AD转换器103量化（quantized），并且接着输入到垂直线（vertical line）校正单元104。

垂直线校正单元104包括OB线（line）选择器105、线存储器106、电平调整器107、第一选择器（选择器A）108、第二选择器（选择器B）110、乘法器111、以及三个减法器109、112和113。

由AD转换器103量化的信号Q_n被输入到OB线选择器105，并且对于信号Q_n，仅输出垂直OB线期间内的信号（垂直OB线信号：X_n）。

对于每个帧，通过对垂直OB线信号X_n执行稍后所述的操作所获得的减法结果Y_n被写入到线存储器106。

关于存储在线存储器106中的减法结果，在垂直OB线信号X_n是帧中的第一垂直OB线信号的情况下，将前一帧的垂直OB线信号Y_n-1发出到电平调整器107。该前一帧的垂直OB线信号Y_n-1是在将帧中的第一垂直OB线信号输入到垂直线校正单元104期间内从线存储器106读出的前一帧的垂直OB线信号。

另一方面，在垂直OB线信号X_n是第二或更晚的线的垂直OB线信号的情况下，将前一帧的垂直OB线信号Y_n-1发出到选择器A108，而不通过电平调整器107。

当在垂直OB线信号X_n是帧中的第一垂直OB线信号的情况下、将前一帧的垂直OB线信号Y_n-1发出到电平调整器107时，电平调整器107根据放大器102的放大因数调整垂直OB线信号Y_n-1的电平，并将已经被调整的垂直OB线信号Y_n-1输出到选择器A108。此外，稍后将描述根据放大器102的放大因数的电平调整。

在垂直OB线信号X_n是帧中的第一垂直OB线信号的情况下，选择器A108将电平调整之后的垂直OB线信号Y_n-1发出到减法器109，并且在垂直OB线信号X_n是第二或更晚的线的垂直OB线信号的情况下，选择器A108将前一帧的垂直OB线信号Y_n-1发出到减法器109。

减法器109从OB线选择器105接收垂直OB线信号X_n、并从选择器A108接收垂直OB线信号Y_n-1，从垂直OB线信号X_n减去垂直OB线信号Y_n-1，并将结果（X_n-Y_n-1）输出到乘法器111。

在垂直OB线信号X_n是帧中的第一垂直OB线信号的情况下，选择器B110将循环系数K_1H输出到乘法器111，并且在垂直OB线信号X_n是第二或更晚的线的垂直OB线信号的情况下，选择器B110将循环系数K输出到乘法器111。

乘法器111接收减法结果（X_n-Y_n-1）和循环系数K_1H或K的输入，并将两者相乘。即，在垂直OB线信号X_n是帧中的第一垂直OB线信号的情况下，（X_n-Y_n-1）乘以循环系数K_1H并获得K_1H（X_n-Y_n-1），并且在垂直OB线信号X_n是第二或更晚的线的垂直OB线信号的情况下，（X_n-Y_n-1）乘以循环系数K并获得K（X_n-Y_n-1）。接着，将乘法结果输出到减法器112。

减法器112从OB线选择器105接收垂直OB线信号X_n的输入、并从乘法器111接收K_1H（X_n-Y_n-1）或K（X_n-Y_n-1），从垂直OB线信号X_n减去K_1H（X_n-Y_n-1）或K（X_n-Y_n-1），并将结果输出到减法器113以及线存储器106，作为要被写入到线存储器的垂直OB线信号Y_n。

此后重复循环操作。

即，用上述循环操作，在垂直OB线信号X_n是帧中的第一垂直OB线信号的情况下，获得下列等式（1）作为要被写入到线存储器的垂直OB线信号Y_n，并且在垂直OB线信号X_n是第二或更晚的线的垂直OB线信号的情况下，获得下列等式（2）作为垂直OB线信号Y_n。

[等式1]

Y_n＝X_n-K_1H·(X_n-Y_n-1)=(1-K_1H)·X_n+K_1H·Y_n-1...等式（1）

[等式2]

Y_n＝X_n-K·(X_n-Y_n-1)=(1-K)·X_n+K·Y_n-1...等式（2）

由AD转换器103量化的信号Q_n和来自减法器112的、由上述等式（1）或（2）表达的垂直OB线信号Y_n被输入到减法器113。减法器113通过采取由上述等式（1）或（2）表达的垂直OB线信号Y_n作为垂直线校正信号、以及从量化信号Q_n减去垂直线校正信号，来执行垂直线校正操作。

图2是描述由根据本实施例的电平调整器107执行的所述增益调整的图。

假定放大器102的增益在帧1和帧2之间的消隐期间（blanking period）从Ga到Gb变化。在这种情况下，帧2的视频信号电平是关于帧1的视频信号电平的Gb/Ga倍。

接着，将垂直OB线的第一条线中从线存储器106读出的前一帧的垂直OB线信号乘以电平调整的增益值Gb/Ga，并且将电平调整为接近当前垂直OB线信号的电平。接着，对已经被调整的垂直OB线信号执行（等式1）的循环操作，并且将信号再次作为被调整的信号Y_n写入到线存储器106。

对于垂直OB线中的第二或更晚的线的相同帧，放大器102的增益不变，并且不需要信号调整。因此，用于电平调整的增益值返回到垂直OB线中的第二或更晚的线中之一。

通过上述操作，对于帧1和帧2，无论增益如何，存储在线存储器106中的信号Y_n的电平、以及垂直OB线信号的电平将近似一样，并且启用上述垂直线校正。

图3是根据本实施例的信号处理的流程图，并且下面描述的每个步骤形成本发明的成像方法。

首先，为了生成垂直线校正信号，读出前一帧中存储在线存储器106中的垂直OB线信号Y_n-1（S301）。接下来，确定从固态图像传感器101经由放大器102和AD转换器103输入的量化信号是否是垂直OB的第一条线（S302）。

如果信号是垂直OB的第一条线（S302：是），则执行对于S301中读出的信号Y_n-1的电平调整。具体地，执行用[Y_n-1×Gb/Ga]替代作为新的Y_n-1（S303）。此外，在上述量化信号不是垂直OB的第一条线（S302：否）的情况下，则是垂直OB的第二或更晚的线，并且Y_n-1保持不变。

接下来，从当前垂直OB线的信号X_n中减去Y_n-1（S304）。

进一步，确定当前信号是否是垂直OB的第一条线（S305），并且如果该信号是垂直OB的第一条线（S305：是），则执行乘以循环系数K_1H，并计算K_1H·(X_n-Y_n-1)（S306）。

另一方面，如果该信号是垂直OB的第二或更晚的线（S305：否），则执行乘以循环系数K，并计算K·(X_n-Y_n-1)（S307）。

接着，使用在S306或S307中获得的值来计算由上述等式1或2给出的Y_n（S308），并将其再次存储在线存储器106中（S309）。

确定垂直OB线是否结束（S310），并且如果没有结束（S310：否），则从S301重复步骤。另一方面，在垂直OB线结束的情况下（S310：是），读出存储在线存储器106中的信号，作为垂直线校正信号，并从有效像素中减去该垂直线校正信号，从而执行垂直线校正（S311）。

以这种方式，通过使垂直线校正信号的电平跟随视频电平变化，来执行具有小校正残余的垂直线校正。

在上述处理中，可以使用例如中断处理，来执行当前信号是否是垂直OB区域中的第一条线或第二或更晚的线、或者它是否是有效像素区域的理解（grasping）。

此外，在上述实施例中，作为在AD转换之前的放大器的放大因数中的变化描述了增益中的变化，但也可以通过在AD转换之后对量化信号执行乘法来改变该增益。这种变化后的模式也包括在本发明的范围内。并且，关于对垂直OB的第一条线的增益调整，乘以Gb/Ga不是限制性的，并且也可以通过相加单独确定的另一个因数来调整。并且，容易想到：通过读出存储在线存储器106中的信号作为垂直线校正信号、从有效像素中减去该垂直线校正信号、以及接着加上或减去某个值来调整电平的操作，或者通过从线存储器106读出的信号加上或减去某个值、并接着通过减法器113减去相同的值来调整电平的操作。

此前，已经利用实施例描述了本发明的成像装置和成像方法，但显然的是，可以根据记录步骤的程序并通过使用计算机来执行形成上述成像方法的每个步骤。

[工业实用性]

根据本发明，通过使垂直线校正信号的电平跟随诸如放大因数的变化的视频电平变化，可以在减小校正残余的同时执行垂直线校正。

参考标记列表

101,1001：固态图像传感器

102,1002：放大器

103,1003：AD转换器

104,1004：垂直线校正单元

105,1005：OB线选择器

106,1006：线存储器

107：电平调整器

108：选择器A

109,112,113,1008：减法器

110：选择器B

111：乘法器

1007：线积分器

Claims (3)

1.一种成像装置，包括：

固态图像传感器，包括光学黑色区域；以及

垂直线校正单元，用于对所述固态图像传感器的输出信号执行垂直线校正，

所述垂直线校正单元包括：

OB线选择器，用于选择所述固态图像传感器的输出信号中包括的光学黑色线信号，

存储器，用于存储所述光学黑色线信号，

电平调整器，用于根据所述固态图像传感器的输出信号的视频增益，调整从所述存储器读出的前一帧的光学黑色线信号的电平，

第一减法器，用于计算当前帧的第一光学黑色线信号和其电平已经被调整的所述前一帧的光学黑色线信号之间的差信号，

乘法器，用于计算所述差信号乘以循环系数的乘积，

第二减法器，用于获得作为已经从其中减去所述差信号和循环系数的乘积的所述当前帧的光学黑色线信号的信号，并将减法之后的信号作为光学黑色线信号重写到所述存储器，以及

第三减法器，用于从所述固态图像传感器的有效像素区域输出的信号减去从所述存储器读出的信号。

2.一种成像方法，对包括光学黑色区域的固态图像传感器的输出信号执行垂直线校正，所述方法包括：

选择所述固态图像传感器的输出信号中包括的光学黑色线信号的步骤；

将所述光学黑色线信号存储在存储器中的步骤；

从所述存储器读取前一帧的光学黑色线信号、并根据所述固态图像传感器的输出信号的视频增益调整电平的步骤；

第一减法步骤，计算当前帧的第一光学黑色线信号和其电平已经被调整的所述前一帧的光学黑色线信号之间的差信号；

计算所述差信号乘以循环系数的乘积的步骤；

第二减法步骤，获得作为已经从其中减去所述差信号和循环系数的乘积的所述当前帧的光学黑色线信号的信号，并将减法之后的信号作为光学黑色线信号重写到所述存储器；以及

第三减法步骤，从所述固态图像传感器的有效像素区域输出的信号减去从所述存储器读出的信号。

3.一种程序，用于对包括光学黑色区域的固态图像传感器的输出信号执行垂直线校正，所述程序用于使计算机执行下列步骤：

选择所述固态图像传感器的输出信号中包括的光学黑色线信号的步骤；

将所述光学黑色线信号存储在存储器中的步骤；

从所述存储器读取前一帧的光学黑色线信号、并根据所述固态图像传感器的输出信号的视频增益调整电平的步骤；

第一减法步骤，计算当前帧的第一光学黑色线信号和其电平已经被调整的所述前一帧的光学黑色线信号之间的差信号；

计算所述差信号乘以循环系数的乘积的步骤；

第二减法步骤，获得作为已经从其中减去所述差信号和循环系数的乘积的所述当前帧的光学黑色线信号的信号，并将减法之后的信号作为光学黑色线信号重写到所述存储器；以及

第三减法步骤，从所述固态图像传感器的有效像素区域输出的信号减去从所述存储器读出的信号。

Images