CN1741584A - 摄像装置和图像数据的修正方法 - Google Patents
摄像装置和图像数据的修正方法 Download PDFInfo
- Publication number
- CN1741584A CN1741584A CNA2005100921943A CN200510092194A CN1741584A CN 1741584 A CN1741584 A CN 1741584A CN A2005100921943 A CNA2005100921943 A CN A2005100921943A CN 200510092194 A CN200510092194 A CN 200510092194A CN 1741584 A CN1741584 A CN 1741584A
- Authority
- CN
- China
- Prior art keywords
- signal
- vertical transfer
- corrected signal
- view data
- transfer register
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
- H04N25/625—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of smear
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
Abstract
本发明提供一种摄像装置,其可以减少:作为用于修正图像数据的修正信号里包含随机干扰所引起的干扰的、图像数据的修正时新产生的干扰。该摄像装置在未将来自光电转换元件(301)的信号电荷读出到垂直传输寄存器(302)的状态下、驱动垂直传输寄存器(302)而获得修正信号,并存储在场存储器(7)中。然后,利用减法运算器(8),从图像数据中减去修正信号。
Description
技术领场
本发明涉及具有:从光电转换元件所生成并能驱动垂直传输寄存器的图像数据中消除固定型干扰功能的摄像装置和干扰消除方法。特别涉及:由垂直传输寄存器中产生的电荷引起的固定型干扰的消除。
背景技术
以往,作为消除CCD图像传感器中产生的干扰的摄像装置和方法,已知:例如专利文献1所记载的技术。在专利文献1中,公开有:通过向CCD图像传感器投影被摄像体而获得图像数据,在未向CCD图像传感器射入光的状态下驱动垂直传输寄存器而获得黑色电平信息的基础上,从图像数据减去黑色电平信息,从而修正图像数据。
根据这种的现有技术,在未向CCD图像传感器射入光的状态下通过驱动垂直传输寄存器,从而可以获得黑色电平信息,如果从图像数据减去黑色电平信息就可以消除干扰,可以获得真正的图像数据。
利用于上述减法运算处理的黑色电平信息存储在帧存储器中。这是因为:黑色电平信息具有1帧份的每一个像素的信息,在修正时,从图像数据的每一个像素信息减去黑色电平信息的每一个像素信息,所以作为存储、保持黑色电平信息的存储机构的存储容量,需要能够存储1帧份的图像数据的容量的缘故。
但是,CCD图像传感器所产生的干扰分为固定型干扰(Fixed PatternNoise(FPN)固定型干扰)和随机干扰。所谓固定型干扰是指:把图像数据映现在画面上时,每一个像素的特性偏差所引起而产生的干扰显示在画面中固定位置的干扰。与此不同,随机干扰是指:与画面的位置无关而显示的干扰。
另外,CCD图像传感器中所产生的干扰可以分类为:由于光电转换元件中产生的电荷所引起的干扰成分和由于垂直传输寄存器中产生的电荷所引起的干扰成分。在本说明书中,为了方便,把光电转换元件中产生的电荷所引起的干扰成分称之为元件干扰成分,把垂直传输寄存器中产生的电荷所引起的干扰成分称之为传输干扰成分。并且,将传输干扰成分中的固定型干扰称之为传输固定干扰成分。垂直传输寄存器中产生的暗电流是传输固定干扰成分的主要原因。
上述现有技术的黑色电平信息,是在CCD图像传感器没有射入光的状态下通过进行从光电转换元件的电荷读出和平常的垂直传输而获得的信息,所以是包含固定型干扰和随机干扰、包含元件干扰成分和传输干扰成分的信息。
因此,由于现有技术是从图像信息中减去黑色电平信息,故可以同时消除这些各种干扰,所以看起来是优越的。
【专利文献1】
特开平6-54261号公报
然而,如果连随机干扰也减去的话,则产生新的干扰,而不够理想。详细叙述这一点的话,即使黑色电平信息里包含随机干扰,但也并不一定是在图像数据里包含其随机干扰。这是因为:随机干扰是时时刻刻出现在画面的任意位置的干扰的缘故。因此,如果黑色电平信息里包含随机干扰,就变为从原来不包含干扰的图像数据中减去干扰的结果,由于其减法运算就产生新的干扰。
发明内容
本发明的目的在于,提供一种摄像装置,其可以减少作为修正图像数据用的修正信号里包含随机干扰所引起的干扰的图像数据修正时新产生的干扰。
在本发明的第一形态中,摄像装置包括:摄像机构,其具有矩阵状配置的多个光电转换元件、邻接配置在光电转换元件的每一列并传输来自所述光电转换元件的信号电荷的多个垂直传输寄存器;存储机构,其对在将来自所述光电转换元件的信号电荷未读出到所述垂直传输寄存器的状态下、驱动垂直传输寄存器而获得的修正信号进行存储;减法运算器,其从在将来自所述光电转换元件的信号电荷已读出到所述垂直传输寄存器的状态下驱动垂直传输寄存器而获得图像数据中减去所述修正信号。
根据此构成,由于在未将来自光电转换元件的信号电荷读出到垂直传输寄存器的状态下,通过驱动垂直传输寄存器来获得修正信号,所以修正信号不包含光电转换元件中产生的电荷。另一方面,随机干扰大多包含在光电转换元件所产生的电荷中。因此,可以减少:作为修正信号里包含随机干扰所引起的干扰的图像数据修正时新产生的干扰。
并且,本发明的摄像装置把1帧份的图像数据分为多个场(field),在每一个场获得图像信号的情况下,修正信号是可以通过将垂直传输寄存器驱动1场期间来获得。
根据此构成,因为可以通过读出1场份的信号来生成修正信号,所以和通过读出1帧份来生成修正信号的现有技术相比,可以缩短用于生成修正信号的时间。并且,因为作为修正信号只要存储保持1场份的数据就可以,所以存储修正信号的存储机构可以利用存储容量小的存储机构。具体地,可以使所述存储机构的容量为相当于1场份的图像数据的容量以上、小于相当于2场份的图像数据的容量。
另外,本发明的摄像装置,作为存储机构可以利用存储1行份的修正信号的行存储器,该情况下,在用于获得修正信号的垂直传输寄存器的驱动后,通过继续以获得修正信号时的相同速度驱动垂直传输寄存器来获得图像数据。
根据此构成,在所输出的画面的每一列,可以使传输固定干扰成分恒定。因此,只利用1行份的修正信号就可以消除传输固定干扰成分。因此,可以使存储修正信号的存储机构的存储容量变小。
并且,在该情况下,1行份的修正信号,可以对在将来自光电转换元件的信号电荷未读出到垂直传输寄存器的状态下、驱动垂直传输寄存器而获得多行份的伪信号,进行加法运算平均或加权平均而获得。
另外,本发明的摄像装置也可以具备低通滤波器,其使在将来自光电转换元件的信号电荷未读出到垂直传输寄存器的状态下、驱动垂直传输寄存器而直接从摄像机构获得的伪信号的低频成分透过;修正信号可以是从低通滤波器的输出获得的信号。根据此构成,可以防止:在修正信号里包含随机干扰的现象。
并且,本发明的摄像装置也可以具备:能够遮光摄像机构的遮光机构。此种情况下,在摄像机构被遮光机构遮光的状态下、清除垂直传输寄存器的拖尾(smear)电荷后,驱动垂直传输寄存器而获得修正信号。根据此构成,可以防止:曝光中所产生的拖尾或暗电流混入修正信号的现象。并且,可以防止:垂直传输寄存器的驱动中产生拖尾并混入修正信号的现象。
另外,本发明的摄像装置还可以包括:检测温度的温度传感器和/或控制摄像机构的输出增益的增益控制机构。该情况下,根据温度传感器所检测的温度和/或所述增益控制机构的增益,决定是否要进行对图像数据的利用修正信号的修正。并且,也可以是,按照温度传感器所检测的温度和/或增益控制机构的增益大小,增减修正信号的大小。根据此结构,因为按照修正的必要性,可以决定是否要进行修正或修正信号的大小,所以可以避免:在修正必要性低的情况下,由于摄像时间的增长或干扰的产生等、由于修正所引起的副作用。
另外,本发明的摄像装置可以具备:连续摄像多帧的图像数据的连续摄像模式,该情况下,在连续摄像模式中,作为从当前帧的图像数据减法运算的修正信号,可以利用前一个帧中所利用的修正信号。根据此构成,由于在当前帧的摄像时可以消除伪场期间,所以可以缩短摄像期间。
在本发明的第二形态中,摄像装置包括:摄像机构,其具有矩阵状配置的多个光电转换元件、邻接配置在光电转换元件的每一列并传输来自光电转换元件的信号电荷的多个垂直传输寄存器,交替重复图像数据排出动作和伪信号排出动作以输出运动图像数据,所述图像数据排出动作是在未将来自光电转换元件的信号电荷读出到所述垂直传输寄存器的状态下、驱动垂直传输寄存器而排出图像数据,所述伪信号排出动作是在未将来自光电转换元件的信号电荷读出到所述垂直传输寄存器的状态下、驱动垂直传输寄存器而排出伪信号;修正信号生成机构,其根据摄像机构的伪信号排出动作所排出的伪信号,生成修正信号;存储机构,其存储所生成的修正信号;减法运算器,其从图像数据排出动作所排出的图像数据中减去所述修正信号。
根据此构成,由于在未将来自光电转换元件的信号电荷读出到垂直传输寄存器的状态下,通过驱动垂直传输寄存器来获得修正信号,所以修正信号里不包含光电转换元件中产生的电荷。另一方面,随机干扰大多包含在光电转换元件所产生的电荷中。因此,可以减少:作为修正信号里包含随机干扰所引起的干扰的图像数据修正时新产生的干扰。
另外,摄像机构也可以接收周期性输出的读出脉冲,在每次接收读出脉冲时,将来自光电转换元件的信号电荷读出到垂直传输寄存器,进行图像数据排出动作和伪信号排出动作。根据此构成,因为每一次接收读出脉冲时可以获得伪信号,所以可以频繁生成修正信号。
并且,修正信号生成机构可以通过对根据以不同定时接收的读出脉冲所排出的多个伪信号进行加法运算平均或加权平均,从而生成修正信号。根据此构成,由于根据以多个定时获得的伪信号生成修正信号,所以即使每一次接收读出脉冲的伪信号多少有点偏差,也可以获得稳定的修正信号。
另外,本发明的摄像装置也可以把运动图像中的1帧份的图像数据分为多个场份,每1场期间驱动垂直传输寄存器时,摄像机构进行图像数据排出动作和伪信号排出动作。根据此构成,因为每场中可以获得伪信号,所以可以生成适合于每个场的修正信号。
并且,修正信号生成机构也可以通过加法运算平均或加权平均不同场中所排出的多个伪信号来生成修正信号。根据此构成,因为根据多个场中所获得的伪信号来生成修正信号,所以每一个场中的伪信号即使存在少许偏差,也可以获得稳定的修正信号。
另外,存储机构也可以是,在修正信号生成机构每一次生成修正信号时,以新生成的修正信号来更新修正信号。根据此构成,存储机构没有必要存储以前所生成的修正信号,所以可以使存储容量变小。
此外,还可以具备:检测前一次从摄像机构排出的伪信号电平与这一次所排出的伪信号电平之间的变化量的变化量检测机构。该情况下,存储机构可以在变化量检测机构所检测出的变化量超过规定值的情况下,不进行修正信号的更新。根据此构成,在伪信号产生拖尾且伪信号的电平超过规定值的情况下,存储机构中的修正信号是不会变更的,所以可以防止:拖尾对修正信号造成影响的现象。因此,可以防止拖尾混入到伪信号的情况下在图像数据中产生新的干扰。
另外,也可以具备:检测从摄像机构排出的伪信号电平的电平检测机构。该情况下,存储机构在电平检测机构所检测出的电平超过规定值的情况下,可以不更新修正信号。根据此构成,在伪信号产生拖尾且伪信号的电平超过规定值的情况下,不更新存储机构中的修正信号,所以可以防止:拖尾对修正信号造成影响的现象。因此,在拖尾混入到伪信号的情况下,可以防止在图像数据中产生新的干扰。
此外,本发明的摄像装置还可以具备:检测温度的温度传感器和/或控制摄像机构的输出增益的增益控制机构。该情况下,根据温度传感器所检测出的温度和/或增益控制机构的增益,决定是否要进行对图像数据的、利用修正信号的修正。另外,也可以是,按照温度传感器所检测出的温度和/或增益控制机构的增益大小,增减修正信号的大小。根据此构成,因为可以按照修正的必要性来决定是否进行修正或修正信号的大小,所以可以避免:在修正的必要性小的情况下,摄像时间的增长或新干扰的产生等、由于修正所引起的副作用。
本发明的摄像装置也可以是能够摄像运动图像和静止图像的摄像装置。该情况下,可以具备:对运动图像摄像时修正信号生成机构生成并存储在存储机构中的修正信号乘以规定值,而生成静止图像用修正信号的乘法运算器;减法运算器可以在静止图像摄像时,进行从图像数据排出动作所排出的图像数据中减去静止图像用修正信号的减法运算。根据此构成,在静止图像摄像时,因为利用运动图像摄像时所利用的修正信号,可以进行图像数据的修正,所以没有必要生成静止图像用修正信号。因此,没有必要确保修正信号生成所需要的时间,可以缩短静止图像摄像时的时间。
在本发明的第三形态中,摄像装置包括:摄像机构,其具有矩阵状配置的多个光电转换元件、邻接配置在光电转换元件的每一列并能将来自光电转换元件的信号电荷读出的读出区域、不能将来自光电转换元件的信号电荷读出的伪区域、传输读出区域中所读出的信号电荷的多个垂直传输寄存器;修正信号生成机构,其驱动垂直传输寄存器,将伪区域中产生的电荷作为伪信号而获得,并根据该伪信号生成修正信号;存储机构,其存储已经生成的修正信号;减法运算器,通过驱动垂直传输寄存器、从而作为图像数据获得读出区域所读出的信号电荷,从该图像数据中减去修正信号。根据此构成,因为伪区域不能进行来自光电转换元件的信号电荷的读出,所以可以可靠地防止:伪信号里包含元件干扰成分。
本发明的摄像装置可以减少:作为修正图像数据用的修正信号里包含随机干扰所引起的干扰的图像数据修正时新产生的干扰。
附图说明
图1是表示本发明第一实施方式的摄像装置的构成的框图。
图2是表示本发明第一~第四实施方式的CCD图像传感器的构成的示意图。
图3是表示本发明第一实施方式的摄像装置的动作的流程图。
图4是表示本发明第一实施方式的摄像装置的动作定时的时间图。
图5是表示本发明第一实施方式的摄像装置的连续摄像模式时的动作时间的时间图。
图6是表示本发明第二实施方式的摄像装置的构成的框图。
图7是表示本发明第二实施方式的摄像装置的动作的流程图。
图8是表示本发明第二实施方式的摄像装置的动作定时的时间图。
图9是表示本发明第二实施方式的摄像装置的连续摄像模式时的动作定时的时间图。
图10是表示本发明第三实施方式的摄像装置的构成的框图。
图11是表示本发明第三实施方式的摄像装置的动作程序图。
图12是表示本发明第三实施方式的摄像装置的有修正模式时的动作的流程图。
图13是表示本发明第三实施方式的、摄像装置的没有修正模式时的动作的流程图。
图14是表示本发明第五实施方式的摄像装置的构成的框图。
图15是表示本发明第五实施方式的摄像装置的动作的流程图。
图16是表示本发明第五实施方式的摄像装置的动作定时的时间图。
图17是表示本发明第六实施方式的摄像装置的构成的框图。
图18是表示本发明第七实施方式的摄像装置的构成的框图。
图19是表示本发明第八实施方式的摄像装置的构成的框图。
图20是表示本发明第八实施方式的摄像装置的动作的流程图。
图21是表示本发明第八实施方式的、摄像装置的有修正模式时的动作的流程图。
图22是表示本发明第八实施方式的、摄像装置的没有修正模式时的动作的流程图。
图23是表示本发明第九实施方式的摄像装置的构成的框图。
图24是表示本发明第九实施方式的摄像装置的静止图像摄像时的动作的流程图。
图25是表示本发明第九实施方式的摄像装置的静止图像摄像时的动作定时的时间图。
图26是表示本发明第十实施方式的摄像装置的动作定时的时间图。
具体实施方式
下面,结合附图,说明本发明的实施方式。
(发明的概要1)
首先,说明本发明的第一至第四实施方式所示的摄像装置的概略。本发明的摄像装置在未将来自CCD图像传感器的光电转换元件的信号电荷读出到CCD图像传感器的垂直传输寄存器的状态下,驱动垂直传输寄存器。由此获得修正信号之后,从在未将来自光电转换元件的信号电荷读出到垂直传输寄存器的状态下驱动垂直传输寄存器而获得的图像数据中减去该修正信号。通过在未将来自光电转换元件的信号电荷读出到垂直传输寄存器的状态下驱动垂直传输寄存器,从而垂直传输寄存器所传输的电荷里不包含光电转换元件所引起的干扰。因此,可以获得主要以传输干扰成分为成分的修正信号。然后,通过从图像数据减法运算该修正信号,从而可以消除传输干扰成分并修正图像数据。
在此说明:传输干扰成分中的传输固定干扰成分所引起的干扰。传输固定干扰成分由于在垂直传输中被加法运算平均,所以从读出到垂直传输寄存器至输出为止的时间,如果在全体像素中恒定,则在画面全体中变为一样的偏置。与此不同,如果这个时间在每一个水平行不同的情况下,变为垂直方向变化的固定型干扰来表现。另外,随着CCD图像传感器的微细化,每一个垂直传输寄存器的暗电流的偏差变为不能忽视。如果垂直传输此已偏离的传输固定干扰成分,则在每一列、干扰的电平不同,表现为纵向钢筋状的固定型干扰。
第一实施方式至第四实施方式中所说明的摄像装置主要减少静止图像的这种纵向钢筋状的固定型干扰。
(第一实施方式)
1-1摄像装置的构成
图1是表示本发明第一实施方式的摄像装置的构成的框图。
摄像装置是把透镜1所聚光的图像的光学信号,在CCD图像传感器3中转换为电信号而生成图像数据。在透镜1中所聚光的光学信号可以用遮光机构2来遮光。遮光机构2例如是机械快门等。所生成的图像数据在增益控制部(以下称「AGC」)5中调整增益,在A/D转换器6中被数字化。场存储器7存储修正信号。减法运算器8从A/D转换器6中被数字化的图像数据减去场存储器7所存储的修正信号。这样,从减法运算器8输出的图像数据是利用修正信号消除了传输干扰成分的数据,画面质量良好。从减法运算器8输出的图像数据存储在图像存储器20中。
微型电子计算机9是控制遮光机构2、CCD图像传感器3、AGC5、场存储器7等并控制摄像装置全体动作的控制机构。
其次,说明CCD图像传感器3的构成。图2是表示CCD图像传感器的构成的示意图。
CCD图像传感器3具备:矩阵状配置的多个光电转换元件301、邻接配置在光电转换元件301的每一列并传输信号电荷的多个垂直传输寄存器302。并且,CCD图像传感器3还具备:用于向水平方向传输多个垂直传输寄存器302所传输信号电荷的水平传输寄存器303。
在此例子中,相对每一个光电转换元件301存在两个垂直传输寄存器302。在垂直传输寄存器302中,以向每一行提供相同电位变化的方式配设有电极。向垂直传输寄存器302读出积存在邻接的光电转换元件301中的电荷后,通过以几种驱动模式向垂直方向提供电位(φV1~V6)的变化,从而向垂直方向传输,最后从水平传输寄存器303输出。根据对垂直传输寄存器302提供的驱动模式,电荷的被读出方式变化,干扰的表现方式也在变化。
另外,CCD图像传感器3具有:光电转换元件301存在的区域304。CCD图像传感器3在水平传输寄存器303一侧还可以具有:作为不存在光电转换元件301的区域的伪区域307。存在光电转换元件301的区域304包括图像形成区域306和位于其周围的遮光区域305。该遮光区域305是利用于光学性黑色电平的检测。CCD图像传感器3是摄像机构的一例。
另外,本实施方式的摄像装置把1帧份的图像数据分为多个场份来获得。例如,光电转换元件301的第1、第4、第7、......第(3n-2)行所构成的图像作为第一场,第2、第5、第8......第(3n-1)行所构成的图像作为第二场,第3、第6、第9......第3n行所构成的图像作为第三场(n是正整数)。利用于数码相机等的CCD图像传感器正在向高像素化发展,如果经过1帧份将所有像素一次性读出到垂直传输寄存器302而垂直传输,则会增加所必要的垂直传输寄存器302的数目,所以存在:从读出信号电荷到传输结束为止需要时间长的问题。本实施方式的摄像装置为了解决此问题,分为多个场来读出1帧份的图像数据。可是,本发明不限于这些,也可以应用在把1帧份的图像数据不分为多个场而读出的摄像装置。
1-2单一摄像模式时的动作
下面,结合图3、4说明:有关本实施方式摄像装置的动作中、摄像1张图像时的动作(「单一摄像模式」)。另外,时间性地连续摄像多张图像的模式称为「连续摄像模式」。
图3是表示本实施方式的摄像装置的动作的流程图。另外,图4是表示其动作的动作定时的时间图。图4(a)是表示遮光机构2的状态的图,高时为曝光状态,低时为表示遮光状态。图4(b)是表示:将电荷从光电转换元件301读出到垂直传输寄存器302的定时的图,高时表示进行读出。
图4(c)是表示:在垂直传输寄存器302中的进行交错(行间)传输的定时的图;高时表示进行交错传输。图4(d)是表示:垂直传输寄存器302中的进行高速传输的定时的图;高时表示进行高速传输。另外,所谓高速传输是指:为了进行下一个摄像动作,排出积存在垂直传输寄存器302的电荷而进行的传输。图4(e)是:把一个画面中的任意列的传输固定干扰成分的值作为代表一个画面份而示意性表示的图。图4(f)是表示相对场存储器7的允许写入(WE)信号,高时为场存储器7存储输入信号。
图4(g)是表示本实施方式的摄像装置的动作状态的图。时刻T1~T2期间是进行曝光动作的期间。时刻T3~T5期间是伪场期间,是生成修正信号并存储的期间。时刻T5~T7、T7~T9、T9~T11分别是第一~第三场期间,是生成、修正、存储第一~第三场的图像数据的期间。
1-2-1曝光期间
首先,说明曝光期间。在图3中,微型电子计算机9监视快门开关10是否被按下(S101),如果被按下,则控制遮光机构2而变为曝光状态(S102、图4的T1)。曝光延续到时刻T2,如果结束曝光,则微型电子计算机9控制遮光机构2而变为遮光状态。然后,CCD驱动部4为了清除曝光期间中积存在垂直传输寄存器302内的暗电流,控制CCD图像传感器3以便进行高速传输(S103、图4的T3~T4)。
在此,所谓高速传输是指:为了清除曝光期间中在垂直传输寄存器302中产生的拖尾或暗电流,而高速驱动垂直传输寄存器302的传输方法。
1-2-2伪场期间
说明伪场期间。在未将来自光电转换元件301的信号电荷读出到垂直传输寄存器302的状态下,为了读出1场份的信号电荷,在垂直传输寄存器302中进行交错传输。其结果,把从CCD图像传感器3获得的信号电荷称为「伪信号」。另外,把生成此伪信号的期间称为「伪场」。
伪信号从CCD图像传感器3向AGC5输出,进一步地向A/D转换器6输出,在A/D转换器6中被数字化之后,作为修正信号存储在场存储器7(S104、图4的T4~T5)。在场存储器7存储此修正信号时,微型电子计算机9对场存储器7输出允许写入信号。因此,如图4(f)所示,时刻T4~T5期间是允许写入信号变为高(有效)。
在此,说明:图4(e)所示的传输固定干扰成分的随时间的变化。如上所述,传输固定干扰成分的主要原因是由于暗电流而产生的电荷。此电荷量成正比于每一个垂直传输寄存器302上残留的时间而变大。由于高速传输之后马上被传输的时间短,所以每一个垂直传输寄存器302上的电荷量小。因此,读出脉冲出现之后马上(T4),包含在从CCD图像传感器3输出信号中的传输固定干扰成分小。之后,随着行间传输中的时间的经过,由于暗电流的电荷积存在垂直传输寄存器302,所以传输固定干扰成分逐渐增加,最后,从CCD图像传感器3输出的行中变为最大。由于这样的理由,通常画面上部的信号被首先读出,所以,如果看修正前的图像,则包含在图像中的干扰向着画面的下方逐渐增加其电平。
由于伪信号是在未将来自光电转换元件301的信号电荷读出到垂直传输寄存器302的状态下,通过驱动垂直传输寄存器302而获得的,所以不包含积存在光电转换元件301内的信号电荷,只包含垂直传输寄存器302中产生的信号电荷。因此,如果使用根据伪信号而生成的修正信号来修正图像数据,则不会产生连光电转换元件301所引起的干扰也被修正的现象。因此,在光电转换元件301所引起的干扰小、垂直传输寄存器302所引起的干扰大的情况下,可以有效消除应修正的干扰,所以,可以获得良好的图像数据。
并且,因为可以通过读出1场份的伪信号来生成修正信号,所以,比读出1帧份来生成修正信号的现有技术相比,可以缩短生成修正信号的时间。因此,可以缩短快门的时滞作用(time lag)或摄像间隔。而且,因为每一个场的图像数据对于传输固定干扰成分都变为几乎相同的值,所以即使利用根据1场份的伪信号而生成的修正信号来修正每一个场的图像数据也不会有问题。
并且,由于作为修正信号,只要存储保持1场份的数据就可以,所以存储修正信号的存储机构可以利用存储容量小的存储机构。具体地,存储机构的容量只要是相当于1场份的图像数据的容量以上就可以,即使小于与2场份的图像数据相当的容量也无妨。
另外,作为减少存储修正信号的存储机构的存储容量的方法,以往提出有:在已经遮光的状态下,把信号电荷读出到垂直传输寄存器并传输而获得的信号中的1列份的信号、作为修正信号存储的方法。可是,在这种方法中,由于对1行的每一个像素减法运算相同的修正信号,所以不能对应纵向钢筋状的固定型干扰。
另外,如上所述,也可以构成为:在CCD图像传感器3被遮光机构2遮光的状态下,利用高速传输来清除垂直传输寄存器302的拖尾电荷之后,驱动垂直传输寄存器302来获得修正信号。根据此构成,可以防止:曝光中产生的拖尾或暗电流混入到修正信号。并且,可以防止:垂直传输寄存器302驱动中产生拖尾,并混入到修正信号的现象。
1-2-3第一~第三场期间
接着,说明第一~第三场期间。如果伪场期间结束,则CCD驱动部4驱动CCD图像传感器3,以便进行高速传输(S105、图4的T5~T6)。由于此高速传输,积存在垂直传输寄存器302的暗电流被清除。然后,CCD驱动部4驱动CCD图像传感器3,以便将信号电荷从光电转换元件301读出到垂直传输寄存器302(S106、图4的T6)。被读出到垂直传输寄存器302的信号电荷由垂直传输寄存器302进行交错传输,通过水平传输寄存器303,从CCD图像传感器3向AGC输出(S107)。此信号电荷作为图像数据,在A/D转换器6中被数字化。然后,减法运算器8从该已经数字化的图像数据中减去存储在场存储器7内的修正信号。于是,最后把消除了干扰的图像数据存储在图像存储器20中。
通过进行这样的减法运算处理,从而可以从垂直传输寄存器302获得的图像数据中消除传输干扰成分。如果更详细地说明的话,在每一个场的干扰消除前的图像数据里,包含垂直传输寄存器302中产生的电荷所引起的干扰。垂直传输寄存器中产生的电荷所引起的干扰和上述伪信号相同。因此,通过由减法运算器8从每一个场的图像数据中减去从场存储器7读出的修正信号,从而可以消除传输干扰成分。
对1场份的图像数据实施了上述处理后,微型电子计算机9确认:对1帧份的图像数据即3场份的图像数据是否进行了上述处理,在所有场份的处理没有结束的情况下,返回到步骤S105,对第二场、第三场的图像数据,进行生成、修正、存储的处理(图4的T7~T9、T9~T11)。另一方面,在所有场份的处理结束的情况下(第三场的处理结束的情况下),结束处理。
1-3连续摄像模式时的动作
接着,结合图5,说明连续摄像模式时的动作。所谓连续摄像模式是指连续摄像多个帧的图像数据的动作模式。图5是表示连续摄像模式时的摄像装置的动作定时的时间图。图5(a)~(g)分别对应图4(a)~(g)。并且,图5只表示:多个帧的摄像动作中、第二帧的摄像时的动作定时。连续摄像模式的第一帧摄像时的动作定时和单一摄像模式的摄像时的动作定时同样,所以省略其说明。
在连续摄像模式中,如果第一帧的摄像结束,则变为:在图像存储器20中存储已经消除了传输干扰成分的第一帧的图像数据;在场存储器7中存储第一帧的摄像时的伪场期间所生成的修正信号的状态。该状态和单一摄像模式中的摄像结束时的状态同样。
微型电子计算机9以从这个状态开始变为曝光状态的方式控制遮光机构2(T12),而转移到第二帧的摄像。如果结束曝光,则微型电子计算机9不进行修正信号的生成、存储而立即转移到第一场期间(T14)。在第一场期间中,如果结束高速传输(T15),则将信号电荷从光电转换元件301读出到垂直传输寄存器302而生成图像数据,减法运算器8进行:从该图像数据中减去存储在场存储器7的修正信号的减法运算。这样,已经消除了传输固定干扰成分的图像数据存储在图像存储器20中。对第二场和第三场也重复该动作。
这些动作虽然和第一帧的摄像的情况同样,但在第二帧的情况下,作为修正信号,是利用第一帧中已经利用的修正信号来进行干扰消除的。同样,在第三帧的摄像时,利用第一和第二帧中已经利用的修正信号。即,作为从当前帧的图像数据减去的修正信号,利用前面帧中已经利用过的修正信号。这样的处理成为可能是因为:当前帧中产生的传输固定干扰成分和前面帧中产生的传输固定干扰成分几乎相同。
另外,不限于连续摄像模式,在当前的摄像帧和前面的摄像帧中,传输固定干扰成分的值几乎相同的情况下,通过利用相同的修正信号,从而在当前帧的摄像时,可以消除伪场期间,所以可以缩短摄像期间。特别是在连续摄像模式中,可以使帧间的连续摄像间隔变短。
1-4汇总
本实施方式的摄像装置包括:CCD图像传感器3,其具有矩阵状配置的多个光电转换元件301、邻接配置在光电转换元件301的每一列并传输信号电荷的多个垂直传输寄存器302;场存储器7,其对在未将来自光电转换元件301的信号电荷读出到垂直传输寄存器302的状态下、驱动垂直传输寄存器302而获得的修正信号进行存储;减法运算器8,其从在将来自光电转换元件301的信号电荷读出到垂直传输寄存器302的状态下、驱动垂直传输寄存器302而获得图像数据中减去修正信号的减法运算。根据此构成,可以减少:在修正信号里包含随机干扰所引起的图像数据的修正时新产生的干扰。对于这一点进行更详细的说明。
如上所述,如果从图像数据连随机干扰也减去的话,则会产生新的干扰,所以不理想。此随机干扰是在光电转换元件301中多产生的干扰(元件干扰成分)。因此,可以考虑:从图像数据中只减去传输固定干扰成分而不减去元件干扰成分。可是,那样的话,就变为:对光电转换元件301中产生的固定型干扰不能进行修正。
因此,从提高图像质量的观点来看,应该适当选择如下两种方法中的一种方法。
——通过不减去元件干扰成分来防止:因为在修正信号里包含随机干扰而引起的新的干扰的产生。
——通过减去元件干扰成分来修正:光电转换元件中所产生的固定型干扰。
考虑最近的状况来研讨这一点的话,伴随近几年的CCD图像传感器3的微细化,传输固定干扰成分的比例逐渐变大。这是因为:随着光电转换元件301面积的缩小化的发展,光电转换元件输出电荷量变小,对此,传输固定干扰成分的减少程度少于光电转换元件输出电荷量减少比例、的缘故。伴随这些,即使在以往不需要修正的条件下,也有必要进行传输固定干扰成分的修正。
包含在摄像元件输出的传输固定干扰成分的大小,如果垂直传输速度相同则由温度来决定。温度越高传输固定干扰成分越变大。另一方面,元件干扰成分是由温度以及积存时间(曝光时间)来决定。例如,夜景摄像时,如果长时间曝光,则元件干扰成分增加。因此,在传输固定干扰成分和元件干扰成分中,所需要修正的条件是不同的。
如果这样,高温时,即使在需要进行传输固定干扰成分的修正的情况下,如果曝光时间短,则有时也存在不需要进行元件干扰成分的修正的情况。尽管如此,如果在不需要进行元件干扰成分修正的条件下,进行元件干扰成分的修正,则会导致:元件干扰成分中的随机干扰所引起的新的干扰的产生,所以不理想。
因此,在没有必要进行元件干扰成分的修正的条件下,通过使光电转换元件301中产生的电荷不包含在修正信号中,从而可以减少:在修正信号里包含随机干扰所引起的、修正图像数据时新产生的干扰。
(第二实施方式)
2-1摄像装置的概要
本发明的第二实施方式的摄像装置,构成为:在画面的垂直方向产生一定大小的传输固定干扰成分,利用1行份的修正信号来消除那种干扰。在第一实施方式中,作为修正信号利用了1场份的数据,但是在第二实施方式中,因为利用1行份的数据,所以使存储修正信号的存储机构的存储容量可以变得更小。
2-2摄像装置的构成
图6是表示本实施方式摄像装置的构成的框图。不同于图1所示的构成的主要方面是利用了行存储器27的方面和具备了以行存储器27的输出作为输出的IIR型低通滤波器的方面。该低通滤波器由减法运算器12、乘法运算器13、加法运算器14和行存储器27构成,使伪信号的低频成分通过。低通滤波器是在垂直方向进行从A/D转换器6输出的多行伪信号的加法运算或加权平均,具有如下所示的传递函数。
(k×z)-1/{1-(1-k)×z-1} ......(1)
在式(1)中,k是乘法运算器13的增益、在0~1之间变动,其值越小就低通滤波器的效果越变大,在加权平均中,可以减小相对于从A/D转换器6输出的新的信号的加权量。另外,在式(1)中,z-1意味着延迟1行。
在此说明:设置这种低通滤波器的理由。伪信号不仅包含传输固定干扰成分还包含随机干扰。如果把包含随机干扰成分的信号作为修正信号来使用,则变为:从不产生随机干扰的像素中也减去随机干扰成分。由此,消除干扰后的图像数据里会产生:由于减去修正信号所引起的新的纵向钢筋状干扰。因此,为了防止在修正信号里包含随机干扰成分,对CCD图像传感器3的输出进行低通滤波处理。
另外,加权平均处理伪信号的理由如下。为了充分排除随机干扰对修正信号的影响,在上述的式(1)中,优选设定充分小的k值,对多行伪信号进行加权平均。因此,在本实施方式中,通过加权平均多行伪信号而生成1行的修正信号。
2-3摄像装置的动作
下面,结合图7和图8,说明本实施方式的摄像装置的动作。图7是表示第二实施方式摄像装置的动作的流程图。和本发明第一实施方式的摄像装置相比,步骤S204中的修正信号生成方法不同,并且,步骤S208的修正信号的减法运算方法不同。另外,在第一实施方式中,是在每一个场进行高速传输(图3的S105),但在第二实施方式中,只是在伪场中进行高速传输(S103)而在每一个场中不进行高速传输。
图8是表示第二实施方式摄像装置的动作定时的时间图。图8(a)~(g)分别对应图4(a)~(g)。
在图7中,步骤S101~S103为止的动作和第一实施方式同样,所以省略其说明。通过高速传输,转移到伪场期间(T33),如果结束伪场期间(T34),则在未将来自光电转换元件301的信号电荷读出到垂直传输寄存器302的状态下为了输出1场份的信号电荷,在垂直传输寄存器302中交错传输(T34~T35)。
在这样获得的伪信号内包含传输固定干扰成分。如图8(e)所示,虽然此传输固定干扰成分值随着时间的经过逐渐增加,但在已经进行1场份的交错传输的时刻、即已经进行平常的垂直传输寄存器302的级数份的垂直传输的时刻(T35),其值变为恒定。下面说明其理由。在时刻T35以前,像素的电荷在垂直传输寄存器302中被传输的次数和传输时间因像素位置的不同而不同,所以传输固定干扰成分的值追从时间而上升。可是,在时刻T35以后,与每一个像素的位置无关而传输次数和传输时间变为恒定,所以传输固定干扰成分的值也变为恒定。即,利用了:如果交错传输时间变为某种程度长时间,则传输固定干扰成分变为恒定的现象。
在传输固定干扰成分的值变为恒定后,进一步地交错传输规定行数的伪信号并从CCD图像传感器3读出(T35~T36)。在此期间,通过由减法运算器12、乘法运算器13、加法运算器14和行存储器27构成的低通滤波器,对从CCD图像传感器3读出的多行伪信号,一边消除随机干扰成分一边实施加权平均。然后,将最终获得的平均值作为修正信号存储在行存储器27中(S103、时刻T36)。为了进行这样的动作,如图8(f)所示,微型电子计算机9在时刻T35~T36期间,对行存储器27输出允许写入信号。
如果结束伪场期间,则CCD驱动部24不进行高速传输,而驱动CCD图像传感器3,以便从光电转换元件301向垂直传输寄存器302读出信号电荷(S106、图8的T36)。这样,通过以和获得修正信号时的速度相同且恒定的速度驱动画面的全传输级数份的垂直传输寄存器302后,继续以相同的速度驱动垂直传输寄存器302,而获得图像数据。即,通过使清除前一次电荷到清除这一次电荷为止的时间,在一个画面的全像素范围内变为恒定,从而可以使传输固定干扰成分恒定。因此,有必要:获得修正信号后,不经过高速驱动垂直传输寄存器302的高速传输方式而获得图像数据。
由于该CCD图像传感器3的驱动,所输出的图像数据被输出到减法运算器8(S107)。在减法运算器8中,从所输入的图像数据中减去从行存储器27读出的修正信号(S208)。此时,如上所述,减法运算的修正信号是在每一行利用共同的信号。然后,将最后被消除了干扰的图像数据存储在图像存储器20中(S109)。和第一实施方式同样,重复上述处理全部场份,结束一系列的摄像动作(S110)。
另外,在上述的实施方式中说明了单一摄像模式时的动作,但本实施方式的思想也可以应用在连续摄像模式。但在本实施方式中,和第一实施方式不同,摄像第二帧时以后需要:在第一场的摄像前利用交错传输,只驱动全部行级数份的垂直传输寄存器302。这是因为:为了把传输固定干扰成分提升为恒定电平。即,在第一场的摄像前,有必要设置伪场期间。
下面,结合图9说明连续摄像模式时的动作。图9是表示连续摄像模式时的摄像装置动作定时的时间图。图9(a)~(g)对应图8(a)~(g)。并且,图9只表示:多帧的摄像动作中的第二帧摄像时的动作定时。连续摄像模式中的第一帧摄像时的动作定时和单一摄像模式中的摄像时的动作定时同样,所以省略其说明。
在连续摄像模式中,如果结束第一帧的摄像,则微型电子计算机9控制遮光机构2以便变为曝光状态,并转移到第二帧的摄像(T40)。如果结束曝光,则微型电子计算机9不进行修正信号的生成、存储。可是,不是立即转移到第一场期间而是经由伪场期间。该伪场期间不是以生成修正信号为目的,而是以使传输固定干扰成分值变为恒定值为目的而设置的。这一点和第一实施方式不同。
如果只是驱动全部行级数份的垂直传输寄存器302,则和第一帧摄像时不同,不设多行份读出传输固定干扰成分恒定的伪信号的期间(图8的T35~T36期间),立即结束伪场期间,并转移到第一场期间。因此,转移到第二帧的摄像可以以短于第一帧摄像的时间来摄像。
第一~第三场期间(T44~T47)的动作和第一帧摄像时的第一~第三场期间(T36~T39)的动作同样,所以省略其说明。
另外,由减法运算器12、乘法运算器13、加法运算器14和行存储器27构成的低通滤波器是本发明的修正信号生成机构的一例。修正信号生成机构是加法运算平均或加权平均多个伪信号的机构,但不限于这些,即使在不处理伪信号而按原来状态作为修正信号来利用的情况下,也包含在修正信号的生成的概念中。该情况下,从CCD图像传感器3读出伪信号之后供给到行存储器27的机构就相当于修正信号生成机构。另外,行存储器27是存储机构7的一例。
(第三实施方式)
摄像装置的概要
在第一、第二实施方式中,构成为:不顾温度或AGC5的增益而进行修正处理。与此不同,本实施方式的摄像装置根据温度和/或AGC5的增益来决定是否进行修正处理。
传输固定干扰成分的值随着CCD图像传感器3的温度或相对CCD图像传感器3的输出的增益的大小而变动。在高温或增益大的情况下,传输固定干扰成分的值变大。在此,所谓增益大的情况就是指:高灵敏度中的摄像的情况。在这种情况下,因为传输固定干扰成分大,所以消除这些的修正的必要性变大。另一方面,在低温或增益小的情况下,传输固定干扰成分值变小。该情况下,有时存在没有必要进行这种修正的情况。如果连那种情况也进行修正处理,则会产生:由于设置伪场所引起的摄像时间的增长或在低通滤波器处理中没有完全消除的随机干扰成分所引起的新干扰的产生等副作用。本发明的第三实施方式的目的在于,防止产生这样的副作用。
3-2摄像装置的构成
在图10中表示本实施方式的摄像装置构成的框图。本实施方式的摄像装置是在图1所示的构成的基础上,还具备温度传感器17和开关16。
温度传感器17是检测温度的传感器。开关16具备连接端子a~连接端子c,通过微型电子计算机9的控制,使连接端子a连接到连接端子b或连接端子c。连接端子a连接在A/D转换器6的输出上,连接端子b连接减法运算器8,连接端子c连接在图像存储器20上。在连接端子a与连接端子b连接时,从CCD图像传感器3获得的图像数据在减法运算器8中被修正,并向图像存储器20输出。另一方面,在连接端子a与连接端子c连接时,图像数据没有在减法运算器8中修正、就向图像存储器20输出。
微型电子计算机9监视温度传感器17所检测的温度和AGC5的增益。并且,在那些值是满足式(2)那样的大值的情况下,控制开关16,以便使连接端子a与连接端子b连接,而修正图像数据。另一方面,在那些值是不满足式(2)那样的小值的情况下,控制开关16,以便使连接端子a与连接端子c连接,而不修正图像数据。
G×(T-Tref)/4>Th ......(2)
在此,G是AGC5的增益,T是温度传感器17中所检测出的温度,Tref是规定的基准温度,Th是规定值。此式(2)是考虑暗电流的量相对8度的温度上升而变为约2倍的性质而决定的。
3-3摄像装置的动作
图11是表示本实施方式的摄像装置动作的流程图。图12是表示在图11中转移到有修正的模式情况下的动作的流程图;图13是表示在图11中转移到没有修正的模式情况下的动作的流程图。
在图11中,步骤S101~S103的动作和第一实施方式的步骤S101~S103同样,所以省略其说明。在步骤S301中,微型电子计算机9监视温度传感器17的检测温度和AGC5的增益,判定那些值是否满足式(2)。然后,在那些值满足式(2)的情况下,转移到有修正的模式(S302),在那些值不满足式(2)的情况下,转移到没有修正的模式(S303)。
在转移到有修正的模式的情况下,按图12所示的流程动作。即,和第一实施方式的摄像装置进行相同的动作。
另一方面,在转移到没有修正的模式的情况下,按图13所示的流程动作。即,在第一实施方式的摄像装置中,不生成、不存储修正信号、不修正图像数据的动作。该情况下,没有必要设置生成修正信号的伪场期间,所以和第一实施方式的摄像装置相比,可以缩短摄像时间。并且,由于不进行修正,所以不会产生:低通滤波器处理中没有完全消除的随机干扰成分所引起的新的干扰。
(第四实施方式)
对上述的第一~第三实施方式的几个变形例进行说明。
i)在第二实施方式中,如式(1)所表示的,虽然进行对图像下方的像素进行大的加权的加权平均处理,但也可以进行对加法运算的所有信号进行相同加权的加法运算平均处理。这样,通过进行相同的加权,从而可以使抑制随机干扰的效果增大,所以可以减少:生成修正信号所需的伪信号的行数。
ii)另外,在第二实施方式中,微型电子计算机9以等待伪信号的传输固定干扰成分变为恒定之后开始生成修正信号的形态进行控制,但也可以是以伪信号的传输固定干扰成分变为恒定之前开始生成修正信号的形态进行控制。通过变为这样,从而可以使IIR滤波器的聚束速度加快。因此,可以缩短摄像所需的时间。
iii)此外,在第二实施方式中,遮光之后立即进行用于清除拖尾的高速传输(图8(d)的时刻T33~T34),但是,省略此高速传输也无妨。是因为:在省略了此高速传输的情况下,在传输干扰的值逐渐增加的期间(图8(f)的时刻T34~T35)中可以清除拖尾电荷的缘故。这种情况可以同时并行拖尾电荷的清除和传输固定干扰成分的恒定值化,所以可以缩短相应量的摄像时间。
iv)在第三实施方式中,按照温度和增益来决定是否进行修正,但也可以根据温度或增益的其中一个来进行该决定。
v)另外,在第三实施方式中,说明了生成1场份的修正信号的情况,但是,按照温度和/或增益来决定是否进行修正的本发明也可以应用在如本发明的第二实施方式的、生成1行份的修正信号的情况。
vi)此外,在第三实施方式中,按照温度和/或增益来决定是否要进行修正,但也可以按照温度和/或增益,增减减法运算的修正信号的大小。该情况下,随着温度和/或增益的大小的增大,使修正信号的大小变大,而提高消除干扰的效果。但是,也可以设定:对修正信号的大小设定上、下限,即使温度和/或增益的大小变化、修正信号的大小也不增减的区域。另外,温度和/或增益的大小与修正信号的大小的相关可以是线形关系,也可以是其他函数关系。并且,也可以针对修正信号的大小的增减设置滞后作用(hysteresis)。具体地,考虑:在场存储器7或行存储器27与减法运算器8之间具备放大器,以微型电子计算机9来控制该放大器的增益的实施方式。
(发明的概要2)
在第一实施方式至第四实施方式中,说明了减少静止图像的纵向钢筋状的固定型干扰的摄像装置,但是,在下面的第五至第十一实施方式中,要说明:减少运动图像中的纵向钢筋状的固定型干扰的摄像装置。
在下面所说明的摄像装置中,CCD图像传感器3交替重复进行「图像数据排出动作」和「伪信号排出动作」,然后输出运动图像,所述「图像数据排出动作」在将来自光电转换元件301的信号电荷读出到垂直传输寄存器302的状态下驱动垂直传输寄存器302而排出图像数据,所述「伪信号排出动作」在未将来自光电转换元件301的信号电荷读出到垂直传输寄存器302的状态下驱动垂直传输寄存器302而排出伪信号。摄像装置根据伪信号排出动作所排出的伪信号来生成修正信号,从图像数据排出动作所排出的图像数据中减去该修正信号。伪信号排出动作所排出的伪信号不包含光电转换元件301所引起的干扰,所以,可以获得以传输干扰成分为主成分的修正信号。通过从图像数据中减去此修正信号,从而可以消除传输干扰成分并修正图像数据。
(第五实施方式)
5-1摄像装置的构成
图14是表示本发明第五实施方式的摄像装置构成的框图。本实施方式的摄像装置是在CCD图像传感器3把透镜1所聚光的光信号转换为电信号,以生成图像数据。透镜1所聚光的光信号能够由遮光机构2进行遮光。遮光机构2比如是机械快门等。所生成的图像数据在AGC5中被调整增益,在A/D转换器6中被数字化。行存储器27和减法运算器12、乘法运算器13、加法运算器14一起构成:以行存储器27的输出作为输出的IIR型低通滤波器。该低通滤波器使伪信号的低频成分通过。低通滤波器在垂直方向加法运算或加权平均从A/D转换器6输出的多行伪信号。低通滤波器具有式(1)所示的传递函数,以生成并输出修正信号。
行存储器27存储修正信号。行存储器27可以是在每一次生成修正信号,通过用新生成的修正信号覆盖以前存储的修正信号来更新修正信号。由于这样的方法,可以频繁生成修正信号,所以随时可以获得最佳的修正信号。
另外,本实施方式的运动图像可以是最终作为图像数据记录在存储卡等中的图像,也可以是暂时保存在图像存储器20后,作为直通图像显示在显示机构上的图像。
5-2摄像装置的动作
结合图15、16说明本实施方式的摄像装置的动作。图15是表示其动作的流程图。另外,图16是表示其动作中的动作定时的时间图。图16(a)是表示遮光机构2的状态的图,高时表示曝光状态,低时表示遮光状态。图16(b)是表示从光电转换元件301向垂直传输寄存器302读出电荷的定时的图,高时表示进行读出。图16(c)是表示垂直传输寄存器302的驱动状态的时间图,高时驱动,低时停止驱动。图16(d)是表示从光电转换元件301向垂直传输寄存器302读出的信号电荷的传输状态的状态图,高时表示正在传输那样的信号电荷。图16(e)是将一个画面中的几列的传输固定干扰成分的值代表一个画面份而示意性表示的图。图16(f)是表示相对行存储器27的允许写入(WE)信号,高时为行存储器27存储输入信号。图16(g)是表示本实施方式摄像装置的动作状态的图。期间T1~T4、T4~T5、T5~T6分别是同一帧的第一~第三场期间,是生成、修正、存储第一~第三场的图像数据的期间。另外,期间T6~T7是下一个帧的第一场期间,是生成、修正、存储下一个帧的图像数据的期间。
在本实施方式中,CCD图像传感器3接收周期性输出的读出脉冲信号,在每一次接收该读出脉冲时,将来自光电转换元件301的信号电荷读出到垂直传输寄存器302,进行图像数据排出动作(时刻T1~T3之间)和伪信号排出动作(时刻T3~T4之间)。CCD图像传感器3在每1场期间驱动垂直传输寄存器302时,进行图像数据排出动作(时刻T1~T3之间)和伪信号排出动作(时刻T3~T4之间。
如图16所示,本实施方式的摄像装置构成为每场重复相同的动作,所以,作为代表,说明第一场期间(T1~T4)的动作。
5-2-1图像数据的排出和修正
首先,说明图像数据的排出和修正。在此所说明的,在图15中是步骤S1101~S1104的动作,在图16中是期间T1~T3的动作。
在图15中,如果接通摄像装置的电源,则只要没有按下快门开关10的动作,就开始运动图像摄像。这样,CCD图像传感器3接收外部生成的或内部生成的读出脉冲,如图16(b)所示,从光电转换元件301向垂直传输寄存器302读出信号电荷(S1101、图16的T1)。在此,所谓读出脉冲是给出CCD图像传感器3的控制定时的定时信号,是指成为从光电转换元件301向垂直传输寄存302读出信号电荷的触发器的信号。在本实施方式中,读出脉冲虽然是周期性输出,但也可以构成为:根据CCD图像传感器3动作来变更该周期性频率。CCD图像传感器3每一次接收读出脉冲时,将来自光电转换元件301的信号电荷读出到垂直传输寄存器302,以进行图像数据排出动作(时刻T1~T3之间)。
另外,如图16(a)所示,在本实施方式中,运动图像的期间平时是使遮光机构2变为曝光状态,但不限于这些,也可以是使运动图像摄像期间中的一定期间脱离曝光状态而变为遮光状态。
接着,读出到垂直传输寄存器302的信号电荷在垂直传输寄存器302之间交错传输(S1102),通过水平传输寄存器303,从CCD图像传感器3向AGC5输出。该被输出的信号电荷作为图像数据,在A/D转换器6中被数字化。然后,减法运算器8进行:从该被数字化的图像数据中减去存储在行存储器27内的修正信号的减法运算(S1103)。然后,将最后已经消除干扰的图像数据存储在图像存储器20中。
通过进行这样的减法运算处理,从而可以从由CCD图像传感器3获得的图像数据中消除传输干扰成分。更详细地说明的话,在消除干扰之前的每场的图像数据里,包含垂直传输寄存器302中产生的电荷所引起的干扰。垂直传输寄存器302中产生的电荷所引起的干扰和上述伪信号相同。因此,通过利用减法运算器8从每场的图像数据中减去从行存储器27读出的修正信号,从而可以消除传输干扰成分。
如果针对1场份的所有图像数据进行了这样的动作,则结束图像数据的排出(S104、图16的T3)。
5-2-2修正信号的生成和存储
接着,说明修正信号的生成和存储的动作。在此要说明的,在图15中是步骤S1105~S1108的动作,在图16中是时刻T3~T4之间的动作。
如图16(c)和(d)所示,即使是图像数据的排出结束(S1104)后,CCD图像传感器3也继续驱动垂直传输寄存器302。利用这样的方法,从而在此期间(时刻T3~T4),从CCD图像传感器3排出的电荷不包含光电转换元件301中产生的电荷,只包含垂直传输寄存器302中产生的电荷。将由这样的电荷构成的信号称之为「伪信号」,将该排出动作称之为「伪信号排出动作」。从该伪信号生成修正信号。
在时刻T3~T4的期间,利用减法运算器12、乘法运算器13、加法运算器14和行存储器27所构成的低通滤波器,对从CCD图像传感器3读出的伪信号和以前的场中所读出的伪信号,一边消除随机干扰成分一边实施加权平均。即,低通滤波器对在接收互相不同的读出脉冲时所排出的多个伪信号进行加权平均。另外,此时的同一场内所读出的伪信号可以是单行份的、也可以是多行份的。
并且,作为修正信号,在行存储器27中存储最终获得的平均值(S1105、图8的时刻T4)。为了进行这样的动作,如图16(f)所示,微型电子计算机9在时刻T3~T4期间,对行存储器27输出允许写入信号。
然后,结束垂直传输寄存器302的驱动(S106),如果由用户等有运动图像结束的指示,则结束一系列的动作;如果没有指示,则转移到下一个场的摄像动作(S1107、S1108)。
通过按照如上的动作,进行第一第三场的图像数据的生成、修正、存储,从而针对运动图像中的1帧份,可以生成图像数据。通过在运动图像摄像中继续这样的动作并结合各帧,从而作为运动图像可以记录能够再生的图像数据。
如上所述,图16(e)所示的传输固定干扰成分的主要原因是在垂直传输寄存器302上因暗电流而产生的电荷。该电荷量成正比于电荷积存在垂直传输寄存器302的时间而变大。在本实施方式中,摄像运动图像的情况下,由于相对全部场以一定间隔读出,所以在运动图像摄像中传输固定干扰成分不随着时间而变化。
伪信号不包含光电转换元件301中产生的电荷,所以如上所述,如果利用基于伪信号而生成的修正信号来修正图像数据,则不会发生:连光电转换元件301所引起的干扰也被修正的现象。因此,在光电转换元件301所引起的干扰小而垂直传输寄存器302所引起的干扰大的情况下等,可以有效消除应修正的干扰,可以获得良好质量的图像数据。
另外,可以通过读出1行份或多行份的伪信号来生成修正信号,所以和通过读出1帧份来生成修正信号的现有技术相比,可以缩短用于生成修正信号的时间。因此,可以缩短快门时滞作用或摄像间隔。并且,因为生成修正信号的时间短,所以在运动图像摄像中可以防止产生彗差。这样,根据基于1场以下的伪信号而生成的修正信号,来修正各场的图像数据是因为各场的图像数据相对传输固定干扰成分几乎变为相同的值的缘故。
此外,因为作为修正信号只要存储并保存1帧份的数据就可以,所以存储修正信号的存储机构可以利用存储容量小的存储机构。具体地,存储机构的容量只要相当于1行份的容量以上就可以,小于相当于2行份的图像数据的容量也无妨。
另外,作为存储修正信号的存储机构的存储容量的削减方法,以往提出有:在遮光状态下,把信号电荷读出到垂直传输寄存器并进行传输而获得的信号中、1列份的信号作为修正信号来存储的方法。在这种方法中,由于相对1行的每一个像素减去相同的修正信号,所以,不能对应纵向钢筋状的固定型干扰。
5-3总结
根据本实施方式的摄像装置,一边交替重复「图像数据排出动作」和「伪信号排出动作」,一边从CCD图像传感器3输出运动图像,所述「图像数据排出动作」在将来自光电转换元件301的信号电荷读出到垂直传输寄存器302的状态下、驱动垂直传输寄存器302而排出图像数据,所述「伪信号排出动作」在未将来自光电转换元件301的信号电荷读出到垂直传输寄存器302的状态下、驱动垂直传输寄存器302而排出伪信号。根据CCD图像传感器3的伪信号排出动作所排出的伪信号,生成修正信号。从图像数据排出动作所排出的图像数据中减去修正信号。由此,可以减少:在修正信号里包含随机干扰所引起并在图像数据修正时新产生的干扰。
(第六实施方式)
在第五实施方式中,构成为:不管修正信号的变化,用新生成的修正信号来更新行存储器27。因此,由于摄影了高亮度的被摄像体,故产生拖尾,即使在拖尾混入伪信号的情况下,生成利用了该伪信号的修正信号,并利用它来进行修正。如果是这样的构成,则在修正图像数据时,对实际上没有产生干扰的图像数据也进行拖尾份的修正,从而在图像数据中产生新的干扰。
因此,在本实施方式中,为了防止拖尾混入修正信号的现象,其构成为:具备检测前一次从CCD图像传感器3排出的伪信号电平和这一次所排出的伪信号电平的变化量的变化量检测机构;并且,行存储器27在变化量检测机构所检测出的变化量超过规定值的情况下,不进行修正信号的更新。
图17是表示本实施方式摄像装置构成的框图。本实施方式的摄像装置是在第五实施方式的构成中还具备削波电路(clip circuit)15。削波电路15和减法运算器12、乘法运算器13、加法运算器14及行存储器27一起构成变化量检测机构。变化量检测机构可以是其他的构成。
在图17中,从CCD图像传感器3排出的伪信号通过AGC5、A/D转换器6、减法运算器12向削波电路15输入。
削波电路15输入减法运算器12的输出信号,如果输入值不超过规定值就按原来状态输出其输入值;在超过规定值的情况下,输出0。另外,行存储器27在削波电路15输出某个值时,把修正信号更新为从加法运算器14输出的新的修正信号,输出0时不进行那样的更新。
减法运算器12的输出表示伪信号的变化量,在有电平大的拖尾的情况下,从减法运算器12输出超过规定值的值,所以削波电路15的输出值变为0,由于行存储器27中的修正信号不被更新,所以可以防止:拖尾对修正信号造成影响的现象。因此,可以防止:拖尾混入伪信号的情况下,在图像数据中产生新的干扰的现象。
另外,在本实施方式中,变化量检测机构可以是:求出前一次为止所求出的伪信号的加法运算平均值或加权平均值即求出修正信号与这一次伪信号之间的变化量的构成;但也可以是:求出前一次伪信号与这一次伪信号之间的变化量的构成。本发明的所谓前一次从摄像机构排出的伪信号电平与这一次所排出的伪信号电平之间的变化量,是包含上述两种变化量的概念。即,本发明所说的变化量是包含前一次伪信号与这一次伪信号之间的变化量的概念,并且是也包含前一次为止所求出的修正信号与这一次伪信号之间的变化量的概念。
(第七实施方式)
在本实施方式中,也和第六实施方式同样,以防止拖尾混入到修正信号为目的。在图18中表示本实施方式的摄像装置的构成。
本实施方式的摄像装置是在第五实施方式的摄像装置的构成的基础上,还具备:检测从CCD图像传感器3排出的伪信号电平的电平检测部21;和对向行存储器27的输入信号进行切换的开关22。行存储器27在电平检测部21所检测出的电平超过规定值的情况下,不进行修正信号的更新。
电平检测部21输入伪信号之后,比较伪信号与规定的阈值,并按照比较结果控制开关22。在伪信号小于阈值的情况下,控制开关22,以便使连接端子a与连接端子b连接。其结果是,向行存储器27输入加法运算器14的输出,所以新的修正信号被输入。行存储器27存储该信号,这就意味着行存储器27更新修正信号。
另一方面,在伪信号大于阈值的情况下,控制开关22,以便使连接端子a与连接端子c连接。其结果是,向行存储器27输入行存储器27的输出,所以前一次的修正信号被输入。行存储器27存储所输入的修正信号,这就意味着行存储器27不更新修正信号。
如上所述,因为在伪信号中产生拖尾、伪信号电平超过规定值的情况下,行存储器27中的修正信号不被更新,所以,可以防止拖尾对修正信号造成影响的现象。因此,可以防止:在拖尾混入到伪信号的情况下,在图像数据中产生新的干扰的现象。
(第八实施方式)
8-1摄像装置的概要
在第五~第七实施方式的摄像装置中,构成为:不管温度或AGC5的增益而进行修正处理。与此不同,本实施方式的摄像装置考虑温度或AGC5的增益后来决定是否要进行修正处理。
传输固定干扰成分的值随着CCD图像传感器3的温度或相对CCD图像传感器3的输出的增益的大小而变动。在高温或增益大的情况下,传输固定干扰成分的值变大。在此,所谓增益大的情况是指:高灵敏度中的摄像的情况。在这种情况下,因为传输固定干扰成分大,所以消除这些的修正的必要性变大。另一方面,在低温或增益小的情况下,传输固定干扰成分值变小。该情况下,有时存在没有必要进行这种修正的情况。如果连那种情况也进行修正处理,则会产生:用于求取修正信号的摄像时间的增张或在低通滤波器处理中没有完全消除的随机干扰成分所引起的新干扰的产生等副作用。本实施方式的目的在于,防止产生这样的副作用。
8-2摄像装置的构成
在图19中表示本实施方式的摄像装置构成的框图。本实施方式的摄像装置是在第五实施方式的构成的基础上,还具备温度传感器17和开关16。
温度传感器17是检测温度的传感器。开关16具备连接端子a~连接端子c,通过微型电子计算机9的控制,使连接端子a连接到连接端子b或连接端子c。连接端子a连接A/D转换器6的输出,连接端子b连接减法运算器8,连接端子c连接图像存储器20。即,在连接端子a与连接端子b连接时,从CCD图像传感器3所获得的图像数据是在减法运算器8中被修正之后,向图像存储器20输出。另一方面,在连接端子a与连接端子c连接时,图像数据在减法运算器8中没有被修正,就向图像存储器20输出。
微型电子计算机9监视温度传感器17中所检测出的温度和AGC5的增益。并且,在那些值为满足式(3)那样的大值的情况下进行控制,以便使连接端子a与连接端子b连接,而修正图像数据。另一方面,在那些值为不满足式(3)那样的小值的情况下进行控制,以便使连接端子a与连接端子c连接,而不修正图像数据。
G×(T-Tref)/4>Th ......(3)
在此,G是AGC5的增益,T是温度传感器17中所检测出的温度,Tref是规定的基准温度,Th是规定值。此式(3)是考虑暗电流的量相对8度的温度上升而变为约2倍的性质后决定的。
8-3摄像装置的动作
图20是表示本实施方式的摄像装置动作的流程图。图21是表示:在图20中转移到有修正的模式情况下的动作的流程图。另一方面,图22是表示:在图20中转移到没有修正的模式情况下的动作的流程图。
在图20中,如果开始运动图像摄像,则微型电子计算机9监视温度传感器17的检测温度和AGC5的增益,并判断这些值是否满足式(3)(S1201)。然后,在这些值满足式(3)的情况下,转移到有修正的模式(S1202);在这些值不满足式(3)的情况下,转移到没有修正的模式(S1203)。
本实施方式的摄像装置在转移到有修正的模式的情况下,按照图21所示的流程来动作。即,进行和第五实施方式的摄像装置相同的动作。
另一方面,在转移到没有修正的模式的情况下,按照图21所示的流程来动作。即,进行:在第五实施方式的摄像装置中,不生成、不存储修正信号且不修正图像数据的动作(S1205)。该情况下,由于没有必要生成修正信号,所以比第五实施方式还要缩短摄像时间。并且,因为不进行修正,所以不会产生:低通滤波器处理中没有完全消除的随机干扰成分所引起的新的干扰。
(第九实施方式)
9-1摄像装置的概要
在本实施方式中,说明:利用运动图像摄像时的修正信号,也修正静止图像摄像时的图像数据的摄像装置。
一般地,运动图像摄像时的传输固定干扰成分和静止图像摄像时的传输固定干扰成分是不一致。那是因为:运动图像摄像时,传输固定干扰成分变为恒定值;与此不同,静止图像摄像时,其在变动的缘故。如上所述,运动图像摄像时传输固定干扰成分变为恒定的理由是:电荷在垂直传输寄存器302滞留的时间越长传输固定干扰成分就越多,但是在运动图像摄像时的情况下,滞留时间在整个画面相等的缘故。与此不同,静止图像摄像时传输固定干扰成分变动的理由是:由于接近水平传输寄存器303的像素中所产生的电荷是立即排出,所以滞留时间短、传输固定干扰成分小,而远离水平传输寄存器303的像素中所产生的电荷到排出时间为止需要时间,所以滞留时间长、传输固定干扰成分大的缘故。另外,传输固定干扰成分即使随着垂直传输速度或1像素的传输上所使用的垂直传输寄存器302的个数等也有所变动。
由于这些原因,包含传输固定干扰成分的修正信号在运动图像摄像时和静止图像摄像时也是不一致的。另外,在修正信号的情况下,随着AGC5的增益也在变动。
如上所述,修正信号在运动图像摄像时和静止图像摄像时不一致,但是至少有比例关系。利用这个关系,在本实施方式中,从运动图像摄像时的修正信号,通过运算可以求出静止图像摄像时的修正信号。
9-2摄像装置的构成
图23是表示本实施方式摄像装置构成的框图。本实施方式的摄像装置是在第五实施方式的摄像装置的基础上,还具备:对从行存储器27输出的修正信号乘以规定值的乘法运算器23。乘法运算器23在运动图像摄像时乘以1、在静止图像摄像时乘以规定值。运动图像摄像时乘以1的意思就是:减法运算器8从图像数据中直接减去修正信号。并且,在静止图像摄像时乘以规定值的乘法运算的意思就是:减法运算器8在使修正信号变大或变小后从图像数据中减去。另外,静止图像摄像时的规定值由运动图像摄像时的传输固定干扰成分电平与静止图像摄像时的传输固定干扰成分电平之比来决定。
9-3摄像装置的动作
对本实施方式的摄像装置的动作进行说明。
首先,说明运动图像摄像时的动作。在运动图像摄像中,本实施方式的摄像装置是在乘法运算器23中对修正信号乘以1。因此,此时的动作变为:和第五实施方式的动作同样。
其次,说明静止图像摄像时的动作。
图24是表示静止图像摄像时的动作的流程图。另外,图25是表示其动作的动作定时的时间图。图25(a)是表示遮光机构2的状态的图,高时为曝光状态,低时表示遮光状态。图25(b)是表示:从光电转换元件301向垂直传输寄存器302读出电荷的定时的图,高时表示进行读出。图25(c)是表示:在垂直传输寄存器302中进行交错(行间)传输的定时的图,高时表示进行交错传输。图25(d)是表示:在垂直传输寄存器302中进行高速传输的定时的图,高时为表示进行高速传输。图25(e)是:把一个画面中的任意列的传输固定干扰成分的值代表一个画面份而示意性表示的图。图25(f)是表示相对场存储器7的允许写入(WE)信号,高时场存储器7存储输入信号。
图25(g)是表示第五实施方式摄像装置的动作状态的图。到时刻T11为止是运动图像摄像期间。时刻T12~T19期间是静止图像摄像期间。时刻T12~T13期间是进行曝光动作的期间。时刻T14~T16期间是伪场期间,是用于使静止图像中的传输固定干扰成分恒定化的期间。时刻T16~T17、T17~T18、T18~T19分别是第一~第三场期间,是生成、修正、存储第一~第三场的各个图像数据的期间。
9-3-1从运动图像摄像向静止图像摄像的转移期间
到时刻T11为止是平常的运动图像摄像(S1301)。如第五实施方式所叙述,在该期间内,向行存储器27输出允许写入信号而更新修正信号(T10~T11)。
在本实施方式中,在时刻T11,如果接收表示用户半按下快门开关10的操作信号(S1302),则微型电子计算机9进行自动焦点控制(AF)或自动曝光控制(AE),以进行静止图像摄像的准备(S1303)。
9-3-2曝光期间
接着,在时刻T12,如果接收表示用户全按下快门开关10的操作信号,则如图25(a)所示,微型电子计算机9控制遮光机构2,变为曝光状态(S1305)。曝光继续到时刻T13为止,如果结束曝光,则微型电子计算机9控制遮光机构2而变为曝光状态。然后,为了清除曝光期间中积存在垂直传输寄存器302中的暗电流,CCD驱动部4控制CCD图像传感器3,以便进行高速传输(S1306、图25的T14~T15)。
在此,所谓高速传输就意味着:为了消除曝光期间中在垂直传输寄存器302中产生的拖尾或暗电流,高速驱动垂直传输寄存器302的传输方法。
9-3-3伪场期间
接着,说明伪场期间。通过高速传输,转移到伪场期间(T14)。如果结束伪场期间(T15),则为了输出1场份的信号电荷而在垂直传输寄存器302中进行交错传输(T15~T16)。此时的垂直传输中,可以是在将光电转换元件301中所产生的电荷读出到垂直传输寄存器302的状态下进行传输,也可以在不读出到的状态下进行传输。这样所获得的信号里包含传输固定干扰成分。如图25(e)所示,此传输固定干扰成分的值虽然逐渐增加,但在已经进行1场份的交错传输的时刻、即已经进行垂直传输寄存器302的级数份的平常的垂直传输的时刻(T16),其值变为恒定。详细说明其理由。
在时刻T16以前,由于因像素(列)的位置不同、滞留在垂直传输寄存器302的时间不同,所以传输固定干扰成分的值随着时间而上升。可是,在时刻T16以后,不管每一个像素(列)的位置,滞留时间变为恒定,所以传输固定干扰成分的值变为恒定。
伪场期间不是以生成修正信号为目的的,而是以使传输固定干扰成分的值变为恒定为目的的。在本实施方式中,静止图像摄像时的传输固定干扰成分的电平变为h2,运动图像摄像时的传输固定干扰成分的电平变为h1。
9-3-4第一~第三场期间
如果结束伪场期间,则CCD驱动部4不进行高速传输而驱动CCD图像传感器3,以便从光电转换元件301向垂直传输寄存器302读出信号电荷(S1307、图25的时刻T16)。这样,在静止图像摄像中,以相同的恒定速度来驱动画面的全部传输级数份的垂直传输寄存器302后,继续以相同的速度来驱动垂直传输寄存器302。即,通过使从前一次的电荷的清除到这一次的电荷的清除为止的时间,在一个画面的所有像素变为恒定的,从而可以使静止图像摄像时的传输固定干扰成分变为恒定。因此,有必要:在进入静止图像的摄像后,不经过高速驱动垂直传输寄存器302的高速传输方式来获得图像数据。由此,可以使运动图像摄像时的传输固定干扰成分的电平h1与静止图像摄像时的传输固定干扰成分的电平h2之比保持恒定。
由于该CCD图像传感器3的驱动,所输出的图像数据被输出到减法运算器8输出(S1308)。在减法运算器8中从所输入的图像数据减去从行存储器27读出的修正信号(S1309)。
此时,进行减法运算的修正信号,利用于运动图像摄像时的修正信号也利用于静止图像摄像时。并且,在每一行都利用相同的修正信号。但是,静止图像摄像时和运动图像摄像时中,传输固定干扰成分的电平不同(在本实施方式中,静止图像摄像时为h2,运动图像摄像时为h1),修正信号的电平也不同。因此,在静止图像摄像时,不是直接利用从行存储器27输出的修正信号,而是将在乘法运算器23中乘以了规定系数的信号作为修正信号,在减法运算器8中从图像数据减去。作为规定的系数,例如,利用h2/h1。
如果进行减法运算器8中的减法运算,则在图像存储器20中存储最后消除了干扰的图像数据(S1310)。
对1场份的图像数据实施了上述的处理后,微型电子计算机9确认对1帧份的图像数据、即3场份的图像数据是否进行了上述处理(S1311),在对全部场份的处理没有结束的情况下,返回到步骤S1307,对第二场、第三场的图像数据,进行生成、修正、存储的处理(图25的T17~T18、T18~T19)。另一方面,在结束了全部场份的处理的情况下(结束第三场的处理的情况下),结束静止图像摄像处理,返回到运动图像摄像处理(S1312、时刻T19)。
9-4总结
如上所述,在本实施方式中,除了运动图像以外还能够摄像静止图像。并且,设置乘法运算器23,其在运动图像摄像时,对低通滤波器中生成并存储在行存储器27中的修正信号乘以规定值,以生成静止图像用的修正信号;使减法运算器8在静止图像摄像时,从图像数据排出动作所排出的图像数据中减去静止图像用修正信号。因此,在静止图像摄像时,因为可以利用运动图像摄像时所利用的修正信号来修正图像数据,所以没有必要生成静止图像摄像用的修正信号。因此,根据本实施方式的摄像装置,由于没有必要确保修正信号的生成上所需要的时间,所以可以缩短静止图像摄像的时间。
(第十实施方式)
在第九实施方式中,把图2的读出区域304和伪区域307的任意区域中产生的电荷作为伪信号,根据此伪信号生成修正信号。与此不同,在本实施方式中,不是把读出区域304中所产生的电荷作为伪信号而是将伪区域307中产生的电荷作为伪信号。由于在伪区域307不存在光电转换元件301而只存在垂直传输寄存器302,所以可以可靠地防止:伪信号里包含元件干扰成分。因此,可以确实达到作为本发明目的的、减少传输固定干扰成分的目的。
本实施方式的摄像装置的构成和第五实施方式的摄像装置同样。结合图26说明本实施方式的摄像装置的动作。
图26是表示本实施方式的摄像装置的动作定时的时间图。由于伪区域307接近水平传输寄存器303,所以如果发出读出脉冲发出,则CCD图像传感器3立即排出伪信号。低通滤波器根据此伪信号生成修正信号,行存储器27存储所生成的修正信号。因此,发出读出脉冲之后(时刻T21),允许写入信号立即变高。
至于其他动作就和第五实施方式的摄像装置同样。
如上所述,在本实施方式中,使CCD图像传感器3构成为包括:能够读出来自光电转换元件301的信号电荷的读出区域304和不能读出来自电变换元件301的信号电荷的伪区域307。并且,在伪区域307中,驱动垂直传输寄存器302,作为伪信号获得伪区域307中所产生的电荷,根据此伪信号生成修正信号。
根据此构成,因为在伪区域307中不存在光电转换元件301而只存在垂直传输寄存器302,所以可以可靠地防止:伪信号里包含元件干扰成分的现象。
(第十一实施方式)
下面,综合说明第五实施方式~第十实施方式的几个变形例。
i)在第五~第十实施方式中,如式(1)所表示的,虽然进行对图像下方的像素进行大的加权的加权平均处理,但也可以进行对加法运算的所有信号进行相同加权的加法运算平均处理。这样,通过进行相同的加权,从而可以使抑制随机干扰的效果增大,所以可以减少:生成修正信号所需的伪信号的行数。
ii)在第十实施方式中,静止图像摄像时,微型电子计算机9以等待伪信号的传输固定干扰成分变为恒定之后开始生成修正信号的形态来进行控制,但也可以是以伪信号的传输固定干扰成分变为恒定之前开始生成修正信号的形态来进行控制。由于变为这样的方法,从而可以使IIR滤波器的聚束速度加快。因此,可以缩短摄像所需的时间。
iii)在第十实施方式中,静止图像摄像时,遮光之后立即进行用于清除拖尾的高速传输,但是,省略此高速传输也无妨。这是因为:在省略此高速传输的情况下,在传输干扰的值逐渐增加的期间,可以清除拖尾电荷的缘故。这种情况因为可以同时并行拖尾电荷的清除和传输固定干扰成分的恒定值化,所以可以缩短相应量的摄像时间。
iv)在第八实施方式中,可以按照温度和/或增益来决定是否要进行修正,但也可以是根据温度或增益的一个来进行该决定。
v)在第八实施方式中,也可以按照温度和/或增益来增减减法运算的修正信号的大小。该情况下,随着温度和/或增益的大小的增大,使修正信号的大小变大,以提高消除干扰的效果。但也可以设定:对修正信号的大小设定上、下限,即使温度和/或增益的大小变化,修正信号的大小也不会增减的区域。另外,温度和/或增益的大小与修正信号的大小的相关可以是线形关系、也可以用其他函数来表示。并且,也可以针对修正信号的大小的增减设置滞后作用。具体地,考虑:在行存储器27与减法运算器8之间,具备放大器,用微型电子计算机9控制该放大器的增益的实施方式。
本发明虽然针对特定的实施方式进行了说明,但是,对本领域的记述人员来说,其他很多变形例、修正、其他利用是清楚的。所以,本发明不是由在此的特定公开来限定的,只能由技术方按的范围来限定。另外,本申请关联于日本国专利申请、特愿2004-243351号(2004年8月24日提出)和特愿2004-246708号(2004年8月26日提出),那些内容是通过参照而插入到本文中的。
(工业上的可利用性)
因为本发明可以减少:作为修正图像数据用的修正信号里包含随机干扰所引起的干扰的、图像数据修正时新产生的干扰,所以可以应用在数码相机或视频影片、监视相机、附带相机的移动电话终端等具有照相机功能的电子仪器中。
Claims (22)
1、一种摄像装置,其中包括:
摄像机构,其具有矩阵状配置的多个光电转换元件、邻接配置在所述光电转换元件的每一列并传输来自所述光电转换元件的信号电荷的多个垂直传输寄存器;
存储机构,其把在未将来自所述光电转换元件的信号电荷读出到所述垂直传输寄存器的状态下、驱动所述垂直传输寄存器而获得的图像信号,作为修正信号来存储;
减法运算器,其从将来自所述光电转换元件的信号电荷读出到所述垂直传输寄存器的状态下、驱动所述垂直传输寄存器而获得的图像数据中减去所述修正信号。
2、根据权利要求1所述的摄像装置,其特征在于,所述摄像机构把1帧份的图像数据分为多个场,按每一个场输出图像信号;
所述修正信号是通过在1场期间驱动所述垂直传输寄存器而获得的信号。
3、根据权利要求2所述的摄像装置,其特征在于,所述存储机构的容量为1场份图像数据的数据量以上、且不足2场份的图像数据的数据量。
4、根据权利要求1所述的摄像装置,其特征在于,所述存储机构是把在未将来自所述光电转换元件的信号电荷读出到所述垂直传输寄存器的状态下、驱动所述垂直传输寄存器而获得的1行份的图像信号,作为修正信号存储的行存储器;
通过以恒定速度驱动所述垂直传输寄存器而获得所述修正信号,通过在用于获得所述修正信号的所述垂直传输寄存器的驱动后,继续以获得所述修正信号的相同速度驱动所述垂直传输寄存器来获得所述图像数据。
5、根据权利要求4所述的摄像装置,其特征在于,对未将来自所述光电转换元件的信号电荷读出到所述垂直传输寄存器的状态下、驱动所述垂直传输寄存器而获得的多行份伪信号进行加法运算平均或加权平均,从而获得所述1行份的修正信号。
6、根据权利要求1所述的摄像装置,其特征在于,
还包括能够遮光所述摄像机构的遮光机构;
在所述摄像机构被所述遮光机构遮光的状态下,清除所述垂直传输寄存器的拖尾电荷后,驱动所述垂直传输寄存器而获得所述修正信号。
7、根据权利要求1所述的摄像装置,其特征在于,
具备检测温度的温度传感器和/或控制所述摄像机构的输出增益的增益控制机构;
所述减法运算器根据所述温度传感器所检测的温度和/或所述增益控制机构的增益,决定是否要进行相对所述图像数据的利用所述修正信号的修正。
8、根据权利要求1所述的摄像装置,其特征在于,
具备检测温度的温度传感器和/或控制所述摄像机构的输出增益的增益控制机构;
按照所述温度传感器所检测的温度和/或所述增益控制机构的增益的大小,增减所述修正信号的大小。
9、根据权利要求1所述的摄像装置,其特征在于,
具有连续摄像多帧图像数据的连续摄像模式;
在所述连续摄像模式中,作为从当前帧的图像数据中减去的修正信号,利用前面帧中已经利用的修正信号。
10、一种图像数据的修正方法,其是具备摄像机构的摄像装置中的图像数据的修正方法,所述摄像机构具有:矩阵状配置的多个光电转换元件、邻接配置在所述光电转换元件的每一列并传输来自所述光电转换元件的信号电荷的多个垂直传输寄存器,其中,
在未将来自所述光电转换元件的信号电荷读出到所述垂直传输寄存器的状态下、驱动所述垂直传输寄存器而获得修正信号;
在将来自所述光电转换元件的信号电荷读出到所述垂直传输寄存器的状态下、驱动所述垂直传输寄存器而获得图像数据;
从所述图像数据中减去所述修正信号。
11、一种摄像装置,其中包括:
摄像机构,其具有:矩阵状配置的多个光电转换元件、邻接配置在所述光电转换元件的每一列并传输来自所述光电转换元件的信号电荷的多个垂直传输寄存器,交替重复进行图像数据排出动作和伪信号排出动作,并输出运动图像数据,所述图像数据排出动作是在将来自所述光电转换元件的信号电荷读出到所述垂直传输寄存器的状态下、驱动所述垂直传输寄存器而排出图像数据的,所述伪信号排出动作是在未将来自所述光电转换元件的信号电荷读出到所述垂直传输寄存器的状态下、驱动所述垂直传输寄存器而排出伪信号的;
修正信号生成机构,其根据所述摄像机构的伪信号排出动作所排出的伪信号来生成修正信号;
存储机构,其存储所述所生成的修正信号;
减法运算器,其从所述图像数据排出动作所排出的图像数据中减去所述修正信号。
12、根据权利要求11所述的摄像装置,其特征在于,所述摄像机构接收周期性输出的读出脉冲,在每一次接收所述读出脉冲时,将来自所述光电转换元件的信号电荷读出到所述垂直传输寄存器,以进行所述图像数据排出动作和所述伪信号排出动作。
13、根据权利要求12所述的摄像装置,其特征在于,所述修正信号生成机构通过对按照不同定时接收的读出脉冲而排出的多个伪信号进行加法运算平均或加权平均,从而生成所述修正信号。
14、根据权利要求11所述的摄像装置,其特征在于,
是把运动图像中的1帧份的图像数据分为多个场并在每一个场获得图像信号的摄像装置;
在每次驱动所述垂直传输寄存器1场期间时,所述摄像机构进行所述图像数据排出动作和所述伪信号排出动作。
15、根据权利要求14所述的摄像装置,其特征在于,所述修正信号生成机构通过对不同场中排出的多个伪信号进行加法运算平均或加权平均,从而生成所述修正信号。
16、根据权利要求11所述的摄像装置,其特征在于,所述存储机构在所述修正信号生成机构每次生成修正信号时,用新生成的修正信号来更新所存储的修正信号。
17、根据权利要求16所述的摄像装置,其特征在于,
具备变化量检测机构,其检测前一次从所述摄像机构排出的伪信号电平和这一次所排出的伪信号电平之间的变化量;
所述存储机构在所述变化量检测机构所检测出的变化量超过规定量的情况下,不进行修正信号的更新。
18、根据权利要求16所述的摄像装置,其特征在于,
具备电平检测机构,其检测从所述摄像机构排出的伪信号的电平;
所述存储机构在所述电平检测机构所检测出的电平超过规定值的情况下,不进行修正信号的更新。
19、根据权利要求11所述的摄像装置,其特征在于,
具备检测温度的温度传感器和/或控制所述摄像机构的输出增益的增益控制机构;
所述减法运算器根据所述温度传感器所检测的温度和/或所述增益控制机构的增益,决定是否要进行相对所述图像数据的、利用所述修正信号的修正。
20、根据权利要求11所述的摄像装置,其特征在于,还是也能摄像静止图像的摄像装置,
还具备乘法运算器,其对摄像运动图像时所述修正信号生成机构生成并存储在所述存储机构中的修正信号乘以规定值,以生成静止图像用修正信号;
所述减法运算器在静止图像摄像时,从所述图像数据排出动作所排出的图像数据中减去所述静止图像用修正信号。
21、一种摄像装置,其中包括:
摄像机构,其具有矩阵状配置的多个光电转换元件、邻接配置在所述光电转换元件的每一列并能够读出来自所述光电转换元件的信号电荷的读出区域、不能读出来自所述光电转换元件的信号电荷的伪区域、传输所述读出区域所读出的信号电荷的多个垂直传输寄存器;
修正信号生成机构,其驱动所述垂直传输寄存器而将所述伪区域中产生的电荷作为伪信号获得,并根据该伪信号生成修正信号;
存储机构,其存储所述已经生成的修正信号;
减法运算器,通过驱动所述垂直传输寄存器,从而作为图像数据获得所述读出区域中所读出的信号电荷,从该图像数据中减去所述修正信号。
22、一种图像数据的修正方法,其特征在于,是具备摄像机构的摄像装置中的图像数据修正方法,所述摄像机构具有:矩阵状配置的多个光电转换元件、邻接配置在所述光电转换元件的每一列并传输来自所述光电转换元件的信号电荷的多个垂直传输寄存器,其中,
进行:在将来自所述光电转换元件的信号电荷读出到所述垂直传输寄存器的状态下、驱动所述垂直传输寄存器而排出图像数据的图像数据排出动作;
进行:在未将来自所述光电转换元件的信号电荷读出到所述垂直传输寄存器的状态下、驱动所述垂直传输寄存器而排出伪信号的伪信号排出动作;
交替重复图像数据排出动作和伪信号排出动作,输出运动图像;
根据所述摄像机构的伪信号排出动作所排出的伪信号,生成修正信号;
存储所述所生成的修正信号;
通过从所述图像数据排出动作所排出的图像数据中减去所述修正信号,从而修正所述图像数据。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004-243351 | 2004-08-24 | ||
JP2004243351 | 2004-08-24 | ||
JP2004243351 | 2004-08-24 | ||
JP2004246708 | 2004-08-26 | ||
JP2004-246708 | 2004-08-26 | ||
JP2004246708 | 2004-08-26 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1741584A true CN1741584A (zh) | 2006-03-01 |
CN1741584B CN1741584B (zh) | 2013-06-12 |
Family
ID=36261320
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2005100921943A Expired - Fee Related CN1741584B (zh) | 2004-08-24 | 2005-08-24 | 摄像装置和图像数据的修正方法 |
Country Status (2)
Country | Link |
---|---|
US (2) | US7948531B2 (zh) |
CN (1) | CN1741584B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103314575A (zh) * | 2011-02-21 | 2013-09-18 | 松下电器产业株式会社 | 成像装置、成像方法和程序 |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7948531B2 (en) * | 2004-08-24 | 2011-05-24 | Panasonic Corporation | Imaging apparatus and correction method of image data |
TW200713126A (en) * | 2005-09-26 | 2007-04-01 | Premier Image Technology Corp | Method for eliminating horizontal pattern noise |
JP2007288131A (ja) * | 2006-03-23 | 2007-11-01 | Fujifilm Corp | 固体撮像素子、固体撮像装置およびその駆動方法 |
JP2008113141A (ja) * | 2006-10-30 | 2008-05-15 | Fujifilm Corp | 撮像装置及び信号処理方法 |
JP5003348B2 (ja) * | 2007-08-22 | 2012-08-15 | 株式会社ニコン | 電子カメラ |
JP4571179B2 (ja) * | 2007-12-07 | 2010-10-27 | パナソニック株式会社 | 撮像装置 |
US8542300B2 (en) * | 2008-08-01 | 2013-09-24 | Gatan, Inc. | Method for real-time removal of vertical scan streaks in a CCD |
US8102444B2 (en) * | 2008-09-11 | 2012-01-24 | Zoran Corporation | Method and apparatus for post noise reduction black level correction |
JP5335356B2 (ja) * | 2008-10-03 | 2013-11-06 | キヤノン株式会社 | 信号処理装置、信号処理方法、及び撮像装置 |
TW201106681A (en) * | 2009-08-10 | 2011-02-16 | Altek Corp | An image data processing method for reducing dynamic smear in the image data |
JP5632703B2 (ja) * | 2010-10-21 | 2014-11-26 | キヤノン株式会社 | 画像処理装置、制御方法、及びプログラム |
WO2013054402A1 (ja) * | 2011-10-12 | 2013-04-18 | キヤノン株式会社 | 撮像装置及び撮像装置の制御方法 |
WO2013054403A1 (ja) * | 2011-10-12 | 2013-04-18 | キヤノン株式会社 | 撮像装置及び撮像装置の制御方法 |
JP5921239B2 (ja) * | 2012-02-10 | 2016-05-24 | キヤノン株式会社 | 撮像装置ならびに制御方法およびプログラム |
JP6205885B2 (ja) * | 2013-06-18 | 2017-10-04 | 株式会社リコー | 光電変換素子、画像読取装置、画像形成装置及び画像読取方法 |
KR102467846B1 (ko) * | 2017-11-16 | 2022-11-16 | 삼성전자주식회사 | 이미지 센서 및 그 이미지 센서를 구비한 전자 장치 |
KR20210092964A (ko) * | 2020-01-17 | 2021-07-27 | 삼성전자주식회사 | 이미지 센서 및 이를 포함하는 카메라 모듈 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5608455A (en) * | 1992-07-30 | 1997-03-04 | Fuji Photo Film Co., Ltd | Interline transfer CCD image sensor with reduced dark current |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100202343B1 (ko) * | 1990-03-13 | 1999-06-15 | 이데이 노부유끼 | 셰이딩 보정 장치 |
JP3241781B2 (ja) * | 1991-08-22 | 2001-12-25 | 松下電器産業株式会社 | 光ヘッド装置および光情報記録装置、光情報再生装置 |
US5528291A (en) * | 1991-09-25 | 1996-06-18 | Fuji Photo Film Co., Ltd. | CCD image pickup device and method of driving which maintains sensitivity regardless of the operating mode |
JP2773787B2 (ja) | 1991-09-25 | 1998-07-09 | 富士写真フイルム株式会社 | 固体撮像装置の駆動方法と固体撮像装置 |
JP3081884B2 (ja) | 1992-07-30 | 2000-08-28 | 富士写真フイルム株式会社 | Ccd撮像装置とその駆動方法 |
JPH08307775A (ja) | 1995-05-12 | 1996-11-22 | Canon Inc | 撮像装置 |
JP3512596B2 (ja) * | 1996-07-04 | 2004-03-29 | シャープ株式会社 | 旋光光学素子およびその製造方法と、それを用いた画像表示装置 |
US6867888B2 (en) * | 1996-07-12 | 2005-03-15 | Science Applications International Corporation | Switchable polymer-dispersed liquid crystal optical elements |
JPH1155573A (ja) * | 1997-07-30 | 1999-02-26 | Sony Corp | Ccd固体撮像素子及びその駆動方法 |
JPH11331592A (ja) | 1998-05-12 | 1999-11-30 | Canon Inc | 画像読み取り装置及びコンピュータ読み取り可能な記憶媒体 |
JP2000152098A (ja) | 1998-11-10 | 2000-05-30 | Matsushita Electric Ind Co Ltd | 映像信号処理装置 |
US7339620B1 (en) * | 1998-11-11 | 2008-03-04 | Canon Kabushiki Kaisha | Image sensing apparatus having a signal processing device that uses a signal imaged in a non-exposure state to process a signal in an exposure state |
US6965410B1 (en) * | 1998-12-03 | 2005-11-15 | Canon Kabushiki Kaisha | Image sensing apparatus employing dark image data to correct dark noise |
JP2001094882A (ja) | 1999-09-24 | 2001-04-06 | Casio Comput Co Ltd | 撮像装置およびその信号処理方法 |
JP2001177762A (ja) | 1999-12-15 | 2001-06-29 | Olympus Optical Co Ltd | 撮像装置 |
US6803953B2 (en) * | 2000-02-28 | 2004-10-12 | Canon Kabushiki Kaisha | Image sensing apparatus and method having noise reduction function |
JP3516045B2 (ja) | 2000-10-13 | 2004-04-05 | 自動車電機工業株式会社 | 車両用ワイパ装置 |
JP3857235B2 (ja) * | 2001-02-01 | 2006-12-13 | 富士通株式会社 | 光学装置及び光記憶装置 |
JP2003101860A (ja) * | 2001-09-21 | 2003-04-04 | Canon Inc | 撮像装置、撮影画像生成方法、プログラムおよび記憶媒体 |
JP2004007048A (ja) | 2002-05-30 | 2004-01-08 | Minolta Co Ltd | 撮像装置 |
US6916573B2 (en) * | 2002-07-24 | 2005-07-12 | General Motors Corporation | PEM fuel cell stack without gas diffusion media |
US7092017B2 (en) * | 2002-09-13 | 2006-08-15 | Eastman Kodak Company | Fixed pattern noise removal in CMOS imagers across various operational conditions |
JP3731584B2 (ja) * | 2003-03-31 | 2006-01-05 | コニカミノルタフォトイメージング株式会社 | 撮像装置、およびプログラム |
JP4300521B2 (ja) | 2004-02-12 | 2009-07-22 | 富士フイルム株式会社 | 電磁誘導タグ及び部品選択システム並びに部品選択方法 |
US20050243193A1 (en) * | 2004-04-30 | 2005-11-03 | Bob Gove | Suppression of row-wise noise in an imager |
US7948531B2 (en) | 2004-08-24 | 2011-05-24 | Panasonic Corporation | Imaging apparatus and correction method of image data |
-
2005
- 2005-08-11 US US11/201,537 patent/US7948531B2/en not_active Expired - Fee Related
- 2005-08-24 CN CN2005100921943A patent/CN1741584B/zh not_active Expired - Fee Related
-
2011
- 2011-04-11 US US13/083,950 patent/US8441559B2/en not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5608455A (en) * | 1992-07-30 | 1997-03-04 | Fuji Photo Film Co., Ltd | Interline transfer CCD image sensor with reduced dark current |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103314575A (zh) * | 2011-02-21 | 2013-09-18 | 松下电器产业株式会社 | 成像装置、成像方法和程序 |
Also Published As
Publication number | Publication date |
---|---|
US8441559B2 (en) | 2013-05-14 |
US20060092283A1 (en) | 2006-05-04 |
CN1741584B (zh) | 2013-06-12 |
US20110181759A1 (en) | 2011-07-28 |
US7948531B2 (en) | 2011-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1741584A (zh) | 摄像装置和图像数据的修正方法 | |
CN1219395C (zh) | 摄像装置和摄像方法 | |
CN1276646C (zh) | 固态成象设备 | |
CN1134975C (zh) | 图像处理装置 | |
CN1265226C (zh) | 图像摄取装置和缩放透镜 | |
CN1574898A (zh) | 图像摄取装置 | |
CN1543198A (zh) | 校正装置 | |
CN1830002A (zh) | 图像处理装置、图像处理方法以及失真校正方法 | |
CN1777242A (zh) | 固体摄像器件 | |
CN1534370A (zh) | 摄像装置及其控制方法 | |
CN1968423A (zh) | 固体摄像元件的信号处理装置和信号处理方法及摄像装置 | |
CN1877387A (zh) | 变焦透镜及包含变焦透镜的摄像设备 | |
CN1675919A (zh) | 摄像系统及图像处理程序 | |
CN1906518A (zh) | 变焦镜头和摄像装置 | |
CN1620103A (zh) | 固态成像装置、象素信号处理方法、模拟信号传输装置和方法 | |
CN1732682A (zh) | 图像处理装置及图像处理程序 | |
CN1774031A (zh) | 图像处理装置及图像处理方法、以及计算机程序 | |
CN1115540A (zh) | 检测字幕及无画面区等图像特征区域位置的装置 | |
CN1874409A (zh) | 图像信号处理设备、照相机系统及图像信号处理方法 | |
CN101047822A (zh) | 缩略图生成装置及摄像装置 | |
CN1975556A (zh) | 光学设备 | |
CN101052988A (zh) | 图像生成装置及图像生成方法 | |
CN1698350A (zh) | 影像合成设备 | |
CN1941874A (zh) | 图像处理设备及其控制方法 | |
CN1799064A (zh) | 图像处理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130612 Termination date: 20140824 |
|
EXPY | Termination of patent right or utility model |