具体实施方式
通过参照附图,描述根据本发明优选实施例的固态图像拾取装置。图1所示为根据本发明优选实施例的固态图像拾取装置的基本结构方框图。
在图1中,附图标记E1为光学系统,其接收被拍摄对象的光学图像。该光学系统E1包括由多个透镜组成的组合透镜。
E2为光电转换元件阵列。光电转换元件阵列E2包括在矩阵的水平和垂直方向上排列的多个光电转换元件(象素)。进一步,通过进行光电转换将进入光学系统E1的入射光线转换成电信号,每一象素分别产生象素数据。因而,通过来自光学系统E 1的入射光线,在光电转换元件的整个部分上形成有被拍摄对象的光学图像。
E3为象素数据读取控制单元,其从光电转换元件阵列E2读取象素数据,并通过切换模式输出读取的象素数据。象素数据读取控制单元E3控制模式(1)、(2)以及(3)的执行。
(1)用于拾取静止图像的全象素读取模式:
这是按照每一象素的数据单元顺序、输出全部象素的读取象素数据的模式。
(2)用于记录活动图像的垂直/水平混合象素读取模式:
这是在阵列的垂直和水平方向上混合多个读取数据之后,输出混合象素数据的模式。
(3)垂直混合读取模式:
这种模式是在显示模式中控制自动聚焦的时候,通过取消在该阵列的水平方向上混合多个读取数据,输出自动聚焦的垂直混合象素数据。
在图1中,E4为图像处理单元,用于对接收的来自象素数据读取控制单元E3输出的象素数据,进行所期望的数据处理。E5为图像处理单元E4的自动聚焦控制单元,并且E6为图像显示器,诸如液晶显示器。
参照图2描述上述固态图像拾取装置的操作。
步骤S1是刚刚提供电源之后,处于拾取静止图像的等待状态。在步骤S1,设置显示模式,并且在步骤S2,设置垂直/水平混合象素读取模式。通过在光电转换元件阵列E2上进行的光电转换,通过光学系统E1在光电转换元件阵列E2上形成的被拍摄对象的光学图像被转换成电信号。
这一点上的具体操作如下。
象素数据读取控制单元E3从光电转换元件阵列E2读取象素数据。
当提供电源时,设置显示模式,象素数据读取控制单元E3设置成垂直/水平混合象素读取模式,并将在垂直和水平方向上混合的象素的象素数据输出到图像处理单元E4。
图像处理单元E4对输入的象素数据进行CDS(相关二重采样)处理,以删除复位噪声和低频噪声。进一步进行AGC(自动增益控制),以进一步将模拟信号转换成数字信号。
而且,图像处理单元E4将数字数据输出到成像显示器E6。从而在该成像显示器E6中实时地显示被拍摄对象的图像。
在步骤S3,判定是用于记录活动图像或是用于拾取静止图像。当拍摄图片的人选择记录活动图像模式,其转到步骤S4,并且当拍摄图片的人选择拾取静止图像模式,其转到步骤S6。
在步骤S4,激活自动聚焦以驱动光学系统的透镜。
在步骤S5,通过按下记录按钮,以垂直/水平混合象素读取模式记录活动图像。在步骤S4,通过在水平和垂直方向上进行二维混合的象素执行自动聚焦。
在步骤S6,通过粗略自动聚焦驱动光学系统的透镜。在步骤S7,判断快门按钮是否处于半按状态。在确认为半按状态之后,其执行步骤S8。在步骤S8,设置垂直混合象素读取模式。
设置垂直混合象素读取模式的结果是,象素数据读取控制单元E3在垂直方向上混合多列象素数据,并将只在垂直方向上混合的象素数据输出到图像处理单元E4作为自动聚焦的基础数据,该象素数据对于在水平方向上象素没有减少的全部象素为连续象素数据。
然后在步骤S9,通过用于驱动光学系统E1的垂直混合象素读取数据激活高精度的自动聚焦。在步骤S10,当判定为焦点对准时,转到步骤S11,以设置到全象素读取模式。然后全部地按下快门按钮,以通过全象素读取模式拾取静止图像。
参照图3至图5,以下描述全象素读取模式、垂直/水平混合象素读取模式以及垂直混合象素读取模式。
在附图中,左侧所示为部分光电转换元件阵列E2,右侧所示为通过象素数据读取控制单元E3读取的象素数据。在光电转换元件阵列E2中,按照Bayer格式设置第一G(绿色)、R(红色)、B(蓝色)和第二G(绿色)。
图3为全象素读取模式的模型图解,其中输出光电转换元件阵列E2中的全部象素的所有象素数据。这是在拾取静止图像时所使用的模式,按照顺序Y1、Y2、Y3…进行扫描。使用全部象素的象素数据,从而可以通过高象素拾取到具有高精细静止图像。
图4为垂直/水平混合象素读取模式的模型图解。这种模式是在记录活动图像的时候所使用的模式。
所示的状态为,在具有6行6列为一个单元的36象素阵列中,输出2个G(绿色)象素数据、1个R(红色)象素数据和1个B(蓝色)象素数据。
在待输出的这些象素数据中用圆圈标记的第一G(绿色)混合象素数据是光电转换元件阵列上用圆圈标记的9个G象素的象素数据混合后的数据。
象素数据中混合数据的R(红色)象素位于用圆圈标记的象素数据右侧,其是该光电转换元件阵列上用圆圈标记的9个象素数据右侧的9个R(红色)象素的混合后的数据。象素数据中混合数据的B(蓝色)象素位于用圆圈标记的象素数据上侧,其是该光电转换元件阵列上分别位于用圆圈标记的9个象素数据上侧的9个B(蓝色)象素混合后的数据。
与用圆圈标记的象素数据呈对角的混合象素数据中的G(绿色)象素数据,是光电转换元件阵列上分别与9个象素数据呈对角的9个G(绿色)象素混合后的数据。
在整个6行6列为一个单元的36象素阵列中重复这些格式。
在36象素的光电转换元件阵列E2中,有18个G象素,9个R象素和9个B象素。作为象素数据,它们在数目上分别被转换为2、1和1。也就是,它们在水平方向上减少为1/3,在垂直方向上减少为1/3,从而整体减少为1/9。每个混合象素数据分别从单个通道输出,总共四个通道,因此每通道减少为1/36。
而且,减少后输出的混合象素数据与原始的Bayer格式类似,从而保持Bayer格式。具体的,第一行(k1)混合象素数据为G、R、G、R…,第二行(k2)为B、G、B、G…,第三行(k3)混合象素数据为G、R、G、R…,并且第四行(k4)为B、G、B、G…。
通过在水平和垂直方向上二维地减少1/9,并且也通过保持原始Bayer格式将这些象素数据输出,从而能够记录具有高象素平滑移动的高精细活动图像。
图5为在显示模式中控制自动聚焦时垂直混合象素读取模式的模型图解。待输出的象素数据在垂直方向上减少,但是在水平方向上不减少。这样,待输出的象素数据所处于的状态是全部象素在水平方向上连续。
这时,在6行2列为一个单元的12象素阵列,分别输出2个G象素数据和1个R和B象素数据。
只在一个方向上混合的、用圆圈标记的第一G(绿色)象素数据,是光电转换元件阵列上用圆圈标记的3个G(绿色)象素混合后的象素数据。
只在一个方向上混合的、标记的R(红色)象素数据,是位于光电转换元件阵列上用圆圈标记的象素数据右侧的3个R象素混合后的象素数据。
只在一个方向上混合的、标记的B(蓝色)象素数据,是位于光电转换元件阵列上用圆圈标记的象素数据上侧的3个B象素混合后的象素数据。
只在一个方向上混合的、标记的第二G(绿色)象素数据,是与光电转换元件阵列上用圆圈标记的象素数据对角的3个G象素混合后的象素数据。
在6行2列为一个单元的12象素阵列重复这些格式。按照Y1、Y2、Y3…的顺序进行扫描。这时也保持了Bayer格式。
在垂直混合信息数据读取模式中,在垂直方向上减少象素数据。然而在水平方向上没有减少,从而可以在水平方向上连续地输出全部象素的象素数据。
也就是,在水平方向上,可以产生自动聚焦的基础数据,而没有信息丢失,并且使用该数据进行自动聚焦的控制。
通过使用具有如图12B中所示特性的高通滤波器来控制自动聚焦,在没有混合象素的情况下,水平方向上的频率特性如图12A中的实线所示,保留了水平方向上的高频带信息。
如上所述,在根据象素程度获得了非常精确的自动聚焦之后,按照图3中所示拾取具有高象素的高精细静止图像。于是,由此得到的静止图像数据成为高精确的数据,其相比于在自动聚焦的控制时使用垂直/水平混合象素读取模式的相关技术具有非常高的质量。
图6所示为上述图1结构的更加具体的说明。
在图6中,附图标记100为透镜单元,200为MOS图像传感器,300为CDS-AGC-A/D处理单元,400为数字信号处理单元,500为定时发生器,600为操作单元,以及700为图像显示单元。
透镜单元100对应于光学系统E1。MOS图像传感器200包括光电转换元件阵列210和象素数据读取控制单元220。光电转换元件阵列210对应于光电转换元件阵列E2,象素数据读取控制单元220对应于象素数据读取控制单元E3。
象素数据读取控制单元220包括垂直移位选择电路230、噪声消除/象素选择电路240、水平移位选择电路250、和输出放大器260。
输出放大器260可以具有一个通道或两个通道。CDS-AGC-A/D处理单元300和数字信号处理单元400对应于图像处理单元E4。数字信号处理单元400包括CPU410和自动聚焦AF块420。
图7所示为噪声消除/象素选择电路的更具体结构的方框图。在图7中,附图标记242为垂直传送开关电路,244为信号电压保持电路,246为水平传送开关电路,以及248为信号输出线。
图8所示为光电转换元件阵列210的部分放大视图。单个象素20包括光电二极管10、单元放大器12和滤色镜14。光电二极管的阳极接地,阴极输入到单元放大器12,并且单元放大器12的输出连接到纵方向的象素数据读取线16。单元放大器12的控制终端连接到来自于垂直移位选择电路230的扫描线18。
滤色镜14设置在光电二极管10的前面。滤色镜14的结构为4象素对(G、R、B、G)的Bayer格式。作为具有2行2列的4象素单元,第一G(绿色)和R(红色),以及B(蓝色)和第二G(绿色)在水平方向上成行,而第一G(绿色)和B(蓝色),以及R(红色)和第二G(绿色)在垂直方向上成列。大量的4象素单元设置成交叉矩阵形式。
全象素读取模式
通过参照图9描述全象素读取模式的操作。图9为用于读取象素数据的电路结构部分的放大视图。图9所示的情况是使用具有一个通道的输出放大器260。
在图9中,也示出了噪声消除电路243(在图7中未示出)。
在水平消隐周期内选择行之后,通过单元放大器的参考电势对使用箝位开关的一行象素进行复位和噪声消除。然后读取并保持该电压。
在通过单象素单元读取象素的初始阶段,复位开关RS闭合一次,以将信号输出电容Cout复位到复位电源EE2的电压VDD。复位之后,打开复位开关RS。
箝位开关CL闭合一次,所有的箝位电容CC复位。复位之后,打开箝位开关CL。
通过垂直移位选择电路230选择光电转换元件阵列210的第一行。这时,噪声消除电路243的箝位开关CL闭合一次,所有的箝位电容CC复位。
复位之后,打开箝位开关CL,并然后同时闭合所有的垂直传送开关V1、V2、V3…。这时,所有的传输开关a11、a12、a13…同时闭合,以将象素P11、P21、P31的电压信号充至每一电容Q11、Q21、Q31…(每一电压对全部的3个电容充电,然而也可以只对一个电容充电)。
接着,按照顺序闭合水平传送开关h11、h21、h31…(这时,每一象素单元通过复位开关RS进行复位),并且通过输出电容Cout和输出放大器260输出一列全部象素的象素数据。
也就是,首先,第一水平传送开关h11(全部的3个开关H11、H12、H13)闭合一次,通过输出电容Cout和输出放大器260输出保持在电容Q11中的、第1行第1列象素P11的象素数据。
然后,第二水平传送开关h21(全部的3个开关H21、H22、H23)闭合一次,输出保持在电容Q21中的、第1行第2列象素P21的象素数据。
接着,第三水平传送开关h31(全部的3个开关H31、H32、H33)闭合一次,输出保持在电容Q31中的、第1行第3列象素P31的象素数据。
此后,按照顺序闭合水平传送开关h41、h51、h61…,输出保持在电容Q41、Q51、Q61…中的、第4行、第5行、第6行…的象素P41、P51、P61…的象素数据。
如上所述,就输出了第一行全部象素的象素数据。
在读取第一行全部象素的象素数据结束之后,在消除噪声之后,然后转移到对第2行中象素的读取。
也就是,通过使用箝位直流电源EE1,通过闭合箝位开关CL,所有的箝位电容复位到初始电势。
象素是通过光电二极管和单元放大器(漂移扩散放大器)的组合而形成的。单元放大器以电压的形式输出光电二极管中所累积的电势。
单元放大器的晶体管的阈值电压VT之间有差别,这成为图片质量恶化(例如产生垂直线)的偏移因素,称之为噪声,也是噪声消除电路243要消除噪声的原因。
可以使用MOS门电容作为箝位电容。在复位箝位电容之后,释放箝位开关CL,并且操作转移到读取下一扫描单元的象素数据。
对于读取下一行的象素数据,垂直移位选择电路230逐一地移位所选择的行。此后重复与上述相同的操作,按照顺序读取一行全部象素的象素数据。
然后逐一地移位所选择行之后,顺序读取每一行全部象素的象素数据,重复此直至最后一行。从而就读取了一帧的全部象素数据。
混合9象素读取模式
垂直移位选择电路230选择光电转换元件阵列210的第一行。这时,同时闭合所有的垂直传送开关V1、V2、V3…,并通过箝位开关CL的ON-OFF操作将箝位电容CC复位到单元放大器的参考电势VT。
然后对于所有同时闭合的垂直传送开关V1、V2、V3…,输出所有单元放大器的信号电压。与此同时,同时闭合每一第一传输开关a11、a21、a31…,以将第1行中象素P11、P21、P31…的信号电压分别充至第一电容C11、C21、C31…。
然后,通过箝位开关CL的ON-OFF操作将箝位电容CC复位。
接着,垂直移位选择电路230跳过一行,选择第三行。
同时闭合所有的垂直传送开关V1、V2、V3…,这时,同时闭合每一第二传输开关a12、a22、a32…,以将第3行中象素P13、P23、P33…的信号电压分别充至第二电容C12、C22、C32…。然后按照上述相同的方式,再次复位箝位电容CC。
然后,垂直移位选择电路230跳过一行,选择第五行。同时闭合所有的垂直传送开关V1、V2、V3…,这时,同时闭合每一第三传输开关a13、a23、a33…,以将第5行中象素P15、P25、P35…的信号电压分别充至第三电容C13、C23、C33…。然后按照上述相同的方式,再次复位箝位电容CC。
从而,当看一看第一行、第三行、第五行中从第一列至第六列的象素组,第一列中三个G(绿色)象素的象素数据分别由电容C11、C12、C13保持,第二列中三个R(红色)象素的象素数据分别由电容C21、C22、C23保持,第三列中三个G(绿色)象素的象素数据分别由电容C31、C32、C33保持,第四列中三个R(红色)象素的象素数据分别由电容C41、C42、C43保持,第五列中三个G(绿色)象素的象素数据分别由电容C51、C52、C53保持,第六列中三个R(红色)象素的象素数据分别由电容C61、C62、C63保持。在另一列中也建立相同的关系。
第一、三、五行和第一、三、五列中的9个象素都是G(绿色)象素,并且其象素数据由电容C11、C12、C13、C31、C32、C33、C51、C52、C53保持。于是通过同时操作对应于9个电容的9个水平传送开关H11、H12、H13、H31、H32、H33、H51、H52、H53,通过将信号输出电容Cout充电,就可以混合9个G(绿色)象素的象素数据。混合9个象素之后,将9个G(绿色)象素混合后的象素数据从输出放大器260输出。这对应于图4中的9个G混合的象素数据D1。
同时,第一、三、五行和第二、四、六列中的9个象素都是R(红色)象素,并且其象素数据由电容C21、C22、C23、C41、C42、C43、C61、C62、C63保持。于是,按照上述描述读取9个G(绿色)象素的象素数据之后,通过同时操作对应于9个电容的9个水平传送开关H21、H22、H23、H41、H42、H43、H61、H62、H63,通过将信号输出电容Cout充电,就可以混合9个R(红色)象素的象素数据。混合9个象素之后,将9个R象素混合后的象素数据从输出放大器260输出。这对应于图4中的9个R混合的象素数据D2。
尽管在图中没有示出,但是通过同时操作对应于电容C71、C72、C73、C91、C92、C93、C111、C112、C113的9个水平传送开关,将下9个G象素混合后的象素数据从输出放大器260输出。这对应于图4中的9个G混合的象素数据D3。
进一步,通过同时操作对应于电容C81、C82、C83、C101、C102、C103、C121、C122、C123的9个水平传送开关,将下9个R象素混合后的象素数据从输出放大器260输出。这对应于图4中的9个R混合的象素数据D4。
对于减少象素状态下的一行,在输出象素数据G、R、G、R…结束之后,垂直移位选择电路230逐行移位到所选择的行,重复如上所述相同的操作。从而如图4中所示,输出9个B混合的象素数据D5、9个G混合的象素数据D6、9个B混合的象素数据D7、9个G混合的象素数据D8等。
对于减少象素状态下的一行,在输出象素数据B、G、B、G…结束之后,垂直移位选择电路230逐行移位到所选择的行,重复如上所述相同的操作。从而如图4中所示,输出9个G混合的象素数据D9、9个R混合的象素数据D10、9个G混合的象素数据D11、9个R混合的象素数据D12等。
对于减少象素状态下的一行,在输出象素数据G、R、G、R…结束之后,垂直移位选择电路230逐行移位到所选择的行,重复如上所述相同的操作。从而如图4中所示,输出9个B混合的象素数据D13、9个G混合的象素数据D14、9个B混合的象素数据D15、9个G混合的象素数据D16等。
垂直混合象素读取模式
垂直混合象素读取模式读取的象素数据充至电容的操作与9混合象素读取模式的相同。
也就是,同时闭合所有的垂直传送开关V1、V2、V3…,以将第1行中象素P11、P21、P31…的信号电压分别充至第一电容C11、C21、C31…。然后,通过箝位开关CL的ON-OFF操作将箝位电容CC再次复位。
接着,垂直移位选择电路230跳过一行,选择第三行。同时闭合所有的垂直传送开关V1、V2、V3…,这时,同时闭合每一第二传输开关a12、a22、a32…,以将第3行中象素P13、P23、P33…的信号电压分别充至第二电容C12、C22、C32…。然后再次复位箝位电容CC。
然后,垂直移位选择电路230跳过一行,选择第五行。
同时闭合所有的垂直传送开关V1、V2、V3…,这时,同时闭合每一第三传输开关a13、a23、a33…,以将第5行中象素P15、P25、P35…的信号电压分别充至第三电容C13、C23、C33…。
然后,再次复位箝位电容CC。
从而,当看一看第一行、第三行、第五行中从第一列至第六列的象素组,第一列中三个G(绿色)象素的象素数据分别由电容C11、C12、C13保持,第二列中三个R(红色)象素的象素数据分别由电容C21、C22、C23保持,第三列中三个G(绿色)象素的象素数据分别由电容C31、C32、C33保持,第四列中三个R(红色)象素的象素数据分别由电容C41、C42、C43保持,第五列中三个G(绿色)象素的象素数据分别由电容C51、C52、C53保持,第六列中三个R(红色)象素的象素数据分别由电容C61、C62、C63保持。在另一行中也建立相同的关系。
在这一点上,垂直/水平混合象素读取模式情况下的也是相同。
第一、三、五行和第一列中的3个象素都是G(绿色)象素,并且其象素数据由电容C11、C12、C13保持。
于是通过同时操作对应于电容的3个水平传送开关H11、H12、H13,通过将信号输出电容Cout充电,就可以混合3个G(绿色)象素的象素数据。混合3个象素之后,将3个G(绿色)象素混合后的象素数据从输出放大器260输出。
这对应于图5中的3个G混合的象素数据d1。
第一、三、五行和第二列中的3个象素都是R(红色)象素,并且其象素数据由电容C21、C22、C23保持。
于是,通过同时操作对应于电容的3个水平传送开关H21、H22、H23,通过将信号输出电容Cout充电,就可以混合3个R(红色)象素的象素数据。混合3个象素之后,将3个R象素混合后的象素数据从输出放大器260输出。
这对应于图5中的3个R混合的象素数据d2。
第一、三、五行和第三列中的3个象素都是G(绿色)象素,并且其象素数据由电容C31、C32、C33保持。
于是通过同时操作对应于电容的3个水平传送开关H31、H32、H33,通过将信号输出电容Cout充电,就可以混合3个G(绿色)象素的象素数据。混合3个象素之后,将3个G象素混合后的象素数据从输出放大器260输出。
这对应于图5中的3个G混合的象素数据d3。
第一、三、五行和第四列中的3个象素都是R(红色)象素,并且其象素数据由电容C41、C42、C43保持。
于是,通过同时操作对应于电容的3个水平传送开关H41、H42、H43,通过将信号输出电容Cout充电,就可以混合3个R(红色)象素的象素数据。混合3个象素之后,将3个R象素混合后的象素数据从输出放大器260输出。
这对应于图5中的3个R混合的象素数据d4。
对于只在垂直方向上减少象素、而水平方向上的全部象素被选择的状态下的一行,在输出象素数据G、R、G、R…结束之后,垂直移位选择电路230逐行移位到所选择的行,重复如上所述相同的操作。从而如图5中所示,输出3个B混合的象素数据d5、3个G混合的象素数据d6、3个B混合的象素数据d7、3个G混合的象素数据d8等。
对于只在垂直方向上减少象素、而水平方向上的全部象素被选择的状态下的一行,在输出象素数据B、G、B、G…结束之后,垂直移位选择电路230逐行移位到所选择的行,重复如上所述相同的操作。从而如图5中所示,输出3个G混合的象素数据d9、3个R混合的象素数据d10、3个G混合的象素数据d11、3个R混合的象素数据d12等。
对于只在垂直方向上减少象素、而水平方向上的全部象素被选择的状态下的一行,在输出象素数据G、R、G、R…结束之后,垂直移位选择电路230逐行移位到所选择的行,重复如上所述相同的操作。从而如图5中所示,输出3个B混合的象素数据d13、3个G混合的象素数据d14、3个B混合的象素数据d15、3个G混合的象素数据d16等。
再次,在垂直混合信息数据读取模式中,在垂直方向上减少象素数据。然而在水平方向上没有减少,从而可以在水平方向上连续的输出全部象素的象素数据。也就是,在水平方向上,可以产生自动聚焦的基础数据,而没有信息丢失,并且使用该数据进行自动聚焦的控制。
如上所述,在根据象素程度获得了非常精确的自动聚焦之后,按照图3中所示拾取具有高象素的高精细静止图像。于是,由此得到的静止图像数据成为高精确的数据,其相比于在自动聚焦的控制时使用垂直/水平混合象素读取模式的相关技术具有非常高的质量。
在上述说明中,描述了使用具有一个通道的输出放大器260。然而,如图10中所示,其结构可以有第一输出放大器260a和第二放大器260b。在这种情况下,在垂直/水平混合象素读取模式中,如图4中所示,扫描通过同时从两个通道单独和并行地输出混合象素数据D1和D5进行,然后同时从两个通道单独和并行地输出混合象素数据D2和D6,然后同时从两个通道单独和并行地输出混合象素数据D3和D7,然后同时从两个区道单独和并行地输出混合象素数据D4和D8。至于输出的控制,控制其的方式是这样的:同时闭合水平传送开关h11、h21,然后同时闭合水平传送开关h31、h41,然后同时闭合水平传送开关h51、h61。从而,从输出放大器的两个通道260a和269b输出混合后的象素数据。
进一步,在上述说明中,可以混合在水平和垂直方向上隔行的9个象素的象素数据。然而,通常本发明可以混合在水平和垂直方向上隔行的(2n+1)2个象素的象素数据,其中n为任意自然数。
本发明的固态图像拾取装置可以有效的用作数字相机等,其功能包括既可以拾取高象素的静止图像,也可以记录高象素的活动图像。
虽然已经详细的描述和说明的本发明,但是应该明确理解的是,这只是意欲说明和示例的形式,而不是进行限制,本发明的精神和范围只由下面的权利要求书进行限制。