背景技术
利用主动光源照明来进行目标检测是一项常用的技术。请参阅图1,为现有目标检测方法的过程示意图。如图1所示,一般包括几个主要模块:光源、图像传感器、同步机制和图像处理器。可以通过这几个模块实时检测目标物体的位置、形状、速度、颜色、纹理等特征。其工作原理如下:光源发出光线,照射到目标物体。同时,在同步机制的控制下,图像传感器拍摄整个场景的图像。场景的图像包括目标物体和后方的背景物体。目标物体可以是普通的漫反射表面的物体,也可以是预先制定的特殊物体(其表面对光线的反射具有方向性,可以将光源发出的光线反射到图像传感器上)。由于目标物体距离光源较近,或具有特殊反光表面,使得在图像中目标物体的亮度远高于背景的亮度。图像处理器接收到图像并进行图像分割,亮度高于某一阈值的部分认为是目标物体,亮度低于阈值的部分则认为是背景。从而根据目标区域的划分进行后续的运算,如提取位置信息。
目前采用的上述检测方法的缺点在于,目标的提取很容易受到环境光的干扰。如果环境光的照射使得背景中的某一区域比目标物体亮度还高,那么上述方法将会失效。
在现有技术中,对于环境光的干扰,一般的解决办法是,将光源调制到特定波长λ(为了不影响人眼的观察,一般选在可见光波长方位之外),加大输出功率,并在图像传感器和目标物体之间安装相应波长λ的带通滤波片,只允许波长λ的光线通过。这种方法可以在一定程度上抑制环境光的影响,提高目标物体和背景的对比度。但是,环境光通常是全波长的(如阳光和白炽灯),其在λ波长上的光照强度也可能会远大于光源发出的光线,所以选用特定波长的方法也有可能失效。
目前,已经提出了一种新的方法可以解决上述问题。该方法使用普通CMOS(Complementary Metal Oxide Semiconductor,互补金属氧化物半导体)图像传感器,在同一场景中连续拍摄两帧图像I1和I2(假设在整个过程中目标物体和背景物体的位置几乎没有发生改变)。其中I1拍摄时光源发光,I2拍摄时光源不发光。由于目标物体距离光源较近,或具有特殊反光表面,使得在I1图像中目标物体的亮度远高于I2图像中目标物体的亮度;而背景物体距离光源较远,且没有特殊反光表面,使得I1图像和I2图像中背景物体的亮度差别不大。图像处理器接收到图像I1和I2,并对其做差值运算,结果为图像I。则I中目标物体的亮度会远大于背景物体的亮度。对I进行图像分割,亮度高于某一阈值的部分认为是目标物体,亮度低于阈值的部分则认为是背景。从而根据目标区域的划分进行后续的运算,如提取位置信息等。
这种新的方法解决了环境光照的问题,但其缺点在于整个系统的实时性和光源能量的利用率上。这与CMOS图像传感器的工作模式相关。
请参阅图2,为现有CMOS图像传感器的工作模式图。对于多数CMOS图像传感器而言,其每一行的曝光时间是不同时的。图2中的横轴为时间轴。如图2所示,第一行L1开始曝光一段时间之后,第二行L2才开始曝光,之后依次开始各行的曝光。曝光结束时间也是依次结束的。
在这种曝光方式下,要使各行接收到光源发射的光线的量相等,则可以选择的光源闪光时间只有两种,如图2中的“闪光1”和“闪光2”。闪光1方案在最后一行曝光开始时刻开始闪光,在第一行曝光结束的时刻结束闪光。闪光2方案在第一行曝光开始时刻开始闪光,在最后一行曝光结束的时刻结束闪光。这两种方案都没有达到时间和效率的最优化。在闪光1方案中光源的闪光时间小于CMOS图像传感器的曝光时间,没有充分利用曝光时间提高目标物体的亮度。而在闪光2方案中,光源的闪光时间大于CMOS图像传感器的曝光时间,没有充分利用光源的能量。
此外,如果加大曝光时间,则闪光时间和曝光时间的差距占整个曝光时间的比例会逐渐缩小。极限的情况下,闪光时间会约等于曝光时间。但这也是不可取的。因为该方案是应用在实时的目标检测系统上的,目标会有一定的移动速度。之前提出的新方法的理论是建立在“连续拍摄两帧图像中目标位置几乎没有移动”这样的假设基础上的。加大曝光时间会使这样的假设不能够成立,从而使这种方案失效。
因此,如果可以保证各行的曝光同时进行,则可以解决上述问题。请参阅图3,为各像素行曝光时间同步情况下的CMOS图像传感器的工作模式图。通过将闪光时间设置成与曝光时间同步,则可以使各行接收到光源发射的光线的量相等。
然而,目前的CMOS图像传感器难以实现各行的曝光同步。下面具体结合CMOS传感器中像素单元的电路原理进行说明。请参阅图4,为现有CMOS传感器的像素单元的电路原理图。CMOS传感器是由若干个这样的像素单元构成的阵列。如图4所示,像素单元包括光电池B、复位管R、电荷溢出管T、源跟随器FD和行选通管X。此外,每列像素单元共同连接至一对信号输出管,即第一信号输出管SH1和第二信号输出管SH2。其中,复位管R、电荷溢出管T和光电池B依次串联在主动电源与地之间。源跟随器FD一端接主动电源,一端与行选通管X相连,且所述源跟随器FD的栅极连至复位管R和电荷溢出管T之间的节点。电荷溢出管T另一端分别连接至该像素单元所处像素列的第一信号输出管SH1和第二信号输出管SH2的一端。
请参阅图5,为现有CMOS图像传感器中像素单元的控制时序图。如图5所示,在每行像素开始曝光之前,复位管R和电荷溢出管T开启,清空源跟随器FD和光电池B中的电荷。之后复位管R和电荷溢出管T关闭,曝光开始。光电池B开始积累电荷。曝光时间T1结束之前,行选通管X和第一信号输出管SH1开启采样源跟随器FD参考电平,之后立即关闭。在曝光结束时,电荷溢出管T开启将光电池B的电荷转移到源跟随器FD,之后电荷溢出管T立即关闭。行选通管X和第二信号输出管SH2开启采样源跟随器FD信号电平。第二信号输出管SH2和第一信号输出管SH1经过比较后转换为数字信号。需要指出的是,这只是CMOS图像传感器中某一个像素单元所包含的电路的曝光控制时序,由于CMOS图像传感器需要串行输出数据,在整个CMOS图像传感器中,同一行的像素单元的曝光控制时序是同步的,不同行之间的像素单元的曝光控制时序是按时间顺序依次执行的,以使各行输出数据的时间不发生冲突。
结合图2至图5可知,在曝光时间结束之前,行选通管X便开始采样电平,即开始输出该行的数据。因此,在现有技术中,这种时序控制的方法必须在曝光后立即输出数据。由于CMOS图像传感器需要串行输出数据,所以只有使各行依次开始曝光,才能使各行在曝光结束时依次输出数据。当使各行的曝光时间同步时,则各行输出数据的时间也同步,必然导致无法正常输出图像数据。
发明内容
本发明要解决的技术问题在于,针对现有CMOS图像传感器的各个像素行在曝光后必须立即输出数据从而不能同步曝光的缺陷,提供一种可以使像素行在曝光后等待预设时间后再输出数据的CMOS图像传感器及其时序控制方法,从而使该CMOS图像传感器的任意两行可以同步曝光。
本发明要解决的另一技术问题在于,针对现有目标检测系统中图像传感器的不同像素行只能依次曝光,导致光源能量利用率低、且采集图像的实时性差的缺陷,利用上述各行可以等待预设时间输出数据的CMOS图像传感器,提供了两种CMOS图像传感器的曝光方法,从而使不同像素行可以同时曝光并有效地拍摄目标图像以进行目标检测。
因此,本发明解决其技术问题所采用的技术方案是:构造一种CMOS图像传感器,所述CMOS图像传感器包括:由若干像素行构成的像素阵列,以及用于控制所述像素阵列的控制芯片;所述控制芯片在每个像素行的一个曝光周期内控制所述像素行在曝光时间内曝光,随后控制所述像素行在曝光时间后等待预设等待时间输出数据。
在本发明所述的CMOS图像传感器中,所述若干像素行中的每一行包括数量相等的像素单元,且每个像素单元包括光电池、复位管、电荷溢出门管、行选通管和源跟随器;且每个像素单元连接至所在像素列的第一信号输出管和第二信号输出管以输出数据;所述控制芯片在每个像素行的一个曝光周期内发送以下控制信号分别控制所述像素行中每个像素单元的对应元件:
S1、在曝光时间开始时,分别发送一高电平脉冲开启复位管和电荷溢出门管;
S2、在曝光时间结束时,发送一高电平脉冲开启电荷溢出门管;
S3、在曝光时间结束后预设等待时间结束时,分别发送一高电平脉冲开启行选通管和该像素单元所在像素列的第一信号输出管,以采样信号电平;
S4、发送一高电平脉冲开启复位管;
S5、分别发送一高电平脉冲开启行选通管和该像素单元所在像素列的第二信号输出管,以采样参考电平。
在本发明所述的CMOS图像传感器中,所述控制芯片还控制所述像素阵列中的至少两个像素行的曝光时间同步,所述控制芯片随后控制所述至少两个像素行分别在曝光结束后等待不同的预设等待时间开始输出数据,且所述至少两个像素行的预设等待时间的差值不小于单个像素行输出数据所需的时间。
在本发明所述的CMOS图像传感器中,所述控制芯片还控制所述像素阵列中的所有像素行的曝光时间同步,所述控制芯片随后控制所有像素行分别在曝光结束后等待不同的预设等待时间开始输出数据,且所述像素阵列中的每个像素行的预设等待时间依次递增,且递增的差值不小于单个像素行输出数据所需的时间。
本发明还提供了一种CMOS图像传感器的时序控制方法,所述CMOS图像传感器包括:由若干像素行构成的像素阵列,以及用于控制所述像素阵列的控制芯片;所述时序控制方法包括在每个像素行的一个曝光周期内执行以下步骤:
曝光步骤、由所述控制芯片控制所述像素行在曝光时间内曝光;
输出数据步骤、由所述控制芯片控制所述像素行在曝光时间后等待预设等待时间输出数据。
本发明还提供了一种CMOS图像传感器的曝光方法,用于在第一光源状态和第二光源状态下分别拍摄目标图像并输出至第一帧缓存器和第二帧缓存器以进行目标检测,所述CMOS图像传感器为上述CMOS图像传感器,所述曝光方法包括以下步骤:
A0、将所述CMOS图像传感器划分为由数量相等的像素行构成的若干子阵列;
A1、将第一子阵列设为当前曝光子阵列;
A2、分别在第一光源状态和第二光源状态下,控制当前曝光子阵列中各个像素行同步曝光并输出数据;
A3、判断当前曝光子阵列是否为最末子阵列,是则结束,否则转步骤A4;
A4、将当前曝光子阵列的下一子阵列设为当前曝光子阵列并转步骤A2。
本发明还提供了另一种CMOS图像传感器的曝光方法,用于在第一光源状态和第二光源状态时分别拍摄目标图像并输出至第一帧缓存器和第二帧缓存器以进行目标检测,所述CMOS图像传感器为上述CMOS图像传感器,所述曝光方法包括以下步骤:
B0、将所述CMOS图像传感器划分为由数量相等的像素行构成的若干子阵列;
B1、将第一子阵列设为当前曝光子阵列;
B2、在第一光源状态下控制当前曝光子阵列中各个像素行进行第一次同步曝光,随后先输出当前曝光子阵列中下半像素行的数据至第一帧缓存器,再输出当前曝光子阵列中上半像素行的数据至第一帧缓存器;
B3、在所述当前曝光子阵列中下半像素行的数据输出完毕时,判断当前曝光子阵列是否为最末子阵列,是则结束,否则将当前曝光子阵列下移半个子阵列的位置;
B4、在第二光源状态下控制当前曝光子阵列中各个像素行进行第二次同步曝光,随后先输出当前曝光子阵列中下半像素行的数据至第二帧缓存器,再输出当前曝光子阵列中上半像素行的数据至第二帧缓存器;
B5、在所述当前曝光子阵列中下半像素行的数据输出完毕时,将当前曝光子阵列下移半个子阵列的位置,转步骤B2。
本发明还提供了另一种CMOS图像传感器的曝光方法,用于在第一光源状态和第二光源状态时分别拍摄目标图像并输出至第一帧缓存器和第二帧缓存器以进行目标检测,所述CMOS图像传感器为前面所述的CMOS图像传感器,所述曝光方法包括以下步骤:
B’0、将所述CMOS图像传感器划分为由数量相等的像素行构成的若干子阵列;
B’1、将第末子阵列设为当前曝光子阵列;
B’2、在第一光源状态下控制当前曝光子阵列中各个像素行进行第一次同步曝光,随后先输出当前曝光子阵列中上半像素行的数据至第一帧缓存器,再输出当前曝光子阵列中下半像素行的数据至第一帧缓存器;
B’3、在所述当前曝光子阵列中上半像素行的数据输出完毕时,判断当前曝光子阵列是否为第一子阵列,是则结束,否则将当前曝光子阵列上移半个子阵列的位置;
B’4、在第二光源状态下控制当前曝光子阵列中各个像素行进行第二次同步曝光,随后先输出当前曝光子阵列中上半像素行的数据至第二帧缓存器,再输出当前曝光子阵列中下半像素行的数据至第二帧缓存器;
B’5、在所述当前曝光子阵列中上半像素行的数据输出完毕时,将当前曝光子阵列上移半个子阵列的位置,转步骤B’2。实施本发明的CMOS图像传感器及其时序控制方法,具有以下有益效果:本发明通过控制芯片在每个像素行的曝光周期内控制所述像素行曝光,随后控制该像素行在曝光时间后等待预设等待时间再开始输出数据,从而将CMOS图像传感器的曝光时间与输出数据时间分离开,因此可以更灵活地控制CMOS图像传感器中各个像素行工作模式,以便于利于该CMOS图像传感器进行各种方式的曝光,例如控制至少两个像素行的曝光时间同步或者控制所有像素行的曝光时间同步。
更进一步地,采用本发明的CMOS图像传感器实施的CMOS图像传感器的曝光方法,具有以下有益效果:本发明提供的曝光方法,通过将CMOS图像传感器分成若干子阵列,并控制每个子阵列中各个像素行同步曝光,可使光源的闪光时间与单个子阵列的曝光时间相等,提高了光源能量利用率,且减小了同一子阵列在第一光源状态与第二光源状态下的曝光时间的间隔,以便于有效地拍摄目标图像以进行目标检测。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。
本发明提供了一种CMOS图像传感器,所述CMOS图像传感器包括像素阵列和控制芯片。其中所述像素阵列由若干像素行构成,控制芯片用于控制所述若干像素行曝光并输出数据。
本发明的独特之处在于所述控制芯片在每个像素行的一个曝光周期内控制所述像素行在曝光时间T1内曝光,随后控制所述像素行在曝光时间T1后等待预设等待时间T2开始输出数据。该预设等待时间T2可以大于等于0。
请参阅图6,为本发明优选实施例中CMOS图像传感器的像素单元的控制时序图。本发明的每个像素单元包括光电池B、复位管R、电荷溢出门管T、行选通管X,以及源跟随器FD;且每个像素列的像素单元同样共用以对信号输出管,例如连接至每个像素单元连接至所在像素列的第一信号输出管SH1和第二信号输出管SH2以输出数据。上述元件的连接关系与图5中电路的连接关系相同,区别仅在于,本发明可以通过改变控制芯片所发送的控制信号的时序,来实现不同的曝光过程。
如图6所示,本发明的控制芯片在每个像素行的一个曝光周期内发送以下控制信号分别控制所述像素行中每个像素单元的对应元件:
首先在步骤S1中,在曝光时间T1开始时,分别发送一高电平脉冲开启复位管R和电荷溢出门管T。从而清空光电池B和源跟随器FD中的电荷。之后复位管R和电荷溢出门管T关闭,该像素行开始曝光。
随后在步骤S2中,在该像素行的曝光时间T1结束时,发送一高电平脉冲开启电荷溢出门管T;将光电池B的电荷转移到源跟随器FD,之后电荷溢出门管T关闭。
随后在步骤S3中,在该像素行的曝光时间T1结束后预设等待时间T2结束时,分别发送一高电平脉冲开启行选通管X和该像素单元所在像素列的第一信号输出管SH1,以采样信号电平。之后行选通管X和该像素单元所在像素列的第一信号输出管SH1关闭。
随后在步骤S4中,发送一高电平脉冲开启复位管R,以清空源跟随器FD中的电荷。之后复位管R关闭。
随后在步骤S5中,分别发送一高电平脉冲开启行选通管X和该像素单元所在像素列的第二信号输出管SH2,以采样参考电平。该像素单元所在像素列的第一信号输出管SH1和第二信号输出管SH2经过比较后转换为数字信号输出。
通过上述时序控制方法,可以控制每个像素行在曝光时间T1后等待预设等待时间T2再开始输出数据,从而将CMOS图像传感器的曝光时间与输出数据时间分离开,因此可以更灵活地控制CMOS图像传感器中各个像素行的工作模式,以便于利于该CMOS图像传感器进行各种形式的曝光。
在本发明提供的进一步实施例中,所述CMOS图像传感器还可以实现由所述控制芯片控制所述像素阵列中的至少两个像素行的曝光时间T1同步,且所述控制芯片随后控制所述至少两个像素行分别在曝光结束后等待不同的预设等待时间T2开始输出数据。下面对该实施例的控制过程进行具体说明。设所述至少两个像素行包括L1和L2。则两个像素行的预设等待时间不同,分别为T2-1和T2-2。且两者的差值不小于单个像素行输出数据所需的时间,从而能够串行输出。由于像素行L1和像素行L2的曝光时间T1同步,所以相应的控制过程如下:
首先控制芯片同时发送一高电平脉冲开启L1和L2中所有像素单元的复位管R和电荷溢出门管T,在复位管R和电荷溢出门管T关闭后开始曝光。
随后在曝光时间T1结束时,控制芯片同时发送一高电平脉冲开启L1和L2中所有像素单元的电荷溢出门管T;将光电池B的电荷转移到源跟随器FD,之后电荷溢出门管T关闭。
随后控制芯片分别在曝光时间T1结束后预设等待时间T2-1和预设等待时间T2-2结束时发送控制信号输出像素行L1和像素行L2的数据。
例如,控制芯片在曝光时间T1结束后像素行L1的预设等待时间T2-1结束时,分别发送一高电平脉冲开启像素行L1中所有像素单元的行选通管X和该像素单元所在像素列的第一信号输出管SH1,以采样信号电平。之后像素行L1中所有像素单元的行选通管X和该像素单元所在像素列的第一信号输出管SH1关闭。随后控制芯片发送一高电平脉冲开启像素行L1中所有像素单元的复位管R,以清空源跟随器FD中的电荷。之后复位管R关闭。控制芯片分别发送一高电平脉冲开启像素行L1中所有像素单元的行选通管X和该像素单元所在像素列的第二信号输出管SH2,以采样参考电平。像素行L1中所有像素单元分别对应的第一信号输出管SH1和第二信号输出管SH2经过比较后转换为数字信号,作为像素行L1的数据输出。
同样,控制芯片在曝光时间T1结束后像素行L2的预设等待时间T2-2结束时,分别发送一高电平脉冲开启像素行L1中所有像素单元的行选通管X和该像素单元所在像素列的第一信号输出管SH1,以采样信号电平。之后像素行L2中所有像素单元的行选通管X和该像素单元所在像素列的第一信号输出管SH1关闭。随后控制芯片发送一高电平脉冲开启像素行L2中所有像素单元的复位管R,以清空源跟随器FD中的电荷。之后复位管R关闭。控制芯片分别发送一高电平脉冲开启像素行L2中所有像素单元的行选通管X和该像素单元所在像素列的第二信号输出管SH2,以采样参考电平。像素行L2中所有像素单元分别对应的第一信号输出管SH1和第二信号输出管SH2经过比较后转换为数字信号,作为像素行L2的数据输出。
在本发明提供的更进一步地实施例中,请结合参阅图7,所述CMOS图像传感器中所有像素行的曝光时间T1同步。在曝光时间T1结束后,所述控制芯片控制所有像素行分别在曝光结束后等待不同的预设等待时间T2开始输出数据,且所述像素阵列中的每个像素行的预设等待时间依次递增,且递增的差值不小于单个像素行输出数据的时间。例如,像素行L1在曝光时间T1后可以立即输出数据,即像素行L1的预设等待时间可以为T2-1=0;像素行L2在曝光时间T2后,需要等待像素行L1输出数据完毕才能开始输出,因此为其预设等待时间T2-2,该T2-2与T2-1的差值应不小于像素行L1输出数据的时间;同理像素行L3的预设等待时间T2-3与T2-2的差值应不小于像素行L2输出数据的时间;以此类推,像素行Ln的预设等待时间T2-n与像素行Ln-1的预设等待时间T2-n-1的差值大于像素行Ln-1输出数据的时间。在此,同一图像传感器中单个像素行输出数据的时间可以相等。如果本实施例提供的图像传感器应用在目标检测领域中,由于各个像素行同步曝光,因此闪光时间可以与曝光时间相等,从而提高了光源能量利用率。
本发明还相应提供了上述CMOS图像传感器的时序控制方法,所述时序控制方法包括在每个像素行的一个曝光周期内执行曝光步骤和输出数据步骤。
其中,曝光步骤为:由所述控制芯片控制所述像素行在曝光时间T1内曝光。输出数据步骤为:由所述控制芯片控制所述像素行在曝光时间T1后等待预设等待时间T2开始输出数据。
更具体地方法步骤如下所述。其中曝光步骤包括由所述控制芯片发送以下控制信号分别控制所述像素行中每个像素单元的对应元件:
首先在步骤S1中,在曝光时间T1开始时,分别发送一高电平脉冲开启复位管R和电荷溢出门管T。
随后在步骤S2中,在曝光时间T1结束时,发送一高电平脉冲开启电荷溢出门管T。
输出数据步骤包括由所述控制芯片发送以下控制信号分别控制所述像素行中每个像素单元的对应元件:
首先在步骤S3中,在曝光时间T1结束后预设等待时间结束时,分别发送一高电平脉冲开启行选通管X和该像素单元所在像素列的第一信号输出管SH1,以采样信号电平。
随后在步骤S4中,发送一高电平脉冲开启复位管R。
最后在步骤S5中,分别发送一高电平脉冲开启行选通管X和该像素单元所在像素列的第一信号输出管SH2,以采样参考电平。
本发明还结合目标检测系统的需求,提供了一种基于上述曝光后可等待时间输出数据的CMOS图像传感器的曝光方法,用于在第一光源状态和第二光源状态下分别拍摄目标图像并输出至第一帧缓存器和第二帧缓存器以进行目标检测。所述第一光源状态和第二光源状态可以分别代表目标检测中需要使用的光源闪光和不闪光状态,也可以根据目标检测的实际需要提供两种不同的光源状态。本发明提供的上述CMOS图像传感器的优势在于,可以使CMOS图像传感器的某些行或所有行的曝光同时开始和结束。因此,在本发明提供的曝光方法中,可以在曝光的同时令光源闪光,从而使闪光时间和曝光时间相等。这样做既可以充分利用曝光时间提高目标物体的亮度,又可以充分利用光源的能量。
在本发明提供的曝光方法中,首先需要把CMOS图像传感器分成若干个子阵列以便于按照一定规则进行曝光处理,这些子阵列通常具有数量相等的像素行。由于目标检测系统的实时性,连续对同一场景进行两次拍摄的过程中,目标物体及背景物体都不能有过大的位移,所以要求这两次拍摄的时间间隔要尽可能小。因此本发明将CMOS图像传感器的整个像素单元构成的阵列按行划分为子阵列。由于行数减少,子阵列的拍摄时间比整个像素阵列小,连续拍摄两帧所间隔的时间也随之减小。
请参阅图8,为本发明的CMOS图像传感器的曝光方法的第一实施例的流程图。如图8所示,本实施例的曝光方法包括以下步骤:
首先在步骤A0中,将所述CMOS图像传感器划分为由数量相等的像素行构成的若干子阵列。
随后在步骤A1中,将第一子阵列设为当前曝光子阵列。
随后在步骤A2中,分别在第一光源状态和第二光源状态下,控制当前曝光子阵列中各个像素行同步曝光并输出数据。在本发明的优选实施例中,步骤A2进一步包括:步骤A21、在第一光源状态下控制当前曝光子阵列中各个像素行进行第一次同步曝光,并控制所述各个像素行依次输出数据至第一帧缓存器直至当前曝光子阵列中所有像素行数据输出完毕;步骤A22、在第二光源状态下控制当前曝光子阵列中各个像素行进行第二次同步曝光,并控制所述各个像素行依次输出数据至第二帧缓存器直至当前曝光子阵列中所有像素行数据输出完毕。
随后在步骤A3中,判断当前曝光子阵列是否为最末子阵列,是则转步骤A5,否则转步骤A4。
随后在步骤A4中,将当前曝光子阵列的下一子阵列设为当前曝光子阵列并转步骤A2。
最后在步骤A5中,结束。
下面结合附图对第一实施例的曝光过程进行具体说明。
请参阅图9,为本发明CMOS图像传感器的曝光方法的第一实施例的过程示意图。首先,该CMOS图像传感器被分成K个子阵列,分别为M1、M2、M3……Mk。其中每个子阵列所包含的像素行相等。例如,每连续的16行为一个子阵列。为了分别拍摄第一光源状态和第二光源状态下的目标图像,这里每次使用同一个子阵列连续拍摄两次,其中一次为第一光源状态即光源闪光,另一次为第二光源状态即光源不闪光。然后使用下一个子阵列连续拍摄两次。直到整个像素阵列拍摄完毕。例如,第一时刻t1期间,第一子阵列M1为当前曝光子阵列,在第一光源状态下曝光,随后各行依次输出数据至第一帧缓存器;第二时刻t2期间,第一子阵列M1仍然为当前曝光子阵列,在第二光源状态下曝光,随后各行依次输出数据至第二帧缓存器;判断第一子阵列不是最末子阵列,因此将当前曝光子阵列的下一子阵列第二子阵列设为当前曝光子阵列;第三时刻t3期间,第二子阵列M2为当前曝光子阵列,在第一光源状态下曝光,随后各行依次输出数据至第一帧缓存器;第四时刻t4期间,第二子阵列M2仍然为当前曝光子阵列,在第二光源状态下曝光,随后各行依次输出数据至第二帧缓存器;……第2k-1时刻t2k-1期间,第k子阵列Mk为当前曝光子阵列,在第一光源状态下曝光,随后各行依次输出数据至第一帧缓存器;第2k时刻t2k期间,第k子阵列Mk仍然为当前曝光子阵列,在第二光源状态下曝光,随后各行依次输出数据至第二帧缓存器;判断第k子阵列Mk为最末子阵列,因此整个曝光过程结束。
请参阅图10,为本发明CMOS图像传感器的曝光方法的第一实施例中第一子阵列的工作模式图。如图10所示,第一子阵列M1在第一时刻t1期间和第二时刻t2期间分别进行了一次同步曝光。例如第一子阵列M1的像素行L1至L16首先在第一光源状态下进行了第一次同步曝光,即曝光时间为T1。随后像素行L1至像素行L16依次输出数据。这是通过对各个像素行设置不同的预设等待时间,即像素行L1的预设等待时间T2-1可以为0,像素行L2的预设等待时间T2-2与T2-1的差值不小于像素行L1的输出数据时间……以此类推,像素行的预设等待时间不断递增,且与前一像素行的差值不小于单个像素行输出数据的时间。在像素行L16输出数据完毕后,则开始在第二光源状态下进行第二次同步曝光。本发明中所述的第一光源状态和第二光源状态可以互换,即可以先在光源闪光情况下拍摄图像,也可以先在光源不闪光的情况下拍摄图像,两者的顺序不影响进一步目标检测的结果。
这样CMOS图像传感器的每个像素单元都经过两次曝光,其中一次光源闪光,另一次光源不闪光。且两次采集的图像之间的时间差约为单个子阵列输出数据的时间,有效地减小了时间间隔,保障了图像采集的实时性。图像处理器再将两个帧缓存器中存储的结果相减,并以某一阈值来划分目标区域和背景区域,进而计算目标物体的特征。
需要说明地是,在本发明提供的CMOS图像传感器的曝光方法的第一实施例中,采用由上而下的方式对子阵列进行曝光,这里也可以依据替换原则采用由下而上的方式对子阵列进行曝光。
请参阅图11,为本发明CMOS图像传感器的曝光方法的第二实施例的过程示意图。首先在步骤A’0中,将所述CMOS图像传感器划分为由数量相等的像素行构成的若干子阵列;
随后在步骤A’1中,将最末子阵列设为当前曝光子阵列。
随后在步骤A’2中,分别在第一光源状态和第二光源状态下,控制当前曝光子阵列中各个像素行同步曝光并输出数据。在第三实施例中,步骤A’2进一步包括:步骤A’21、在第一光源状态下控制当前曝光子阵列中各个像素行进行第一次同步曝光,并控制所述各个像素行依次输出数据至第一帧缓存器直至当前曝光子阵列中所有像素行数据输出完毕;步骤A’22、在第二光源状态下控制当前曝光子阵列中各个像素行进行第二次同步曝光,并控制所述各个像素行依次输出数据至第二帧缓存器直至当前曝光子阵列中所有像素行数据输出完毕。
随后在步骤A’3中,判断当前曝光子阵列是否为第一子阵列,是则转步骤A’5,否则转步骤A’4。
随后在步骤A’4中,将当前曝光子阵列的上一子阵列设为当前曝光子阵列并转步骤A’2。
最后在步骤A’5中,结束。
第二实施例的具体的实现过程如图12所示。在第二实施例中,在第一时刻t1期间,第k子阵列Mk为当前曝光子阵列,在第一光源状态下曝光,随后各行依次输出数据至第一帧缓存器,可以从上至下也可以从下至上输出数据;第二时刻t2期间,第k子阵列Mk仍然为当前曝光子阵列,在第二光源状态下曝光,随后各行依次输出数据至第二帧缓存器;判断第k子阵列Mk不是第一子阵列,因此将当前曝光子阵列的上一子阵列第k-1子阵列Mk-1设为当前曝光子阵列;……第2k-1时刻t2k-1期间,第一子阵列M1为当前曝光子阵列,在第一光源状态下曝光,随后各行依次输出数据至第一帧缓存器;第2k时刻t2k期间,第一子阵列M1仍然为当前曝光子阵列,在第二光源状态下曝光,随后各行依次输出数据至第二帧缓存器;判断第一子阵列M1为第一子阵列,因此整个曝光过程结束。
请参阅图13,为本发明的CMOS图像传感器的曝光方法的第三实施例的流程图。该方法同样将CMOS图像传感器分成若干子阵列来进行曝光。如图13所示,本实施例的曝光方法包括以下步骤:
首先在步骤B0中,将所述CMOS图像传感器划分为由数量相等的像素行构成的若干子阵列。
随后在步骤B1中,将第一子阵列设为当前曝光子阵列。
随后执行步骤B2,具体包括图13中步骤B21和步骤B22。在步骤B21中,在第一光源状态下控制当前曝光子阵列中各个像素行进行第一次同步曝光,随后先输出当前曝光子阵列下半像素行的数据至第一帧缓存器。在步骤B22中,输出当前曝光子阵列上半像素行的数据至第一帧缓存器。
随后执行步骤B3,具体包括图13中步骤B31和步骤B32。在步骤B31中,所述当前曝光子阵列的下半像素行的数据输出完毕时,判断当前曝光子阵列是否为最末子阵列,是则转步骤B6,否则转步骤B32。在步骤B32中,将当前曝光子阵列下移半个子阵列的位置。
随后执行步骤B4,具体包括图13中步骤B41和步骤B42。在步骤B41中,在第二光源状态下控制当前曝光子阵列中各个像素行进行第二次同步曝光,随后先输出当前曝光子阵列下半像素行的数据至第二帧缓存器。在步骤B42中,输出当前曝光子阵列上半像素行的数据至第二帧缓存器。
随后在步骤B5中,在所述当前曝光子阵列的下半像素行的数据输出完毕时,将当前曝光子阵列下移半个子阵列的位置,转步骤B2。
需要说明地是,在上述过程中,在步骤B21后并行执行步骤B22和步骤B31,即在输出上半像素行的数据同时,将已经输完数据的下半像素行投入下一次的曝光,以节省两次曝光之间的时间差。同理,在步骤B41后并行执行步骤B42和步骤B5。
在本发明的进一步实施例中,在步骤B2中在进行第一次同步曝光后,按照从下至上的顺序依次输出当前曝光子阵列中各个像素行的数据至第一帧缓存器。在步骤B4中在进行第二次同步曝光后,从下至上依次输出当前曝光子阵列中各个像素行的数据至第二帧缓存器。
请参阅图14,为本发明CMOS图像传感器的曝光方法的第三实施例的过程示意图。首先,该CMOS图像传感器被分成K个子阵列,分别为M1、M2、M3……Mk。第一时刻t1期间,第一子阵列M1为当前曝光子阵列,在第一光源状态下曝光,随后各行从下至上依次输出数据至第一帧缓存器,即下半像素行MD1的数据先输出完毕,上半像素行MU1的数据后输出完毕;在第二时刻t2期间,即第一子阵列M1的下半像素行MD1的数据输出完毕时,判断第一子阵列M1不是最末子阵列,因此将当前曝光子阵列下移半个子阵列的位置即由第一子阵列M1的下半像素行MD1和第二子阵列M2的上半像素行MU2构成新的当前曝光子阵列,从而在第二光源状态下控制新的当前曝光子阵列中各个像素行进行第二次同步曝光……第2k-1时刻t2k-1期间,第k子阵列Mk为当前曝光子阵列,在第一光源状态下曝光,随后各行从下至上依次输出数据至第一帧缓存器,判断第k子阵列Mk为最末子阵列,因此整个曝光过程结束。
以每32行为一个子阵列为例进行说明。每次使用一个子阵列拍摄一次,输出顺序由第32行开始至第1行依次输出。随后将阵列向下移动16行,形成一个新的子阵列,再拍摄一次。循环往复,直到整个像素阵列拍摄完毕。其中第奇数次拍摄时,光源为第一发光状态;第偶数次拍摄时光源为第二发光状态,即分别为光源闪光和不闪光。更具体一点说:第一次以第1至32行为一个子阵列,拍摄时光源发光;第二次以第17行至48行为一个子阵列,拍摄时光源不发光;第三次以第33行至64行为一个子阵列,拍摄时光源发光;直到整个CMOS传感器拍摄完毕。此时,CMOS图像传感器除了第一子阵列的上半像素行16行和最末子阵列的下半像素行16行之外,每个像素单元都经过了两次曝光,其中一次光源发光,另一次光源不发光。CMOS图像处理器的控制芯片再将两次的结果相减,并以某一阈值来划分目标区域和背景区域,进而计算目标物体的特征。
请参阅图15,为本发明CMOS图像传感器的曝光方法的第三实施例中第一子阵列的工作模式图。如图15所示,首先,第一子阵列M1的像素行L1至像素行L32在第一时刻t1期间首先在第一光源状态下进行了第一次同步曝光,即曝光时间为T1。随后像素行L32至像素行L1依次输出数据。这是通过对各个像素行设置不同的预设等待时间,即像素行L32的预设等待时间T2-32可以为0,像素行L31的预设等待时间T2-31与T2-32的差值大于像素行L32的输出数据时间……以此类推,从下至上像素行的预设等待时间不断递增,且与前一像素行的差值大于前一像素行输出数据的时间。在像素行L17输出数据完毕后,则开始对像素行L17至L48在第二光源状态下进行第二次同步曝光。并重复上述过程。虽然这种方法会使CMOS图像传感器的头16行和最后16行不能够得以利用,但当32行的子阵列中的16行输出完毕之后就可以立即开始下一个子阵列的曝光,使下一个子阵列的曝光时间和上一个子阵列的后16行输出时间相重叠,节省了时间上的开支,可以使整个系统的帧率提高,对构造实时的目标检测系统有很大帮助。
同理,在本发明提供的CMOS图像传感器的曝光方法的第三实施例中,也采用由上而下的方式对子阵列进行曝光,这里也可以依据替换原则采用由下而上的方式对子阵列进行曝光。
请参阅图16,为本发明CMOS图像传感器的曝光方法的第四实施例的过程示意图。在第四实施例中,首先在步骤B’0中,将所述CMOS图像传感器划分为由数量相等的像素行构成的若干子阵列。
随后在步骤B’1中,将最末子阵列设为当前曝光子阵列。
随后执行步骤B’2,具体包括步骤B’21和步骤B’22。在步骤B’21中,在第一光源状态下控制当前曝光子阵列中各个像素行进行第一次同步曝光,随后先输出当前曝光子阵列上半像素行的数据至第一帧缓存器。在步骤B’22中,输出当前曝光子阵列下半像素行的数据至第一帧缓存器。
随后执行步骤B’3,具体包括步骤B’31和步骤B’32。在步骤B’31中,所述当前曝光子阵列的上半像素行的数据输出完毕时,判断当前曝光子阵列是否为第一子阵列,是则转步骤B’6,否则转步骤B’32。在步骤B’32中,将当前曝光子阵列上移半个子阵列的位置。
随后执行步骤B’4,具体包括步骤B’41和步骤B’42。在步骤B’41中,在第二光源状态下控制当前曝光子阵列中各个像素行进行第二次同步曝光,随后先输出当前曝光子阵列上半像素行的数据至第二帧缓存器。在步骤B’42中,输出当前曝光子阵列下半像素行的数据至第二帧缓存器。
随后在步骤B’5中,在所述当前曝光子阵列的上半像素行的数据输出完毕时,将当前曝光子阵列上移半个子阵列的位置,转步骤B’2。
需要说明地是,在上述过程中,同样在步骤B’21后并行执行步骤B’22和步骤B’31,即在输出下半像素行的数据同时,将已经输完数据的上半像素行投入下一次的曝光,以节省两次曝光之间的时间差。同理,在步骤B’41后并行执行步骤B’42和步骤B’5。
在本发明的进一步实施例中,在步骤B’2中在进行第一次同步曝光后,按照从上至下的顺序依次输出当前曝光子阵列中各个像素行的数据至第一帧缓存器。在步骤B’4中在进行第二次同步曝光后,从上至下依次输出当前曝光子阵列中各个像素行的数据至第二帧缓存器。
第四实施例的具体实现过程如图17所示。首先,该CMOS图像传感器被分成K个子阵列,分别为M1、M2、M3……Mk。第一时刻t1期间,第k子阵列Mk为当前曝光子阵列,在第一光源状态下曝光,随后各行从上至下依次输出数据至第一帧缓存器,即上半像素行MUk的数据先输出完毕,下半像素行MDk的数据后输出完毕;在第二时刻t2期间,即第k子阵列Mk的上半像素行MUk的数据输出完毕时,判断第k子阵列Mk不是第一子阵列,因此将当前曝光子阵列上移半个子阵列的位置即由第k子阵列Mk的上半像素行MUk和第k-1子阵列Mk-1的下半像素行MDk-1构成新的当前曝光子阵列,从而在第二光源状态下控制新的当前曝光子阵列中各个像素行进行第二次同步曝光……第2k-1时刻t2k-1期间,第一子阵列M1为当前曝光子阵列,在第一光源状态下曝光,随后各行从上至下依次输出数据至第一帧缓存器,判断第一子阵列M1为第一子阵列,因此整个曝光过程结束。
本发明是根据特定实施例进行描述的,但本领域的技术人员应明白在不脱离本发明范围时,可进行各种变化和等同替换。此外,为适应本发明技术的特定场合或材料,可对本发明进行诸多修改而不脱离其保护范围。因此,本发明并不限于在此公开的特定实施例,而包括所有落入到权利要求保护范围的实施例。