具体实施方式
申请人已经发现,利用聚合与不同的各曝光时间相关联的图像数据,上述缺点的一个或多个可以被减少,或者甚至基本上被消除。这样的图像数据的聚合可以减少运动伪影,运动伪影在使用多重曝光的高动态范围的技术时是常见的,并且图像数据的聚合可以帮助实现分割-像素图像传感器的高灵敏度,如下面所讨论的。
图2显示图像数据的聚合高动态范围(IDAHDR)的成像系统200。IDAHDR成像系统包括图像传感器202,图像数据聚合模块204,平均化模块206,自动曝光控制(AEC)模块208,和曝光处理模块210。图像传感器202包括光电二极管阵列(未示出)并且重复地产生图像数据帧212,其中每一个图像数据帧212包括图像数据集E1至EN,其中N是大于1的整数。每一个图像数据集E是值的阵列,其中阵列的每一个的值表示入射至图像传感器202中的各光电二极管上的光214的强度。
在每一个图像数据帧212中,每一个图像数据集E以图像传感器202的光电二极管的不同的各曝光的持续时间来产生。因此,N表示图像传感器202的不同曝光的持续时间的数目。最长曝光的持续时间对应于N=1,第二最长曝光的持续时间对应于N=2,依此类推。例如,在一些实施例中,N为2,并且每一个第一图像数据集E1表示以第一曝光的持续时间所捕获的入射光214,且每一个第二图像数据集E2表示以第二曝光的持续时间所捕获的入射光214,其中第一曝光的持续时间大于第二曝光的持续时间。作为另一个例子,在一些其它实施例中,N为3,且每一个第一图像数据集E1表示以第一曝光的持续时间所捕获的入射光214,每一个第二图像数据集E2表示以第二曝光的持续时间所捕获的入射光214,且每一个第三图像数据集E3表示以第三曝光的持续时间所捕获的入射光214,其中第一曝光的持续时间大于第二曝光的持续时间,且第二曝光的持续时间大于第三曝光的持续时间。
在一些实施例中,例如经由使用多重曝光技术,图像传感器202顺序地产生每一个图像帧212中的图像数据集E。下面参考图3来讨论一个使用多重曝光技术的实施例。在某些其它实施例中,例如经由使用分割-像素图像传感器202,在每一个图像数据帧212内同时产生图像数据集E。下面参考图4来讨论包括分割-像素图像传感器的一个实施例。尽管图2显示每一个图像数据集E分别地可通信地被耦合到图像数据聚合模块204和平均化模块206上,但在一些实施例中,两个或更多个不同的图像数据集E可以可通信地被耦合在单一的数据总线上。
图像数据聚合模块204可以经由在每一个图像数据帧212内聚合图像数据集E,来产生每一个图像数据帧212中的虚拟的长曝光图像数据,如下所示:
E虚拟=E1+E2+...+EN (方程式1)
因此,每一个虚拟的长曝光图像数据集E虚拟是任何的值的阵列,其中阵列的每一个值是各光电二极管的N个曝光时间的每一个的强度值的总和。图像数据聚合模块204可被修改,用来比例缩放图像数据集E,以及对图像数据集E求和,而不脱离本申请的范围。图像数据集E和虚拟的长曝光图像数据集E虚拟可以是在模拟或数字域中。
虚拟的长曝光图像数据集E虚拟,例如,可通信地被耦合216到其它模块或系统(未示出),而用于显示,存储,和/或后处理。虚拟的长曝光图像数据集E虚拟有利地具有高动态范围,因为它们代表在两个或更多个不同的曝光的持续时间所捕获的图像数据。另外,图像数据集E的聚合有效地提高了传感器202的灵敏度,因为E虚拟表示N个不同的曝光的入射光214的集体强度。此灵敏度的提高能够在这样的实施例中尤其有利,其中图像传感器202是分割-像素的图像传感器,若非如此,则在低光的条件下,会有低的灵敏度。
平均化模块206产生平均值Y1,Y2至YN,其分别表示图像数据集E1,E2,至EN的平均值。在一些替代的实施例中,平均化模块206仅产生图像数据E的子集的平均值Y。例如,在一个特定的替代实施例中,平均化模块206仅产生平均值Y1;换句话说,在此替代实施例中,平均化模块206不产生平均值Y2至YN。
AEC模块208至少部分地依据平均值Y确定所需的曝光时间T1,T2,至TN,来控制随后的图像数据帧212的曝光的持续时间,基本上用来使IDAHDR成像系统200的动态范围最大化。N个所需的曝光时间的每一个T对应于图像传感器202的N个曝光时间的每一个。AEC模块208利用本领域已知的AEC技术由一个或多个平均值Y确定每一个所需的曝光时间T,以获得高动态范围。例如,在一些实施例中,AEC模块208从各平均值Y1,Y2至YN来确定所需的曝光时间T,而在一些其它实施例中,AEC模块208仅从平均值Y1来确定所需的曝光时间T。
如以上所讨论的,每一个虚拟的长曝光图像数据集E虚拟是给定的图像数据帧212的图像数据集的聚合。然而,AEC模块208在确定所需的曝光时间T时并不考虑这样的聚合。因此,为了考虑这样的聚合,曝光处理模块210依据至少部分的N个所需的曝光时间T来产生N个调整的曝光时间TA。N个调整的曝光时间TA的每一个也对应于图像传感器202的N个曝光的持续时间的每一个。
在一些实施例中,曝光处理模块210经由比例缩放所需的曝光时间T且根据方程式2来产生调整的曝光时间TA,在方程式2中X是从1至N的整数,且从X的每一个值来计算方程式2:
(方程式2)
但是,在一般条件下,对于从1到N-1的范围的X值,方程式2可以被近似地计算,如下所示:
TAX=TX-TX+1-...-TN (方程式3)
方程式3的计算一般比方程式2简单,因此,对于从1到N-1的范围的X值,某些实施例的曝光处理模块210以方程式3而不是以方程式2来计算,且在这些实施例中,曝光处理模块210将TAN设定至TN。
例如,在一些实施方式中,其中N等于2且曝光处理模块210以方程式3来计算,TA1和TA2分别以如下的方程式4和5来限定:
TA1=T1-T2 (方程式4)
TA2=T2 (方程式5)
作为另一个例子,在一些实施例中,其中N等于3且曝光处理模块210以方程式3来计算,TA1,TA2,和TA3分别以如下的方程式6-8来限定:
TA1=T1-T2-T3=T1-(T2+T3) (方程式6)
TA2=T2-T3 (方程式7)
TA3=T3 (方程式8)
作为又另一个例子,在一些实施例中,其中N等于4且曝光处理模块210以方程式3来计算,TA1,TA2,TA3,和TA4分别以如下的方程式9-12来限定:
TA1=T1-T2-T3-T4=T1-(T2+T3+T4) (方程式9)
TA2=T2-T3-T4=T2-(T3+T4) (方程式10)
TA3=T3-T4 (方程式11)
TA4=T4 (方程式12)
如以上所讨论的,TAN=TN。因此,最短的曝光的持续时间没有被曝光处理模块210改变。因此,在一些实施例中,曝光处理模块210只是简单地将TN当作TAN而让其通过。
在曝光处理模块210产生N个调整的曝光时间TA之后,图像传感器202根据调整的曝光时间TA来产生随后的图像数据集E。特别地,图像传感器202产生第一随后的像数据集E1,E1具有以第一调整的曝光时间的持续时间TA1来限定的曝光的持续时间,图像传感器202产生第二随后的图像数据集E2,E2具有以第二调整的曝光的持续时间TA2来限定的曝光的持续时间,等等。因此,每一个图像数据帧212的曝光的持续时间是前一个图像数据帧212的函数,以初始图像数据帧212的可能的例子,其中所要的曝光时间T和/或调整的曝光时间TA可以是被预先确定的初始值。图像数据聚合模块204聚合了随后的图像数据集E,以得到随后的虚拟的长时间曝光图像数据集E虚拟。
从方程式2和3可以理解到,除了TA1和TAN是相同的之外,每一个调整的曝光时间TA少于其对应的所要的曝光时间T。因此,相对于曝光时间没有被调整的成像系统,曝光处理模块210的利用可以减少给定的图像数据帧212的图像数据集E在曝光时间的持续时间上的差异,从而减少了潜在的运动伪像。
在某些实施例中,图像数据聚合模块204,平均化模块206,AEC模块208,和曝光处理模块210被实现在硬件中。在一些其它实施例中,这些模块的一个或多个的至少一部分,由执行指令的以软件和/或固件的形式的处理器来实现,其用来执行一个或多个模块的功能。虽然聚合模块204,平均化模块206,AEC模块208,和曝光处理模块210以分立的组件被显示于图2中,但这些模块的两个或更多个也可以部分地或完全地被结合而不脱离本申请的范围。另外,这些模块的一个或多个可以被集成于图像传感器202内。例如,在一些实施例中,图像数据聚合模块204被集成于图2的图像传感器202内。
图3显示图像传感器300,其是图2的图像传感器202的一个可能的实施例。图像传感器300包括像素阵列302,其中每一个像素302包括光电二极管304,光电二极管306,光电二极管308,和光电二极管310。每一个光电二极管304,306,308,及310会响应入射到其上的光而产生相应的电荷。在一些实施例中,图像传感器300是互补金属氧化物半导体(CMOS)图像传感器,或电荷耦合装置(CCD)图像传感器。每一个像素302选择性地还包括彩色滤光器阵列(未示出),使得每一个光电二极管304,306,308,及310可以捕获入射光中预定的颜色。彩色滤光器阵列的一些可能的例子包括,但不限于,拜耳(Bayer)彩色滤光器阵列,红-绿-蓝-绿宝石彩色滤光器阵列,青绿-黄-黄-红色苯胺染料彩色滤光器阵列,青绿-黄-绿-红色苯胺染料彩色滤光器阵列,和红-绿-蓝-白色彩色滤光器阵列。在所示的实施例中,每一个像素包括四个光电二极管。在其它实施例中,每一个像素包括两个,八个或一些其它数目的光电二极管。
图像传感器300还包括控制电子装置312,其至少部分地控制光电二极管304,306,308,及310的操作和对累积于二极管上的电荷的读取。例如,控制电子装置312根据调整的曝光时间信号TA1,TA2,至TAN来控制光电二极管304,306,308,及310的曝光的持续时间,使得图像传感器300产生图像数据集E1,E2,至EN,图像数据集E1,E2,至EN分别具有由TA1,TA2,至TAN所限定的曝光的持续时间。控制电子装置312被配置以致可以顺序地相继地产生图像数据集E1,E2,至EN,或者可以利用滚动快门技术来部分地并行地产生图像数据集E1,E2,至EN。
图4显示分割-像素图像传感器400,其是图2的图像传感器202的另一个可能的实施例,在实施例中,其中N等于2。分割-像素图像传感器400包括像素阵列402,其中像素402包括四个大的光电二极管404,406,408,及410和四个小的光电二极管412,414,416,及418。大的光电二极管404,406,408,和410被优化用来捕获高强度的光,而小的光电二极管412,414,416,和418被优化用来捕获低强度的光。因此,像素402的大的光电二极管404,406,408,和410产生第一图像数据集E1,而小的光电二极管412,414,416,和418产生第二图像数据集E2。每一个像素402选择性地包括彩色滤光器阵列(未示出),例如上面图3所讨论的彩色滤波器阵列中的一种。举例来说,在某些实施例中,每一个像素402包括拜耳(Bayer)彩色滤波器阵列,使得大的光电二极管404和小的光电二极管412捕获红色光,大的光电二极管406,408和小的光电二极管414,416捕获绿色光,而大的光电二极管410和小的光电二极管418捕获蓝色光。
图像传感器400还包括控制电子装置420,其至少部分地控制光电二极管404,406,408,410,412,414,416,和418的操作并对光电二极管上累积的电荷的读取。例如,控制电子设备420根据第一调整的曝光时间TA1控制大的光电二极管404,406,408,和410的曝光的持续时间,来产生第一图像数据集E1,并且控制电子设备420根据第二调整的曝光时间TA2控制的小的光电二极管412,414,416,及418的曝光的持续时间,来产生第二图像数据集E2。
图5显示方法500,其用来产生虚拟的长时间曝光图像数据集。在步骤502中,N个图像数据集从光电二极管阵列产生,其中N个图像数据集的每一个以光电二极管阵列的各个不同的曝光时间的持续时间来产生,其中N是一个大于1的整数。在步骤502的一个例子中,N等于3,且图像传感器300(图3)分别地根据第一调整的曝光的持续时间TA1,第二调整的曝光的持续时间TA2,和第三调整的曝光的持续时间TA3所限定的曝光的持续时间来产生第一图像数据集E1,第二图像数据集E2,和第三图像数据集E3。在步骤502的另一实例中,N等于2,且图像传感器400(图4)分别地根据第一调整的曝光的持续时间TA1,和第二调整的曝光的持续时间TA2所限定的曝光的持续时间来产生第一图像数据集E1,和第二图像数据集E2。
在步骤504中,N个图像数据集被聚合,以获得虚拟的长曝光图像数据集。在步骤504的一个例子中,其中N等于3,图像数据聚合模块204对第一图像数据集E1,第二图像数据集E2,和第三图像数据集E3求和,以获得虚拟的长曝光图像数据集E虚拟。在步骤504的另一实施例中,其中N等于2,图像数据聚合模块204对第一图像数据集E1,和第二图像数据集E2求和,以获得虚拟的长曝光图像数据集E虚拟。
在步骤506中,至少部分地依据N个图像数据集之一的平均值来产生N个所要的曝光时间。在步骤506的一个例子中,AEC模块208至少部分地依据平均值Y1来产生所需的曝光时间T1,T2,至TN。在步骤508中,至少部分地依据N个所要的曝光时间来产生N个调整的曝光时间。在步骤508的一个例子中,曝光处理模块210根据方程式3来产生调整的曝光时间TA1,TA2,至TA(N-1),且曝光处理模块210将TN当作TAN而让其通过。然后重复步骤502-508,从而产生随后的图像数据集,且随后的虚拟长曝光图像数据集被产生。
特征组合
如上所述的特性以及如下所声称的特性可以以不同的方式组合而不脱离本申请的范围。下面的例子显示一些可能的组合:
(A1)用来产生虚拟的长曝光图像数据集的方法可包括:(1)从光电二极管阵列产生N个图像数据集,N个图像数据集的每一个以光电二极管阵列的不同的各自的曝光的持续时间来产生,N是大于1的整数,和(2)聚合N个图像数据集,以获得虚拟的长曝光图像数据集。
(A2)在表示为(A1)的方法中,聚合N个图像数据集的步骤可包括对N个图像数据集求和。
(A3)表示为(A1)或(A2)的方法的任一个可以进一步包括:(1)至少部分地依据N个图像数据集之一的平均值,来产生所要的N个曝光时间,(2)至少部分地依据N个所要的曝光时间,来产生N个调整的曝光时间,和(3)由光电二极管阵列产生N个随后的图像数据集,该N个随后的图像数据集根据N个调整的曝光时间,以光电二极管阵列的各自的曝光的持续时间来产生。
(A4)表示为(A3)的方法还可以包括聚合N个随后的图像数据集,以获得随后的虚拟的长曝光图像数据集。
(A5)在表示为(A4)的方法中,聚合N个随后的图像数据集的步骤可包括总加N个随后的图像数据集。
(A6)在表示为(A3)至(A5)的方法的任一个中,产生N个调整的曝光时间的步骤可包括:(1)由N个所要的曝光时间的第一个与N个所要的曝光时间的第二个之间的差,来确定N个调整的曝光时间的第一个,和(2)确定N个调整的曝光时间的第二个等于N个所要的曝光时间的第二个。
(A7)在表示为(A3)至(A5)的方法的任一个中,产生N个调整的曝光时间的步骤可包括:(1)由N个所要的曝光时间的第一个与N个所要的曝光时间的第二个及N个所要的曝光时间的第三个的总和之间的差,来确定N个调整的曝光时间的第一个,和(2)由N个所要的曝光时间的第二个与N个所要的曝光时间的第三个之间的差,来确定N个调整的曝光时间的第二个,和(3)确定N个调整的曝光时间的第三个等于N个所要的曝光时间的第三个。
(A8)在表示为(A3)至(A5)的方法的任一个中,产生N个调整的曝光时间的步骤可包括:(1)由N个所要的曝光时间的第一个与N个所要的曝光时间的第二个,N个所要的曝光时间的第三个,及N个所要的曝光时间的第四个的总和之间的差,来确定N个调整的曝光时间的第一个,和(2)由N个所要的曝光时间的第二个与N个所要的曝光时间的第三个及N个所要的曝光时间的第四个的总和之间的差,来确定N个调整的曝光时间的第二个,(3)由N个所要的曝光时间的第三个与N个所要的曝光时间的第四个之间的差,来确定N个调整的曝光时间的第三个,和(4)确定N个调整的曝光时间的第四个等于N个所要的曝光时间的第四个。
(A9)在表示为(A3)至(A5)的方法的任一个中,产生N个调整的曝光时间的步骤可包括:至少部分地由N个所要的曝光时间中的一个与N个所要的曝光时间中的另一个之间的差来确定N个调整的曝光时间中的一个。
(A10)在表示为(A3)至(A9)的方法的任一个中,产生N个图像数据集的步骤可包括顺序地产生N个图像数据集。
(A11)在表示为(A3)至(A9)的方法的任一个中,产生N个图像数据集的步骤可包括同时地产生N个图像数据集。
(B1)图像数据的聚合高动态范围的成像系统可以包括图像传感器,其用来从光电二极管阵列产生N个图像数据集,其中N是大于1的整数。图像传感器可适合用来以光电二极管阵列的不同的各曝光的持续时间来产生N个图像数据集中的每一个。图像数据的聚合高动态范围的成像系统还可以包括图像数据聚合模块,其用来聚合N个图像数据集,以获得虚拟的长曝光图像数据集。
(B2)在表示为(B1)图像数据的聚合高动态范围的成像系统中,图像数据聚合模块可适合用来总加对N个图像数据集求和,以获得虚拟的长曝光图像数据集。
(B3)在表示为(B1)或(B2)的图像数据的聚合高动态范围的成像系统中的任一个还可以包括:(1)自动曝光控制模块,其用来至少部分地依据N个所要的曝光时间中的一个的平均值,来产生N个所要的曝光时间,和(2)曝光处理模块,其用来至少部分地依据N个所要的曝光时间,来产生N个调整的曝光时间。图像传感器可适合用来,依据N个调整的曝光时间而由光电二极管阵列来产生N个随后的图像数据集,N个随后的图像数据集依据N个调整的曝光时间,以光电二极管阵列的各曝光的持续时间来产生。
(B4)在表示为(B3)的图像数据的聚合高动态范围的成像系统中,曝光处理模块可以适合用来至少部分地由N个所要的曝光时间中的一个与N个所要的曝光时间中的另一个之间的差,来确定至少N个调节的曝光时间中的一个。
表示为(B3)或(B4)的图像数据的聚合高动态范围的成像系统中的任一个,可以进一步包括平均化模块,其用来产生N个图像数据集中的一个的平均值。
(B6)在表示为(B3)至(B5)的图像数据的聚合高动态范围的成像系统的任一个之中,图像传感器可以能够顺序地产生N个图像数据集。
(B7)在表示为(B3)至(B5)的图像数据的聚合高动态范围的成像系统的任一个之中,图像传感器可以能够同时地产生N个图像数据集。
(B8)在表示为(B7)的图像数据的聚合高动态范围的成像系统中,图像传感器可包括分割-像素图像传感器。
上述的系统和方法可以做改变而不脱离本申请的范围。因此,应注意到,包含在上面的说明和显示在附图中的事项应当被解释为说明性的而不是限制性的意义。下面的权利要求旨在含盖本文中所描述的一般和具体的特征,以及本申请的方法和系统的范围的所有陈述,它们,作为语言的问题,可以说都是落在本申请的范围之中。