CN104702854A - 图像数据的聚合高动态范围的成像系统及相关方法 - Google Patents

图像数据的聚合高动态范围的成像系统及相关方法 Download PDF

Info

Publication number
CN104702854A
CN104702854A CN201410721378.0A CN201410721378A CN104702854A CN 104702854 A CN104702854 A CN 104702854A CN 201410721378 A CN201410721378 A CN 201410721378A CN 104702854 A CN104702854 A CN 104702854A
Authority
CN
China
Prior art keywords
exposure
image data
time
data set
desired time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410721378.0A
Other languages
English (en)
Other versions
CN104702854B (zh
Inventor
邝江涛
单继章
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omnivision Technologies Inc
Original Assignee
Omnivision Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Technologies Inc filed Critical Omnivision Technologies Inc
Publication of CN104702854A publication Critical patent/CN104702854A/zh
Application granted granted Critical
Publication of CN104702854B publication Critical patent/CN104702854B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/587Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

图像数据的聚合高动态范围的成像系统包括:图像传感器,用来由光电二极管阵列产生N个图像数据集,其中N是大于1的整数。图像传感器适合用来以光电二极管阵列的不同的各曝光时间的持续时间来产生N个图像数据集中的每一个。该系统还包括图像数据聚合模块,其用来聚合N个图像数据集,以获得虚拟的长曝光图像数据集。

Description

图像数据的聚合高动态范围的成像系统及相关方法
背景技术
传统的图像传感器具有有限的动态范围,例如60分贝(dB)至70dB。然而,很多场景具有大得多的动态范围。例如,天然的场景常常具有90dB或更大的动态范围。因此,技术已经被研发出来扩展图像传感器的动态范围。
例如,多重曝光技术已经被研发出来,由传统的图像传感器的多重曝光获得单一的高动态范围图像。在这些技术中,多个图像数据集被产生,其中每一个图像数据集用图像传感器的光电二极管以不同的曝光的持续时间来产生。多个图像数据集可以一个接一个顺序地被产生。或者,多个图像数据集可以利用滚动快门技术部分地并行地被产生,由此减少给定像素的连续的曝光之间的延迟。高动态范围图像根据一个或多个标准,在多个图像的数据集中,选择被高动态范围图像所表示的每一个像素位置而相继地被产生。在多重曝光技术中,图像数据集不会同时重叠在给定的像素位置上,当图像场景于多个图像数据集之间改变时,会造成运动伪影。
高动态范围图像传感器也已经被研发。高动态范围图像传感器的一个例子是分割-像素图像传感器。这种图像传感器的特征在于,每一个像素包括至少两个不同的光电二极管,其具有优化的不同强度范围的光。例如,图1是现有技术的分割-像素的图像传感器100的俯视图,其包括多个像素102,每一个像素102包括四个大的光电二极管104,106,108,110,和四个小的光电二极管112,114,116,118。大的光电二极管104,106,108和110,被优化用来捕获高强度的光,而小的光电二极管112,114,116和118,被优化用来捕获低强度的光。每一个像素102包括拜耳(Bayer)彩色滤波器阵列,使得大的光电二极管104和小的光电二极管112适合于捕获红色光,大的光电二极管106,108和小的光电二极管114,116适合于捕获绿色光,而大的光电二极管110和小的光电二极管118适合于捕获蓝色光。
大的光电二极管104,106,108,110产生第一图像数据集,其被优化而用于高强度的光,而小的光电二极管112,114,116,118产生第二图像数据集,其被优化而用于低强度的光。高动态范围图像,根据一个或多个标准,通过在第一和第二的数据集之间选择被高动态范围图像表示的每一个像素的位置而产生。第一和第二图像数据集典型地至少部分地在时间上重叠,因此,比起使用多重曝光技术的成像系统,分割-像素图像传感器100显著不易出现运动伪影。然而,事实上,每一个像素102包括至少八个光电二极管,故减少了大的光电二极管的可利用的表面积,从而在低光条件下,使其难以得到高灵敏度。
发明内容
在一个实施例中,用来产生虚拟的长曝光图像数据集的方法包括:(1)由光电二极管阵列产生N个图像数据集,该N个图像数据集的每一个以光电二极管阵列的不同的各曝光的持续时间来产生,其中N是大于1的整数,和(2)聚合N个图像数据集,以获得虚拟的长曝光图像数据集。在一个实施例中,图像数据的聚合高动态范围的成像系统包括图像传感器,用来从光电二极管阵列产生N个图像数据集,其中N是大于1的整数。图像传感器适于以光电二极管阵列的不同的各曝光的持续时间来产生N个图像数据集。该系统还包括图像数据聚合模块,用来聚合N个图像数据集,以获得虚拟的长曝光图像数据集。
附图说明
图1是现有技术的分割-像素的图像传感器的俯视图。
图2显示根据实施例的图像数据的聚合高动态范围的成像系统。
图3显示图2的图像数据的聚合高动态范围的成像系统的图像传感器的一个可能的实施例。
图4显示图2的图像数据的聚合高动态范围的成像系统的图像传感器的另一个可能的实施例。
图5显示根据实施例的用来产生虚拟的长曝光图像数据集的方法。
具体实施方式
申请人已经发现,利用聚合与不同的各曝光时间相关联的图像数据,上述缺点的一个或多个可以被减少,或者甚至基本上被消除。这样的图像数据的聚合可以减少运动伪影,运动伪影在使用多重曝光的高动态范围的技术时是常见的,并且图像数据的聚合可以帮助实现分割-像素图像传感器的高灵敏度,如下面所讨论的。
图2显示图像数据的聚合高动态范围(IDAHDR)的成像系统200。IDAHDR成像系统包括图像传感器202,图像数据聚合模块204,平均化模块206,自动曝光控制(AEC)模块208,和曝光处理模块210。图像传感器202包括光电二极管阵列(未示出)并且重复地产生图像数据帧212,其中每一个图像数据帧212包括图像数据集E1至EN,其中N是大于1的整数。每一个图像数据集E是值的阵列,其中阵列的每一个的值表示入射至图像传感器202中的各光电二极管上的光214的强度。
在每一个图像数据帧212中,每一个图像数据集E以图像传感器202的光电二极管的不同的各曝光的持续时间来产生。因此,N表示图像传感器202的不同曝光的持续时间的数目。最长曝光的持续时间对应于N=1,第二最长曝光的持续时间对应于N=2,依此类推。例如,在一些实施例中,N为2,并且每一个第一图像数据集E1表示以第一曝光的持续时间所捕获的入射光214,且每一个第二图像数据集E2表示以第二曝光的持续时间所捕获的入射光214,其中第一曝光的持续时间大于第二曝光的持续时间。作为另一个例子,在一些其它实施例中,N为3,且每一个第一图像数据集E1表示以第一曝光的持续时间所捕获的入射光214,每一个第二图像数据集E2表示以第二曝光的持续时间所捕获的入射光214,且每一个第三图像数据集E3表示以第三曝光的持续时间所捕获的入射光214,其中第一曝光的持续时间大于第二曝光的持续时间,且第二曝光的持续时间大于第三曝光的持续时间。
在一些实施例中,例如经由使用多重曝光技术,图像传感器202顺序地产生每一个图像帧212中的图像数据集E。下面参考图3来讨论一个使用多重曝光技术的实施例。在某些其它实施例中,例如经由使用分割-像素图像传感器202,在每一个图像数据帧212内同时产生图像数据集E。下面参考图4来讨论包括分割-像素图像传感器的一个实施例。尽管图2显示每一个图像数据集E分别地可通信地被耦合到图像数据聚合模块204和平均化模块206上,但在一些实施例中,两个或更多个不同的图像数据集E可以可通信地被耦合在单一的数据总线上。
图像数据聚合模块204可以经由在每一个图像数据帧212内聚合图像数据集E,来产生每一个图像数据帧212中的虚拟的长曝光图像数据,如下所示:
E虚拟=E1+E2+...+EN  (方程式1)
因此,每一个虚拟的长曝光图像数据集E虚拟是任何的值的阵列,其中阵列的每一个值是各光电二极管的N个曝光时间的每一个的强度值的总和。图像数据聚合模块204可被修改,用来比例缩放图像数据集E,以及对图像数据集E求和,而不脱离本申请的范围。图像数据集E和虚拟的长曝光图像数据集E虚拟可以是在模拟或数字域中。
虚拟的长曝光图像数据集E虚拟,例如,可通信地被耦合216到其它模块或系统(未示出),而用于显示,存储,和/或后处理。虚拟的长曝光图像数据集E虚拟有利地具有高动态范围,因为它们代表在两个或更多个不同的曝光的持续时间所捕获的图像数据。另外,图像数据集E的聚合有效地提高了传感器202的灵敏度,因为E虚拟表示N个不同的曝光的入射光214的集体强度。此灵敏度的提高能够在这样的实施例中尤其有利,其中图像传感器202是分割-像素的图像传感器,若非如此,则在低光的条件下,会有低的灵敏度。
平均化模块206产生平均值Y1,Y2至YN,其分别表示图像数据集E1,E2,至EN的平均值。在一些替代的实施例中,平均化模块206仅产生图像数据E的子集的平均值Y。例如,在一个特定的替代实施例中,平均化模块206仅产生平均值Y1;换句话说,在此替代实施例中,平均化模块206不产生平均值Y2至YN
AEC模块208至少部分地依据平均值Y确定所需的曝光时间T1,T2,至TN,来控制随后的图像数据帧212的曝光的持续时间,基本上用来使IDAHDR成像系统200的动态范围最大化。N个所需的曝光时间的每一个T对应于图像传感器202的N个曝光时间的每一个。AEC模块208利用本领域已知的AEC技术由一个或多个平均值Y确定每一个所需的曝光时间T,以获得高动态范围。例如,在一些实施例中,AEC模块208从各平均值Y1,Y2至YN来确定所需的曝光时间T,而在一些其它实施例中,AEC模块208仅从平均值Y1来确定所需的曝光时间T。
如以上所讨论的,每一个虚拟的长曝光图像数据集E虚拟是给定的图像数据帧212的图像数据集的聚合。然而,AEC模块208在确定所需的曝光时间T时并不考虑这样的聚合。因此,为了考虑这样的聚合,曝光处理模块210依据至少部分的N个所需的曝光时间T来产生N个调整的曝光时间TA。N个调整的曝光时间TA的每一个也对应于图像传感器202的N个曝光的持续时间的每一个。
在一些实施例中,曝光处理模块210经由比例缩放所需的曝光时间T且根据方程式2来产生调整的曝光时间TA,在方程式2中X是从1至N的整数,且从X的每一个值来计算方程式2:
T AX = T X T X ( T X + T X + 1 + . . . + T N )   (方程式2)
但是,在一般条件下,对于从1到N-1的范围的X值,方程式2可以被近似地计算,如下所示:
TAX=TX-TX+1-...-TN  (方程式3)
方程式3的计算一般比方程式2简单,因此,对于从1到N-1的范围的X值,某些实施例的曝光处理模块210以方程式3而不是以方程式2来计算,且在这些实施例中,曝光处理模块210将TAN设定至TN
例如,在一些实施方式中,其中N等于2且曝光处理模块210以方程式3来计算,TA1和TA2分别以如下的方程式4和5来限定:
TA1=T1-T2  (方程式4)
TA2=T2  (方程式5)
作为另一个例子,在一些实施例中,其中N等于3且曝光处理模块210以方程式3来计算,TA1,TA2,和TA3分别以如下的方程式6-8来限定:
TA1=T1-T2-T3=T1-(T2+T3)  (方程式6)
TA2=T2-T3  (方程式7)
TA3=T3  (方程式8)
作为又另一个例子,在一些实施例中,其中N等于4且曝光处理模块210以方程式3来计算,TA1,TA2,TA3,和TA4分别以如下的方程式9-12来限定:
TA1=T1-T2-T3-T4=T1-(T2+T3+T4)  (方程式9)
TA2=T2-T3-T4=T2-(T3+T4)  (方程式10)
TA3=T3-T4  (方程式11)
TA4=T4  (方程式12)
如以上所讨论的,TAN=TN。因此,最短的曝光的持续时间没有被曝光处理模块210改变。因此,在一些实施例中,曝光处理模块210只是简单地将TN当作TAN而让其通过。
在曝光处理模块210产生N个调整的曝光时间TA之后,图像传感器202根据调整的曝光时间TA来产生随后的图像数据集E。特别地,图像传感器202产生第一随后的像数据集E1,E1具有以第一调整的曝光时间的持续时间TA1来限定的曝光的持续时间,图像传感器202产生第二随后的图像数据集E2,E2具有以第二调整的曝光的持续时间TA2来限定的曝光的持续时间,等等。因此,每一个图像数据帧212的曝光的持续时间是前一个图像数据帧212的函数,以初始图像数据帧212的可能的例子,其中所要的曝光时间T和/或调整的曝光时间TA可以是被预先确定的初始值。图像数据聚合模块204聚合了随后的图像数据集E,以得到随后的虚拟的长时间曝光图像数据集E虚拟
从方程式2和3可以理解到,除了TA1和TAN是相同的之外,每一个调整的曝光时间TA少于其对应的所要的曝光时间T。因此,相对于曝光时间没有被调整的成像系统,曝光处理模块210的利用可以减少给定的图像数据帧212的图像数据集E在曝光时间的持续时间上的差异,从而减少了潜在的运动伪像。
在某些实施例中,图像数据聚合模块204,平均化模块206,AEC模块208,和曝光处理模块210被实现在硬件中。在一些其它实施例中,这些模块的一个或多个的至少一部分,由执行指令的以软件和/或固件的形式的处理器来实现,其用来执行一个或多个模块的功能。虽然聚合模块204,平均化模块206,AEC模块208,和曝光处理模块210以分立的组件被显示于图2中,但这些模块的两个或更多个也可以部分地或完全地被结合而不脱离本申请的范围。另外,这些模块的一个或多个可以被集成于图像传感器202内。例如,在一些实施例中,图像数据聚合模块204被集成于图2的图像传感器202内。
图3显示图像传感器300,其是图2的图像传感器202的一个可能的实施例。图像传感器300包括像素阵列302,其中每一个像素302包括光电二极管304,光电二极管306,光电二极管308,和光电二极管310。每一个光电二极管304,306,308,及310会响应入射到其上的光而产生相应的电荷。在一些实施例中,图像传感器300是互补金属氧化物半导体(CMOS)图像传感器,或电荷耦合装置(CCD)图像传感器。每一个像素302选择性地还包括彩色滤光器阵列(未示出),使得每一个光电二极管304,306,308,及310可以捕获入射光中预定的颜色。彩色滤光器阵列的一些可能的例子包括,但不限于,拜耳(Bayer)彩色滤光器阵列,红-绿-蓝-绿宝石彩色滤光器阵列,青绿-黄-黄-红色苯胺染料彩色滤光器阵列,青绿-黄-绿-红色苯胺染料彩色滤光器阵列,和红-绿-蓝-白色彩色滤光器阵列。在所示的实施例中,每一个像素包括四个光电二极管。在其它实施例中,每一个像素包括两个,八个或一些其它数目的光电二极管。
图像传感器300还包括控制电子装置312,其至少部分地控制光电二极管304,306,308,及310的操作和对累积于二极管上的电荷的读取。例如,控制电子装置312根据调整的曝光时间信号TA1,TA2,至TAN来控制光电二极管304,306,308,及310的曝光的持续时间,使得图像传感器300产生图像数据集E1,E2,至EN,图像数据集E1,E2,至EN分别具有由TA1,TA2,至TAN所限定的曝光的持续时间。控制电子装置312被配置以致可以顺序地相继地产生图像数据集E1,E2,至EN,或者可以利用滚动快门技术来部分地并行地产生图像数据集E1,E2,至EN
图4显示分割-像素图像传感器400,其是图2的图像传感器202的另一个可能的实施例,在实施例中,其中N等于2。分割-像素图像传感器400包括像素阵列402,其中像素402包括四个大的光电二极管404,406,408,及410和四个小的光电二极管412,414,416,及418。大的光电二极管404,406,408,和410被优化用来捕获高强度的光,而小的光电二极管412,414,416,和418被优化用来捕获低强度的光。因此,像素402的大的光电二极管404,406,408,和410产生第一图像数据集E1,而小的光电二极管412,414,416,和418产生第二图像数据集E2。每一个像素402选择性地包括彩色滤光器阵列(未示出),例如上面图3所讨论的彩色滤波器阵列中的一种。举例来说,在某些实施例中,每一个像素402包括拜耳(Bayer)彩色滤波器阵列,使得大的光电二极管404和小的光电二极管412捕获红色光,大的光电二极管406,408和小的光电二极管414,416捕获绿色光,而大的光电二极管410和小的光电二极管418捕获蓝色光。
图像传感器400还包括控制电子装置420,其至少部分地控制光电二极管404,406,408,410,412,414,416,和418的操作并对光电二极管上累积的电荷的读取。例如,控制电子设备420根据第一调整的曝光时间TA1控制大的光电二极管404,406,408,和410的曝光的持续时间,来产生第一图像数据集E1,并且控制电子设备420根据第二调整的曝光时间TA2控制的小的光电二极管412,414,416,及418的曝光的持续时间,来产生第二图像数据集E2
图5显示方法500,其用来产生虚拟的长时间曝光图像数据集。在步骤502中,N个图像数据集从光电二极管阵列产生,其中N个图像数据集的每一个以光电二极管阵列的各个不同的曝光时间的持续时间来产生,其中N是一个大于1的整数。在步骤502的一个例子中,N等于3,且图像传感器300(图3)分别地根据第一调整的曝光的持续时间TA1,第二调整的曝光的持续时间TA2,和第三调整的曝光的持续时间TA3所限定的曝光的持续时间来产生第一图像数据集E1,第二图像数据集E2,和第三图像数据集E3。在步骤502的另一实例中,N等于2,且图像传感器400(图4)分别地根据第一调整的曝光的持续时间TA1,和第二调整的曝光的持续时间TA2所限定的曝光的持续时间来产生第一图像数据集E1,和第二图像数据集E2
在步骤504中,N个图像数据集被聚合,以获得虚拟的长曝光图像数据集。在步骤504的一个例子中,其中N等于3,图像数据聚合模块204对第一图像数据集E1,第二图像数据集E2,和第三图像数据集E3求和,以获得虚拟的长曝光图像数据集E虚拟。在步骤504的另一实施例中,其中N等于2,图像数据聚合模块204对第一图像数据集E1,和第二图像数据集E2求和,以获得虚拟的长曝光图像数据集E虚拟
在步骤506中,至少部分地依据N个图像数据集之一的平均值来产生N个所要的曝光时间。在步骤506的一个例子中,AEC模块208至少部分地依据平均值Y1来产生所需的曝光时间T1,T2,至TN。在步骤508中,至少部分地依据N个所要的曝光时间来产生N个调整的曝光时间。在步骤508的一个例子中,曝光处理模块210根据方程式3来产生调整的曝光时间TA1,TA2,至TA(N-1),且曝光处理模块210将TN当作TAN而让其通过。然后重复步骤502-508,从而产生随后的图像数据集,且随后的虚拟长曝光图像数据集被产生。
特征组合
如上所述的特性以及如下所声称的特性可以以不同的方式组合而不脱离本申请的范围。下面的例子显示一些可能的组合:
(A1)用来产生虚拟的长曝光图像数据集的方法可包括:(1)从光电二极管阵列产生N个图像数据集,N个图像数据集的每一个以光电二极管阵列的不同的各自的曝光的持续时间来产生,N是大于1的整数,和(2)聚合N个图像数据集,以获得虚拟的长曝光图像数据集。
(A2)在表示为(A1)的方法中,聚合N个图像数据集的步骤可包括对N个图像数据集求和。
(A3)表示为(A1)或(A2)的方法的任一个可以进一步包括:(1)至少部分地依据N个图像数据集之一的平均值,来产生所要的N个曝光时间,(2)至少部分地依据N个所要的曝光时间,来产生N个调整的曝光时间,和(3)由光电二极管阵列产生N个随后的图像数据集,该N个随后的图像数据集根据N个调整的曝光时间,以光电二极管阵列的各自的曝光的持续时间来产生。
(A4)表示为(A3)的方法还可以包括聚合N个随后的图像数据集,以获得随后的虚拟的长曝光图像数据集。
(A5)在表示为(A4)的方法中,聚合N个随后的图像数据集的步骤可包括总加N个随后的图像数据集。
(A6)在表示为(A3)至(A5)的方法的任一个中,产生N个调整的曝光时间的步骤可包括:(1)由N个所要的曝光时间的第一个与N个所要的曝光时间的第二个之间的差,来确定N个调整的曝光时间的第一个,和(2)确定N个调整的曝光时间的第二个等于N个所要的曝光时间的第二个。
(A7)在表示为(A3)至(A5)的方法的任一个中,产生N个调整的曝光时间的步骤可包括:(1)由N个所要的曝光时间的第一个与N个所要的曝光时间的第二个及N个所要的曝光时间的第三个的总和之间的差,来确定N个调整的曝光时间的第一个,和(2)由N个所要的曝光时间的第二个与N个所要的曝光时间的第三个之间的差,来确定N个调整的曝光时间的第二个,和(3)确定N个调整的曝光时间的第三个等于N个所要的曝光时间的第三个。
(A8)在表示为(A3)至(A5)的方法的任一个中,产生N个调整的曝光时间的步骤可包括:(1)由N个所要的曝光时间的第一个与N个所要的曝光时间的第二个,N个所要的曝光时间的第三个,及N个所要的曝光时间的第四个的总和之间的差,来确定N个调整的曝光时间的第一个,和(2)由N个所要的曝光时间的第二个与N个所要的曝光时间的第三个及N个所要的曝光时间的第四个的总和之间的差,来确定N个调整的曝光时间的第二个,(3)由N个所要的曝光时间的第三个与N个所要的曝光时间的第四个之间的差,来确定N个调整的曝光时间的第三个,和(4)确定N个调整的曝光时间的第四个等于N个所要的曝光时间的第四个。
(A9)在表示为(A3)至(A5)的方法的任一个中,产生N个调整的曝光时间的步骤可包括:至少部分地由N个所要的曝光时间中的一个与N个所要的曝光时间中的另一个之间的差来确定N个调整的曝光时间中的一个。
(A10)在表示为(A3)至(A9)的方法的任一个中,产生N个图像数据集的步骤可包括顺序地产生N个图像数据集。
(A11)在表示为(A3)至(A9)的方法的任一个中,产生N个图像数据集的步骤可包括同时地产生N个图像数据集。
(B1)图像数据的聚合高动态范围的成像系统可以包括图像传感器,其用来从光电二极管阵列产生N个图像数据集,其中N是大于1的整数。图像传感器可适合用来以光电二极管阵列的不同的各曝光的持续时间来产生N个图像数据集中的每一个。图像数据的聚合高动态范围的成像系统还可以包括图像数据聚合模块,其用来聚合N个图像数据集,以获得虚拟的长曝光图像数据集。
(B2)在表示为(B1)图像数据的聚合高动态范围的成像系统中,图像数据聚合模块可适合用来总加对N个图像数据集求和,以获得虚拟的长曝光图像数据集。
(B3)在表示为(B1)或(B2)的图像数据的聚合高动态范围的成像系统中的任一个还可以包括:(1)自动曝光控制模块,其用来至少部分地依据N个所要的曝光时间中的一个的平均值,来产生N个所要的曝光时间,和(2)曝光处理模块,其用来至少部分地依据N个所要的曝光时间,来产生N个调整的曝光时间。图像传感器可适合用来,依据N个调整的曝光时间而由光电二极管阵列来产生N个随后的图像数据集,N个随后的图像数据集依据N个调整的曝光时间,以光电二极管阵列的各曝光的持续时间来产生。
(B4)在表示为(B3)的图像数据的聚合高动态范围的成像系统中,曝光处理模块可以适合用来至少部分地由N个所要的曝光时间中的一个与N个所要的曝光时间中的另一个之间的差,来确定至少N个调节的曝光时间中的一个。
表示为(B3)或(B4)的图像数据的聚合高动态范围的成像系统中的任一个,可以进一步包括平均化模块,其用来产生N个图像数据集中的一个的平均值。
(B6)在表示为(B3)至(B5)的图像数据的聚合高动态范围的成像系统的任一个之中,图像传感器可以能够顺序地产生N个图像数据集。
(B7)在表示为(B3)至(B5)的图像数据的聚合高动态范围的成像系统的任一个之中,图像传感器可以能够同时地产生N个图像数据集。
(B8)在表示为(B7)的图像数据的聚合高动态范围的成像系统中,图像传感器可包括分割-像素图像传感器。
上述的系统和方法可以做改变而不脱离本申请的范围。因此,应注意到,包含在上面的说明和显示在附图中的事项应当被解释为说明性的而不是限制性的意义。下面的权利要求旨在含盖本文中所描述的一般和具体的特征,以及本申请的方法和系统的范围的所有陈述,它们,作为语言的问题,可以说都是落在本申请的范围之中。

Claims (19)

1.用来产生虚拟的长曝光图像数据集的方法,包括:
由光电二极管阵列产生N个图像数据集,所述N个图像数据集的每一个以所述光电二极管阵列的不同的各曝光的持续时间来产生,其中N是大于1的整数;和
聚合所述N个图像数据集以获得所述虚拟的长曝光图像数据集。
2.根据权利要求1所述的方法,其中聚合N个图像数据集的步骤包括对所述N个图像数据集求和。
3.根据权利要求2所述的方法,还包括:
至少部分地依据所述N个图像数据集中的一个的平均值,来产生N个所要的曝光时间;
至少部分地依据所述N个所要的曝光时间,来产生N个调整的曝光时间;和
由所述光电二极管阵列来产生N个随后的图像数据集,所述N个随后的图像数据集依据所述N个调整的曝光时间,以所述光电二极体阵列的各曝光的持续时间来产生。
4.根据权利要求3所述的方法,还包括聚合N个随后的图像数据集,以获得随后的虚拟的长曝光图像数据集。
5.根据权利要求4所述的方法,其中聚合所述N个随后的图像数据集的步骤包括对所述N个随后的图像数据集求和。
6.根据权利要求3所述的方法,其中产生N个调整的曝光时间的步骤包括:
由所述N个所要的曝光时间中的第一个与所述N个所要的曝光时间中的第二个之间的差,来确定所述N个调整的曝光时间的第一个;和
确定所述N个调整的曝光时间中的第二个等于所述N个所要的曝光时间中的第二个。
7.根据权利要求3所述的方法,其中产生N个调整的曝光时间的步骤包括:
由所述N个所要的曝光时间中的第一个与所述N个所要的曝光时间中的第二个及所述N个所要的曝光时间中的第三个之总和之间的差,来确定所述N个调整的曝光时间中的第一个;
由所述N个所要的曝光时间中的第二个与所述N个所要的曝光时间中的第三个之间的差,来确定所述N个调整的曝光时间中的第二个;和
确定所述N个调整的曝光时间中的第三个等于所述N个所要的曝光时间中的第三个。
8.根据权利要求3所述的方法,其中产生N个调整的曝光时间的步骤包括:
由所述N个所要的曝光时间中的第一个与所述N个所要的曝光时间中的第二个、所述N个所要的曝光时间中的第三个、及所述N个所要的曝光时间中的第四个之和之间的差,来确定所述N个调整的曝光时间中的第一个;
由所述N个所要的曝光时间中的第二个与所述N个所要的曝光时间中的第三个及所述N个所要的曝光时间中的第四个之和之间的差,来确定所述N个调整的曝光时间中的第二个;
由所述N个所要的曝光时间中的第三个与所述N个所要的曝光时间中的第四个之间的差,来确定所述N个调整的曝光时间中的第三个;和
确定所述N个调整的曝光时间中的第四个等于所述N个所要的曝光时间中的第四个。
9.根据权利要求3所述的方法,其中产生N个调整的曝光时间的步骤包括:至少部分地由所述N个所要的曝光时间中的一个与所述N个所要的曝光时间中的另一个之间的差,来确定所述N个调整的曝光时间中的至少一个。
10.根据权利要求1所述的方法,其中产生N个图像数据集的步骤包括顺序地产生所述N个图像数据集。
11.根据权利要求1所述的方法,其中产生所述N个图像数据集的步骤包括同时地产生所述N个图像数据集。
12.图像数据的聚合高动态范围的成像系统,包括:
图像传感器,其用来由光电二极管阵列产生N个图像数据集,所述图像传感器适合用来,以光电二极管阵列的不同的各曝光的持续时间,来产生N个图像数据集中的每一个,其中N是大于1的整数;和
图像数据聚合模块,其用来聚合N个图像数据集以获得虚拟的长时间曝光图像数据集。
13.根据权利要求12所述的图像数据的聚合高动态范围的成像系统,其中所述图像数据聚合模块适合用来对所述N个图像数据集求和,以获得所述虚拟的长曝光图像数据集。
14.根据权利要求13所述的图像数据的聚合高动态范围的成像系统,还包括:
自动曝光控制模块,其用来至少部分地依据所述N个图像数据集中的一个的平均值,来产生所述N个所要的曝光时间;和
曝光处理模块,其用来至少部分地依据所述N个所要的曝光时间,来产生所述N个调整的曝光时间,
其中所述图像传感器适合用来,依据所述N个调整的曝光时间,以光电二极管阵列的各曝光的持续时间,来产生所述N个随后的图像数据集。
15.根据权利要求14所述的图像数据的聚合高动态范围的成像系统,其中所述曝光处理模块适合用来,至少部分地由所述N个所要的曝光时间中的一个与所述N个所要的曝光时间中的另一个之间的差,来确定所述N个调整的曝光时间中的至少一个。
16.根据权利要求15所述的图像数据的聚合高动态范围的成像系统,还包括平均化模块,其用来产生所述N个图像数据集中的一个的平均值。
17.根据权利要求12所述的图像数据的聚合高动态范围的成像系统,其中所述图像传感器能够顺序地产生所述N个图像数据集。
18.根据权利要求12所述的图像数据的聚合高动态范围的成像系统,其中所述图像传感器能够同时地产生所述N个图像数据集。
19.根据权利要求18所述的图像数据的聚合高动态范围的成像系统,其中所述图像传感器包括分割-像素图像传感器。
CN201410721378.0A 2013-12-04 2014-12-02 图像数据的聚合高动态范围的成像系统及相关方法 Active CN104702854B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/097,015 US9172869B2 (en) 2013-12-04 2013-12-04 Image data aggregating high dynamic range imaging systems and associated methods
US14/097,015 2013-12-04

Publications (2)

Publication Number Publication Date
CN104702854A true CN104702854A (zh) 2015-06-10
CN104702854B CN104702854B (zh) 2018-01-02

Family

ID=53266375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410721378.0A Active CN104702854B (zh) 2013-12-04 2014-12-02 图像数据的聚合高动态范围的成像系统及相关方法

Country Status (4)

Country Link
US (1) US9172869B2 (zh)
CN (1) CN104702854B (zh)
HK (1) HK1206518A1 (zh)
TW (1) TWI554104B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106341579A (zh) * 2015-07-02 2017-01-18 豪威科技股份有限公司 读出图像像素阵列的方法及高动态范围(hdr)成像系统
CN108781260A (zh) * 2016-04-13 2018-11-09 谷歌有限责任公司 用于合成长曝光的现场更新

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016143134A1 (ja) * 2015-03-12 2016-09-15 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
WO2017051722A1 (ja) 2015-09-24 2017-03-30 ソニー株式会社 固体撮像素子及び電子機器
US10666881B2 (en) * 2015-09-24 2020-05-26 Sony Semiconductor Solutions Corporation Solid-state image sensor and electronic device
US11650360B2 (en) * 2019-09-13 2023-05-16 GM Cruise Holdings LLC. Color filter array patterns for enhancing a low-light sensitivity while preserving a color accuracy in image signal processing applications

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1992819A (zh) * 2005-12-27 2007-07-04 三星Techwin株式会社 拍摄装置和方法
CN101095339A (zh) * 2004-12-29 2007-12-26 英特尔公司 用于在图像传感器中增加曝光范围的技术
CN101365069A (zh) * 2007-06-29 2009-02-11 豪威科技有限公司 具有图像浮散漏极的、高动态范围的传感器
CN102449997A (zh) * 2009-05-25 2012-05-09 松下电器产业株式会社 摄像装置、曝光控制方法及程序
JP2012222540A (ja) * 2011-04-07 2012-11-12 Olympus Corp 撮像装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001245215A (ja) * 2000-01-11 2001-09-07 Agilent Technol Inc 改善された基準信号を有するアクティブピクセルセンサ
US7298402B2 (en) * 2000-10-26 2007-11-20 Olympus Corporation Image-pickup apparatus with expanded dynamic range capabilities
US7430011B2 (en) 2003-01-22 2008-09-30 Omnivision Technologies, Inc. Image sensor having dual automatic exposure control
US8395685B2 (en) * 2008-07-07 2013-03-12 The Charles Stark Draper Laboratory, Inc. Wide dynamic range imaging sensor and method
JP4561912B2 (ja) * 2008-09-12 2010-10-13 ソニー株式会社 撮像装置、撮像方法及びプログラム
US8537241B2 (en) * 2009-05-28 2013-09-17 Pixim, Inc. Image sensor with sensitivity control and sensitivity based wide dynamic range
US8508632B2 (en) * 2010-10-15 2013-08-13 Altek Corporation Image processing method of obtaining a high dynamic range image
JP2012234393A (ja) * 2011-05-02 2012-11-29 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US9077913B2 (en) * 2013-05-24 2015-07-07 Google Inc. Simulating high dynamic range imaging with virtual long-exposure images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101095339A (zh) * 2004-12-29 2007-12-26 英特尔公司 用于在图像传感器中增加曝光范围的技术
CN1992819A (zh) * 2005-12-27 2007-07-04 三星Techwin株式会社 拍摄装置和方法
CN101365069A (zh) * 2007-06-29 2009-02-11 豪威科技有限公司 具有图像浮散漏极的、高动态范围的传感器
CN102449997A (zh) * 2009-05-25 2012-05-09 松下电器产业株式会社 摄像装置、曝光控制方法及程序
JP2012222540A (ja) * 2011-04-07 2012-11-12 Olympus Corp 撮像装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106341579A (zh) * 2015-07-02 2017-01-18 豪威科技股份有限公司 读出图像像素阵列的方法及高动态范围(hdr)成像系统
CN106341579B (zh) * 2015-07-02 2019-07-23 豪威科技股份有限公司 读出图像像素阵列的方法及高动态范围(hdr)成像系统
CN108781260A (zh) * 2016-04-13 2018-11-09 谷歌有限责任公司 用于合成长曝光的现场更新
CN108781260B (zh) * 2016-04-13 2019-06-04 谷歌有限责任公司 用于合成长曝光的即时更新

Also Published As

Publication number Publication date
TWI554104B (zh) 2016-10-11
TW201524212A (zh) 2015-06-16
US20150156412A1 (en) 2015-06-04
US9172869B2 (en) 2015-10-27
HK1206518A1 (zh) 2016-01-08
CN104702854B (zh) 2018-01-02

Similar Documents

Publication Publication Date Title
CN104702854A (zh) 图像数据的聚合高动态范围的成像系统及相关方法
US8547442B2 (en) Method and apparatus for motion blur and ghosting prevention in imaging system
JP5651118B2 (ja) 画像処理装置および画像処理方法
US10154216B2 (en) Image capturing apparatus, image capturing method, and storage medium using compressive sensing
US8553091B2 (en) Imaging device and method, and image processing method for imaging device
EP3349433B1 (en) Control system, imaging device, and program
CN102783135A (zh) 利用低分辨率图像提供高分辨率图像的方法和装置
US8605999B2 (en) Signal processing apparatus and method, noise reduction apparatus and method, and program therefor
US20080143841A1 (en) Image stabilization using multi-exposure pattern
US8520081B2 (en) Imaging device and method, and image processing method for imaging device
US20140055638A1 (en) Photographing apparatus, method of controlling the same, and computer-readable recording medium
CN103384309A (zh) 图像拍摄装置及控制方法
KR101813292B1 (ko) 이미지 개선 방법
CN102224524B (zh) 图像处理装置以及图像处理方法
TW201813371A (zh) 鬼偽影去除系統和方法
KR20130061635A (ko) 초점이 흐려진 필박스 화상을 이용하여 깊이 평가를 수행하는 시스템 및 방법
US8964055B2 (en) Combining images based on position offset detection of a series of images
US8643752B1 (en) System and method for reducing motion blur using CCD charge shifting
JP2014179920A (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JPWO2018216500A1 (ja) 画像処理装置および方法
US8599288B2 (en) Noise reduction apparatus, method and computer-readable recording medium
US20100328504A1 (en) Adaptive method for processing digital images, and an image processing device
US10205870B2 (en) Image capturing apparatus and control method thereof
KR20190100833A (ko) Hdr 이미지 생성 장치
US8498494B2 (en) Method and apparatus for processing a digital image signal, and a recording medium having recorded thereon a program for executing the method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1206518

Country of ref document: HK

CB02 Change of applicant information

Address after: American California

Applicant after: OmniVision Technologies, Inc.

Address before: American California

Applicant before: Full Vision Technology Co., Ltd.

COR Change of bibliographic data
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1206518

Country of ref document: HK