CN104378558A - 用于产生高动态范围影像的系统和方法 - Google Patents
用于产生高动态范围影像的系统和方法 Download PDFInfo
- Publication number
- CN104378558A CN104378558A CN201410403453.9A CN201410403453A CN104378558A CN 104378558 A CN104378558 A CN 104378558A CN 201410403453 A CN201410403453 A CN 201410403453A CN 104378558 A CN104378558 A CN 104378558A
- Authority
- CN
- China
- Prior art keywords
- pixel intensities
- image pixel
- input image
- image
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 128
- 238000004364 calculation method Methods 0.000 claims abstract description 11
- 238000010606 normalization Methods 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 53
- 238000003860 storage Methods 0.000 claims description 31
- 238000012937 correction Methods 0.000 claims description 14
- 238000013442 quality metrics Methods 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 239000002131 composite material Substances 0.000 description 18
- 230000035945 sensitivity Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 3
- 238000005316 response function Methods 0.000 description 3
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 235000017060 Arachis glabrata Nutrition 0.000 description 1
- 241001553178 Arachis glabrata Species 0.000 description 1
- 235000010777 Arachis hypogaea Nutrition 0.000 description 1
- 235000018262 Arachis monticola Nutrition 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 235000020232 peanut Nutrition 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
- H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
一种方法藉由以下操作而自具有不同亮度之两个影像判定一高动态范围影像中之一像素值:自该两个影像获得对应输入像素强度;判定组合权重;及计算该高动态范围影像中之该像素值作为该等输入像素强度之一加权平均值。另一方法藉由以下操作而自两个以上影像判定一高动态范围影像中之一像素值:形成对应输入像素强度之对;针对每一对判定用于该等输入像素强度之相对组合权重;应用一正规化条件以判定绝对组合权重;及计算该高动态范围影像中之该像素值作为该等输入像素强度之一加权平均值。用于自两个或两个以上输入影像产生高动态范围影像产生之系统包括一处理器、一存储器、一组合权重模块及一像素值计算模块。
Description
技术领域
本发明涉及用于产生高动态范围影像的系统和方法。
背景技术
标准影像传感器具有约60dB至70dB或更小之有限动态范围。举例而言,相较于具有较大位深度之传感器通常更经济的8位传感器具有仅48dB之动态范围。然而,真实世界之明度动态范围大得多,且自然场景常常跨越90dB或更大之范围。当影像传感器捕捉具有超出传感器动态范围之明度动态范围的场景时,信息必定会遗失。取决于曝光设定,较明亮区可饱和,及/或较黯淡区可曝光不足,从而产生具有不能够再生实际场景之质量的经捕捉影像。
为了同时地捕捉场景之光辉部及阴影,已在影像传感器中使用高动态范围(HDR)技术以增加经捕捉动态范围。用以增加动态范围之最常见技术中的一者是将运用标准低动态范围影像传感器而捕捉之多次曝光合并成相较于单一曝光影像具有大得多之动态范围的单一HDR影像。举例而言,可以一系列不同曝光时间来记录同一场景之影像,其中最长曝光经设定以最佳地捕捉该场景之最黯淡部分,且最短曝光经设定以最佳地捕捉该场景之最明亮部分。
适当地组合多个影像以形成高质量HDR影像具挑战性。对于HDR影像中之每一像素,组合程序涉及作出关于输入影像中之对应像素之相对权重的决策。HDR影像归因于影像组合程序所固有之瑕疵而频繁地含有假影。作为一实例,不连续性在影像之表示实际场景中之平滑强度及/或色彩转变的区域中可显而易见,不连续性是由输入影像之加权依据输入影像像素之性质(例如,强度、噪声及传感器响应)的离散移位造成。
发明内容
根据本文中之教示,系统及方法基于复数个输入影像来产生高动态范围影像。本文所揭示之方法产生高动态范围影像,该等高动态范围影像为实际场景的平滑且真实之表示,其在影像之表示实际场景中之平滑亮度及/或色彩转变的区中没有不连续性,该等不连续性为习知解决方案中之常见HDR影像组合假影。
在一实施例中,一种方法基于具有不同亮度之第一输入影像及第二输入影像来判定一高动态范围影像中之一像素值。该方法包括:(a)获得该第一输入影像中的一第一像素之一第一输入像素强度及该第二输入影像中的一对应像素之一第二输入像素强度;(b)判定用于该第一输入像素强度之一第一组合权重及用于该第二输入像素强度之一第二组合权重,该第一组合权重及该第二组合权重中每一者为该第一输入像素强度及该第二输入像素强度之一函数;及(c)使用该第一组合权重及该第二组合权重来计算该高动态范围影像中之该像素值作为该第一输入像素强度及该第二输入像素强度之一加权平均值,其中该计算步骤包含将该第一输入像素强度及该第二输入像素强度按比例调整至一共同影像亮度。
在一实施例中,一种方法自具有不同亮度之N个输入影像判定一高动态范围影像中之一像素值,其中N为大于2之一整数。该方法包括:(a)形成输入像素强度之对之一清单,该等输入像素强度中每一者对应于该N个输入影像中之同一位置,且其中惟对之该清单中之第一对除外的对之该清单中之所有对包含对之该清单中之先前对中的该等输入像素强度中之一者,及该等先前对中任一者中未表示的该等输入像素强度中之一者;(b)对于对之该清单中之每一对,判定用于该等输入像素强度之相对组合权重,该等相对组合权重为该对中之该等输入像素强度两者之一函数;(c)将一正规化条件应用至该等相对组合权重以判定绝对组合权重;及(d)使用该等绝对组合权重来计算该高动态范围影像中之该像素值作为该等输入像素强度之一加权平均值,其中该计算步骤包含将该等输入像素强度按比例调整至一共同影像亮度。
在一实施例中,一种高动态范围影像产生系统包括:(a)一处理器;(b)一存储器,其以通信方式耦接至该处理器,且包括用于储存来自一第一输入影像及一第二输入影像之第一输入像素强度及第二输入像素强度的一影像储存器;(c)一组合权重模块,其包括储存于该存储器中之机器可读指令,该等机器可读指令在由该处理器执行时执行判定用于该第一输入像素强度之一第一组合权重及用于该第二输入像素强度之一第二组合权重的功能,该第一组合权重及该第二组合权重中每一者为该第一输入像素强度及该第二输入像素强度之一连续函数;及(d)一像素值计算模块,其包括储存于该存储器中之机器可读指令,该等机器可读指令在由该处理器执行时执行以下功能:将该第一输入像素强度及该第二输入像素强度按比例调整至一共同亮度;及使用该第一组合权重及该第二组合权重来计算一高动态范围影像中之一像素值作为该等经按比例调整第一及第二输入像素强度之一加权平均值。
在一实施例中,一种高动态范围影像产生系统包括:(a)一处理器;(b)一存储器,其以通信方式耦接至该处理器,且包括用于储存来自N个输入影像之输入像素强度的一影像储存器,其中N为大于2之一整数;(c)一组合权重模块,其包括储存于该存储器中之机器可读指令,该等机器可读指令在由该处理器执行时执行以下功能:(i)形成输入像素强度之对之一清单,该等输入强度中每一者对应于该N个输入影像中之同一位置,且其中惟对之该清单中之第一对除外的对之该清单中之所有对包含对之该清单中之先前对中的该等输入像素强度中之一者,及该等先前对中任一者中未表示的该等输入像素强度中之一者;(ii)判定用于该等输入像素强度之相对组合权重,用于对之该清单中之一对的该等相对组合权重中每一者为该对中之该等输入像素强度两者之一连续函数;及(iii)将一正规化条件应用至该等相对组合权重以判定绝对组合权重;及(d)一像素值计算模块,其包括储存于该存储器中之机器可读指令,该等机器可读指令在由该处理器执行时执行以下功能:将该等输入像素强度按比例调整至一共同亮度;及使用该等绝对组合权重来计算一高动态范围影像中之一像素值作为该等经按比例调整输入像素强度之一加权平均值。
附图说明
图1说明根据一实施例的用于判定用于高动态范围影像组合中之组合权重之加权映像。
图2说明根据一实施例的用于使用加权映像来产生高动态范围影像之系统。
图3说明根据一实施例的用于使用加权映像来捕捉影像且产生高动态范围影像之系统。
图4说明根据一实施例的用于使用加权映像来判定组合权重之方法。
图5说明根据一实施例的用于使用加权映像来产生高动态范围影像之方法。
具体实施方式
本文揭示用于自具有低动态范围及不同亮度之多个输入影像产生HDR输出影像之系统及方法。举例而言,可以不同曝光时间、摄影机增益及/或孔径光阑来记录输入影像。向HDR输出影像中之每一像素指派为输入影像中之对应像素之强度之函数的值。该函数包括用以对来自不同输入影像之像素强度进行加权的组合权重、用以将不同输入影像按比例调整至共同亮度之比例因子,且视情况包括对按比例调整之校正。
组合权重用来产生被按比例调整至共同亮度之输入像素强度之加权平均值,且对于产生高质量HDR影像至关重要。通常,组合权重对于具有较好质量之输入像素强度较大,其中像素质量之判定可基于数个性质及关联准则。本文所揭示之系统及方法未特定于某些质量度量;可使用任何度量或度量组合。举例而言,基于任何适合单一度量或度量组合,较大组合权重可被给予至高于传感器噪声位准、低于饱和度、在传感器响应之线性体系中、具有高信杂比及/或被认为具有较好质量的输入像素强度。因此,本发明所揭示之HDR影像产生系统及方法可适应于极广泛范围之使用情境,且重要地,允许同时地考虑众多不同质量度量。自对应于HDR输出影像中之给定像素之所有输入像素强度的比较来判定组合权重,此是与输入像素强度之独立评估相对。此情形引起较多最佳组合权重,此是因为该比较提供可经评估及利用以判定该等组合权重之额外信息。另外,本发明之系统及方法以平滑方式来指派组合权重。具体而言,与HDR输出影像中之给定像素相关联的组合权重为所有对应输入像素强度之连续函数。结果,HDR输出影像通常提供实际场景的平滑且真实之表示,且在影像之表示实际场景中之平滑亮度及/或色彩转变的区中没有亮度或色彩不连续性,该等连续性为习知解决方案中之常见HDR影像组合假影。本发明所揭示之系统及方法的所有上述优点是使用简单加权映像以低计算成本而提供,该加权映像被稀疏地填入有预定义组合权重。
用于产生HDR影像的本发明所揭示之系统及方法利用用于判定组合权重之加权映像。图1展示用以自待组合成单一HDR输出影像之两个个别输入影像判定对应像素之对之组合权重的加权映像100。如下文将论述,当组合两个以上输入影像时,可将加权映像100应用至输入影像之一系列对。加权映像100将用于输入影像1中之个别像素i之组合权重展示为强度I1(i)及I2(i)之函数,其中I1(i)为输入影像1中之像素强度,且I2(i)为对应输入影像2中之像素强度。x轴105表示强度I1(i),且y轴106表示强度I2(i)。
在一实施例中,加权映像100含有具有预定义组合权重wn1n2之离散二维网格(参见图1中之标签110,并非所有预定义组合权重wn1n2皆被加标签),其中n1及n2为在0至3之范围内的整数。在此实施例中,加权映像100为4×4网格,但加权映像100可具有其它尺寸而不脱离本发明之范畴。定义组合权重wn1n2之网格位置对应于为输入影像1及2所共有之临限值Th0(图1中之标签120)、被指派至影像1之临限值Th11、Th21及Th31(在图1中未加标签),及被指派至影像2之临限值Th12、Th22及Th32(在图1中未加标签)。此等临限值指示输入影像1及2中的像素i之全强度范围的所要划分。举例而言,一临限值可与针对上方噪声像素强度之下限、针对无饱和度效应之像素强度之上限、零像素强度、最高可能像素强度重合;或临限值之对可将传感器响应之线性范围或信杂比之范围括在一起。在一个例示性实施例中,临限值Th0为零像素强度,临限值Th11为针对上方噪声像素强度之下限,临限值Th11及Th21一起将传感器响应之线性范围括在一起,临限值Th31为最高可能像素强度,Th12及Th22一起将传感器响应之线性范围括在一起,Th22为针对无饱和度效应之像素强度之上限,且Th32为最高可能像素强度。
在替代实施例中,该加权映像相较于加权映像100是基于较多或较少临限值,从而引起较密集或较不密集之网格。
该等临限值对于输入影像1及2可相同或可不同。若影像1及2被知道为具有不同性质,则可有利的是针对影像1及2定义不同临限值。此知识可基于实际影像之评估,抑或基于影像1及2被捕捉所处之条件(例如,曝光时间)之一般知识。举例而言,较长曝光时间通常是与归因于(例如)在曝光期间之热诱发性信号之累积的较高噪声位准相关联。可藉由定义为曝光时间之函数的表示噪声底限之临限值而在加权映像100中考虑此关联。若影像1及2是以不同曝光时间被捕捉,则此临限值对于影像1及2将不同。在一般表达式中,加权映像可基于在一个维度上之n个临限值,及在另一维度上之m个临限值,从而引起n×m网格,其中n、m≥2。可藉由实施较多临限值而将较多信息嵌入于加权映像中。然而,此情形将相对于与较大矩阵之储存及操纵相关联的存储器及计算成本进行取舍。
实际像素强度之任何给定对(来自输入影像1之I1(i)及来自输入影像2之I2(i))定义加权映像100中之点P(由图1中之标签130指示)。若点P与预定义组合权重wn1n2重合,则组合权重w1(i)=wn1n2被指派至输入影像1之像素i,且组合权重w2(i)=1–w1(i)被指派至输入影像2之像素i。同样地,点P将不与预定义组合权重重合,在此状况下,用于输入影像1中的像素i之组合权重w1(i)是藉由使用四个最近预定义组合权重wn1n2之内插而找到。就图1中之点P之例示性位置而言,该内插是基于预定义组合权重w11、w12、w21及w22。
可使用此项技术中所知之任何方法(例如,双线性内插)来执行内插。在利用双线性内插之实施例中,可应用在x方向上之线性内插以判定用于在y方向上之后续线性内插中的中间组合权重以找到最终组合权重。根据以下方程序,沿着由w11及w21定义之网网格线执行线性内插以判定由图1中之卷标140指示的中间组合权重wx1(i),且沿着由w12及w22定义之网网格线执行线性内插以判定由图1中之卷标141指示的中间组合权重wx2(i)
及
与点P(图1中之标签130)相关联的用于输入影像1之像素i之组合权重w1(i)是根据以下方程序沿着由wx1(i)及wx2(i)定义之线藉由在y方向上之线性内插而找到
且用于输入影像2之像素i之对应组合权重w2(i)为w2(i)=1–w1(i)。
加权映像100及内插之使用确保组合权重为输入像素强度之连续函数。在加权映像100中之任何地方不存在权重值之不连续性,在(例如)常数权重被指派至某些范围之像素强度的情况下将为该状况。因此,实际场景中之平滑强度及/或色彩转变被再生为HDR输出影像中之平滑强度及/或色彩转变。
加权映像100基于像素强度I1(i)与像素强度I2(i)之比较而进一步允许度量之使用。加权映像100之此态样可用以诊断假影且减少假影对使用加权映像100而产生之HDR输出影像的贡献。此处针对影像1相较于影像2以较高亮度被记录的情形提供此使用之实例。举例而言,影像1相较于影像2可以较长曝光时间被记录。考虑定义加权映像中靠近针对影像1及2两者之噪声底限之点的经记录像素强度之对。在仅基于输入影像之独立评估的算法中,属于影像1及2之像素将很可能被指派几乎相等之低权重。在具有仅两个经记录输入影像之状况下,或在此特定像素靠近所有输入影像中之噪声底限的情况下,此情形将引起输出影像中之对应像素之质量不良。然而,影像1相较于影像2以较高亮度被记录之知识可在无额外成本的情况下并入至加权映像100中。预定义组合权重wn1n2(参见图1中之标签110)可经定义以反映如下物理预期:对于在噪声底限附近之黯淡信号,影像1提供实际场景之最好表示。加权映像100优于仅执行输入像素强度之独立评估的有利使用之相似实例存在于强度范围之在传感器饱和度位准附近的另一末端处。此处,预定义组合权重wn1n2(图1中之标签110)可经定义以引起较高组合权重被指派至属于影像2之像素。
在具有两个以上输入影像之状况下,可以成对方式将加权映像100应用至输入像素强度I1(i)、……、IN(i),其中N>2,且In(i)属于输入影像n。在一实例中,首先将加权映像100应用至像素强度I1(i)及I2(i),从而导致对应组合权重w1(i)及w2(i)之判定。可将此情形表达为被指派至像素强度I1(i)之相对组合权重wrel,1(i)=w1(i)/w2(i)。紧接着,将加权映像100应用至像素强度I2(i)及I3(i),从而导致用于像素强度I2(i)之相对组合权重wrel,2(i)之判定。以此方式来应用加权映像100,直至判定相对组合权重wrel,n(i),其中n=1、……、N-1。应用正规化条件以得到用于像素强度IN(i)之组合权重wN(i)之绝对值,此是与相对值相对:
可使用关系式wrel,n(i)=wn(i)/wn+1(i)而自以上方程序推断所有其它绝对组合权重wn(i),其中n=1、……、N-1。方程式3对于具有仅两个输入影像之状况亦成立。应注意,加权映像100中之临限值及预定义组合权重对于每一输入影像n可不同。
图2说明能够使用本发明所揭示之高动态范围影像组合方法来执行HDR影像组合的HDR影像产生系统之实施例。图2之系统200包括用于接收输入影像且输出基于经接收输入影像而产生之HDR影像的接口210。接口210是与处理器220通信,处理器220是进一步与存储器230通信。存储器230包括机器可读指令231,机器可读指令231在由处理器220执行时产生HDR影像。指令231包括加权映像233及至少一HDR影像组合模块232,HDR影像组合模块232(例如)执行图5之方法500。在某些实施例中,HDR影像组合模块232包括组合权重模块261及像素值计算模块262。组合权重模块261包括机器可读指令,机器可读指令在由处理器220执行时判定组合权重,诸如,藉由执行图4之方法400。像素值计算模块262包括机器可读指令,机器可读指令在由处理器220执行时计算高动态范围影像像素值,诸如,藉由执行图5之方法500之步骤550。加权映像233为(例如)图1之映像100,其中实际编号被指派至图1之预定组合权重110,以用于根据HDR影像组合模块232来判定组合权重。
存储器230进一步包括用于既储存输入影像又视情况储存经产生HDR输出影像之影像储存器235。影像储存器235可包括自输入影像获得之像素强度236,及表示输入影像被记录所处之亮度条件之亮度参数263。亮度参数之实例包括曝光时间、孔径光阑、传感器增益及其组合。处理器220及存储器230可整合于微处理器中。在某些实施例中,存储器230进一步含有影像计数器237、像素计数器238及组合权重239以促进(例如)图5之方法500之执行。在不脱离本发明之范畴的情况下,如图2所说明的包括于存储器230中之一些组件可代替地实施于存储器230外部之分离电子电路系统中。
在一些实施例中,图2之系统200是与用以记录输入影像之摄影机整合或整合于该摄影机内。一个此类实施例在图3中被说明为系统300。系统300包括用于(例如)与使用者及/或诸如计算机之远程系统通信的接口310,及处理器320。处理器320是进一步与存储器330及记录由成像光学件350产生之输入影像的传感器340通信。存储器330包括机器可读指令331,机器可读指令331在由处理器320执行时基于由传感器340记录之输入影像来产生HDR影像。指令331包括加权映像333及至少一HDR影像组合模块332,HDR影像组合模块332(例如)执行图5之方法500。在某些实施例中,HDR影像组合模块332包括组合权重模块361及像素值计算模块362。组合权重模块361包括机器可读指令,机器可读指令在由处理器320执行时判定组合权重,诸如,藉由执行图4之方法400。像素值计算模块362包括机器可读指令,机器可读指令在由处理器320执行时计算高动态范围影像像素值,诸如,藉由执行图5之方法500之步骤550。加权映像333为(例如)图1之映像100,其中实际编号被指派至图1之预定义组合权重110,以用于根据HDR影像组合模块232来判定组合权重。
存储器330进一步包括用于储存输入影像且视情况储存HDR输出影像之影像储存器335。如针对系统200所论述,在系统300之某些实施例中,影像储存器335含有像素强度336及亮度参数363。处理器320及存储器330可整合于微处理器中。在某些实施例中,存储器330进一步含有影像计数器337、像素计数器338及组合权重339以促进例如图5之方法500之执行。如图3所说明的包括于存储器330中之一些组件可代替地实施于存储器330外部之分离电子电路系统中,而不脱离本文所揭示的本发明之范畴。
系统300可进一步包括选用外壳390。选用外壳390具有开口(图3中未图标),使得成像光学件350可曝光至光,亦即,待捕捉之场景。在系统300之不包括选用外壳390的实施例中,传感器340及成像光学件350可任意地远离系统300之剩余部分。传感器340可经由有线或无线通信路径而与处理器320通信。
图4展示用于自一系列输入影像判定HDR输出影像中之给定像素i之组合权重的方法400。方法400利用加权映像,例如,图1之加权映像100。方法400可(例如)实施于图2之系统200或图3之系统300中。执行方法400之指令可位于图2所展示的系统200之存储器230中作为HDR影像组合模块232及加权映像233。同样地,执行方法400之指令可位于系统300之存储器330(图3)中作为HDR影像组合模块332及加权映像333。在一个实施例中,方法400之指令实施于图2之系统200中作为组合权重模块261。在另一实施例中,方法400之指令实施于图3之系统300中作为组合权重模块361。
在步骤410中,获得对应像素强度I1(i)、……、IN(i)之清单,其中N≥2。在步骤410之一个实例中,系统200之接口210(图2)自外部系统接收像素强度I1(i)、……、IN(i),且处理器220将该等像素强度储存于影像储存器235中作为像素强度236。在步骤410之另一实例中,传感器340(图3)产生像素强度I1(i)、……、IN(i),且处理器320将该等像素强度储存于影像储存器335中作为像素强度336。
在步骤420中,将影像计数器n(例如,系统300之影像计数器337(图3))初始化至n=1。在步骤430中,使用加权映像(例如,图1之加权映像100)来判定像素强度In(i)相对于像素强度In+1(i)之相对组合权重wrel,n(i)。在步骤440中,进行关于影像计数器n之值的查询。若n不同于N-1,则方法400在返回至步骤430之前行进至步骤445,在步骤445中,使影像计数器增加1。若n=N-1,则方法400代替地行进至步骤450,在步骤450中,使用正规化条件(例如,上文所提及之)以判定用于所有输入影像之组合权重wn(i)。在利用方程式3的情况下,可使用上文所概述之算法来执行步骤450。
步骤420至步骤450是可分别藉由(例如)图2之处理器220或图3之处理器320使用加权映像233(图2)或333(图3)而执行。在步骤420之实例中,系统200之处理器220(图2)将储存于存储器230中之影像计数器237初始化至为1之值。在步骤430之实例中,系统200之处理器220(图2)使用加权映像233及储存于存储器230内之指令231中的关联指令来判定相对组合权重,且继续进行以将相对组合权重储存至存储器230作为组合权重239之部分。举例而言,处理器220可藉由评估储存于存储器230中之影像计数器237的值来执行步骤440。在一实例中,处理器220亦藉由读取储存于存储器230中之影像计数器237的值、使此值增加1且将该值储存于存储器230中作为影像计数器237来执行步骤445。在步骤450之实例中,处理器220读取储存于存储器230中之组合权重239中的用于所有影像之相对组合权重、应用储存于存储器230中之指令231中的正规化条件、判定用于所有影像之最终组合权重,且将最终组合权重储存于存储器230中之组合权重239中。
在步骤460中,输出在步骤450中判定之组合权重作为对应于在步骤410中提供之像素强度I1(i)、……、IN(i)之清单的清单w1(i)、……、wN(i)。此等组合权重可(例如)储存于存储器230(图2)或330(图3)中以供处理器220(图2)或320(图3)进一步处理,及/或由接口210(图2)或310(图3)输出。在步骤460之实例中,系统200之处理器220(图2)读取作为组合权重239之部分而储存的组合权重,且将该等组合权重发送至界面210。
图5说明用于利用加权映像而自多个输入影像产生HDR影像之方法500。举例而言,方法500可使用图1之加权映像100。方法500可实施于图2之系统200或图3之系统300中。在此状况下,方法500之指令可位于图2所展示的系统200之存储器230中作为HDR影像组合模块232及加权映像233。在至系统300(图3)中之实施的状况下,方法500之指令可位于系统300之存储器330中作为HDR影像组合模块332及加权映像333。下文中在转至方法500之详细描述之前概述用于图5之方法500中的概念。
简洁地,图5之方法500判定对应于HDR输出影像中之所有像素的组合权重、将输入像素强度按比例调整至共同亮度,且视情况判定及应用全域(亦即,逐像素)组合误差。用于影像n中之传感器像素i之经记录强度In(i)为传感器辐照度E(i)及表示由传感器或摄影机性质(例如,曝光时间、传感器增益及孔径光阑)控制之影像亮度之值的函数。出于说明起见,本论述假定藉由以不同曝光时间tn来记录个别影像而达成经记录影像之不同亮度;应理解,本文所揭示之HDR影像组合方法可应用至使用用于使影像亮度变化(包括但不限于调整传感器增益及/或孔径光阑)之任何适合方法而记录的影像。可将用于影像n中的像素i之经记录像素强度表达为In(i)=f[E(i)×tn],其中f为传感器响应函数,且tn为曝光时间。假定场景为静态。因此,传感器辐照度E(i)对于所有像素相同。在传感器响应函数之线性体系(通常为介于噪声底限与饱和度之间的范围)中,两个影像1及2中的像素i之强度I1(i)及I2(i)遵守如下方程序
及
其中t1及t2为用于影像1及2之曝光时间。
若像素强度I1(i)及I2(i)中之一者或两者属于传感器响应函数之非线性体系及/或曝光时间并不准确,则不满足方程式4a及4b。在一实施例中,并入组合误差项Logε,如以下方程序所展示
其中组合误差项Logε是自遍及低于饱和度之所有像素进行平均化的组合误差而估计。此估计方法是以如下方程序而表达
其中M为低于饱和度之像素的数目。在此实施例中,误差项Logε为全域,亦即,对于影像1中之所有像素相同。应理解,包括提供局域或甚至提供像素特定校正之方法的其它校正方法是可结合本文所揭示之HDR影像组合方法的其它态样(例如,图1之加权映像100)而使用。另外,本发明所揭示之HDR影像组合方法是可在不应用校正方法的情况下使用。
在使用(例如)根据图4之方法400而使用加权映像(例如,图1之加权映像100)所判定之组合权重的情况下,可将HDR输出影像中的像素i之强度I(i)写为
其中w1(i)及w2(i)为用于影像1及2中的像素i之组合权重。根据此方程式,将输入像素强度按比例调整至影像1之亮度或等效地按比例调整至影像1之曝光时间,且参考影像1来计算组合校正项Logε。在一替代实施例中,可将像素强度按比例调整至不同曝光时间,包括但不限于影像2之曝光时间。出于计算简易及成本起见,有利的是使影像1为以最长曝光时间而记录之影像,亦即,t1>t2,使得将影像2之像素强度按比例调整至较大数目而非较小数目。在此状况下,按比例调整计算依赖于乘法而非除法。可易于将方程式7中之表达式延伸至两个以上输入影像。对于被按比例调整至参考曝光时间tref之N个输入影像,该表达式变为
其中wn(i)及In(i)分别为影像n中的像素i之组合权重及像素强度,且tn及Logεn为用于影像n之曝光时间及组合误差项。此外,计算优点是与将曝光时间tref设定至最长使用曝光时间相关联。应注意,若参看影像M来计算组合误差,则用于影像M之组合误差LogεM为零。
图5说明利用方程式8中提供的用于HDR输出像素强度I(i)之表达式以及方程式8所基于之方法的HDR影像组合方法500。在一个实施例中,方法500实施于图2之系统200中作为HDR影像组合模块232。方法500亦可实施于图3之系统300中作为HDR影像组合模块332。
在步骤510中,针对所有输入影像获得对应像素强度I1(i)、……、IN(i)。可直接地获得或藉由首先获得输入影像且接着自输入影像提取像素强度来间接地获得像素强度。举例而言,若方法500实施至图3之系统300中,则输入影像或像素强度是可由传感器340或接口310提供,且储存于影像储存器335中。作为方法500实施至图2之系统200中的另一实例,输入影像或像素强度是可由接口210提供,且储存于影像储存器235中。在步骤510之一个实例中,处理器220使用接口210而自所有输入影像获得像素强度,且将此等像素强度储存于存储器230中作为像素强度236。在步骤510之另一实例中,处理器220首先使用接口210来获得所有影像、将该等影像储存至影像储存器235、判定用于所有影像之像素强度,且将该等像素强度储存于存储器230中作为像素强度236。举例而言,若以压缩格式来获得影像,则此后一实例可相关,在此状况下,处理器220可需要解压缩储存于影像储存器235中之经压缩影像以便判定像素强度。
在选用步骤520中,使用(例如)上文所揭示之方法而针对每一输入影像判定全域组合误差Logεn。在选用步骤520之一个实例中,处理器读取储存于存储器230中之像素强度236、判定用于所有影像之全域组合误差,且将该等全域组合误差储存至存储器230。
在步骤530中,初始化像素计数器i,i=第一像素。在步骤530之一个实例中,处理器220(图2)将像素计数器之值初始化至1,且将此值储存至存储器230中之像素计数器238。
在步骤540中,使用加权映像(例如,图1之加权映像100)且遵循(例如)图4之方法400而针对每一输入影像n判定用于像素i之组合权重wn(i)。在步骤540之一个实例中,处理器220首先读取像素计数器238。视情况,将用于执行步骤540之指令储存于存储器230中作为组合权重指令262。紧接着,处理器200读取针对等于像素计数器238之值之像素编号的像素强度236。处理器220接着使用储存于存储器230内之指令231中的加权映像233及关联指令以判定用于每一影像的此像素之组合权重。此情形可(例如)涉及储存于存储器230中之影像计数器237的读取及递增。接着由处理器220将组合权重储存至存储器230中之组合权重239。
在步骤550中,使用在步骤540中判定之组合权重且利用方程式8来计算HDR输出影像中的像素i之强度。视情况,将用于执行步骤550之指令储存于存储器230中作为像素值计算指令指令262。若省略选用步骤520,则在步骤550中省略组合误差校正项Logεn。在步骤550之一个实例中,处理器220使用像素计数器238之重复读取及递增以针对像素计数器238之给定值读取以下各者:(a)储存于存储器230中之组合权重239中的组合权重;(b)储存于存储器230中之像素强度236的像素强度;(c)储存于存储器230中作为影像储存器235之部分(若曝光时间是与影像一起被获得)抑或作为指令231之部分(若曝光时间被预设)的曝光时间;及(d)储存于存储器230中之选用全域组合误差。处理器220接着计算组合式像素强度且将组合式像素强度储存至存储器230中之像素强度236。
步骤560进行查询以判定HDR输出影像中之所有像素是否已被处理。在步骤560之一个实例中,处理器220读取及评估储存于存储器230中之像素计数器238。若并非所有像素皆已被处理,则方法500行进至步骤565,在步骤565中使像素计数器增加1,且方法500接着返回至步骤540。在步骤565之一个实例中,处理器220读取储存于存储器230中之像素计数器238、使像素计数器238之值递增1,且将递增值储存至存储器230作为像素计数器238。
若对步骤560中之查询的回答为是,则步骤570输出藉由在步骤550中计算之像素强度而构成的HDR影像。在步骤560之一个实例中,处理器220读取储存于存储器230中之像素强度236中的组合式像素强度,且在此等组合式像素强度由处理器220视情况处理成所要影像格式之后将此等组合式像素强度发送至界面210。
本文所揭示的用于HDR影像产生之所有系统及方法适用于单色影像及彩色影像两者。标准彩色传感器是由相同像素群组构成,每一群组含有对特定色彩范围敏感之像素。举例而言,对于所谓RGB传感器,每一群组是可由以下各者构成:对可见光光谱之红色部分敏感的像素(R);对可见光光谱之绿色部分敏感的两个像素(G);及对可见光光谱之蓝色部分敏感的像素(B)。在一实施例中,本文所揭示之HDR影像组合方法可分离地适用于每一像素,而不管其色彩敏感度。在另一实施例中,仅基于具有一种形式之色彩敏感度的像素(例如,对可见光光谱之红色部分敏感的像素)而使用加权映像(例如,图1之加权映像100)来判定组合权重。在采取相似于针对RGB传感器所论述之组态的传感器组态的情况下,可随后将此等组合权重延伸至同一像素群组内的具有其它色彩敏感度之像素。在又一实施例中,可使用加权映像(例如,图1之加权映像100)来判定组合权重,其中输入像素强度(例如,图1中之像素强度105及106)为像素群组内的具有不同色彩敏感度之像素之强度的总和、平均值或加权平均值。
特征之组合
可以各种方式来组合上文所描述之特征以及下文所主张之特征而不脱离本发明之范畴。举例而言,应了解,本文所描述之一种方法/系统的态样可并有或调换本文所描述之另一摄影机方法/系统的特征。以下实例说明上文所描述之实施例的可能非限制性组合。应清楚的是,可对本文中之方法及系统进行许多其它改变及修改而不脱离本发明之精神及范畴:
(A)一种用于基于具有不同亮度之第一输入影像及第二输入影像来判定一高动态范围影像中之一像素值的方法,该方法包括:获得该第一输入影像中的一第一像素之一第一输入像素强度及该第二输入影像中的一对应像素之一第二输入像素强度的一步骤;及判定用于该第一输入像素强度之一第一组合权重及用于该第二输入像素强度之一第二组合权重的一步骤,该第一组合权重及该第二组合权重中每一者为该第一输入像素强度及该第二输入像素强度之一函数。
(B)(A)之方法可进一步包括使用该第一组合权重及该第二组合权重来计算该高动态范围影像中之该像素值作为该第一输入像素强度及该第二输入像素强度之一加权平均值的一步骤,其中该计算步骤包含将该第一输入像素强度及该第二输入像素强度按比例调整至一共同影像亮度。
(C)在被标志为(A)及(B)之方法中,该函数可为该第一输入像素强度及该第二输入像素强度之一连续函数。
(D)在被标志为(A)至(C)之方法中,该函数可具有用于一预定义第一像素强度及一预定义第二像素强度之复数个对的预定义值。
(E)在被标志为(D)之方法中,可藉由考虑至少一质量度量来定义该等预定义值。
(F)在被标志为(E)之方法中,该至少一质量度量可包括以下各者中之一或多者:强度、噪声贡献、饱和度效应、信杂比、传感器响应之线性、第一像素强度与第二像素强度之比率,或其一组合。
(G)在被标志为(E)及(F)之方法中,该质量度量可包括利用该第一输入像素强度与该第二输入像素强度之一比较的至少一质量度量。
(H)在被标志为(D)至(G)之方法中,当该第一输入像素强度及该第二输入像素强度不与预定义第一及第二像素强度之对重合时,可藉由在预定义第一及第二像素强度之该等对之间进行内插来判定该函数之一值。
(I)在被标志为(H)之方法中,可藉由在预定义第一及第二像素强度之最近对之间进行内插来判定该函数之该值。
(J)在被标志为(H)及(I)之方法中,该内插步骤可包括双线性内插。
(K)被标志为(A)至(J)之方法可进一步包括获得与该第一输入影像相关联之一第一亮度参数及与该第二输入影像相关联之一第二亮度参数。
(L)在被标志为(L)之方法中,按比例调整可基于第一亮度参数及第二亮度参数。
(M)被标志为(K)及(L)之方法可进一步包括校正该第一亮度参数及该第二亮度参数中至少一者中之误差。
(N)在被标志为(M)之方法中,该等误差是可由一非线性传感器响应以及该第一输入影像及该第二输入影像中至少一者被捕捉所处之亮度条件之不正确评估中的一或多者造成。
(O)一种用于自具有不同亮度之N个输入影像判定一高动态范围影像中之一像素值的方法,其中N为大于2之一整数,该方法包括:形成输入像素强度之对之一清单的一步骤,该等输入像素强度中每一者对应于该N个输入影像中之同一位置,且其中惟对之该清单中之第一对除外的对之该清单中之所有对包括对之该清单中之先前对中的该等输入像素强度中之一者,及该等先前对中任一者中未表示的该等输入像素强度中之一者。
(P)被标志为(O)之方法进一步包括判定用于该等输入像素强度之相对组合权重的一步骤,该等相对组合权重为该对中之该等输入像素强度两者之一函数。
(Q)被标志为(P)之方法进一步包括将一正规化条件应用至该等相对组合权重以判定绝对组合权重。
(R)被标志为(P)至(Q)之方法进一步包括计算该高动态范围影像中之该像素值作为该等输入像素强度之一加权平均值,其中该计算步骤包括将该等输入像素强度按比例调整至一共同影像亮度。
(S)在被标志为(R)之方法中,按比例调整可包括使用绝对组合权重。
(T)在被标志为(O)至(S)之方法中,对之该清单中之每一对可包括来自该N个输入影像中之两者的输入像素强度,该两者具有使得该N个输入影像中之其它者在其间不具有亮度之亮度。
(U)在被标志为(P)至(T)之方法中,该函数可为由该对包含之该等输入像素强度之一连续函数。
(V)在被标志为(P)至(U)之方法中,该函数可具有用于预定义像素强度之复数个对的预定义值。
(W)在被标志为(V)之方法中,可藉由考虑至少一质量度量来定义该等预定义值。
(X)在被标志为(W)之方法中,该至少一质量度量可包括以下各者中之一或多者:强度、噪声贡献、饱和度效应、信杂比、传感器响应之线性、第一像素强度与第二像素强度之比率,或其一组合。
(Y)在被标志为(W)及(X)之方法中,该质量度量可包括利用该对中之该等输入像素强度之一比较的至少一质量度量。
(Z)在被标志为(V)至(Y)之方法中,当该等输入像素强度不与预定义像素强度之对重合时,可藉由在预定义像素强度之该等对之间进行内插来判定该函数之一值。
(AA)在被标志为(Z)之方法中,可藉由在预定义像素强度之最近对之间进行内插来判定该函数之该值。
(AB)在被标志为(Z)及(AA)之方法中,该内插步骤可包括双线性内插。
(AC)被标志为(R)至(AB)之方法可进一步包括获得N个亮度参数,该N个亮度参数中每一者对应于该N个输入影像中之一各别输入影像。
(AD)在被标志为(AC)之方法中,按比例调整可基于该N个亮度参数中之一或多者。
(AE)被标志为(AC)及(AD)之方法可进一步包括校正该N个亮度参数中至少一者中之误差。
(AF)在被标志为(AE)之方法中,该等误差是可由一非线性传感器响应以及该N个输入影像中至少一者被捕捉所处之亮度条件之不正确评估中的一或多者造成。
(AG)一种高动态范围影像产生系统,其包括:(a)一处理器;(b)一存储器,其以通信方式耦接至该处理器,且包括用于储存来自一第一输入影像及一第二输入影像之第一输入像素强度及第二输入像素强度的一影像储存器;及(c)一组合权重模块,其包括储存于该存储器中之机器可读指令,该等机器可读指令在由该处理器执行时执行判定用于该第一输入像素强度之一第一组合权重及用于该第二输入像素强度之一第二组合权重的功能,该第一组合权重及该第二组合权重中每一者为该第一输入像素强度及该第二输入像素强度之一函数。
(AH)被标志为(AG)之系统可进一步包括一像素值计算模块,该像素值计算模块包括储存于该存储器中之机器可读指令,该等机器可读指令在由该处理器执行时执行以下功能:将该第一输入像素强度及该第二输入像素强度按比例调整至一共同亮度;及使用该第一组合权重及该第二组合权重来计算一高动态范围影像中之一像素值作为该等经按比例调整第一及第二输入像素强度之一加权平均值。
(AI)在被标志为(AG)及(AH)之系统中,该组合权重模块可经调适以针对储存于该影像储存器中的不与预定义第一及第二像素强度之对重合的第一像素强度及第二像素强度而在预定义第一及第二像素强度之该等对之间进行内插。
(AJ)在被标志为(AG)至(AI)之系统中,该第一输入像素强度及该第二输入像素强度之该函数可被实施为该第一像素强度及该第二像素强度之一连续函数。
(AK)在被标志为(AG)至(AJ)之系统中,该影像储存器可包括用于储存与该第一输入影像相关联之一第一亮度参数及与该第二输入影像相关联之一第二亮度参数的一亮度参数模块。
(AL)在被标志为(AH)至(AJ)之系统中,该影像储存器可包括用于储存与该第一输入影像相关联之一第一亮度参数及与该第二输入影像相关联之一第二亮度参数的一亮度参数模块,且该像素值计算模块可包括用于根据该第一亮度参数及该第二亮度参数来按比例调整该第一输入像素强度及该第二输入像素强度之指令。
(AM)在被标志为(AL)之系统中,该像素值计算模块可包括用于校正该第一亮度参数及该第二亮度参数中之一或多者中之误差的指令。
(AN)一种高动态范围影像产生系统,其包括:(a)一处理器;(b)一存储器,其以通信方式耦接至该处理器,且包括用于储存来自N个输入影像之输入像素强度的一影像储存器,其中N为大于2之一整数;及(c)一组合权重模块,其包括储存于该存储器中之机器可读指令,该等机器可读指令在由该处理器执行时执行以下功能:(i)形成输入像素强度之对之一清单,该等输入强度中每一者对应于该N个输入影像中之同一位置,且其中惟对之该清单中之第一对除外的对之该清单中之所有对包含对之该清单中之先前对中的该等输入像素强度中之一者,及该等先前对中任一者中未表示的该等输入像素强度中之一者;(ii)判定用于该等输入像素强度之相对组合权重,用于对之该清单中之一对的该等相对组合权重中每一者为该对中之该等输入像素强度两者之一连续函数;及(iii)将一正规化条件应用至该等相对组合权重以判定绝对组合权重。
(AO)被标志为(AN)之系统可进一步包括一像素值计算模块,该像素值计算模块包括储存于该存储器中之机器可读指令,该等机器可读指令在由该处理器执行时执行以下功能:将该第一输入像素强度及该第二输入像素强度按比例调整至一共同亮度;及使用该第一组合权重及该第二组合权重来计算一高动态范围影像中之一像素值作为该等经按比例调整第一及第二输入像素强度之一加权平均值。
(AP)在被标志为(AN)及(AO)之系统中,该组合权重模块可经调适以形成对之该清单,使得对之该清单中之每一对包含来自该N个输入影像中之两者的输入像素强度,该两者具有使得该N个输入影像中之其它者在其间不具有亮度之亮度。
(AQ)在被标志为(AN)至(AP)之系统中,该对中之该等输入像素强度两者之该函数可被实施为该对中之该等输入像素强度两者之一连续函数。
(AR)在被标志为(AN)至(AQ)之系统中,该影像储存器可包括用于储存N个亮度参数之一亮度参数模块,该N个亮度参数中每一者是与该N个输入影像中之一各别输入影像相关联。
(AS)在被标志为(AO)至(AQ)之系统中,该影像储存器可包括用于储存N个亮度参数之一亮度参数模块,该N个亮度参数中每一者是与该N个输入影像中之一各别输入影像相关联,且该像素值计算模块可包括用于根据该N个亮度参数中之一或多者来按比例调整该等像素强度的指令。
(AT)在被标志为(AS)之系统中,该像素值计算模块可包括用于校正该N个亮度参数中之一或多者中之误差的指令。
(AU)被标志为(AG)至(AT)之系统可进一步包括用于以下操作中之一或多者的一接口:控制该系统;接收输入像素强度;及传达由该处理器进行之处理的结果。
(AV)被标志为(AG)至(AU)之系统可进一步包括经合作地组态用于影像捕捉之一传感器及成像光学件。
Claims (23)
1.一种用于基于具有不同亮度的第一输入影像和第二输入影像来判定高动态范围影像中的像素值的方法,包括:
获得所述第一输入影像中的第一像素的第一输入像素强度和所述第二输入影像中的对应像素的第二输入像素强度;
判定用于所述第一输入像素强度的第一组合权重和用于所述第二输入像素强度的第二组合权重,所述第一组合权重和所述第二组合权重中的每个为所述第一输入像素强度和所述第二输入像素强度的函数;以及
使用所述第一组合权重和所述第二组合权重来计算所述高动态范围影像中的所述像素值作为所述第一输入像素强度和所述第二输入像素强度的加权平均值,其中该计算步骤包括将所述第一输入像素强度和所述第二输入像素强度按比例调整至共同影像亮度。
2.根据权利要求1所述的方法,所述函数为所述第一输入像素强度和所述第二输入像素强度的连续函数。
3.根据权利要求2所述的方法,所述函数具有预定义值,所述预定义值用于预定义第一像素强度和预定义第二像素强度的多个对。
4.根据权利要求3所述的方法,通过考虑至少一个质量度量来定义所述预定义值。
5.根据权利要求4所述的方法,所述至少一个质量度量包括以下各项中的一个或多个:强度、噪声贡献、饱和度效应、信杂比、传感器响应的线性、第一像素强度与第二像素强度的比率。
6.根据权利要求4所述的方法,所述质量度量包括利用所述第一输入像素强度与所述第二输入像素强度的比较的至少一个质量度量。
7.根据权利要求4所述的方法,当所述第一输入像素强度和所述第二输入像素强度不与所述预定义第一像素强度和预定义第二像素强度的对重合时,通过在预定义第一像素强度和预定义第二像素强度的所述对之间进行内插来判定所述函数的值。
8.根据权利要求7所述的方法,通过在预定义第一像素强度和预定义第二像素强度的最近对之间进行内插来判定所述函数的所述值。
9.根据权利要求7所述的方法,所述内插的步骤包括双线性内插。
10.根据权利要求4所述的方法,还包括获得与所述第一输入影像相关联的第一亮度参数和与所述第二输入影像相关联的第二亮度参数,且其中按比例调整是基于所述第一亮度参数和所述第二亮度参数。
11.根据权利要求10所述的方法,还包括校正所述第一亮度参数和所述第二亮度参数中至少之一的误差。
12.根据权利要求11所述的方法,误差是由非线性传感器响应和亮度条件的不正确评估中的一个或多个造成,其中在所述亮度条件下捕捉所述第一输入影像和所述第二输入影像中至少之一。
13.一种用于从具有不同亮度的N个输入影像判定高动态范围影像中的像素值的方法,其中N为大于2的整数,所述方法包括:
形成输入像素强度对的清单,所述输入像素强度中的每个与所述N个输入影像中的同一位置对应,其中所述清单中除第一对之外的所有对包括所述清单中的先前对中的所述输入像素强度之一,以及所述先前对中的任一个中未表示的所述输入像素强度之一;
对于所述清单中的每对,判定用于所述输入像素强度的相对组合权重,所述相对组合权重为所述对中的两个输入像素强度的函数;
将正规化条件应用至所述相对组合权重,以判定绝对组合权重;以及
使用所述绝对组合权重来计算所述高动态范围影像中的所述像素值作为所述输入像素强度的加权平均值,其中该计算步骤包括将所述输入像素强度按比例调整至共同影像亮度。
14.根据权利要求13所述的方法,其中所述清单中的每对包括来自所述N个输入影像中的两个输入影像的输入像素强度,所述两个输入影像具有使得所述N个输入影像中的其它输入影像在其间不具有亮度的亮度。
15.根据权利要求13所述的方法,所述函数为由所述对包括的所述输入像素强度的连续函数。
16.根据权利要求14所述的方法,所述函数具有预定义值,所述预定义值用于预定义像素强度的多个对,通过考虑至少一个质量度量来定义所述预定义值。
17.根据权利要求16所述的方法,当所述输入像素强度不与预定义像素强度的对重合时,通过在预定义像素强度的对之间进行内插来判定所述函数的值。
18.一种高动态范围影像产生系统,包括:
处理器;
存储器,以通信方式耦接至所述处理器,并包括影像储存器,所述影像储存器用于储存来自第一输入影像和第二输入影像的第一输入像素强度和第二输入像素强度;
组合权重模块,包括储存在所述存储器中的机器可读指令,所述机器可读指令在由所述处理器执行时执行判定用于所述第一输入像素强度的第一组合权重和用于所述第二输入像素强度的第二组合权重的功能,所述第一组合权重和所述第二组合权重中的每个为所述第一输入像素强度和所述第二输入像素强度的连续函数;以及
像素值计算模块,包括储存在所述存储器中的机器可读指令,所述机器可读指令在由所述处理器执行时执行以下功能:将所述第一输入像素强度和所述第二输入像素强度按比例调整至共同亮度;及使用所述第一组合权重和所述第二组合权重来计算高动态范围影像中的像素值作为经按比例调整的所述第一输入像素强度和所述第二输入像素强度的加权平均值。
19.根据权利要求18所述的系统,所述组合权重模块经进一步调适以针对储存在所述影像储存器中的、不与预定义第一像素强度和预定义第二像素强度的对重合的第一像素强度和第二像素强度而在预定义第一像素强度和预定义第二像素强度的所述对之间进行内插。
20.根据权利要求18所述的系统,还包括协作地配置成用于影像捕捉的传感器和成像光学件。
21.一种高动态范围影像产生系统,包括:
处理器;
存储器,以通信方式耦接至所述处理器,并包括影像储存器,所述影像储存器用于储存来自N个输入影像的输入像素强度,其中N为大于2的整数;
组合权重模块,包括储存在所述存储器中的机器可读指令,所述机器可读指令在由所述处理器执行时执行以下功能:(a)形成输入像素强度对的清单,所述输入像素强度中的每个与所述N个输入影像中的同一位置对应,且其中所述清单中除第一对之外的所有对包括所述清单中的先前对中的所述输入像素强度之一,以及所述先前对中的任一个中未表示的所述输入像素强度之一;(b)判定用于所述输入像素强度的相对组合权重,用于所述清单中的一对的所述相对组合权重中的每个为所述对中的两个输入像素强度的连续函数;及(c)将正规化条件应用至所述相对组合权重,以判定绝对组合权重;及
像素值计算模块,包括储存在所述存储器中的机器可读指令,所述机器可读指令在由所述处理器执行时执行以下功能:将所述输入像素强度按比例调整至共同亮度;及使用所述绝对组合权重来计算高动态范围影像中的像素值作为经按比例调整的所述输入像素强度的加权平均值。
22.根据权利要求21所述的系统,所述组合权重模块经进一步调适以形成所述清单,使得所述清单中的每对包括来自所述N个输入影像中的两个输入影像的输入像素强度,所述两个输入影像具有使得所述N个输入影像中的其它输入影像在其间不具有亮度的亮度。
23.根据权利要求21所述的系统,还包括协作地配置成用于影像捕捉的传感器和成像光学件。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/968,092 | 2013-08-15 | ||
US13/968,092 US9432589B2 (en) | 2013-08-15 | 2013-08-15 | Systems and methods for generating high dynamic range images |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104378558A true CN104378558A (zh) | 2015-02-25 |
CN104378558B CN104378558B (zh) | 2018-05-29 |
Family
ID=52466572
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410403453.9A Active CN104378558B (zh) | 2013-08-15 | 2014-08-15 | 用于产生高动态范围影像的系统和方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9432589B2 (zh) |
CN (1) | CN104378558B (zh) |
HK (1) | HK1202198A1 (zh) |
TW (1) | TWI550558B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106375649A (zh) * | 2015-10-27 | 2017-02-01 | 北京智谷睿拓技术服务有限公司 | 图像采集控制方法和装置、图像采集设备 |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016540440A (ja) * | 2014-06-12 | 2016-12-22 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | ピクチャー処理方法、装置 |
KR102195311B1 (ko) * | 2014-09-15 | 2020-12-24 | 삼성전자주식회사 | 이미지의 잡음 특성 개선 방법 및 그 전자 장치 |
US10366478B2 (en) * | 2016-05-18 | 2019-07-30 | Interdigital Ce Patent Holdings | Method and device for obtaining a HDR image by graph signal processing |
CN105976325A (zh) * | 2016-06-29 | 2016-09-28 | 上海小蚁科技有限公司 | 用于调整多个图像的明亮度的方法 |
US10425599B2 (en) * | 2017-02-01 | 2019-09-24 | Omnivision Technologies, Inc. | Exposure selector for high-dynamic range imaging and associated method |
US10638055B2 (en) * | 2018-01-15 | 2020-04-28 | Qualcomm Incorporated | Aperture simulation |
CN110827206B (zh) * | 2018-08-14 | 2024-05-28 | 钰创科技股份有限公司 | 过滤信号的数位滤波器 |
EP3726459B1 (en) * | 2019-04-17 | 2022-02-16 | Leica Instruments (Singapore) Pte. Ltd. | Signal to noise ratio adjustment circuit, signal to noise ratio adjustment method and signal to noise ratio adjustment program |
EP3956919A4 (en) | 2019-04-19 | 2023-06-07 | Direct Electron, LP | SYSTEM, DEVICE AND METHOD FOR DETERMINING ELEMENT COMPOSITION USING 4D STEM |
WO2020214966A1 (en) * | 2019-04-19 | 2020-10-22 | Direct Electron, Lp | Apparatus and method for high dynamic range counting by pixelated detectors |
GB2588616B (en) * | 2019-10-29 | 2021-10-27 | Visidon Oy | Image processing method and apparatus |
US11357580B2 (en) * | 2020-04-10 | 2022-06-14 | Smith & Nephew, Inc. | Reciprocal optical tracking system and methods thereof |
US11265484B1 (en) | 2020-12-16 | 2022-03-01 | Waymo Llc | Systems and methods for automatic exposure of images |
US11595589B2 (en) | 2021-07-22 | 2023-02-28 | Arthrex, Inc. | Surgical camera system with high dynamic range |
US11468546B1 (en) | 2021-11-29 | 2022-10-11 | Unity Technologies Sf | Increasing dynamic range of a virtual production display |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101909150A (zh) * | 2009-06-03 | 2010-12-08 | 索尼公司 | 成像设备和成像控制方法 |
CN101917551A (zh) * | 2010-08-10 | 2010-12-15 | 浙江大学 | 一种单次曝光的高动态范围图像获取方法 |
US20100329557A1 (en) * | 2009-06-29 | 2010-12-30 | Zhe Wang | Automatic exposure estimation for HDR images based on image statistics |
CN102420944A (zh) * | 2011-04-25 | 2012-04-18 | 展讯通信(上海)有限公司 | 一种高动态范围图像合成方法及装置 |
CN102457669A (zh) * | 2010-10-15 | 2012-05-16 | 华晶科技股份有限公司 | 图像处理方法 |
CN102970549A (zh) * | 2012-09-20 | 2013-03-13 | 华为技术有限公司 | 图像处理方法及装置 |
KR20130031574A (ko) * | 2011-09-21 | 2013-03-29 | 삼성전자주식회사 | 영상 처리 방법 및 영상 처리 장치 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2432071A (en) * | 2005-11-04 | 2007-05-09 | Autoliv Dev | Determining pixel values for an enhanced image dependent on earlier processed pixels but independent of pixels below the pixel in question |
JP5411706B2 (ja) | 2006-11-27 | 2014-02-12 | ドルビー ラボラトリーズ ライセンシング コーポレイション | デジタル画像のダイナミックレンジを増強するための装置及び方法 |
TW200830861A (en) * | 2007-01-11 | 2008-07-16 | Ind Tech Res Inst | Method for calibrating a response curve of a camera |
US20100169169A1 (en) * | 2008-12-31 | 2010-07-01 | International Business Machines Corporation | System and method for using transaction statistics to facilitate checkout variance investigation |
TWI507031B (zh) * | 2010-10-15 | 2015-11-01 | Altek Corp | 影像處理方法 |
US8599284B2 (en) * | 2011-10-11 | 2013-12-03 | Omnivision Technologies, Inc. | High dynamic range sub-sampling architecture |
US8866938B2 (en) * | 2013-03-06 | 2014-10-21 | International Business Machines Corporation | Frame to frame persistent shadow reduction within an image |
CN103237168A (zh) | 2013-04-02 | 2013-08-07 | 清华大学 | 一种基于综合增益的高动态范围图像视频处理方法 |
-
2013
- 2013-08-15 US US13/968,092 patent/US9432589B2/en active Active
-
2014
- 2014-08-15 TW TW103128144A patent/TWI550558B/zh active
- 2014-08-15 CN CN201410403453.9A patent/CN104378558B/zh active Active
-
2015
- 2015-03-13 HK HK15102589.6A patent/HK1202198A1/zh unknown
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101909150A (zh) * | 2009-06-03 | 2010-12-08 | 索尼公司 | 成像设备和成像控制方法 |
US20100329557A1 (en) * | 2009-06-29 | 2010-12-30 | Zhe Wang | Automatic exposure estimation for HDR images based on image statistics |
CN101917551A (zh) * | 2010-08-10 | 2010-12-15 | 浙江大学 | 一种单次曝光的高动态范围图像获取方法 |
CN102457669A (zh) * | 2010-10-15 | 2012-05-16 | 华晶科技股份有限公司 | 图像处理方法 |
CN102420944A (zh) * | 2011-04-25 | 2012-04-18 | 展讯通信(上海)有限公司 | 一种高动态范围图像合成方法及装置 |
KR20130031574A (ko) * | 2011-09-21 | 2013-03-29 | 삼성전자주식회사 | 영상 처리 방법 및 영상 처리 장치 |
CN102970549A (zh) * | 2012-09-20 | 2013-03-13 | 华为技术有限公司 | 图像处理方法及装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106375649A (zh) * | 2015-10-27 | 2017-02-01 | 北京智谷睿拓技术服务有限公司 | 图像采集控制方法和装置、图像采集设备 |
CN106375649B (zh) * | 2015-10-27 | 2019-05-21 | 北京智谷睿拓技术服务有限公司 | 图像采集控制方法和装置、图像采集设备 |
Also Published As
Publication number | Publication date |
---|---|
TW201516963A (zh) | 2015-05-01 |
US20150049215A1 (en) | 2015-02-19 |
HK1202198A1 (zh) | 2015-09-18 |
US9432589B2 (en) | 2016-08-30 |
CN104378558B (zh) | 2018-05-29 |
TWI550558B (zh) | 2016-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104378558A (zh) | 用于产生高动态范围影像的系统和方法 | |
CN101803366B (zh) | 用于成像系统的曝光控制 | |
Liu et al. | Noise estimation from a single image | |
US20180097992A1 (en) | Global Tone Mapping | |
US7436997B2 (en) | Light source estimating device, light source estimating method, and imaging device and image processing method | |
US9344689B2 (en) | Camera system with multi-spectral filter array and image processing method thereof | |
CN106871925B (zh) | 一种在轨综合动态调整的遥感卫星相对辐射定标处理方法 | |
EP2552099B1 (en) | Method and camera for providing an estimation of a mean signal to noise ratio value for an image | |
CN102111546A (zh) | 图像处理方法、图像处理设备和摄像设备 | |
CN103314572A (zh) | 用于图像处理的方法和设备 | |
CN102111552B (zh) | 图像处理设备和图像处理方法 | |
US20130169825A1 (en) | Method and apparatus for measuring response curve of an image sensor | |
CN101115131A (zh) | 基于像素空间相关性的图像融合效果实时评价方法及装置 | |
CN105828058A (zh) | 一种白平衡的调整方法和装置 | |
US8693803B2 (en) | High linear dynamic range imaging | |
Tanbakuchi et al. | Adaptive pixel defect correction | |
US5821999A (en) | Method and system for fractally interpolating intensity values for a single color component array obtained from a single color sensor | |
JP5973804B2 (ja) | 画像処理装置及びその制御方法 | |
EP3363193B1 (en) | Device and method for reducing the set of exposure times for high dynamic range video imaging | |
CN111885281B (zh) | 图像处理 | |
JP5510468B2 (ja) | ナンバープレート色判定装置、コンピュータプログラム及びナンバープレート色判定方法 | |
CN112067118B (zh) | 基于卫星云图的光照强度检测方法、装置、设备以及介质 | |
Goossens et al. | Reconstruction of high dynamic range images with poisson noise modeling and integrated denoising | |
CN103229497B (zh) | 用于估计图像检测装置的纱窗效应的方法和设备 | |
CN112087622B (zh) | 一种tdi-ccd相机反射率分辨率指标模拟测试方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1202198 Country of ref document: HK |
|
CB02 | Change of applicant information |
Address after: American California Applicant after: OmniVision Technologies, Inc. Address before: American California Applicant before: Full Vision Technology Co., Ltd. |
|
COR | Change of bibliographic data | ||
GR01 | Patent grant | ||
GR01 | Patent grant |