CN107295267B - 控制高动态范围自动曝光控制成像中的信噪比 - Google Patents

控制高动态范围自动曝光控制成像中的信噪比 Download PDF

Info

Publication number
CN107295267B
CN107295267B CN201610621868.2A CN201610621868A CN107295267B CN 107295267 B CN107295267 B CN 107295267B CN 201610621868 A CN201610621868 A CN 201610621868A CN 107295267 B CN107295267 B CN 107295267B
Authority
CN
China
Prior art keywords
exposures
ratio
exposure
threshold
ratio value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610621868.2A
Other languages
English (en)
Other versions
CN107295267A (zh
Inventor
E·霍金斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
STMicroelectronics Research and Development Ltd
Original Assignee
STMicroelectronics Research and Development Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by STMicroelectronics Research and Development Ltd filed Critical STMicroelectronics Research and Development Ltd
Publication of CN107295267A publication Critical patent/CN107295267A/zh
Application granted granted Critical
Publication of CN107295267B publication Critical patent/CN107295267B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

一种用于在高动态范围自动曝光控制成像中控制信噪比(SNR)的方法和装置。在该方法和装置中，接收图像数据，并且基于该图像数据来确定阴影阈值。进一步地，针对具有相应的多个曝光时间的多次曝光的每次合并转换，确定相应的阈值积分比值。基于用于该合并转换的阈值SNR来确定该阈值积分比值。在该方法和装置中，基于该阴影阈值和所述阈值积分比值来确定用于每次合并转换的积分比值。基于用于每次合并转换的该确定的积分比值来生成输出图像。

Description

控制高动态范围自动曝光控制成像中的信噪比
技术领域
本申请涉及多重曝光成像，并且特别涉及多重曝光自动曝光控制(AEC)成像。
背景技术
在多重曝光自动曝光控制(AEC)成像中，相似影调之间经常发生突然的信噪比(SNR)转换。在视觉上可能明显可见的信噪比转换，可能会降低图像质量并且在图像中引入不期望的伪影。该信噪比转换是由合并具有不同SNR型(SNR profile)的多重曝光图像所导致的。
发明内容
在实施例中，一种装置包括：输入端，该输入端在操作中接收图像数据；以及数字图像处理电路。该数字图像处理电路在操作中：基于该图像数据来确定阴影阈值；针对具有相应的多个曝光时间的多次曝光的每次合并转换(merge transition)，基于用于该合并转换的阈值信噪比(SNR)来确定相应的阈值积分比值；基于该阴影阈值和该阈值积分比值来确定用于每次合并转换的积分比值；以及基于用于每次合并转换的该确定的积分比值和曝光时间来生成输出图像。在实施例中，生成该输出图像包括：基于用于每次合并转换的该确定的积分比值，合并该多次曝光。在实施例中，该数字图像处理电路基于用于该多次合并转换的该积分比值来调整多次后续曝光的曝光时间。在实施例中，生成该输出图像包括：将命令发送到传感器，以捕获具有该调整的曝光时间的该多次后续曝光；在该输入端处接收具有该调整的曝光时间的该多次后续曝光；及以通过合并具有该调整的曝光时间的该多次后续曝光来生成该输出图像。在实施例中，该多个曝光时间彼此之间不同。在实施例中，确定用于该合并转换的该积分比值包括：识别具有最短曝光时间的第一次曝光的饱和点和该阴影阈值之间的第一比值；将该第一比值划分为用于每次合并转换的相应的积分比值；以及基于用于合并转换的该阈值积分比值来调整该积分比值。在实施例中，该第一次曝光的该饱和点是该第一次曝光的最大像素级(pixel level)。在实施例中，将该第一比值划分包括：将该第一比值的一部分设置为用于该多次曝光的该第一次曝光和第二次曝光之间的第一次合并转换的第一积分比值，并且将该第一比值的剩余部分设置为用于该第二次曝光的第二积分比值。在实施例中，确定用于每次合并转换的该阈值积分比值包括：基于用来捕获该多次曝光的传感器的SNR模型来确定该阈值积分比值。在实施例中，合并该多次曝光包括：使用该多次曝光的第一次曝光来提供场景的上层中间影调区域的像素，使用该多次曝光的一次或多次其他曝光来提供该场景的下层中间影调区域的像素，并且使用该多次曝光的另一次曝光来提供该场景的阴影区域的像素。
在实施例中，一种系统包括：传感器，该传感器在操作中捕获场景的图像并且输出代表该场景的图像数据；以及具有数字图像处理电路的控制器，该数字图像处理电路在操作中：接收该图像数据；基于该图像数据来确定阴影阈值；针对具有相应的多个曝光时间的多次曝光的每次合并转换，基于用于该合并转换的所期望的最小阈值信噪比(SNR)来确定相应的阈值积分；基于该阴影阈值和该阈值积分比值来确定用于每次合并转换的积分比值；以及基于用于每次合并转换的该确定的积分比值来生成输出图像。
在实施例中，一种方法包括：接收图像数据；基于该图像数据来确定阴影阈值；针对具有相应多个曝光时间的多次曝光的每次合并转换，基于用于该合并转换的阈值信噪比(SNR)来确定相应的阈值积分比值；基于该阴影阈值和该阈值积分比值来确定用于每次合并转换的积分比值；以及基于用于每次合并转换的该确定的积分比值来生成输出图像。
在实施例中，一种装置，包括：用于接收图像数据的部件；用于基于该图像数据来确定阴影阈值的部件；用于针对具有相应多个曝光时间的多次曝光的每次合并转换，基于用于该合并转换的阈值信噪比(SNR)来确定相应的阈值积分比值的部件；用于基于该阴影阈值和该阈值积分比值来确定用于每次合并转换的积分比值的部件；以及用于基于用于每次合并转换的该确定的积分比值来生成输出图像的部件。
附图说明
图1示出了传感器的信噪比曲线。
图2示出了在高动态范围成像中进行合并的示例。
图3示出了在高动态范围成像中传感器的信噪比曲线的示例。
图4示出了自动曝光控制成像设备的框图。
图5示出了在高动态范围成像中控制信噪比的方法。
图6示出了在高动态范围成像中传感器的信噪比曲线的示例。
图7示出了根据至少一个实施例将具有最短曝光时间的曝光的饱和点和具有最长曝光时间的曝光的饱和点之间的比值分割为两个积分比值的示例。
图8示出了根据至少一个实施例的积分比值调整的示例。
图9示出了根据至少一个实施例的积分比值调整的示例。
图10示出了基于多次曝光来生成输出图像的方法的流程图。
图11示出了用于生成输出图像的方法的流程图。
具体实施方式
图1示出了传感器的信噪比(SNR)曲线102。该SNR曲线102特定于传感器，并且特定于模拟增益和数字增益。该SNR曲线102将由传感器捕获的图像中的像素的SNR作为像素强度的函数示出。一般而言，用于像素的SNR随着像素强度的增加而增加。也就是说，与较暗的像素相比，更亮的图像像素与更高的SNR相关联。相对于噪声的贡献，由传感器捕获的场景对像素的贡献会随着像素亮度的增加而增加。因此，对于图1示出其SNR曲线102的示例性传感器，几乎与所有传感器一样，相对于在更亮的区域中，在较暗区域中关于信号功率引入了更多的噪声功率。
该SNR曲线102适用于针对给定曝光时间由给定传感器捕获的图像。不同的SNR曲线可能适用于传感器的不同曝光时间。曝光时间是像素聚集场景光的时间长度。众所周知，一般而言，曝光时间越长，结果捕获的像素就越亮。如果曝光时间短，与本来用更长曝光时间可能捕获的相比，获得图像较暗。然而，长时间曝光通常会导致在图像中引入运动伪影(诸如模糊或“重影(ghost)”)。例如，如果场景中的对象移动，由于长时间曝光，将会在捕获的图像中跟踪到该移动。
高动态范围成像尝试通过合并多次曝光来产生图像，其中该多次曝光中的每一次均和相应的多个曝光时间相关联。相应的多次曝光的多个曝光时间可能会彼此不同。
图2示出了在高动态范围成像中进行合并的示例。在该示例中，场景的图像112包括多次曝光114、116、118。第一次曝光114具有相对较短的第一曝光时间。第二次曝光116具有比第一曝光时间更长的第二曝光时间。第三次曝光118具有比第二曝光时间更长的第三曝光时间。
第一次曝光114可以用来捕获相对照明良好并且明亮的场景的区域。因为这些区域较明亮，可以使用较短的曝光时间。该较短的曝光时间最大限度地减少了第一次曝光中的运动伪影。第二次曝光116可以用来捕获不如第一次曝光的区域的照明良好和明亮的场景区域。例如，使用第二次曝光116可以捕获灰色区域和部分阴影区域。另一方面，第三次曝光118可以捕捉场景的阴影。
如图2所示，使用具有最长曝光时间的第三次曝光118来捕获车库内部。使用具有中等曝光时间的第二次曝光116来捕获场景中数的树的阴影。使用具有最短曝光时间的第一次曝光114来捕获不在阴影中的明亮的场景部分。
应注意的是，虽然参照图2对三次曝光进行了描述，但是，可以使用任意次数的曝光(诸如二次曝光或四次曝光)进行高动态范围成像。此外，本文所述技术适用于任意次数的曝光。
图3示出了在高动态范围成像中传感器的信噪比(SNR)曲线122的示例。该SNR曲线122包括三个线段124、126、128。该三个线段124、126、128分别与多次曝光相关联。与第一次曝光相关联的第一个线段124在图3示出，以从19档(stop)向22档延伸。档是应用于像素强度的以2为底的对数的结果。例如，像素范围可以是20到222，其中，222被认为是传感器的饱和点。该饱和点是能够被传感器捕获的图像数据的最大点。该饱和点还可以是由传感器捕获的最亮像素级。
强度介于19档和22档之间的像素可以由第一次曝光提供，并且如SNR曲线122所提供的，可以具有介于32分贝和39分贝(dB)之间的相关联的SNR。第二次曝光用于强度介于15.5档和19档之间的像素。因为第二次曝光的曝光时间比第一次曝光的时间长，所以，可以为针对比第一次曝光的像素更暗的像素，使用第二次曝光。具有最长曝光时间的第三次曝光用于介于1档和15.5档之间的像素。如图3所示，针对图像阴影中的像素，SNR降低。
图4示出了自动曝光控制成像设备400的框图。该成像设备400包括控制器402、传感器404和内存406。该控制器402可以是任何类型的控制器(诸如微控制器，或者处理器)，并且在操作上耦合到传感器404，该传感器404可以是光学传感器，诸如照相机。该控制器402包括被配置成进行本文所述的成像处理和SNR控制的电路。该控制器402指示传感器404捕获场景(例如，传感器404指向的场景)的图像(曝光)。该控制器402可以通过将命令发送到传感器404来指示传感器404捕获曝光。该控制器402可以在命令中指定要在捕获曝光时使用的曝光时间。该曝光时间可以是传感器404快门保持打开用于待采集的曝光的时间的时间长度。一般而言，曝光时间与捕获的曝光的亮度成正比。
传感器404根据曝光时间来捕获曝光，并将该曝光发送到控制器402进行处理。控制器402在其输入端处接收该曝光。控制器402可以指示传感器404捕获如本文所述多次曝光。该多次曝光的每一次都可以和不同的曝光时间相关联。控制器402处理从如本文所述的传感器404接收的曝光。控制器402被耦合到内存406，并且控制器402可以使得曝光被存储在内存406中。此外，内存406还可以存储用于传感器404的SNR模型(或曲线)，命令的曝光时间等。控制器402可以访问存储在内存406中的SNR模型，并且可以使用该SNR模型来控制多次曝光图像的SNR。内存406可以存储可执行指令，其中，当控制器402执行该可执行指令时，该可执行指令会使控制器402控制多次曝光图像处理中的曝光时间和/或SNR，并且一般执行如本文所述的图像处理。
图5示出了在高动态范围成像中控制信噪比(SNR)的方法500。在方法500中，在502中，成像设备的控制器(诸如参照图4中编号402所描述的控制器)获得场景的多次曝光。多次曝光分别与多个曝光时间相关联。多次曝光的第一次曝光具有最短的曝光时间，并且多次曝光的最后一次曝光具有最长的曝光时间。为了便于描述，本文所述的多次曝光包括三次曝光。然而，应注意到，可以使用任何其他次数的曝光。
在504中，控制器为每次曝光(例如，上层中间影调(第一次曝光)、下层中间影调(第二次曝光)和阴影(第三次曝光)504)设置所期望的最小SNR。所期望的最小SNR可以由用户指定。用于上层中间影调的所期望的最小SNR可能是所期望的最小SNR中的最高者。相反，用于阴影的所期望的最小SNR可能是所期望的最小SNR中的最小者。如图6所示，例如，用于阴影(线602)的所期望的最小SNR被设置成20dB，用于下层中间影调(线604)的所期望的最小SNR被设置成25dB，并且用于上层中间影调(线606)的所期望的最小SNR被设置成30dB。
相对较低的所期望的最小SNR可能带来较少的运动伪影(诸如模糊和“重影”)和噪声较大的图像，而相对较高的所期望的最小SNR可能会带来较多的运动伪影和噪声较小的图像。可以使用用于传感器的噪声模型(可以在传感器的固件中访问)针对在传感器处接收的给定的光量准确地预测SNR。根据光的亮度，可以将其分类为“阴影”，“中间影调”或“强光部分(highlights)”。
在506中，控制器获得第一次曝光的饱和点和来自图像统计的阴影阈值之间的第一比值。如本文所述，第一次曝光具有多个曝光时间中的最短曝光时间。第一次曝光的饱和点可以是第一次曝光的最大分辨率(诸如，如果传感器分辨率为22位，则为222)。可以灵活地定义阴影阈值，由此，可以将曝光的像素的百分比视为阴影。例如，可以将曝光的4％的像素视为在阴影中。为了确定阴影阈值，可以捕获一个或多个测试曝光，并且可以获得该测试曝光的直方图。可以将阴影阈值设置为例如4％，并且可以将该阴影阈值视为测试曝光或一组曝光的底部4％的像素级的所有像素。
如图6所示，线608表示第一次曝光的饱和点，而线610表示从(多次)测试曝光的统计中确定的阴影的像素级。如图6所示，阴影阈值可能是亮度在10档以下的任一像素或任一组像素。由图6中的线612指示的第一比值是第一次曝光的饱和点和阴影的像素级的除数。因为第一次曝光的饱和点是222而阴影阈值是210，所以，第一比值被确定为222/210＝212或12档。
在508中，控制器获得具有最长曝光时间的第三次曝光的饱和点和满足用于阴影的所期望的最小SNR(20dB)的阴影阈值之间的第二比值。如图6所示，第三次曝光的饱和点是15.2档。此外，10档的阴影像素级满足用于阴影的所期望的最小SNR。因此，第二比值是15.2档和10档(或5.2档)之间的差。第二比值由图6中的线614表示。
在510中，控制器获得的第三比值是第一比值和第二比值之间的差。应注意的事，该差是当在对数域中运算时获得的。当在线性域中运算时，第三比值被获得为第一比值和第二比值的商数。第三比值是具有最短曝光时间的第一次曝光的饱和点和具有最长曝光时间的第三次曝光的饱和点之间的比值。第三比值由图6中的线616表示。
在512中，控制器获得符合用于每次合并转换的所期望的最小SNR的每次曝光之间的阈值积分时间比值。该阈值积分比值被定义为满足用于曝光的所期望的最小SNR时所处的强度(例如，在每档测量的)。该阈值积分时间可以从传感器的SNR模型获得。该SNR模型可以由传感器的制造商指定，并且可以表示不同亮度级的SNR以便用于由传感器捕获的曝光。制造商制造的给定传感器可以具有与相同制造商或其他制造商制造的其他传感器不同的SNR模型。
参照图6，对具有最短曝光时间的第一次曝光的第一SNR曲线618进行外推，以找到满足用于第一SNR曲线618的所期望的最小SNR的档数。在18.5档满足所期望的最小SNR(620)。类似地，对第二次曝光的第二SNR曲线622进行外推，以找到满足用于第二SNR曲线622的所期望的最小SNR的档数。在14.9档满足用于下层中间影调和阴影之间的合并转换的所期望的最小SNR(624)。另外，对第三次曝光的第三SNR曲线626进行外推，以找到满足用于第三SNR曲线626(阴影)的所期望的最小SNR的档数。在9.9档满足所期望的最小SNR(628)。
在514中，对第一次曝光到第二次曝光的积分时间的比值、以及第二次曝光到第三次曝光的积分时间的比值之间的第三比值进行分割或划分。例如，控制器可以对第一次曝光到第二次曝光的积分比值、以及第二次曝光到第三次曝光的积分比值之间的第三比值616进行同等地分割。因此，该积分比值相乘以产生该第三比值616。在根据其基于所期望的最小SNR 604、606确定的对应的阈值积分比值来限制每个比值的同时，第三比值616在该积分比值之间被划分。可以对图6的第三比值616进行划分，并且第三比值616的第一部分可以相对于第一次曝光被指定为第二次曝光的积分时间，并且第三比值的第二部分可以相对于第二次曝光被指定为第三次曝光的积分时间。
在516中，控制器调整积分比值，以获得如本文所述的图像的整个影调范围的SNR之间的权衡。例如，可以增加或减少第一次曝光到第二次曝光的积分比值、以及第二次曝光到第三次曝光的积分比值，以控制用于第一次曝光和第二次曝光的SNR。
图7示出了根据至少一个实施例将具有最短曝光时间的第一次曝光的饱和点和具有最长曝光时间的第三次曝光的饱和点之间的比值分割为两个积分比值的示例。在图7中，第三比值616为6档(22-16档)。该比值在第一次曝光到第二次曝光的积分时间的比值、以及第二次曝光到第三次曝光的积分时间的比值之间的被等分。第一次曝光包括具有介于19档和22档之间的强度的像素，并且第二次曝光包括具有介于16档和19档之间的强度的像素。使用以上分割，用于第一次曝光的SNR高于用于第一次曝光的30dB的所期望的最小SNR。类似地，也在第二次曝光的像素范围中满足了用于第二次曝光的27dB的所期望的最小SNR。另外，阴影处的信噪比(线610所示)符合用于阴影的所期望的最小SNR。
可以调整连续积分之间的积分时间比值，以提高阴影处的SNR。例如，如果第二次曝光到第三次曝光的积分时间比值增加(例如，增加1档)，则阴影处的SNR级将增加约5dB。然而，可以通过用于每次合并转换的所确定的阈值积分比值来限制第一次曝光到第二次曝光的积分比值、以及第二次曝光到第三次曝光的积分比值。例如，可能不需要将第一次曝光到第二次曝光的积分比值增加超过1档以上，因为这会导致SNR级在第一次曝光和第二次曝光之间的合并转换中降到30dB的所期望的最小SNR级以下。
图8示出了根据至少一个实施例的积分比值调整的示例。图8中的图像的阴影比图7的图像要暗。与图7中的10档相反，图8中的图像的阴影处于9档(线610)。为了提高阴影处的SNR，将第一次和第二次曝光的积分比值增加到阈值积分时间，从而达到所期望的最小SNR。在实施例中，没有对第一次和第二次曝光的积分比值进行任何进一步地增加，因为这会造成违背用于上层中间影调的所期望的最小SNR。
另一方面，可以进一步增加第二次曝光到第三次曝光的积分比值，而不会侵害用于下层中间音调(位于624处)的所期望的最小SNR。可以以下层中间影调的SNR为代价，进一步增加第二次曝光到第三次曝光的积分比值，以增加阴影的SNR。
可以基于图8所示的积分比值来生成输出图像。第一次曝光的第一组像素可以和第二次曝光的第二组像素、以及第三次曝光的第三次组像素合并来形成该输出图像。第一次曝光可以产生在第一次曝光中亮度介于18.3档和22档之间的像素。第二次曝光可以产生在第二次曝光中亮度介于14.5档和18.3档之间的像素。第三次曝光可以产生在第三次曝光中亮度低于14.5档的像素。
图9示出了根据至少一个实施例的积分比值调整的示例。在图9中，图像的阴影位于8.2档。第一次曝光到第二次曝光、以及第二次曝光到第三次曝光的积分比值均增加到其相应的阈值积分比值(分别位于620和624)。然而，尽管增加了积分比值，但是阴影仍然下降到低于其所期望的最小SNR(位于602处)。因为第一次曝光到第二次曝光、以及第二次曝光到第三次曝光的积分比值均处于其所确定的阈值处，所以，阴影的SNR未增加。因此，在图9中，中间影调的SNR优先于阴影的SNR。
图10示出了基于多次曝光来生成输出图像的流程图。在方法1000中，在1002处，控制器(诸如参照图4描述的控制器402)接收多个曝光。在1004处，控制器确定连续积分之间的积分比值。例如，积分比值可以通过分割参照图5至图9描述的第三比值616来确定。
在1006中，控制器基于积分比值来确定所期望的最小SNR是否满足每次曝光。如果根据满足所建立的所期望的最小SNR的(曝光之间的)合并转换中的积分比值结果来合并多次曝光，则可以满足所期望的最小SNR。
如果得到肯定的结果，在1008中，控制器基于在1004中确定的积分比值通过合并多次曝光来产生输出图像。如果得到否定的结果，调整积分比值以便改善在输出图像的影调范围中的SNR性能。调整积分比值可能会导致所期望的最小SNR信噪比满足所有合并转换。在1010中，控制器存储多个曝光。存储多个曝光可以包括对多个曝光进行缓冲。
在1012中，控制器对积分比值进行调整。调整积分比值可以包括增加积分比值，使得其对应的阈值积分比值得到满足或者变得接近得到满足。在1014中，控制器基于调整的积分比值来确定是否满足所期望的最小SNR。如果是，控制器在1016中存储积分比值并且基于在1008中所调整的积分比值通过合并多个曝光来产生输出图像。在存储积分比值之后，可以使用积分比值来确定用于后续多次曝光的曝光时间。
在1014中如果为否，方法1000重新在1012中调整积分比值。如果不满足所期望的最小SNR，则可以循环重复1012和1014有限的次数(例如，四次)，然后方法1000终止。例如，如果在多次阈值调整后不满足所期望的最小SNR，则可以基于不满足所期望的最小SNR的调整后的比值来产生输出图像，或者可以采用默认曝光比值等等。
对于给定的多次曝光，如果不满足所期望的最小SNR，则可以采用具有不同曝光时间的另外的多次曝光。例如，如果不满足用于具有最长曝光时间的曝光的所期望的最小SNR，则可以增加曝光时间来提高曝光的SNR。
图11示出了用于产生输出图像的方法的流程图。在方法1100中，在1102处，控制器(诸如参照图4描述的控制器402)接收图像数据。如本文所述，在1104中，控制器确定分别对应于多次连续积分的多个积分比值。当用来生成输出图像时，该积分比值可能无法满足用于多次曝光的所期望的最小SNR。可以调整多个曝光时间的至少一个，以便提高用于其相应曝光的SNR。例如，如果即使在将多个积分比值分别设置成确定的多个阈值积分比值时，仍无法满足用于曝光的所期望的最小SNR，则增加曝光的曝光时间来提高其SNR。增加曝光时间可能会导致在合并转换中曝光的SNR满足或超出所期望的最小SNR。
在1106中，控制器基于多个积分比值中的一个积分比值，来调整多次后续曝光的曝光时间。在1108中，控制器使传感器分别捕获具有多次后续曝光时间的多次后续曝光。例如，控制器可以将命令发送到传感器来捕获具有相应的多次后续曝光时间的多次后续曝光。控制器可以从传感器接收多次后续曝光(或表示多次后续曝光的数据)。在1110中，控制器通过合并多次后续曝光来生成输出图像。
在实施例中，可以使用整体场景亮度来控制传感器的像素增益。可以基于测试曝光的平均能量来设置像素增益。为了获取平均能量，可以获得测试曝光的直方图。测试曝光的平均能量可以是测试曝光的平均像素强度。
在获取测试曝光的平均像素能量之后，可以获得整体场景亮度作为平均像素能量和测试曝光的曝光时间的乘积。然后可以将整体场景亮度与两个阈值(阈值上限和阈值下限)进行对比。这两个阈值用来形成滞后，由此如果整体场景亮度下降到低于阈值下限，则可以增加像素增益。进一步地，如果整体场景亮度增加到高于阈值上限，则减少像素增益。像素增益可以用来控制多次曝光的SNR以及通过合并多个曝光而生成的输出图像。
影响像素增益的因素包括积分时间、以及传感器的模拟增益和数字增益。如果由于整体场景亮度变化而试图修改像素增益，则可以修改积分时间、模拟增益和/或数字增益来完成对像素增益的所期望的更改。
可以结合上述各种实施例以提供更进一步的实施例。如有必要，可以修改这些实施例的各个方面，以利用不同的专利、申请和公开物的概念来提供又进一步的实施例。
根据上述具体描述，可以对这些实施例作以上和其它改变。一般而言，在所附的权利要求书中，所用的术语不应被解释为将权利要求限制为说明书和权利要求书中公开的特定实施例，而应当被解释为包括所有可能的实施例、以及这样的权利要求书所包含的等同物的全部范围。因此，权利要求不受本公开内容的限制。

Claims (22)

1.一种装置，包括：
输入端，所述输入端在操作中接收图像数据；
数字图像处理电路，所述数字图像处理电路在操作中：
基于所述图像数据来确定阴影阈值强度处的信噪比；
针对具有相应的多个曝光时间的多次曝光中的每次曝光，确定相应的阈值积分比值，其中所述阈值积分比值由满足阈值信噪比的强度所定义；
基于所述阴影阈值强度和所述阈值积分比值来确定用于所述多次曝光中的每次曝光的积分比值，由此，在满足针对所述多次曝光中的每次曝光的所述阈值积分比值的情况下，
所述多次曝光中的每次曝光的所述积分比值为所有的所述多次曝光优化所述信噪比；以及
基于用于每次曝光的所述确定的积分比值来生成输出图像。
2.根据权利要求1所述的装置，其中，生成所述输出图像包括：基于用于所述多次曝光中的每次曝光的所述确定的积分比值来合并所述多次曝光。
3.根据权利要求1所述的装置，其中，所述数字图像处理电路基于用于所述多次曝光的所述积分比值来调整多次后续曝光的曝光时间。
4.根据权利要求3所述的装置，其中，生成所述输出图像包括：
将命令发送到传感器，以捕获具有所述调整的曝光时间的所述多次后续曝光；
在所述输入端处接收具有所述调整的曝光时间的所述多次后续曝光；以及
通过合并具有所述调整的曝光时间的所述多次后续曝光，生成所述输出图像。
5.根据权利要求3所述的装置，其中，所述多个曝光时间彼此之间不同。
6.根据权利要求1所述的装置，其中，确定用于相应曝光的所述积分比值包括：
识别具有最短曝光时间的第一次曝光的饱和点和所述阴影阈值强度处的所述信噪比之间的第一比值；
将所述第一比值划分为用于所述多次曝光中的每次曝光的相应的积分比值；以及
基于用于所述多次曝光中的每次曝光的所述相应的阈值积分比值来调整所述积分比值。
7.根据权利要求6所述的装置，其中，所述第一次曝光的所述饱和点是所述第一次曝光的最大像素级。
8.根据权利要求6所述的装置，其中，将所述第一比值划分包括：将所述第一比值的一部分设置为用于所述多次曝光的所述第一次曝光和第二次曝光之间的第一次转换的第一积分比值，并且将所述第一比值的剩余部分设置为用于所述第二次曝光的第二积分比值。
9.根据权利要求1所述的装置，其中，确定用于每次曝光的所述阈值积分比值包括：基于用来捕获所述多次曝光的传感器的信噪比模型来确定所述阈值积分比值。
10.根据权利要求2所述的装置，其中，合并所述多次曝光包括：使用所述多次曝光的第一次曝光来提供场景的上层中间影调区域的像素，使用所述多次曝光的一次或多次其他曝光来提供所述场景的下层中间影调区域的像素，并且使用所述多次曝光的另一次曝光来提供所述场景的阴影区域的像素。
11.一种系统，包括：
传感器，所述传感器在操作中捕获场景的图像并且输出代表所述场景的图像数据；以及
数字图像处理电路，所述数字图像处理电路在操作中：
接收所述图像数据；
基于所述图像数据来确定阴影阈值强度处的信噪比；
针对具有相应的多个曝光时间的多次曝光中的每次曝光，确定相应的阈值积分比值，其中所述阈值积分比值由满足阈值信噪比的强度所定义；
基于所述阴影阈值强度和所述阈值积分比值来确定用于所述多次曝光中的每次曝光的积分比值，由此，在满足针对所述多次曝光中的每次曝光的所述阈值积分比值的情况下，所述多次曝光中的每次曝光的所述积分比值为所有的所述多次曝光优化所述信噪比；以及
基于用于每次曝光的所述确定的积分比值来生成输出图像。
12.根据权利要求11所述的系统，其中，生成所述输出图像包括：基于用于所述多次曝光中的每次曝光的所述确定的积分比值来合并所述多次曝光。
13.根据权利要求11所述的系统，其中，所述数字图像处理电路基于用于所述多次曝光的所述积分比值来调整多次后续曝光的曝光时间。
14.根据权利要求13所述的系统，其中，生成所述输出图像包括：
将命令发送到所述传感器，以捕获具有所述调整的曝光时间的所述多次后续曝光；
接收具有所述调整的曝光时间的所述多次后续曝光；以及
通过合并具有所述调整的曝光时间的所述多次后续曝光，生成所述输出图像。
15.一种方法，包括：
接收图像数据；
基于所述图像数据来确定阴影阈值强度处的信噪比；
针对具有相应的多个曝光时间的多次曝光中的每次曝光，确定相应的阈值积分比值，其中所述阈值积分比值由满足阈值信噪比的强度所定义；
基于所述阴影阈值强度和所述阈值积分比值来确定用于所述多次曝光中的每次曝光的积分比值，由此，在满足针对所述多次曝光中的每次曝光的所述阈值积分比值的情况下，所述多次曝光中的每次曝光的所述积分比值为所有的所述多次曝光优化所述信噪比；以及
基于用于每次曝光的所述确定的积分比值来生成输出图像。
16.根据权利要求15所述的方法，其中，生成所述输出图像包括：基于所述确定的积分比值来合并所述多次曝光。
17.根据权利要求15所述的方法，包括：
基于用于所述多次曝光的所述积分比值来调整多次后续曝光的曝光时间。
18.根据权利要求17所述的方法，其中，生成所述输出图像包括：
将命令发送到传感器，以捕获具有所述调整的曝光时间的所述多次后续曝光；
接收具有所述调整的曝光时间的所述多次后续曝光；以及
通过合并具有所述调整的曝光时间的所述多次后续曝光，生成所述输出图像。
19.一种装置，包括：
用于接收图像数据的部件；
用于处理所述接收的图像数据的部件，包括：
基于所述图像数据来确定阴影阈值强度处的信噪比；
针对具有相应的多个曝光时间的多次曝光中的每次曝光，确定相应的阈值积分比值，其中所述阈值积分比值由满足阈值信噪比的强度所定义；
基于所述阴影阈值强度和所述阈值积分比值来确定用于所述多次曝光中的每次曝光的积分比值，由此，在满足针对所述多次曝光中的每次曝光的所述阈值积分比值的情况下，所述多次曝光中的每次曝光的所述积分比值为所有的所述多次曝光优化所述信噪比；以及
基于用于每次曝光的所述确定的积分比值来生成输出图像。
20.根据权利要求19所述的装置，包括集成电路，所述集成电路包括以下各项中的一项或多项：用于接收图像数据的部件，以及用于处理所述接收的图像数据的部件。
21.根据权利要求19所述的装置，其中，所述用于处理所述接收的图像数据的部件包括：用于基于用于所述多次曝光的所述积分比值来调整多次后续曝光的曝光时间的部件。
22.根据权利要求21所述的装置，其中，所述用于处理所述接收的图像数据的部件在操作中：
将命令发送到传感器，以捕获具有所述调整的曝光时间的所述多次后续曝光；
接收具有所述调整的曝光时间的所述多次后续曝光；以及
通过合并具有所述调整的曝光时间的所述多次后续曝光，生成所述输出图像。
CN201610621868.2A 2016-03-31 2016-08-01 控制高动态范围自动曝光控制成像中的信噪比 Active CN107295267B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/087,018 US9787909B1 (en) 2016-03-31 2016-03-31 Controlling signal-to-noise ratio in high dynamic range automatic exposure control imaging
US15/087,018 2016-03-31

Publications (2)

Publication Number Publication Date
CN107295267A CN107295267A (zh) 2017-10-24
CN107295267B true CN107295267B (zh) 2020-06-16

Family

ID=56939866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610621868.2A Active CN107295267B (zh) 2016-03-31 2016-08-01 控制高动态范围自动曝光控制成像中的信噪比

Country Status (3)

Country Link
US (1) US9787909B1 (zh)
EP (1) EP3226547B1 (zh)
CN (1) CN107295267B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3424403B1 (en) * 2016-03-03 2024-04-24 Sony Group Corporation Medical image processing device, system, method, and program
CN108234895B (zh) * 2018-01-16 2020-06-09 昆山晔芯电子科技有限公司 分段曝光成像自动曝光调节方法及系统
US10356344B1 (en) * 2018-06-14 2019-07-16 Semiconductor Components Industries, Llc High dynamic range imaging pixels with multiple exposures
CN113891008B (zh) * 2021-06-10 2022-08-09 荣耀终端有限公司 一种曝光强度调节方法及相关设备
US12094086B2 (en) 2021-07-15 2024-09-17 Samsung Electronics Co., Ltd. System and method for multi-exposure, multi-frame blending of red-green-blue-white (RGBW) images
JP2023041497A (ja) * 2021-09-13 2023-03-24 キヤノン株式会社 画像処理装置、撮像装置、制御方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101572777A (zh) * 2008-05-02 2009-11-04 奥林巴斯映像株式会社 摄像装置及摄像方法
US8009216B2 (en) * 2008-07-16 2011-08-30 International Business Machines Corporation Pixel sensor cell with frame storage capability
CN102572245A (zh) * 2011-12-22 2012-07-11 深圳市赛格导航科技股份有限公司 一种扩展图像动态范围的方法及装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6906745B1 (en) * 1998-04-23 2005-06-14 Micron Technology, Inc. Digital exposure circuit for an image sensor
US7262770B2 (en) * 2002-03-21 2007-08-28 Microsoft Corporation Graphics image rendering with radiance self-transfer for low-frequency lighting environments
US20090059039A1 (en) 2007-08-31 2009-03-05 Micron Technology, Inc. Method and apparatus for combining multi-exposure image data
JP4770907B2 (ja) * 2008-10-21 2011-09-14 ソニー株式会社 撮像装置、撮像方法及びプログラム
US8525900B2 (en) * 2009-04-23 2013-09-03 Csr Technology Inc. Multiple exposure high dynamic range image capture
US8237813B2 (en) * 2009-04-23 2012-08-07 Csr Technology Inc. Multiple exposure high dynamic range image capture
JP5383360B2 (ja) * 2009-07-15 2014-01-08 キヤノン株式会社 画像処理装置およびその制御方法
US8625013B2 (en) * 2010-08-23 2014-01-07 Red.Com, Inc. Multi-exposure imaging
GB201016773D0 (en) 2010-10-06 2010-11-17 Univ Leuven Kath Dynamic range enhancement through prediction of pixel integration time
US9210322B2 (en) * 2010-12-27 2015-12-08 Dolby Laboratories Licensing Corporation 3D cameras for HDR
JP5791336B2 (ja) * 2011-04-01 2015-10-07 キヤノン株式会社 画像処理装置及びその制御方法
US8947555B2 (en) * 2011-04-18 2015-02-03 Qualcomm Incorporated White balance optimization with high dynamic range images
JP5898466B2 (ja) * 2011-11-11 2016-04-06 キヤノン株式会社 撮像装置、その制御方法、及びプログラム
FR3005543A1 (fr) * 2013-10-14 2014-11-14 St Microelectronics Grenoble 2 Procede de compensation de scintillement utilisant deux images
US9307161B2 (en) 2014-01-10 2016-04-05 Qualcomm Incorporated System and method for capturing digital images using multiple short exposures
US10113910B2 (en) * 2014-08-26 2018-10-30 Digimarc Corporation Sensor-synchronized spectrally-structured-light imaging
US9674460B1 (en) 2015-11-19 2017-06-06 Google Inc. Generating high-dynamic range images using varying exposures

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101572777A (zh) * 2008-05-02 2009-11-04 奥林巴斯映像株式会社 摄像装置及摄像方法
US8009216B2 (en) * 2008-07-16 2011-08-30 International Business Machines Corporation Pixel sensor cell with frame storage capability
CN102572245A (zh) * 2011-12-22 2012-07-11 深圳市赛格导航科技股份有限公司 一种扩展图像动态范围的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Noise-optimal capture for high dynamic range photography;SAMUEL W HASINOFF ET AL;《IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION(CVPR)》;20100630;正文第4-5节，附图4 *

Also Published As

Publication number Publication date
US9787909B1 (en) 2017-10-10
CN107295267A (zh) 2017-10-24
EP3226547A1 (en) 2017-10-04
US20170289460A1 (en) 2017-10-05
EP3226547B1 (en) 2022-06-01

Similar Documents

Publication Publication Date Title
CN107295267B (zh) 控制高动态范围自动曝光控制成像中的信噪比
US8040411B2 (en) Image pickup device and image pickup method
US7483064B2 (en) Imaging apparatus
JP5615973B2 (ja) 高ダイナミックレンジ画像を捕捉するデバイスの作動法
EP2176832B1 (en) Method and apparatus for enhancing images
JP6116272B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
KR100625721B1 (ko) 화상 신호 처리 장치
JP6097588B2 (ja) 画像処理装置及び画像処理方法
JP5887303B2 (ja) 画像信号処理装置，撮像装置および画像処理プログラム
JP2022501883A (ja) 空間的多重化露光ハイダイナミックレンジイメージセンサの自動露出
JP2022501884A (ja) エントロピー分散に基づくイメージセンサの自動露出
US10218953B2 (en) Image processing apparatus, image processing method, and storage medium
US10897578B2 (en) Exposure ratio control
WO2020090176A1 (ja) 画像処理装置および画像処理方法
JP6423668B2 (ja) 画像処理装置およびその制御方法ならびにプログラム
JP2019522442A (ja) リセット及び平均信号値による適応的ｘｄｒ
KR100577523B1 (ko) 적응적인 자동 초점 조절 장치 및 그 방법
WO2008037812A2 (en) Image enhancement method and apparatus therefor
JP2005109579A (ja) 固体撮像素子を用いた撮像装置
US11290656B2 (en) Method of operating a leaky integrator, leaky integrator and apparatus comprising a leaky integrator
Kwon et al. Exposure-adaptive color-image enhancement
CN118158534A (zh) 一种快速调节曝光方法、系统、设备及存储介质
JP2016054355A (ja) 画像処理装置およびその制御方法ならびにプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant