CN108377343A - 用于高动态范围成像的曝光选择器及其相关的方法 - Google Patents

用于高动态范围成像的曝光选择器及其相关的方法 Download PDF

Info

Publication number
CN108377343A
CN108377343A CN201711238483.9A CN201711238483A CN108377343A CN 108377343 A CN108377343 A CN 108377343A CN 201711238483 A CN201711238483 A CN 201711238483A CN 108377343 A CN108377343 A CN 108377343A
Authority
CN
China
Prior art keywords
exposure
value
image
exposure value
acutance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711238483.9A
Other languages
English (en)
Other versions
CN108377343B (zh
Inventor
萨维希·斯瓦米
吴东晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omnivision Technologies Inc
Original Assignee
Omnivision Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Technologies Inc filed Critical Omnivision Technologies Inc
Publication of CN108377343A publication Critical patent/CN108377343A/zh
Application granted granted Critical
Publication of CN108377343B publication Critical patent/CN108377343B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Abstract

用于生成HDR图像的方法，包括(i)从具有多个曝光值的各自的一个的场景的多个单曝光图像生成单曝光图像的锐度值的锐度图，和(ii)从多个单曝光图像生成单曝光图像的合成曝光值的曝光值图。方法还包括(iii)从锐度图和曝光值图确定最优曝光值，和(iv)通过合并使用最优曝光值捕获的场景的参考图像和多个单曝光图像中的至少两个来生成HDR图像。用于从多个单曝光图像生成HDR图像的曝光选择器包括存储器和微处理器。存储器存储非临时性计算机可读指令并适于存储多个单曝光图像。微处理器适于执行前述方法。

Description

用于高动态范围成像的曝光选择器及其相关的方法
技术领域
本发明涉及成像技术领域，特别地涉及一种用于高动态范围成像的曝光选择器及其相关的方法。
背景技术
许多消费电子产品包括至少一个照相机。这些包括平板电脑、移动手机和智能手表。在这样的产品中，以及在数码照相机本身中，高动态范围(HDR)功能使能场景的图像具有增加的亮度的动态范围。一些HDR图像由多个图像的组合合成。
发明内容
如在此使用的，“多曝光图像”包括以这样的方式拍摄的图像：捕获图像的图像传感器的不同像素根据不同的曝光值被曝光。“单曝光图像”包括以这样的方式拍摄的图像：图像传感器的所有像素、或与捕获的给定图像对应的至少那些像素根据相同的曝光值被曝光。一些HDR图像由具有具有低分辨率的多曝光图像和较高分辨率单曝光图像的组合合成。这样的HDR图像的质量部分地取决于单曝光图像的曝光时间。在此的实施例确定单曝光图像的最优曝光时间。
在第一实施例中，用于生成HDR图像的方法包括(i)从场景的多个单曝光图像生成锐度值的锐度图，每个单曝光图像具有多个曝光值的各自的一个，和(ii)从多个单曝光图像生成单曝光图像的合成曝光值的曝光值图。方法还包括(iii)从锐度图和曝光值图确定最优曝光值，和(iv)通过合并使用最优曝光值捕获的场景的参考图像和多个单曝光图像中的至少两个生成HDR图像。
在第二实施例中，曝光选择器包括存储器和微处理器。存储器存储非临时性计算机可读指令并适于存储具有多个曝光时间的各自的一个的场景的多个单曝光图像。微处理器适于：(i)从场景的多个单曝光图像生成单曝光图像的锐度值的锐度图，(ii)从多个单曝光图像生成单曝光图像的合成曝光值的曝光值图，(iii)从锐度图和曝光值图确定最优曝光值，和(iv)通过合并使用最优曝光值捕获的场景的参考图像和多个单曝光图像中的至少两个生成HDR图像。
附图说明
图1描绘照相机对具有高动态范围的亮度的场景成像。
图2示出可以在图1的照相机中实施的曝光选择器的实施例。
图3描绘滤色镜阵列(CFA)，滤色镜阵列(CFA)是图1的照相机的CFA的示例。
图4A-4C分别描绘示例性单曝光图像和示例性多曝光图像，以及从其形成的示例性差异掩膜(difference mask)。
图5A示出从图4B的多曝光图像和具有第二曝光时间的示例性单曝光图像形成的示例性合并图像。
图5B示出从图4B的多曝光图像和具有第二曝光时间的单曝光图像形成的示例性合并图像。
图6示出示例性锐度图及其前导图像。
图7是示出实施例中用于生成从多个单曝光图像形成的多曝光图像的锐度图的示例性方法的流程图。
图8示出实施例中的曝光图、降低的曝光图及其前导图像。
图9示出基于图6的锐度图的示例性权重图。
图10示出为由图9的权重图加权的图8的曝光图的总和的示例性加权曝光图。
图11是示出实施例中用于生成图8的曝光图的方法的流程图。
图12是示出实施例中用于生成图5B的HDR图像的方法的流程图。
具体实施方式
图1描绘照相机130对具有高动态范围的亮度的场景120成像。场景120包括窗户122前面的人121，通过窗户122，阳光场景123是可见的。照相机130包括成像透镜(未示出)、图像传感器132、存储器110和通信地耦接至图像传感器的微处理器140。图像传感器132包括像素阵列134A并可以包括其上的滤色镜阵列(CFA)136。像素阵列134A包括多个像素134，为说明的清楚未示于图1中。CFA 136的每个滤色镜与像素阵列134A的各自的像素134对齐。成像透镜将场景120成像到图像传感器132上。图像传感器132还包括电路138，电路138包括至少一个模数转换器。
室内照明(未示出)对面对照相机的人121的正面照明，而阳光照明阳光场景123。在场景120中，人121和阳光场景123具有各自的不同的亮度。由于阳光比室内照明亮得多，阳光场景123的亮度远超过人121的亮度，以便场景120具有高动态范围的亮度。标准数字成像使能使用对人121或阳光场景123的任一个(而非全部)的亮度最优单个曝光时间拍摄场景120。当曝光时间是对人121的亮度最优时，人121被适当地曝光而阳光场景123被过度曝光。当曝光时间是对阳光场景123的亮度最优时，阳光场景123被适当地曝光而人121曝光不足。
图2示出合并参考图像201和多个单曝光图像211以生成HDR图像239的示例性曝光选择器200。可以在照相机130内实施曝光选择器200。图像201和211可以是相同场景(例如场景120)的图像。参考图像201可以是单曝光图像。单曝光图像211包括图像211(1)、211(2)……211(N)，其中N是正整数。单曝光图像211可以形成多曝光图像202，多曝光图像202是单曝光图像211的合成。
单曝光图像211可以由照相机130同时地或顺序地捕获。例如当照相机130同时地捕获单曝光图像211时，参考图像201可以具有比每个单曝光图像211更高的分辨率。例如当照相机130顺序地捕获单曝光图像211时，参考图像201可以是单曝光图像211的一个。
曝光选择器200包括微处理器240和存储包括计算机可读指令的软件220的存储器210。微处理器240可以是数字信号处理器，例如图像处理器。存储器210可以是临时性的和/或非临时性的并可以包括易失性存储器(例如SRAM、DRAM或其任意组合)和非易失性存储器(例如FLASH、ROM、磁介质、光介质或其任意组合)的一个或全部。
存储器210和微处理器240可以分别用作图1的照相机130的存储器110和微处理器140。微处理器240适用于执行指令以执行在此描述的曝光选择器200的功能。存储器210存储参考图像201和单曝光图像211的一个或全部。存储器210可以以图像文件格式(例如JPEG和TIFF)或原始图像格式(例如TIFF/EP和数字负片(DNG))存储图像201和211。
软件220包括用于产生各自的数据输出的以下软件模块的一个或多个。图像滤波器224用于从单曝光图像211生成滤波图像234。锐度图生成器226用于从滤波图像234生成锐度图236。曝光图生成器227用于从单曝光图像211生成至少一个曝光图237。曝光选择器228用于从锐度图236和至少一个曝光图237生成最优曝光值238。
例如，当同时地捕获单曝光图像211(1-N)时，照相机130可以使用最优曝光值238生成具有所述最优曝光值的参考图像201。可选地，曝光选择器200可以包括图像选择器225，图像选择器225基于最优曝光值238选择单曝光图像211(1-N)的一个以用作参考图像201。
亮度值生成器221用于从图像201和211生成第一亮度值集231A和第二亮度值集231B。掩膜生成器222用于从亮度值集231A、231B生成差异掩膜232。使用差异掩膜232，图像融合器229合并参考图像201和单曝光图像211以生成HDR图像239。
图3描述CFA 336，其是照相机130的CFA 136的示例。CFA 336包括交错阵列的滤色镜单元301、302、303和304。每个滤色镜单元301-304是2乘2阵列的滤色镜，例如拜耳单元311，以便CFA 336是拜耳阵列。每个拜耳单元311包括一个红色滤色镜(“R”)、两个绿色滤色镜(“G”)和一个蓝色滤色镜(“B”)。虽然滤色镜单元301-304是结构上相同的，其在此是可区分的，因为如下所讨论的，当捕获单曝光图像211时，每个滤色镜单元301-304下方的图像传感器像素具有不同的曝光时间。在此，红色像素、绿色像素和蓝色像素表示分别在红色滤色镜、绿色滤色镜和蓝色滤色镜下方对齐的图像传感器像素。
应该意识到，在不脱离其范围的情况下，可以使用其他CFA布置和曝光值布置。例如，多曝光图像可以与少于或多于四个曝光时间对应。例如，多曝光图像可以由具有不同曝光时间的9个图像形成，9个图像与以3乘3阵列平铺的9个滤色镜单元对应，当捕获多曝光图像时，每个图像具有不同的曝光时间。
图4A和4B分别描绘由包括图3的CFA 336的照相机130捕获的相同场景的示例性单曝光图像401和示例性多曝光图像402。图像401和402分别是参考图像201和多曝光图像402的示例。单曝光图像401由照相机130使用具有相同曝光时间t401的每个滤色镜单元301-304下方的像素134捕获场景产生。
多曝光图像402由照相机130使用具有各自的曝光时间t1、t2、t3和t4的每个滤色镜单元301-304下方的像素捕获场景产生，其中t1<t2<t3<t4且下标1-4是曝光指数k。曝光时间tk和对应的曝光指数k是对应的曝光值的示例。在此使用的曝光值还可以是从曝光指数和曝光时间中的一个或多个导出的量。
多曝光图像402是具有各自的曝光值t1-4的四个单曝光图像(图6的611、612、613和614)的交错合成，其使能多曝光图像具有比单曝光图像401更高的动态范围。单曝光图像611-614是单曝光图像211的示例，并分别由滤色镜单元301-304下方的像素134捕获。相应地，单曝光图像611-614的每个具有比单曝光图像401更低的分辨率。因此，虽然多曝光图像402具有比单曝光图像401更大的动态范围，其还具有较低分辨率。
图4C描绘差异掩膜403，其是单曝光图像401和多曝光图像402的各自的亮度值之间的绝对差。单曝光图像401和多曝光图像402的亮度值分别是第一亮度值集231A和第二亮度值集231B的示例。差异掩膜403是存储在图2的曝光选择器200的存储器210中的差异掩膜232的示例。用于生成差异掩膜403的亮度值是基于亮度值Y和用于捕获图像401和402的红色、绿色和蓝色传感器像素的像素值R、G和B之间的以下关系：Y＝0.30R+0.59G+0.11B。在不脱离其范围的情况下，用于确定亮度值Y的R、G和B的系数可以与示出的那些不同。差异掩膜403的白色区域表示图像401和402之间的最小亮度差异，而差异掩膜403的黑色区域表示最大亮度差异。
在以上示例中，亮度值集231A、231B由图像401和402的R、G和B值生成。图像401和402由对来自图像传感器132的“原始”传感器像素值去马赛克产生。可选地，亮度值集231A、231B可以从来自图像传感器132的原始传感器像素值直接地生成，即，独立于去马赛克过程。例如，当CFA 136是拜耳图案时，来自图像传感器132的原始传感器像素值包括与红色、绿色和蓝色像素对应的像素值。亮度值集231A、231B可以从这些像素值生成并可以独立于用于生成图像201和211的去马赛克。
图5A描绘HDR图像540，其是单曝光图像401、多曝光图像402和差异掩膜403的加权和。在曝光选择器200的实施例中，图像融合器229实施加权和。通过包括图像401和402，HDR图像540具有单曝光图像401的高分辨率和多曝光图像402的高动态范围。等式(1)是HDR图像540的数学表示，其中对于HDR图像540，数据组MΔ、I1、I2和IΣ分别代表差异掩膜403、单曝光图像401、多曝光图像402和HDR图像540。
IΣ＝I1(1-MΔ)+I2MΔ 等式(1)
对于图像401和402的优选组合，单曝光图像401的曝光时间t401至少近似等于多曝光图像402的曝光时间t1、t2、t3和t4中的一个。以小于百分之五相差的两个量是“近似等于”的量的示例。在HDR图像540的示例中，曝光时间t401等于多曝光图像402的图像的最长曝光时间—曝光时间t4。
在HDR图像540的示例中，不管图像401和402的任何性能，可以将曝光时间t401选择为等于曝光时间t1-4的同一个。然而，申请人已经确定对于HDR图像540的优选量，曝光时间t401—即曝光时间t1、t2、t3和t4中的一个的最佳选择取决于确定多曝光图像402的聚焦区域(在此还称为“尖锐”区域)的适当的曝光时间。聚焦区域的适当的曝光时间产生具有既不过度曝光又不曝光不足的聚焦区域的合并图像。例如，HDR图像540具有使视力表特征模糊的过度曝光的区域542。
在多曝光图像402的示例中，候选曝光时间t1-4的曝光时间t401的最佳选择可以是t401＝t3，此产生示于图5B的HDR图像530。等式(1)是HDR图像530的数学表示，其中对于HDR图像530，数据组MΔ、I1、I2和IΣ分别代表差异掩膜403、单曝光图像410(具有t401＝t3)、多曝光图像402和HDR图像530。在HDR图像530中，与区域532对应的区域532是较低曝光的，以便视力表特征是可分辨的。HDR图像530是HDR图像239的示例。
产生HDR图像530的最佳曝光时间(例如t3)从候选曝光时间的确定包括从场景的多个单曝光图像生成锐度图和曝光值图。图6和7示出用于生成锐度图的方法。图8-10示出用于生成曝光值图的方法。为简洁起见，在此可以交换地使用“曝光值图”和“曝光图”。
锐度图是多曝光图像的多个区域的图像锐度的相对度量。图6示出由单曝光图像集610(上行)形成的锐度图650(右下)，单曝光图像集610(上行)包括各自具有不同曝光时间的相同场景的多个单曝光图像。在此示例中，单曝光图像集610包括被交错以形成多曝光图像402的单曝光图像611-614。单曝光图像611-614分别由与CFA 336的滤色镜单元301、302、303和304对应的像素捕获。在不脱离其范围的情况下，单曝光图像集610可以包括多于或少于4个图像。
图6包括各个单曝光图像611-614的绿色通道的滤波图像621-624。滤波图像621-624是滤波图像234的示例，并且在不脱离其范围的情况下，可以由每个各自的图像611-614的或多于一个通道(红色、绿色和蓝色)的一个形成。在此示例中，使用为Laplacian滤波器的离散近似的核h生成滤波图像621-624。特别地，核h是具有矩阵元素h2,2＝8以及所有其他矩阵元素hi,j＝-1,i≠j的3×3矩阵(卷积矩阵)。在不脱离其范围的情况下，可以使用其他边缘检测核生成滤波图像621-624。这样，术语“特征提取的图像”描述滤波图像621-624。
滤波图像621-624还由亮度值生成器221计算的其各自的图像611-614的亮度值归一化。图像611-614的亮度值是基于亮度值Y和用于捕获图像401和402的红色、绿色和蓝色传感器像素的像素值R、G和B之间的以下关系：Y＝0.30R+0.59G+0.11B。在不脱离其范围的情况下，用于确定亮度值Y的R、G和B的系数可以与示出的那些不同。
每个滤波图像621-624包括在其中位置(x,y)处的多个各自的像素值p，在此分别被表示为p621(x,y)、p622(x,y)、p623(x,y)和p624(x,y)。位置(x,y)是距示于图6的坐标轴690的原点的距离。图6还包括合成滤波图像630(下行，左)，其在任意坐标(x,y)处分别具有等于滤波图像621-624的像素值p621(x,y)、p622(x,y)、p623(x,y)和p624(x,y)中的最大值的像素值p630(x,y)。例如，滤波图像621在区域631处具有在图像621中被指示为黑色的高像素值，而区域631在其他的滤波图像622-624中是白色的。相似地，滤波图像622在区域632处具有高像素值。相应地，合成滤波的图像630包括区域631和632处的这些高像素值。合成滤波图像630可以由图2的软件220的锐度图生成器226生成。
图6还包括分割的图像640(下行，中)和锐度图650(下行，右)。分割的图像640是被划分为多个区域641(1–Nb)的合成滤波图像630。在此示例中，Nb＝32。为说明的清楚，图6中不枚举出所有的区域641。
锐度图生成器226从滤波图像630生成锐度图650。锐度图650是锐度图236的示例，并具有分别与区域641(1–Nb)对应的多个区域651(1–Nb)。区域651(i)具有等于其对应的区域641(i)的平均像素值的均匀的像素值p651(i)，其中i∈{1,2,…,Nb}。例如，区域651(4)、651(25)和651(32)中的像素具有分别等于区域641(4)、641(25)和641(32)的平均像素值的各自的像素值p651。
图7是示出用于生成由多个单曝光图像形成的多曝光图像的锐度图的方法700的流程图。可以在一个或多个方面的曝光选择器200中实施方法700。例如，方法700由微处理器240执行软件200的计算机可读指令实施。在以下描述中最好一起查看图6和7。
在步骤710中，方法700将边缘检测滤波应用至每个单曝光图像以生成多个滤波图像。在步骤710的示例中，图像滤波器224将核h分别应用至单曝光图像611-614以生成滤波图像621-624。
在步骤720中，方法700生成合成滤波图像，其每个像素坐标具有等于遍及多个滤波图像的每个的各自的像素坐标处的像素值的最大值的像素值。在步骤710的示例中，锐度图生成器226从滤波图像621-624生成合成滤波图像630。在实施例中，当在多个滤波图像的像素坐标处估计像素值的最大值时，锐度图生成器226忽略饱和像素值。
在步骤730中，方法700为合成滤波图像的多个锐度图区域的每个确定等于锐度图区域内像素值的平均值的各自的锐度值。在步骤730的示例中，锐度图生成器226通过为分割图像640的多个非重叠区域641的每个确定等于区域内像素值的平均值的各自的多个锐度值651来生成锐度图650。
曝光值图示出对于多曝光图像的多个区域的最佳曝光。多个区域可以是用于锐度图的相同的区域。图8示出曝光图850，其是曝光图237的示例。曝光图850由具有各自的曝光指数1-4的分量单曝光图像611-614形成。
图8包括由曝光图生成器227从分量单曝光图像611-614生成的曝光指数图像810。每个图像611-614包括在其中位置(x,y)处的多个各自的像素值p610，在此被表示为p610(x,y,k)，其中曝光指数k∈{1,2,3,4}。位置(x,y)是距示于图8的坐标轴690的原点的距离。例如，在位置(x,y)处，图像611具有像素值p610(x,y,1)且图像612具有像素值p610(x,y,2)。根据等式(2)，曝光指数图像810具有等于四个曝光指数k∈{1,2,…,Ne}中的一个的多个像素值p810(x,y)，其中在此示例中，Ne＝4。量pmax是与饱和曝光对应的最大像素值。例如，对于8位(8-bit)量化，pmax＝255。
例如，如果对于给定的位置(x1,y1)，p610(x1,y1,{1,2})<pmax且p610(x1,y1,{k≥3})＝pmax，那么p810(x1,y1)＝2。图8示出具有分别等于曝光指数1-4的曝光值p810的曝光指数图像810的四个区域811、812、813和814。区域811在图8中被示出为白色并包括区域接壤区域813。
在不脱离其范围的情况下，曝光指数图像810的每个曝光值p810(x,y)可以分别与单曝光图像611-614的四个曝光时间t1-4的一个成比例。例如，根据等式(3)，曝光值p810(x,y)等于曝光时间tk∈{1,2,…,Ne}中的一个。
图8还包括分割的指数图像840，其是被划分为与分割的图像640的各自的区域641对应的多个区域841(1–Nb)的曝光指数图像810。为说明的清楚，图8中未枚举所有的区域840。
曝光图生成器227从曝光指数图像810生成曝光图850。曝光图850具有分别与区域841(1–Nb)对应的多个区域851(1–Nb)。区域851(i)具有等于其对应的区域841(i)的平均像素值的均匀像素值p851(i)，其中，i∈{1,2,…,Nb}。例如，区域851(4)、851(25)和851(32)中的像素各自具有分别等于区域841(4)、841(25)和841(32)的平均像素值的各自的像素值p851。曝光图850被示出具有其上叠加的网格以示出相邻区域851之间的边界。
曝光图生成器227还可以从曝光指数图像810生成降低的曝光图860。降低的曝光图860具有分别与区域841(1–Nb)对应的多个区域861(1–Nb)。区域861(i)具有等于其对应的区域841(i)的像素值的最低十分位数(分位数大小q＝10％)的平均值的均匀像素值p861(i)，其中i∈{1,2,…,Nb}。例如，区域861(4)、861(25)和861(32)中的像素具有分别等于区域841(4)、841(25)和841(32)的曝光值的最低十分位数的平均值的各自的像素值p851。在不脱离其范围的情况下，分位数大小q可以偏离百分之十。曝光图860被示出具有其上叠加的网格以示出相邻区域861之间的边界。
图9示出基于图6的锐度图650的示例性权重图900。权重图900具有分别与图6的锐度图650的区域651(1–Nb)对应的多个区域901(1–Nb)，其中，每个区域651(i)具有均匀的像素值p651(i)，i∈{1,2,…,Nb}。区域901(i)具有均匀的权重pw(i)＝w(p651(i))，其中w是加权函数。加权函数w是例如高斯函数，w(p651)＝exp(-0.5p651/σ2)，且在不脱离其范围的情况下可以具有其他函数形式。
图10示出示例性加权曝光图1000，其是通过权重图900加权的曝光图850和降低的曝光图860的。加权曝光图1000具有分别与锐度图650的区域651(1–Nb)对应的多个区域1001(1–Nb)。区域1001(i)具有由等式(4)给出的一致的曝光值p1000(i)。曝光图1000被示出具有其上叠加的网格以显示相邻区域1001之间的边界。
p1001(i)＝p850(i)·pw(i)+p860(i)·(1-pw(i)) 等式(4)
在加权曝光图1000的示例中，权重pw＝exp(-0.5p651/σ2)，其中σ＝200。由于p651(锐度图650中的高空间频率振幅的度量)根据局部照片锐度而增加，权重pw随照片锐度增加而降低。因此，加权曝光图1000是被加权的，以便与合成滤波图像630的尖锐区域对应的其区域具有较低曝光值以避免饱和。
锐度图650和曝光图1000的加权和产生最优曝光值238，在此还被表示为Eopt。例如，在等式(5)中，Eopt是最优曝光指数kopt，即与图4的多曝光图像402的曝光时间t1、t2、t3和t4的一个对应的曝光指数k的一个。
在等式(5)中，nint(·)表示最接近整数函数，并在不脱离其范围的情况下可以由地板函数(floor function)或顶函数(ceiling function)替换。
可选地，最优曝光值Eopt可以是最优曝光时间topt，即，如等式(6)所示，曝光时间t1、t2、t3和t4中的一个。在等式(6)中，求和且Ne是多曝光图像402的曝光时间的数量。
例如，当曝光图850和860的每个曝光值是平均曝光时间而非平均曝光指数时，最优曝光值Eopt是曝光时间。
使用锐度图650的锐度值p651和曝光图1000的曝光值p1001，等式(5)产生kopt＝nint(3.4)＝3，其意味着在单曝光图像401中使用曝光时间t3(而不是曝光时间t4)产生具有比HDR图像540(图5A)更高的图像质量的HDR图像530(图5B)。
图11是示出用于生成由多个单曝光图像形成的多曝光图像的曝光图的方法1100的流程图。可以在一个或多个方面的曝光选择器200中实施方法1100。例如，方法1100由微处理器240执行软件220的计算机可读指令被实施。在以下描述中最好一起查看图8-11。
在步骤1110中，方法1100通过为多个位置的每个确定产生该位置处的最大非饱和像素值的(多个曝光值中的)曝光值来生成曝光值图。曝光值的示例包括曝光时间和曝光指数。在步骤1110的示例中，曝光图生成器227生成曝光指数图像810，曝光指数图像810是曝光值图像的示例。
在步骤1120中，方法1100通过为曝光值图像的多个曝光图像区域的每个确定等于该曝光图像区域内的曝光值的第一平均值的合成曝光值来生成曝光值图。在步骤1120的示例中，曝光图生成器1127为每个区域841确定曝光图850的各自的均匀的曝光值p851。在步骤1120的第二示例中，曝光图生成器1127为每个区域841确定降低的曝光图860的各自的均匀的曝光值p861。
方法1100可选地包括步骤1130和1140。在步骤1130中，方法1100通过为每个曝光图像区域确定该曝光图像区域内的曝光值的多个第二平均值的各自的一个来生成降低的曝光值图。对于多个曝光图像区域的每个，第一平均值超过第二平均值。在步骤1130的示例中，曝光图生成器1127为每个区域841确定降低的曝光图860的各自的均匀曝光值p861。
在步骤1140中，方法1100计算曝光值图作为第一曝光值图和降低的曝光值图的加权平均。步骤1140可选地包括步骤1142。在步骤1142中，方法1100将第一曝光值图和降低的曝光图的至少一个乘以权重图，权重图对于多个锐度图区域的每个具有等于该锐度图区域中的锐度图的锐度值的函数的各自的权重。在步骤1140和1142的示例中，曝光图生成器227从曝光图850、降低的曝光图860和权重图900生成加权曝光图1000。
图12是示出用于从具有各自的多个曝光时间的场景的多个单曝光图像生成HDR图像的方法的流程图。可以在一个或多个方面的曝光选择器200中实施方法1200。例如，方法1200通过微处理器240执行软件220的计算机可读指令来实施。步骤1202和1204是可选的。
在步骤1202中，方法1200捕获具有多个曝光值的各自的一个的多个单曝光图像。在步骤1202的示例中，照相机130捕获图6的单曝光图像611-614。步骤1202的此示例可以包括(a)使用电路138的一个或多个模数转换器将每个像素电荷转换为各自的第一数字像素值，和(b)将第一数字像素值存储在存储器402中作为图像402的步骤。
在步骤1210中，方法1200从与多个单曝光图像对应的多个特征提取的图像生成特征提取的图像的锐度值的锐度图。在步骤1210的示例中，曝光选择器200通过实施方法700从图像611-614生成锐度图650。
在步骤1220中，方法1200从多个单曝光图像生成单曝光图像的合成曝光值的曝光值图。在步骤1220的示例中，曝光选择器200通过实施方法1100生成加权曝光图1000。
在步骤1230中，方法1200从锐度图和曝光值图确定最优曝光值。例如，锐度图和曝光值图被加合为加权和。在步骤1230的示例中，曝光选择器228使用锐度图650的锐度值p651和曝光图1000的曝光值p1001实施等式(5)，以确定kopt＝nint(3.4)＝3，如上所述。在步骤1230的第二示例中，曝光选择器228使用锐度图650的锐度值p651和曝光图1000的曝光值p1001实施等式(6)，以确定最优曝光时间topt。
在可选的步骤1240中，方法1200根据最优曝光时间使用图像传感器捕获参考图像。在步骤1240的示例中，照相机130使用曝光时间t3捕获单曝光图像401。步骤1240的此示例可以包括(a)使用电路138的一个或多个模数转换器将每个像素电荷转换为各自的第一数字像素值，和(b)将第一数字像素值存储在存储器210中作为图像401的步骤。
在步骤1250中，方法1200通过合并使用最优曝光时间捕获的场景的参考图像和多个单曝光图像的至少两个来生成HDR图像。多个单曝光图像的至少两个例如是单曝光图像的每个。例如，参考图像和多个单曝光图像被合并为加权和。在步骤1250的示例中，图像融合器229生成HDR图像530。
特征的组合
在不脱离其范围的情况下，如上描述的特征以及如下所请求的那些可以以各种方式组合。以下示例实处一些可能的、非限制性的组合：
(A1)一种用于生成HDR图像的方法，包括(i)从场景的多个单曝光图像生成锐度值的锐度图，每个单曝光图像具有多个曝光值的各自的一个，和(ii)从多个单曝光图像生成单曝光图像的合成曝光值的曝光值图。方法还包括(iii)从锐度图和曝光值图确定最优曝光值，和(iv)通过合并使用最优曝光值捕获的场景的参考图像和多个单曝光图像中的至少两个生成HDR图像。
(A2)在如(A1)表示的方法中，生成锐度图的步骤可以包括(i)将边缘检测滤波应用至多个单曝光图像的每个以生成多个滤波图像，(ii)生成合成滤波图像，其的每个像素坐标具有等于遍及多个滤波的图像的每个的各自的像素坐标处的像素值的最大值的像素值，和(iii)为合成滤波图像的多个锐度图区域的每个，确定等于锐度图区域内像素值的平均值的各自的锐度值。
(A3)在如(A2)表示的方法中，其中多个单曝光图像的每个具有多个像素值，多个像素值各自分别与成像场景中的多个位置的一个对应，生成曝光值图的步骤可以包括(i)通过为多个位置的每个确定多个曝光值中的哪个曝光值产生位置处的最大非饱和像素值生成曝光值图像，和(ii)通过为曝光值图像的多个曝光图像区域的每个确定合成曝光值生成曝光值图，合成曝光值等于曝光图像区域内的曝光值的第一平均值。
(A4)在如(A3)表示的方法中，其中多个第一平均值形成第一曝光值图，生成曝光值图的步骤还可以包括：(i)通过为多个曝光图像区域的每个确定曝光图像区域内的曝光值的多个第二平均值的各自的一个生成降低的曝光值图，对于多个曝光图像区域的每个，第一平均值超过第二平均值，和(ii)计算曝光值图计算作为第一曝光值图和降低的曝光值图的加权平均。
(A5)在如(A4)表示的方法中，对于降低的曝光值图的每个曝光图像区域，第二平均值是区域中曝光值的子集的平均值，子集不包括大于第一平均值的曝光图像区域中的至少一个曝光值。
(A6)在如(A4)和(A5)的一个表示的任一个方法中，其中多个锐度图区域的每个与多个曝光图像区域的各自的一个是一致的并与单曝光图像的一个的多个图像区域的相同的各自的一个对应，计算曝光值图的步骤可以包括通过权重图对第一曝光值图和降低的曝光值图中的至少一个进行加权，权重图对于多个图像区域的每个具有等于图像区域中锐度图的锐度值的函数的各自的权重。
(A7)在如(A6)表示的方法中，其中i∈{1,2,…}表示多个图像区域，第一曝光值图具有各自的多个曝光值p1(i)，且锐度图的锐度值被表示为s(i)，权重图可以具有由权重函数w(s(i))确定的各自的多个权重。
(A8)在如(A7)表示的方法中，权重函数w(s(i))的值不随锐度值s(i)从其最小值增加至其最大值而增加。
(A9)在如(A1)至(A8)的一个表示的任一个方法中，每个合成曝光值是多个单曝光图像的一个的曝光时间和曝光指数中的一个。
(A10)在如(A1)至(A9)的一个表示的任一个方法中，确定的步骤可以包括：将锐度值和合成曝光值加合为加权和以确定最优曝光值。
(A11)在如(A1)至(A10)的一个表示的任一个方法中，生成HDR图像的步骤可以包括生成HDR图像作为场景的参考图像和多个单曝光图像的加权和。
(A12)如(A1)至(A11)的一个表示的任一个方法还可以包括(i)使用图像传感器获多个单曝光图像；以及，在确定的步骤之后，(ii)根据最优曝光值使用图像传感器捕获参考图像中的至少一个。
(A13)在如(A1)至(A12)的一个表示的任一个方法中，其中图像传感器包括多个传感器像素，传感器像素各自具有与入射其上的来自场景的光的各自的强度对应的像素电荷，捕获多个单曝光图像的步骤可以包括：(i)使用模数转换器将每个像素电荷转换为各自的第一数字像素值，(ii)将第一数字像素值存储在通信地耦接至微处理器的存储器中。捕获参考图像的步骤可以包括(i)使用模数转换器将每个像素电荷转换为各自的第二数字像素值，和(ii)将第二数字像素值存储在通信地耦接至微处理器的存储器中。
(B1)一种曝光选择器包括存储器和微处理器。存储器存储非临时性计算机可读指令，并适于存储具有多个曝光时间的各自的一个的场景的多个单曝光图像。微处理器适于执行所述指令以执行如(A1)至(A11)表示的任一个方法。
在不脱离其范围的情况下，可以对上述方法和系统做出改变。因此，应该注意的是，在上述描述中包含的或在附图中示出的方式，应该被理解为说明性的且不具有限制意义。所附权利要求旨在覆盖在此描述的所有共用和特定特征，以及本方法和本系统的范围的在语言上的所有声明应被认为落入其间。

Claims (24)

1.一种用于生成高动态范围(HDR)图像的方法，包括：
从场景的多个单曝光图像生成锐度值的锐度图，每个单曝光图像具有多个曝光值的各自的一个；
从所述多个单曝光图像生成单曝光图像的合成曝光值的曝光值图；
从所述锐度图和所述曝光值图确定最优曝光值；以及
通过合并使用所述最优曝光值捕获的所述场景的参考图像和所述多个单曝光图像中的至少两个生成HDR图像。
2.根据权利要求1所述的方法，其中，生成所述锐度图的步骤包括：
将边缘检测滤波应用至所述多个单曝光图像的每个以生成多个滤波图像；
生成合成滤波图像，所述合成滤波图像的每个像素坐标具有等于遍及所述多个滤波图像的每个的各自的像素坐标处的像素值的最大值的像素值；以及
为所述合成滤波图像的多个锐度图区域的每个，确定等于锐度图区域内像素值的平均值的各自的锐度值。
3.根据权利要求2所述的方法，其中，所述多个单曝光图像的每个具有多个像素值，多个像素值各自分别与成像场景中的多个位置的一个对应，生成所述曝光值图的步骤包括：
通过为所述多个位置的每个确定所述多个曝光值中的哪个曝光值产生位置处的最大非饱和像素值生成曝光值图像；以及
通过为所述曝光值图像的多个曝光图像区域的每个确定合成曝光值生成所述曝光值图，所述合成曝光值等于曝光图像区域内的曝光值的第一平均值。
4.根据权利要求3所述的方法，其中，多个第一平均值形成第一曝光值图，生成所述曝光值图的步骤还包括：
通过为所述多个曝光图像区域的每个确定曝光图像区域内的曝光值的多个第二平均值的各自的一个生成降低的曝光值图，对于所述多个曝光图像区域的每个，所述第一平均值超过所述第二平均值；以及
计算所述曝光值图作为所述第一曝光值图和所述降低的曝光值图的加权平均。
5.根据权利要求4所述的方法，其中，对于所述降低的曝光值图的每个曝光图像区域，所述第二平均值是区域中的曝光值的子集的平均值，所述子集不包括大于所述第一平均值的曝光图像区域中的至少一个曝光值。
6.根据权利要求4所述的方法，其中，所述多个锐度图区域的每个与所述多个曝光图像区域的各自的一个是一致的并与单曝光图像的一个的多个图像区域的相同的各自的一个对应，计算所述曝光值图的步骤包括：
通过权重图对所述第一曝光值图和所述降低的曝光值图中的至少一个进行加权，所述权重图对于所述多个图像区域的每个具有等于图像区域中锐度图的锐度值的函数的各自的权重。
7.根据权利要求6所述的方法，其中，i∈{1,2,…}表示所述多个图像区域，所述第一曝光值图具有各自的多个曝光值p1(i)，且所述锐度图的锐度值被表示为s(i)：
所述权重图具有由所述权重函数w(s(i))确定的各自的多个权重。
8.根据权利要求7所述的方法，其中，所述权重函数w(s(i))的值不随锐度值s(i)从其最小值增加至其最大值而增加。
9.根据权利要求1所述的方法，其中，每个合成曝光值是所述多个单曝光图像的一个的曝光时间和曝光指数中的一个。
10.根据权利要求1所述的方法，其中，确定的步骤包括：将所述锐度值和所述合成曝光值加合为加权和以确定所述最优曝光值。
11.根据权利要求1所述的方法，其中，生成所述HDR图像的步骤包括：生成所述HDR图像作为所述场景的所述参考图像和所述多个单曝光图像的加权和。
12.根据权利要求1所述的方法，还包括：在确定的步骤之后，
根据所述最优曝光值使用图像传感器捕获所述参考图像。
13.根据权利要求12所述的方法，其中，所述图像传感器包括多个传感器像素，所述多个传感器像素各自具有与入射其上的来自所述场景的光的各自的强度对应的像素电荷，
捕获所述多个单曝光图像的步骤包括：
使用模数转换器将每个像素电荷转换为各自的第一数字像素值；以及
将所述第一数字像素值存储在通信地耦接至微处理器的存储器中；以及
捕获所述参考图像的步骤包括：
使用模数转换器将每个像素电荷转换为各自的第二数字像素值；以及
将所述第二数字像素值存储在通信地耦接至微处理器的存储器中。
14.一种用于生成高动态范围(HDR)图像的曝光选择器，包括：
存储器，存储非临时性计算机可读指令并适于存储具有多个曝光时间的各自的一个的场景的多个单曝光图像；
微处理器，适于执行所述指令以：
从所述场景的所述多个单曝光图像生成单曝光图像的锐度值的锐度图，
从所述多个单曝光图像生成单曝光图像的合成曝光值的曝光值图，
从所述锐度图和所述曝光值图确定最优曝光值，以及
通过合并使用所述最优曝光值捕获的所述场景的参考图像和所述多个单曝光图像中的至少两个生成HDR图像。
15.根据权利要求14所述的曝光选择器，其中，所述微处理器还适于执行所述指令，以当生成所述锐度图时，
将边缘检测滤波应用至所述多个单曝光图像的每个以生成多个滤波图像；
生成合成滤波图像，所述合成滤波图像的每个像素坐标具有等于遍及所述多个滤波图像的每个的各自的像素坐标处的像素值的最大值的像素值；以及
为所述合成滤波图像的多个锐度图区域的每个，确定等于锐度图区域内像素值的平均值的各自的锐度值。
16.根据权利要求14所述的曝光选择器，其中，所述多个单曝光图像的每个具有多个像素值，多个像素值各自分别与成像场景中的多个位置的一个对应，所述微处理器还适于执行所述指令以当生成所述曝光值图时，
通过为所述多个位置的每个确定所述多个曝光值中的哪个曝光值产生位置处的最大非饱和像素值生成曝光值图像；以及
通过为所述曝光值图像的多个曝光图像区域的每个确定合成曝光值生成所述曝光值图，所述合成曝光值等于曝光图像区域内的曝光值的第一平均值。
17.根据权利要求16所述的曝光选择器，其中，多个第一平均值形成第一曝光值图，所述微处理器还适于执行所述指令以当生成所述曝光值图时，
通过为所述多个曝光图像区域的每个确定曝光图像区域内曝光值的多个第二平均值的各自的一个生成降低的曝光值图，对于所述多个曝光图像区域的每个，所述第一平均值超过所述第二平均值；以及
计算所述曝光值图作为所述第一曝光值图和所述降低的曝光值图的加权平均。
18.根据权利要求17所述的曝光选择器，其中，对于所述降低的曝光值图的每个曝光图像区域，所述第二平均值是区域中的曝光值的子集的平均值，所述子集不包括大于所述第一平均值的曝光图像区域中的至少一个曝光值。
19.根据权利要求17所述的曝光选择器，其中，所述多个锐度图区域的每个与所述多个曝光图像区域的各自的一个一致并与单曝光图像的一个的多个图像区域的相同的各自的一个对应，所述微处理器还适于执行所述指令以当生成所述曝光值图时，
通过权重图对所述第一曝光值图和所述降低的曝光值图中的至少一个进行加权，所述权重图对于所述多个图像区域的每个具有等于图像区域中锐度图的锐度值的函数的各自的权重。
20.根据权利要求19所述的曝光选择器，其中，i∈{1,2,…}表示所述多个图像区域，所述第一曝光值图具有各自的多个曝光值p1(i)，且所述锐度图的锐度值被表示为s(i)：
所述权重图具有由所述权重函数w(s(i))确定的各自的多个权重。
21.根据权利要求20所述的曝光选择器，其中，所述权重函数w(s(i))的值不随锐度值s(i)从其最小值增加至其最大值而增加。
22.根据权利要求14所述的曝光选择器，其中，每个合成曝光值是所述多个单曝光图像的一个的曝光时间和曝光指数中的一个。
23.根据权利要求14所述的曝光选择器，其中，所述微处理器还适于执行所述指令，以当合并时，
将所述锐度值和所述合成曝光值加合为加权和以确定所述最优曝光值。
24.根据权利要求14所述的曝光选择器，其中，所述微处理器还适于执行所述指令，以当生成所述HDR图像时：
生成所述HDR图像作为所述场景的所述参考图像和所述多个单曝光图像的加权和。
CN201711238483.9A 2017-02-01 2017-11-30 用于高动态范围成像的曝光选择器及其相关的方法 Active CN108377343B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/421,949 US10425599B2 (en) 2017-02-01 2017-02-01 Exposure selector for high-dynamic range imaging and associated method
US15/421,949 2017-02-01

Publications (2)

Publication Number Publication Date
CN108377343A true CN108377343A (zh) 2018-08-07
CN108377343B CN108377343B (zh) 2020-10-30

Family

ID=62980428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711238483.9A Active CN108377343B (zh) 2017-02-01 2017-11-30 用于高动态范围成像的曝光选择器及其相关的方法

Country Status (3)

Country Link
US (1) US10425599B2 (zh)
CN (1) CN108377343B (zh)
TW (1) TWI649722B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062923A (zh) * 2019-12-16 2020-04-24 中国科学院深圳先进技术研究院 图像处理方法及相关装置
TWI726539B (zh) * 2019-12-16 2021-05-01 英業達股份有限公司 區間選擇器的處理方法
CN114302067A (zh) * 2021-12-30 2022-04-08 无锡图创智能科技有限公司 不同反射率表面三维结构光测量的曝光值选择方法
CN117710264A (zh) * 2023-07-31 2024-03-15 荣耀终端有限公司 图像的动态范围校准方法和电子设备

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10282821B1 (en) 2015-08-27 2019-05-07 Descartes Labs, Inc. Observational data processing and analysis
JP7129264B2 (ja) * 2018-08-03 2022-09-01 キヤノン株式会社 撮像装置
CN111260876B (zh) * 2018-11-30 2022-02-25 北京欣奕华科技有限公司 一种图像处理方法及装置
EP3680851B1 (en) * 2019-01-09 2021-11-03 Agfa Nv Method and system to calculate the point spread function of a digital image detector system based on a mtf modulated quantum-noise measurement
TWI723435B (zh) * 2019-06-24 2021-04-01 聚晶半導體股份有限公司 影像輸出方法與電子裝置
JP2022086311A (ja) * 2020-11-30 2022-06-09 キヤノン株式会社 撮像装置、撮像装置の制御方法、およびプログラム
US11265484B1 (en) 2020-12-16 2022-03-01 Waymo Llc Systems and methods for automatic exposure of images
JP2022126388A (ja) * 2021-02-18 2022-08-30 キヤノン株式会社 撮像制御装置、撮像制御方法およびプログラム
CN113674193A (zh) * 2021-09-03 2021-11-19 上海肇观电子科技有限公司 图像融合方法、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110176024A1 (en) * 2010-01-15 2011-07-21 Samsung Electronics Co., Ltd. Image Fusion Apparatus and Method
CN102420944A (zh) * 2011-04-25 2012-04-18 展讯通信（上海）有限公司 一种高动态范围图像合成方法及装置
US20140267883A1 (en) * 2013-03-14 2014-09-18 Konica Minolta Laboratory U.S.A., Inc. Method of selecting a subset from an image set for generating high dynamic range image
CN105981362A (zh) * 2014-02-18 2016-09-28 华为技术有限公司 用于获得图片的方法和多相机系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120288217A1 (en) * 2010-01-27 2012-11-15 Jiefu Zhai High dynamic range (hdr) image synthesis with user input
US8913153B2 (en) * 2011-10-06 2014-12-16 Aptina Imaging Corporation Imaging systems and methods for generating motion-compensated high-dynamic-range images
US9679365B2 (en) * 2012-11-16 2017-06-13 Thomson Licensing Processing high dynamic range images
US9087391B2 (en) * 2012-12-13 2015-07-21 Google Inc. Determining an image capture payload burst structure
US9338349B2 (en) * 2013-04-15 2016-05-10 Qualcomm Incorporated Generation of ghost-free high dynamic range images
US9077913B2 (en) * 2013-05-24 2015-07-07 Google Inc. Simulating high dynamic range imaging with virtual long-exposure images
KR102145201B1 (ko) * 2013-08-12 2020-08-18 삼성전자주식회사 이미지의 동적 범위 향상을 위한 방법 및 장치
US9432589B2 (en) * 2013-08-15 2016-08-30 Omnivision Technologies, Inc. Systems and methods for generating high dynamic range images
JP6410416B2 (ja) * 2013-08-21 2018-10-24 キヤノン株式会社 撮像装置及び撮像装置の制御方法
US9344636B2 (en) * 2014-05-30 2016-05-17 Apple Inc. Scene motion correction in fused image systems
US9342871B2 (en) * 2014-05-30 2016-05-17 Apple Inc. Scene motion correction in fused image systems
TWI543615B (zh) * 2014-07-17 2016-07-21 華碩電腦股份有限公司 影像處理方法及其電子裝置
JP6290038B2 (ja) * 2014-08-20 2018-03-07 株式会社東芝 電子機器、方法及びプログラム
US9813635B2 (en) * 2015-08-24 2017-11-07 Motorola Mobility Llc Method and apparatus for auto exposure value detection for high dynamic range imaging
CN106169182B (zh) * 2016-05-25 2019-08-09 西安邮电大学 一种合成多幅不同曝光度图像的方法
US10129485B2 (en) * 2016-06-10 2018-11-13 Microsoft Technology Licensing, Llc Methods and systems for generating high dynamic range images
US9990536B2 (en) * 2016-08-03 2018-06-05 Microsoft Technology Licensing, Llc Combining images aligned to reference frame

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110176024A1 (en) * 2010-01-15 2011-07-21 Samsung Electronics Co., Ltd. Image Fusion Apparatus and Method
CN102420944A (zh) * 2011-04-25 2012-04-18 展讯通信（上海）有限公司 一种高动态范围图像合成方法及装置
US20140267883A1 (en) * 2013-03-14 2014-09-18 Konica Minolta Laboratory U.S.A., Inc. Method of selecting a subset from an image set for generating high dynamic range image
CN105981362A (zh) * 2014-02-18 2016-09-28 华为技术有限公司 用于获得图片的方法和多相机系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062923A (zh) * 2019-12-16 2020-04-24 中国科学院深圳先进技术研究院 图像处理方法及相关装置
TWI726539B (zh) * 2019-12-16 2021-05-01 英業達股份有限公司 區間選擇器的處理方法
CN111062923B (zh) * 2019-12-16 2024-01-23 中国科学院深圳先进技术研究院 图像处理方法及相关装置
CN114302067A (zh) * 2021-12-30 2022-04-08 无锡图创智能科技有限公司 不同反射率表面三维结构光测量的曝光值选择方法
CN117710264A (zh) * 2023-07-31 2024-03-15 荣耀终端有限公司 图像的动态范围校准方法和电子设备

Also Published As

Publication number Publication date
CN108377343B (zh) 2020-10-30
TWI649722B (zh) 2019-02-01
US10425599B2 (en) 2019-09-24
TW201830331A (zh) 2018-08-16
US20180220054A1 (en) 2018-08-02

Similar Documents

Publication Publication Date Title
CN108377343A (zh) 用于高动态范围成像的曝光选择器及其相关的方法
CN107809602B (zh) 去除鬼伪影的方法和鬼伪影去除器
CN101116324B (zh) 用于从多次曝光中创建高动态范围图片的方法和装置
CN103430551B (zh) 使用具有纵色像差的透镜单元的成像系统及其操作方法
JP2010220184A (ja) 単一画像で高ダイナミックレンジをシミュレートする暗部露光補償方法及びそれを応用した画像処理装置
CN102369721A (zh) 具有合成全色图像的彩色滤光器阵列(cfa)图像
CN107409177A (zh) 电子设备和计算机程序产品
CN110365961A (zh) 图像去马赛克装置及方法
CN107534727A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
CN108141531A (zh) 摄像装置、图像处理装置及显示装置
CN108886581A (zh) 图像处理装置、摄像装置、其控制方法和程序
CN108335272A (zh) 一种拍摄图片的方法及设备
US10645304B2 (en) Device and method for reducing the set of exposure times for high dynamic range video/imaging
CN112055136B (zh) 高动态范围图像传感器和图像捕获方法
CN102510502B (zh) 用于生成高动态范围图像的方法及系统
CN104010134B (zh) 用于形成具有宽动态范围的系统和方法
JP6624785B2 (ja) 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体
Kumar et al. New digital camera sensor architecture for low light imaging
CN110476414A (zh) 控制系统和图像传感器
CN109300186B (zh) 图像处理方法和装置、存储介质、电子设备
CN110460783B (zh) 阵列摄像模组及其图像处理系统、图像处理方法和电子设备
CN106412532B (zh) 控制设备、摄像设备和控制方法
CN107454340A (zh) 基于高动态范围原理的图像合成方法、装置及移动终端
CN111885281A (zh) 图像处理
Fliegel et al. Open source database of images DEIMOS: high dynamic range images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant