CN101803366B - 用于成像系统的曝光控制 - Google Patents

用于成像系统的曝光控制 Download PDF

Info

Publication number
CN101803366B
CN101803366B CN200880100606.5A CN200880100606A CN101803366B CN 101803366 B CN101803366 B CN 101803366B CN 200880100606 A CN200880100606 A CN 200880100606A CN 101803366 B CN101803366 B CN 101803366B
Authority
CN
China
Prior art keywords
image
peak
histogram
ldr
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200880100606.5A
Other languages
English (en)
Other versions
CN101803366A (zh
Inventor
杨韵恩
郑苍隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Candela Microsystems S Pte Ltd
Original Assignee
Candela Microsystems S Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Candela Microsystems S Pte Ltd filed Critical Candela Microsystems S Pte Ltd
Publication of CN101803366A publication Critical patent/CN101803366A/zh
Application granted granted Critical
Publication of CN101803366B publication Critical patent/CN101803366B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

一种分析图像的装置。该装置包含一电路,其接收包含多个像素的一图像。该电路创建该图像的一直方图,且分析该直方图以确定该图像的一可接受曝光。该直方图可包含多个区间对应於每一区间的像素数量。举例来说,该等区间可与光强度相关联。该图像和直方图可包含由低动态范围的几个位和/或扩展动态范围的几个位界定的数据。可确定和分析该图像的某些特征和标准以确定该图像是否具有可接受的曝光。如果该图像不可接受,那么可改变一曝光特性且可重复该过程,直到获得一可接受的图像为止。

Description

用于成像系统的曝光控制
相关申请案的交叉参考
本申请案主张2007年7月25日申请的第60/962,028号申请案的优先权。
技术领域
所揭示的标的物大体上涉及数码相机中的自动曝光控制。
背景技术
数码相机含有将光能转换为电信号的图像传感器。大多数数码相机配备有自动曝光控制。曝光控制涉及确定在给定被拍照的图像场景的特性的情况下最佳利用图像传感器的动态范围的曝光设定。图像传感器的动态范围界可定义为最高信号输出相对於最低有用信号输出的比率。
图像传感器具有有限的动态范围。典型的电子图像传感器具有的动态范围小于自然场景的动态范围。这主要是由于具有大范围变化的强度的多个光源照亮场景物体。
一般来说,需要有一曝光以使所捉取的图像不太亮也不太暗。通常,这是通过将图像直方图移动到系统的最大和最小输出信号电平的边界内的最佳点来实现的。直方图是基于强度值的图像像素的频率分布。
相机中的曝光控制通常涉及测量来自被拍照的图像场景的样本区域的光的平均强度。随后选择曝光设定以将所述平均值缩放到图像传感器的动态范围的预定百分比。一种通常称为平均光度测量法的技术包含检测整个图像区且控制曝光以使得检测信号具有恒定电平。通常称为中央重点光度测量法的另一方法仅检测图像区的中央部分,且控制曝光以使得检测信号具有恒定电平。可通过对整个视频区的检测数据和中央区的检测数据进行加权,且通过基于以固定比率将经加权数据相加而获得的检测数据来执行曝光控制来实现平均光度测量法和中央重点光度测量法的组合。可通过将场景细分为若干区域、检测每一区域中的视频且限制曝光控制中使用的检测数据的区域或改变加权来实现较精细的曝光控制。然而,即使上文所述的光度测量方法也不总是提供适合于所关注的场景的曝光控制的一状态。
发明内容
一种分析图像的装置。所述装置包含接收包含多个像素的图像的电路。所述电路创建图像的直方图且分析直方图以确定图像的可接受曝光。
附图说明
图1是展示一图像拾取设备的一框图的说明;
图2是展示该成像系统的若干组件的说明;
图3是展示一图像直方图的一实例的曲线图;
图4是展示一直方图产生单元的该第一实施例的若干组件的说明;
图5是描述该直方图产生单元的该第一实施例的过程的流程图;
图6是一起构成以形成一个EDR图像的三个具有不同曝光的LDR图像的若干图片描述;
图7是用于从多个LDR图像组成一EDR图像的一过程的说明;
图8是从一EDR图像提取三个具有不同曝光的若干LDR图像的若干图片描述;
图9展示描述从一EDR图像产生一LDR图像的流程图;
图10是从来自一个LDR图像的四个不同通道(即红色、绿色、蓝色和辉度)来产生若干直方图的图片描述;
图11是该直方图产生单元的第二实施例的说明;
图12展示描述该直方图产生单元的该第二实施例的一过程的一流程图;
图13是从来自一个EDR图像的四个不同通道(即红色、绿色、蓝色和辉度)产生EDR直方图的若干图片描述;
图14包含描绘从一EDR直方图产生三个LDR直方图的若干曲线图;
图15是展示从一个EDR直方图提取若干LDR直方图的流程图;
图16包含描绘从一EDR直方图产生四个LDR直方图的若干曲线图,该等LDR直方图各有不同的曝光;
图17是直方图产生单元的一实施例的说明;
图18是说明直方图产生单元的第三实施例的若干步骤的一流程图;
图19说明具有对应的红色通道直方图的四个LDR图像;
图20是说明直方图产生单元的第四实施例的若干步骤的一流程图;
图21是说明直方图产生单元的第五实施例的若干步骤的一流程图;
图22是说明直方图产生单元的第六实施例的若干步骤的一流程图;
图23是说明直方图产生单元的第七实施例的若干步骤的一流程图;
图24a到24c是展示三种直方图峰的若干曲线图;
图25是一特征提取单元的一实施例的说明;
图26是说明用于一天空峰检测单元的若干步骤的一流程图;
图27a到27b是展示绿色和蓝色通道的直方图中的相似的最右峰的一实例的若干曲线图;
图28a到28b是展示显著高于红色直方图的蓝色直方图的最后顶点的一实例的若干曲线图;
图29a到29c是展示比红色和绿色直方图两者高的蓝色直方图的最右峰的峰巅的一实例的若干曲线图;
图30a到30c是展示比红色和绿色直方图的最后顶点高的蓝色直方图的最后顶点的一实例的若干曲线图;
图31是解释重要峰(Significant Peak)参数的测量的一流程图;
图32是展示该重要峰参数的测量的一图片描述的若干曲线图;
图33是描述用于测量右峰参数的若干步骤的一流程图;
图34是展示右峰参数的测量的一图片描述的若干曲线图;
图35是一最优曝光确定单元的说明;
图36是说明由该最优曝光确定单元执行的一过程的一流程图;
图37a到37b是展示暗细节测量的第一实例的若干曲线图;
图38a到38b是展示暗细节测量的第二实例的若干曲线图;
图39是详细说明天空对比度的测量的一流程图;
图40a到40b是展示天空对比度测量的一实例的若干曲线图;
图41是详细说明对比度峰的测量的一流程图;
图42a到42b是展示对比度峰测量的第一实例的若干曲线图;
图43a到43b是展示对比度峰测量的第二实例的若干曲线图;
图44是详细说明波动测量的一流程图;
图45a到45d是展示波动测量的一实例的若干曲线图;
图46是展示增加曝光的一过程的一流程图;
图47是展示减少曝光的一过程的一流程图。
具体实施方式
所揭示的是一种分析图像的装置。所述装置包含接收包含多个像素的图像的一种电路。所述电路创建图像的直方图且分析直方图以确定图像的可接受的一曝光。直方图可包含多个区间(bin)对与每的区间相关联的像素数量。举例来说,区间可与光强度相关联。图像和直方图可包含由低动态范围的位数目和/或扩展动态范围的位数目所界定的数据。可确定和分析图像的特定特征和标准以确定图像是否具有可接受的一曝光。如果图像不可接受,那么可改变曝光特性且可重复所述过程,直到获得可接受的图像为止。
更特定地通过参考数字参看图式,图1展示图像拾取设备102的实施例。实施例表示数码相机,但可存在许多不同的可利用成像系统来控制图像的曝光的实施例。图像拾取设备102包含透镜104、光圈106、图像传感器108、A/D转换器110、处理器112、显示器114以及存储卡116。来自场景的光通过透镜104进入,同时光圈106控制进入图像传感器108的光的量。从图像传感器108获得的模拟信号由A/D转换器110转换为数字信号。随后将数字信号发送到处理器112以用于各种处理,例如内插。将由处理器112产生曝光控制值且此值将更改光圈106和/或位于图像传感器108内的时间积分装置的设定。被视为适合于输出的最终图像将在显示器114上显示或存储在存储卡116中。处理器112执行成像过程。
将曝光界定为进入图像拾取设备102的光的量。其可根据以F数(例如,F4.5)给出的光圈106的大小和以曝光时间(例如,1/125s)给出的图像拾取设备102的快门速度来计算。可使用以下公式来计算曝光值:
EV ∝ t N 2
其中EV是曝光值,N是F数且t是曝光时间。
图2是具有输入和输出的图像系统204的实施例的框图。成像系统204可实施为电子装置的一部分,例如作为数码相机或类似物(例如上文所述的那些)中的处理单元。图像拾取设备可为数码相机,但不限于此实施例。其可为扫描仪、数码相亭(photo kiosk)、具有数字图像的计算机或可将数字图像提供到成像系统204和存储器以运行成像系统的任何装置。图像提供单元202为成像系统204提供数字图像。图像提供单元可为存储卡、具有数字图像的硬盘,或可向成像系统204提供数字图像的任何装置。
成像系统204包含直方图产生单元206、直方图特征提取单元208(或简称为特征提取单元)以及提供最优曝光图像212的最优曝光确定单元210。直方图产生单元206根据图像提供单元202提供的数字图像产生直方图。随后将所产生的直方图发送到特征提取单元208,在特征提取单元208处测量和计算直方图的各种特征。将这些特征输入到最优曝光确定单元210,在最优曝光确定单元210处基于这些特征测量曝光的充足性。如箭头214所示,成像系统204以循环方式操作,其中重复单元206、208和210直到获得具有最优曝光的图像212为止。最优曝光确定单元210针对每一循环迭代计算试探性的曝光值Tx且将其输出到直方图产生单元206。
图3展示由图像产生的直方图的实例。图像直方图是图像中随着强度而变的像素数目的图形表示。像素的强度可表达为测量图像中捉取的光的某一颜色、色调、亮度或其它尺度的数字。直方图由顶点302组成,所述顶点302是直方图上的点。x轴304由区间构成,每一区间表示某一强度值范围。通过检查所有像素且依据像素强度将每一像素指派给一区间来计算直方图。y轴306表示图像的属于每一区间的像素的数目。举例来说,具有范围从0到255的红色通道值的8位RGB图像的256区间红色通道直方图具有表示红色值0的区间1、表示红色值1的区间2等等,而16区间直方图具有表示从0到15的红色通道值的区间1、表示从16到31的红色通道值的区间2等等。
图像的动态范围是指最大可能信号值除以最小非零信号值的比率。举例来说,在8位RGB数字图像中,最大信号值是255且最小非零信号值是1。8位图像的动态范围是255。低动态范围(LDR)图像通常指具有动态范围255的8位图像,而扩展动态范围(EDR)图像指具有大于255的动态范围的图像。
参看图2,直方图产生单元206接收数字LDR图像且输出试探性LDR图像的一组LDR直方图。可存在其中可实施此情况的多种实施例,且此处指定其中的几个。特征提取单元208接收LDR直方图且计算直方图的可指示试探性图像的显著特征的参数。试探性图像可或可不由成像系统204产生,这取决于直方图产生单元206的实施例。成像系统204内的最优曝光确定单元210通过检查其从特征提取单元208接收的特征来核查试探性图像的充足曝光。如果确定曝光不适合于场景,那么最优曝光确定单元210计算针对下一试探性图像的新的试探性曝光值Tx,且提供Tx予直方图产生单元206以产生具有曝光Tx的新的试探性图像。处理具有一不同曝光的新的试探性图像以产生新的直方图。再次提取特征且确定曝光充足性。重复此过程,直到认为一试探性图像具有合适曝光为止且作为输出212来提供。
图4是该直方图产生单元206的一实施例的框图。所述单元接收具有不同曝光的多个LDR图像402,其由一EDR图像产生单元404、一图像产生单元406和一直方图计算单元408处理。该直方图产生单元206提供LDR直方图410。而且,将试探性曝光值Tx 412提供予到该图像产生单元406。
图5是描述用于产生直方图的过程的一流程图。在方块502中使用包围曝光模式或用以获得同一场景的具有不同曝光的图像的任何其它方法来获得具有不同曝光的多个LDR图像。在方块504中从LDR图像产生EDR图像。EDR图像减少用以存储具有不同曝光的许多LDR图像的存储器的使用。这是因为可从EDR图像提取具有预定义范围内的曝光的LDR图像,所述EDR图像具有由LDR图像的最小曝光值Tmin和最大曝光值Tmax确定的范围。在方块506中,随后由EDR图像产生具有一试探性曝光Tx的单个LDR图像。Tx落在预定义范围内。在方块508中从该单个LDR图像产生该图像的若干LDR直方图。
图6展示从具有不同曝光的三个LDR图像形成的EDR图像的一实例。具有递增曝光的三个LDR图像展示于图6的左手侧,包括具有最低曝光T1(最暗)的LDR 1 602、具有曝光T2的LDR 2 604以及具有最高曝光T3(最亮)的LDR 3 606。所述若干LDR图像一起用以组成展示于图6的右手侧的EDR图像608。每一LDR图像在此实例中是一8位RGB图像,因此所产生的该EDR图像是一10位RGB图像。可使用不同数目的若干LDR图像来组成一EDR图像,只要所述数目超过一即可。因此,此描述无意将该方法限于组成一EDR图像,而是作为帮助掌握概念的一简化的解释。
图7说明从三个LDR图像602、604和606创建EDR图像608的一过程。三个快照中的最亮者、具有曝光T3的LDR 3606提供对系统的第一输入。该LDR图像可能含有在图像获取过程期间产生的非线性失真。非线性失真的一个实例在图像拾取装置中发生,其中在图像拾取装置中的模拟电路可能具有随着信号电平而变化的放大增益。第二实例是图像拾取装置的感测节点具有随着信号电平而变化的电容值。第三实例是在LDR图片接受通常在产生供计算机显示的数字图像时出现的γ预失真。LDR 3 606由一线性化单元702处理,其对每一像素的强度值应用线性化函数以移除非线性失真。该线性化函数将该等图像从非线性变换为线性图像。在下文展示一γ函数和对应的逆γ函数的一实例。该γ函数:
对于8位图像, y = 255 ( 1 - e - x 255 × G ) ( 1 - e - G ) ;
其逆γ函数:
对于8位图像, x = - 255 G log ( 1 - y 255 ( 1 - e - G ) ) .
经线性化的LDR 3的强度值随后由映射单元704映射到一较低的曝光值T2。T2是较暗图像LDR 2 604的曝光值。这是通过将T2相对於T3的比率(即,T2/T3)倍增来完成的,因为线性化单元702已使经线性化的LDR 3 606的强度值变为线性。所得图像由一去线性化单元706处理。由一组合单元1708将单元706的输出与LDR 2 604的强度值进行组合。
组合是通过用该等LDR 2 604像素来替换去线性化单元706的输出中的“较亮像素”以形成一个输出图像来完成的。去线性化单元706的输出中的“较亮像素”是其中至少一个颜色通道具有超过第一预定阈值(例如,对于0与255之间的强度值,为127)的强度值的像素。组合单元2710用组合单元1 708的输出中的若干像素来替换LDR 2 604的“较暗淡像素”。LDR 2 604中的“较暗淡像素”是其中至少一个颜色通道具有低于第二预定阈值的强度值的像素,所述第二预定阈值可或可不等于第一预定阈值。组合单元1708与组合单元2710的联合操作等效于当且仅当去线性化单元706的输出不是“较亮像素”时用去线性化单元706的输出来替换LDR 2中的“较暗淡像素”。
此操作避免了下文描述的一种图像伪影。如果场景具有在帧上逐渐单调地改变的亮度,那么在像素变得较暗淡处用去线性化单元706的输出来替换LDR 2 604的像素。然而,由于线性化或去线性化中的某种不准确性,来自去线性化单元706的输出稍微比其预想的情况亮。所得图像中有一边缘显现,在这边缘上场景中的亮度跨越该阈值。组合单元708进行核查以确保去线性化单元706的输出像素不会较亮,否则将保留LDR 2的像素。
单元710的输出图像由与前述LDR 3 606相同的过程处理,但现在通过映射单元712将其重新映射到甚至更低的曝光值T1,T1为最暗图像LDR 1 602的曝光值。将两个组合单元708和710的第二输入图像改为LDR 1 602。第二组合单元2710处的输出图像随后由线性化单元702处理。所得图像通过乘法单元714与乘数N相乘。N是多个LDR图像的最大曝光Tmax相对於最小曝光值Tmin的比率(即,Tmax/Tmin)。单元714产生十位EDR图像608。
参看图4,在由EDR图像产生单元404产生EDR图像之后,由图像产生单元406产生具有一试探性曝光的一试探性LDR图像。该LDR图像的试探性曝光值在用于创建该EDR图像的多个LDR图像402的最小与最大曝光值之间。举例来说,如图8所示,从一EDR图像808提取三个LDR图像802、804和806。这三个图像具有其值位于Tmin与Tmax(分别为最小曝光值和最大曝光值)之间的曝光。
图9说明如何从一EDR图像808产生一LDR图像806。首先,该EDR图像808的若干强度值由类似于图7所示的乘法单元714处理。该EDR图像808的强度值在714处与乘数1/A相乘,其中A是最大曝光相对於LDR 3图像806的试探性曝光值的比率。由去线性化单元706和箝位单元902处理经相乘的该EDR图像,所述箝位单元902对图像的强度值进行箝位以使得图像变为LDR图像。举例来说,如果系统将LDR图像界定为任何8位图像,那么系统将把经去线性化的该EDR图像806的强度值箝位到最大值255。LDR 3 806是箝位单元902的输出。
参看图4,直方图计算单元408接收由图像产生单元406创建的试探性LDR图像,且基于该试探性LDR图像和一试探性曝光值Tx计算试探性LDR直方图。图10展示针对四个不同强度通道,即红色通道1004、绿色通道1006、蓝色通道1008和辉度通道1010,从LDR图像1002计算四个LDR直方图1004、1006、1008和1010。也可计算例如HSV直方图或CMYK直方图等的其它颜色空间直方图,但在图中未展示。
图11展示直方图产生单元206的另一实施例。直方图产生单元206从一EDR图像创建若干EDR直方图,随后进一步从该等EDR直方图创建若干试探性直方图,而不是创建一试探性LDR图像。该单元206随后如先前实施例中创建一组试探性LDR直方图。类似于先前实施例,使用具有不同曝光的若干LDR图像402来在EDR图像产生单元404中创建EDR图像。随后使用该EDR图像由一EDR直方图产生单元1102基于该EDR图像的若干像素强度值来创建对应的若干EDR直方图。随后在直方图计算单元1104中使用试探性曝光Tx 412从该等EDR直方图来计算若干LDR直方图410。
直方图通常是由具有某一曝光值的图像产生。在此实施例中,可在不产生LDR图像的情况下从一EDR直方图直接产生若干LDR直方图。以特定曝光值从一EDR直方图产生的一LDR直方图对应于从一具有相同曝光值的LDR图像产生的LDR直方图。因此,将具有特定曝光值的LDR直方图界定为将由具有所述特定曝光值的一图像产生的相同的LDR直方图。
图12是产生LDR直方图的过程的一流程图。首先在方块1202中获得具有不同曝光的多个LDR图像。在方块1204中使用该等LDR图像来产生一EDR图像。在方块1206中,随后从该EDR图像计算若干EDR直方图。最终,在方块1208中使用一试探性曝光Tx来产生试探性LDR直方图。
图13是展示EDR直方图的创建的说明。以与从LDR图像计算LDR直方图的方式相同的方式计算EDR直方图。EDR图像中属于每一区间的像素的数量被计数,且这变为EDR直方图的每一区间的y值。在图13的左手侧,展示EDR图像1302的一实例。通过使用EDR图像1302的像素强度值,产生四个EDR直方图1304、1306、1308和1310。分别对应于四个强度通道:红色、绿色、蓝色和辉度(亮度)的四个直方图展示于图13的右手侧。
图14展示EDR直方图1402和多个LDR直方图1404、1406和1408。对于由8位LDR图像组成的10位EDR图像,由EDR图像产生的EDR直方图1402具有从0扩展到1023的区间值。从EDR直方图提取的LDR直方图1404、1406和1408将具有从0到255的区间值。从EDR直方图提取LDR直方图类似于从EDR图像提取LDR图像的方式。
图15展示从一EDR直方图1402提取LDR直方图1404的一实施例。类似于图9,图15展示由一乘法单元714、一去线性化单元706和一箝位单元902来处理该EDR直方图1402以创建该LDR直方图11404。该EDR直方图1402的区间值等首先由乘法单元714处理,其中将值与乘数1/A相乘,其中A是最大曝光相对於该LDR直方图11404的曝光值的比率。随后,随后由去线性化单元706和箝位单元902来处理经相乘的该EDR直方图,所述箝位单元902将所得直方图的该等区间值箝位到最大值255。
类似于一EDR图像是由多个LDR图像组成的概念,一EDR直方图也可由多个LDR直方图来组成。因此,此过程也是可逆的,使得可从一EDR直方图提取若干LDR直方图。可将一EDR直方图的两个不同区间映射到该该LDR直方图的同一区间,在此情况下对该EDR直方图的两个区间的数量进行求和以产生该LDR直方图的区间的数量。一般来说,将映射到同一LDR直方图区间的所有该EDR直方图区间的数量一起求和以产生该LDR直方图区间的数量。
图16提供一说明,其中从一EDR直方图1602来创建LDR直方图11604、LDR直方图21606、LDR直方图31608和LDR直方图41610,分别使用四个不同的曝光值T1、T2、T3和T4。每一LDR直方图代表将从相同曝光值的一LDR图像的像素强度计算得来的LDR直方图。
与先前实施例相比,此实施例具有使用处理器的较少存储器空间的优点且还减少处理时间。这归因于用以存储直方图的存储器显著少于用于其对应图像的存储器。此外,从图像计算直方图也比从EDR直方图提取LDR直方图花费显著更多的计算步骤和存储器空间。处理器的存储器容量相当有限,且较少存储器空间的使用允许空间用于其它过程和目的。处理时间的减少允许较快的反应时间来以场景的最优曝光水平捉取场景。因此,此实施例具有优于其它实施例的计算效率的优点。
第三实施例通过如图17的框图中所示从一EDR图像产生具有不同曝光的一系列LDR图像来产生若干LDR直方图。在此实施例中,类似于先前两个实施例,产生一EDR图像。EDR图像产生单元404组成该EDR图像需要具有不同曝光的第一多个LDR图像402。一多个图像产生单元1702和1704中的一多个直方图计算单元产生第二多个LDR图像以便由第二多个LDR图像中的每一图像来形成若干LDR直方图410。一直方图选择单元1706使用一试探性曝光Tx 412来选择由系统提供的LDR直方图410。
图18进一步详细阐述此实施例的过程。如关于先前两个实施例所论述,在方块1802中获得具有不同曝光的第一多个LDR图像,且在方块1804中使用其来产生一EDR图像。在方块1806中,随后由该EDR图像产生具有不同曝光的第二多个LDR图像。所产生的这些LDR图像的曝光可或可不与方块1802中获得的若干LDR图像的若干曝光相同。在方块1808中从每一图像计算对应于若干LDR图像的像素强度的若干LDR直方图。在方块1810中从多个LDR直方图选择对应于处于一特定曝光Tx的任何特定LDR图像的若干LDR直方图。如果最优曝光确定单元210(见图2)认为对应于此集合的图像的该曝光值是不合适的,那么可完成若干LDR直方图的重新选择。
图19展示四个LDR图像、,即LDR 11902、LDR 2 1904、LDR 3 1906以及LDR 4 1908,其各自具有不同的曝光,在图18中所示的实施例的方块1806中用以产生对应的若干直方图。在此实例中,针对每一LDR图像产生来自不同颜色通道的若干直方图。为了简单起见,在可用的各种通道之间,仅来自红色通道的直方图於此展示。展示的是红色1 1910、红色2 1912、红色3 1914以及红色4 1916,其分别属于LDR 1 1902、LDR2 1904、LDR 3 1906以及LDR 4 1908。
图20展示类似于图17中所示的实施例的另一实施例。在方块2002中取得具有不同曝光的若干LDR图像,其随后在方块2004中用以产生该EDR图像。随后在方块2006中产生具有不同曝光的多个LDR图像。该等LDR图像的若干曝光值可或可不与方块2002中取得的若干LDR图像的若干曝光值相同。在方块2008中从该等多个LDR图像中选择一个LDR图像,而不是如第三过程实施例中所述那般地给全部的图像创建直方图。随后在方块2010中计算此图像的若干LDR直方图。如果最优曝光确定单元210(见图2)认为图像具有不合适的曝光值,则可重新选择LDR图像。
图21展示另一实施例,其为第二过程实施例的略加变化形式。在方块2102中取得具有不同曝光的若干LDR图像且在方块2104中用以其产生一EDR图像。随后使用该EDR图像的像素强度在方块2106中计算若干EDR直方图。随后在方块2108中由EDR直方图产生类似于不同曝光值的多个LDR直方图。随后在方块2110中选择具有一试探性曝光值的若干LDR直方图。如果最优曝光确定单元210(见图2)认为对应于该试探性曝光值的图像具有不合适的曝光值,那么可重新选择对应于一不同曝光值的若干LDR直方图。具有一特定曝光值的LDR直方图界定为将从具有该特定曝光值的一图像产生的同一LDR直方图。
图22展示另一实施例。在此实施例中,与先前实施例不同,不需要EDR图像。在方块2202中,取得具有不同曝光的多个LDR图像。在方块2204中从其每一者计算若干LDR直方图,而不是用它们来组成一EDR图像。在方块2206中随后从这多个LDR直方图产生一EDR直方图。从多个LDR直方图产生一EDR直方图类似于如先前在图6、7和8中描述地从一系列LDR图像产生一EDR图像。在方块2210中可从该EDR直方图产生具有一试探性曝光值Tx的若干LDR直方图。Tx必须在预定范围内:多个LDR图像的最小曝光到最大曝光值。如果最优曝光确定单元210(见图2)认为该场景的具有当前曝光值的图像具有不合适的曝光值,那么可使用新的Tx曝光值。具有一特定曝光值的LDR直方图界定为将从具有该特定曝光值的一图像产生的同一LDR直方图。
图23展示另一实施例,其中在方块2302中从图像拾取设备202(见图2)取得一LDR图像。随后在方块2304中由此图像产生若干LDR直方图。如果最优曝光确定单元210(见图2)确定图像具有不合适的曝光,那么可从图像拾取设备202取得另一图像且重复该等步骤。
已描述成像系统204中的直方图产生单元206及其各种实施例。接下来将描述直方图特征提取单元208或简称为特征提取单元208。
典型的户外白天图片通常包括天空的部分、作为图片的主要焦点的主要主题、以及必须充分曝光的一亮物体。该主题可或可不在最亮部分中,取决于其周围环境。图片中天空部分的存在可导致成像系统的自动曝光给图片曝光不足,致使该主题过暗。因此,如果主题是图片的焦点,那么有需要即使在存在天空的情况下也使图像充分曝光。另一方面,如果一亮物体存在于图片内,那么仅聚焦于不在最亮部分中的主要主题可能过于增加曝光而致使亮物体被洗去。因此,有需要进行权衡以即使在图片中存在天空的情况下也实现该主要主题和该亮物体两者的曝光。
为了实现一充分曝光的图像,成像系统204包括图2所示的特征提取单元208。该特征提取单元识别对于最优曝光图像来说是重要的三个特征:天空的存在、主要主题、和亮物体。这些特征将分别称为天空峰、重要峰和右峰。
如图24所示,特征提取单元208可分别包括含天空峰检测器单元2404、重要峰检测器单元2406、和右峰检测器单元2408。各种该等检测器单元检查图像的若干直方图且提取若干特定的特性。
这些关键特征,即天空峰、重要峰、和右峰,提供当图像具有一最优曝光时用于直方图内容的指南。这三个特征意在作为指南且本质上不是限制性的。接下来将论述是什么构成直方图中的峰以理解这些特征和它们在图像中表示什么。
可将峰界定为直方图中的一组连续的若干顶点,其中仅有一局部最大值。图25a到25c展示可在直方图中找到的三种不同类型的峰。图25a展示第一类型的峰,峰1 2502。图25a展示直方图的一部分,其中该部分的一顶点在每一侧由具有较低y值的一顶点相邻。峰的最高点称为峰巅2410,而峰左边的最低点称为峰的左尾部2508且右边的最低点称为峰的右尾部2512。图25b展示仅在直方图的最右末端发现的第二类型的峰。峰22504在最后区间处有一峰巅2510。峰2504没有右尾部,仅有一左尾部2508,代表峰的最低点。最后,图25c展示峰3 2506,且仅在直方图的最左末端处发现。峰3的峰巅2510位于直方图的第一区间处。峰2510没有左尾部,但有一右尾部2512,代表峰的最低点。峰的左尾部和右尾部必须总是低于峰巅。紧靠尾部左边和右边的顶点必须高于尾部本身。紧靠峰巅左边和右边的顶点必须低于峰巅本身。在说明书中使用的一常见术语是任何直方图的最右峰。其实际上指具有直方图内最右的峰巅的峰。
参看图24,特征提取单元208接收若干直方图2402且提取该等直方图内的若干特征。三个主要检测器2404、2406和2408检测且测量该等直方图的若干关键特征2410,且将在最优曝光确定单元210中通过比较该等特征的峰巅的区间值与若干预定阈值来使用这些特征。
在户外白天图片中,图片的部分中天空的存在通常导致典型图像装置的自动曝光把图片的其余部分变暗。所揭示的曝光控制减轻天空区对曝光控制的影响。所揭示的方法首先识别天空区,随后在曝光控制计算中消除或将低加权因子指派给与天空区内的像素相关联的若干直方图区间。
白天图片的天空区通常是亮的。天空区的第一特性在于其通常由图像内的较亮像素构成。天空区的第二特性在于其通常主要为蓝色或绿色色调。如果由RGB颜色空间表示,那么天空区通常是RGB的G值和/或B值为突显。在HSV颜色空间中,峰出现在色调通道的蓝色区附近,例如约240度,且有相应的高V(亮度)。在YCrCb颜色空间中,亮蓝色由高的正Cb表示。此检测不限于该颜色空间,但在此实施例中使用RGB颜色空间。此对特性转变为在绿色和蓝色直方图的远右手侧处出现峰。对此观察给出术语天空峰,且下文将详细描述如何对其进行确定。
特征提取单元208的第一组件是天空峰检测器单元2404。图26展示天空峰检测器单元2404的一过程实施例。天空峰检测器单元起初在方块2602中找到一组三个通道直方图(红色、绿色和蓝色)中的若干最右峰。随后在决策方块2604中将蓝色直方图的最右峰与绿色直方图进行比较以核查两个峰是否彼此相似。如果某一峰与另一峰的三点:左尾部、峰巅或右尾部中的两者相隔1个区间以内,那么称该峰充分相似于其另一峰。另外,相似点中的数量应在一容限程度内充分接近。举例来说,如果峰A的左尾部位于区间3,峰巅位于区间5且右尾部位于区间8,且峰B的左尾部位于区间2,峰巅位于区间4且右尾部位于区间6,那么随后核查左尾部和峰巅处的数量以查看其是否在可容许的程度内,例如彼此相差10%。如果是,那么认为峰A相似于峰B。如果发现蓝色最右峰相似于绿色最右峰,那么在方块2614中下结论:,即图像中存在天空,在直方图内具有其对应的天空峰。
如果发现蓝色最右峰不相似于绿色最右峰,那么随后将在决策方块2606中核查红色直方图的最右峰与蓝色直方图的最右峰以寻找相似性。如果发现红色最右峰相似于蓝色直方图,那么随后在决策方块2608中将把蓝色最右峰的峰巅与红色最右峰的峰巅进行比较以确定蓝色最右峰的峰巅是否较高。如果蓝色最右峰的峰巅确实较高,那么天空峰存在。然而,如果红色最右峰不相似于蓝色最右峰或者如果它们相似但蓝色峰巅不高于红色峰巅,那么必须作另一比较。
在决策方块2610中,第三比较核查蓝色直方图的最右峰的峰巅是否高于红色最右峰和绿色最右峰两者的峰巅。如果蓝色峰巅较高,那么天空峰存在。否则必须作出第四比较。天空峰检测器单元将在决策方块2612中进行核查以确定蓝色直方图的最后顶点是否高于红色和绿色直方图的最后顶点。如果红色和绿色最后顶点低于蓝色最后顶点,那么天空峰存在。然而,如果所有标准均不满足,那么在方块2616中下结论:在直方图中没有天空峰且因此在图像中没有天空。
图27a到27b、28a到28b、29a到29c以及30a到30c说明用以确定是否存在天空峰的标准。在图27a和图27b中,说明图26所示的过程的在决策方块2604中比较蓝色与绿色最右峰的第一标准。图27a展示特定图像的一绿色直方图2702,而图27b展示同一图像的一蓝色直方图2706。使用分别如图27a中展示为2704和图27b中展示为2708的虚线圈来突出显示绿色和蓝色最右峰。如图27a和图27b所示,两个直方图的最右峰相对相似,其表示天空峰的存在。
图28a和图28b分别展示某一特定图像的一红色直方图2802和一蓝色直方图2808。将图28a中的红色直方图2804的最右峰与图28b中的蓝色最右峰2810进行比较且进行核查以确定其是否相似。从检查中可见,两个峰并不相似,且两个直方图的最右峰的蓝色峰巅2812比红色峰巅2806高得多,其表明天空峰的存在。
图29a、图29b和图29c展示在图26的流程图中在决策方块2610中使用的若干直方图。图29a展示具有一最右峰巅2904的红色直方图2902,图29b展示具有一最右峰巅2908的绿色直方图2906,且图29c展示具有一最右峰巅2912的蓝色直方图2910。通过视觉检查可见,蓝色峰巅2912为最高,表明天空峰的存在。
图30a到30c展示图26的流程图的决策方块2612中使用的若干直方图。图30a、图30b和图30c分别展示具有最后顶点3004的红色直方图3002、具有最后顶点3008的绿色直方图3006以及具有最后顶点3012的蓝色直方图3010。可看到,蓝色最后顶点3012高于红色最后顶点3004和绿色最后顶点3008。因此,天空峰存在。
特征提取单元208提取称为重要峰的一特征。重要峰代表图像内的某一主要主题。为了使图像在视觉上吸引人,此细节不应太亮或太暗。此特征可用以确定该图像是否具有合适的曝光。图31展示用于检测重要峰的过程。首先在方块3102、3104、3106和3108中找到所有四个通道的直方图的最高峰。这些峰不可对应于天空峰,且称为非天空峰。在方块3110中将从来自直方图中的每一者的这四个最高非天空峰中把具有最右峰巅的峰选择为一重要峰3112。
图32提供重要峰的检测的一图形实例。展示具有其最高非天空峰3204的一红色直方图3202、具有其最高非天空峰3208的一绿色直方图3206、具有其最高非天空峰3212的一蓝色直方图3210以及具有其最高非天空峰3216的辉度直方图3214。通过视觉检查可见,该红色峰巅位于最后区间处且是最右峰巅,且因此将该红色峰3204标记为一重要峰。举例来说,当图像曝光不足时,焦点的主题通常为暗的,因此,从此图片计算出的重要峰的峰巅的区间值可能位于若干较暗区间中。
将从特征提取单元208提取的最后特征是右峰。这可为重要峰的实施例或单独使用。右峰代表示该图像内的一亮物体。具有最优曝光的图像应使此细节不太亮也不太暗。图33展示右峰检测器单元如何从直方图测量和检测右峰。在方块3302、3304、3306和3308中在四个直方图中的每一者中检测不对应于天空峰的最右峰。当找到所有四个最右非天空峰时,在方块3310中确定具有最高峰巅的峰且在方块3312中标记为右峰。
图34是图33所示的过程的一图形表示。如图34的左手侧所示,分析同一图像的红色直方图3402、绿色直方图3406、蓝色直方图3410和辉度直方图3414。每一直方图的不对应于天空峰的若干最右峰分别展示为红色、绿色、蓝色和辉度直方图的3404、3408、3412和3416。峰3412的蓝色峰巅最高且标记为右峰,如图34的右手侧所示。举例来说,当图像曝光不足时,焦点的主题通常是暗的,使得从此图片计算的右峰的峰巅的区间值可能位于若干较暗区间中。
在视觉上吸引人的图像不应太暗或太亮。而并且,图像内的若干物体应具有充分的对比度。如果某一物体被洗去或太暗,那么在该物体与其最亮和最暗点之间将几乎不存在任何差异。此外,当将次最优曝光应用于该图像时,图片内的细节将丢失。
为了获得合意的图片,可使用四个标准来确定图像是否具有最优曝光。首先,图片中的暗区不应占据整个图像的大百分比。第二,如果图片含有天空的部分,那么在天空与该图像的其余部分之间应存在充分的对比度。第三,图片内的并非天空的部分的最亮主题或一重要细节应在其最亮点与该物体的其余部分之间具有充分的对比度。最后,图片中的物体的细节不应被洗去或太暗。
图像可由三种类型的像素界定:暗像素、中间范围像素和亮像素。举例来说,在8位RGB图像中,暗像素将最可能具有低于50的若干RGB值,亮像素具有RGB值中的至少一者高于200,且中间范围像素将为具有落在50与200之间的RGB值的若干像素。该等中间范围像素可能与属于该暗像素范围和该亮像素范围的一些像素重叠。在此实施例中,该三个范围不是严格排他的,且确实重叠。在最优曝光的图像中,天空将大多由亮像素组成,而大多数物体将主要由中间范围像素组成,其中小比例的图像由暗像素构成。
图35展示最优曝光确定单元210的一实施例。提供某一图像的直方图2402以及从直方图提取的特征2410两者以确定该图像是否具有充分曝光,直方图2402由直方图产生单元206或其它构件产生,特征2410通过特征提取单元208或其它构件提取。
最优曝光确定单元210包括一暗细节确定单元3502、一天空对比度确定单元3504、一峰对比度确定单元3506以及一称为波动确定单元3508的一众多细节检测单元,该波动确定单元3508测量前述的四个标准。所有四个测量确定图像是否具有合适的曝光,且产生此图像212。
将把该等标准称为暗细节、天空对比度、峰对比度和波动。该等标准各自首先被确定且随后与一预定阈值进行比较以用于四个通道中的每一者的直方图的最优曝光确定。用以确定最优曝光的测量是:
(a)暗细节:找到暗像素与全体暗像素和中间范围像素之间的比例。
(b)天空对比度:如果天空存在,那么检查天空的暗部分与其主要亮度之间的对比度。
(c)峰对比度:找到图像中的重要细节的亮部分与其主要亮度之间的对比度。
(d)波动:找到图片内的众多细节的存在。
暗细节测量图像的暗像素与全体暗像素和中间范围像素之间的比例。此比例用以确定图像是否具有合适的对比度。举例来说,可存在两种方式以找到暗细节,且所使用方法的选择取决于直方图中天空峰的存在。图36展示由暗细节确定单元3502处理的某一8区间直方图的一实例。在方块3602中,找到计算直方图的前两个顶点的数量的第一总和。这构成该暗像素。在决策方块3604中核查直方图以确定天空峰的存在。如果天空峰不存在,那么随后将该8区间直方图划分为三个部分。前两个顶点将被分类为暗像素,而最后2个区间将为亮像素。该等中间范围像素将为第二和至第七区间。在中间范围像素与暗像素之间以及中间范围像素与亮像素之间的区间中存在重叠。也可使用其中该等三个部分不重叠的其它实施例。该等中间范围像素将在第三与第六区间之间。如果天空峰存在,那么假定该等亮像素将包含在代表天空峰的若干区间中,而该前两个顶点将仍假定为暗像素。中间范围像素将包含在暗像素与亮像素之间的区间中。在此实施例中,中间范围像素将包含在暗像素与亮像素之间的区间中,包括该暗像素的最后区间和该天空峰的第一区间。也可使用中间范围像素不与天空峰重叠的其它实施例。
为了找到第一标准,即暗细节3612,找到暗像素的数目相对於暗像素和中间范围像素两者的数目的比率。在不存在天空峰时,这是通过取得在步骤3602中执行的前两个顶点的数量的总和相对於步骤3606中确定的前六个顶点的数量的总和的比率3610来完成的。另一方面,在存在天空峰时,在步骤3608中,中间范围像素的上限将从第六区间移位到天空峰的左尾部。
图37a和图37b展示不存在天空峰的一直方图3702。在图37a中找到8区间直方图的前两个顶点3704的数量的第一总和,其对应于图36中的流程图的方块3602。随后根据图36的过程方块3606如图37b所示计算前六个顶点3706的数量的第二总和。第一总和3704相对於第二总和3706的比率代表暗细节,图像的暗像素与除了亮像素以外的所有像素之间的对比度。
图38a和图38b展示具有天空峰3804的一直方图3802。计算3806前两个顶点的y值的第一总和3806。然而,在此方法中,根据图36的过程方块3608如图38b所示,第二总和3808将第一顶点到天空峰的左尾部3810的数量求和。通过找到第一总和3806相对於第二总和3808的比率来确定暗细节。将暗细节与一阈值进行比较以确定正在测量的图像的曝光是否充分。
天空对比度在天空存在的情况下测量天空的暗部分与其主要亮度之间的对比度。天空对比度测量当曝光增加时细节是否丢失。将其界定为天空峰的左尾部相对於峰巅的比率,其中左尾部代表天空的暗部分且峰巅表示具有天空的主要亮度的像素的区间值。图39展示由天空对比度确定单元3504执行以测量天空对比度的一过程。首先在决策方块3902中核查该直方图以确定其是否具有天空峰。如果天空峰存在,那么在方块3904中计算天空峰的左尾部的y值相对於峰巅的y值的比率。在方块3906中提供此比率作为天空对比度测量值。然而,如果不存在天空峰,那么如方块3908指示,无法确定天空对比度。
图40a和图40b展示各自有一天空峰的两个不同图像的两个直方图。图40a展示一直方图4002,其具有带有位于最后顶点处的峰巅4006和左尾部4004的天空峰。而图40b展示一直方图4008,其具有带有峰巅4012和左尾部4010的天空峰。两个直方图中每一者的天空对比度分别是4004相对於4006的比率以及4010相对於4012的比率。为了确定当前图像是否具有合适的曝光,天空对比度必须低于某一阈值。
峰对比度确定图像中的重要细节的亮部分与其主要亮度之间的对比度。其用于最优曝光测量以确保图像内的重要细节不会随着曝光增加而被洗去。图41展示确定峰对比度的一过程。在决策方块4102中核查直方图以确定其是否含有天空峰。如果其含有天空峰,那么在方块4104中找到或称为非天空峰的不对应于天空峰的下一个最右峰。否则如果不存在天空峰,那么在方块4106中找到该直方图的最右峰。接下来,在方块4108中计算在4104或4106中找到的最右非天空峰的右尾部的数量相对於其峰巅的数量的比率,且这是在方块4110中作为峰对比度来提供的测量值。
图42a到42b和43a到43b说明峰对比度的确定。在图42a和图42b中,针对天空峰核查直方图4202。发现存在天空峰4204且发现下一最右非天空峰4206。随后通过取得最右非天空峰4208的右尾部的数量相对於峰巅4210的数量的比率来找到峰对比度。在图43a和43b所示的第二直方图4302中,不存在天空峰。找到最右峰4304。峰对比度是峰4304的右尾部的数量相对於峰巅4308的数量的比率。峰对比度必须小于某一阈值,以便将当前图像确定为具有充分曝光。
最后,需要最后的测量值波动来确定特定图像的曝光是否充分。其测量图片内的在直方图中表示为波动或不平滑性的众多细节的存在。图片内的众多细节必须保持在某一最优曝光以内。如果细节的数目太小,那么曝光可能不充分。图44展示用于波动分析的过程。在方块4402中找到所选顶点,即顶点A,的数量相对於其紧邻的左顶点和右顶点的平均值之间的绝对差。这在方块4404和4406中通过改变关注中的顶点(顶点A)进行重复。在此实例中,找到三个顶点的绝对差,但可依据区间的大小和其它因数而使用任何数目的顶点。随后在方块4408中找到所有绝对差的总和,且在方块4410中将此作为波动而提供。
举例来说,可针对图45a到45d所示的一系列连续顶点将波动计算为顶点与其紧邻的靠左顶点和右顶点的平均值之间的所有绝对差的总和。图45a到45d展示具有8个区间的直方图4502。图45a展示Fluct1,其为顶点34506的y值与顶点24504和顶点44508的平均y值之间的绝对差。Fluct2是顶点44508的数量与顶点34506和顶点54510的平均值之间的绝对差且在图45b中展示。图45c中展示的Fluct3是顶点54510的y值与顶点44508和顶点64512的平均值之间的绝对差。在图45d中,Fluct4是顶点64512与顶点54510和顶点74514的平均值之间的y值的绝对差。然后波动是Fluct1、Fluct2、Fluct3和Fluct4的总和。波动必须高于某一阈值,以便确定图片内许多细节的存在且因此确定曝光的充分性。这是计算测量值波动的一个实例。可提出其它公式来计算波动,只要其指示直方图曲线中的波纹。
上述公式可表达为:
Σ i n | | ( ( Y i - 1 + Y i + 1 ) 2 - Y i ) | |
可提出的其它公式包含:
( Σ i n ( Y i - Y i - 1 ) 2 )
( Σ i n ( Y i - Y i - 1 2 - Y i + 1 2 ) 2 )
除了上文提到的四个参数:暗细节、天空对比度、峰对比度和波动以外,从该等直方图提取的特征也可用以确定曝光的最优性。如特征提取单元208的实施例中提到的这些特征是天空峰、重要峰和右峰。将这三个特征的特性与若干预定阈值进行比较以核查图像是否具有最优曝光。
给定这些参数和特征,很多标准可用来确定曝光是否是次最优的。这些标准将若干特征和若干参数与若干预定阈值进行比较。这些阈值从实验上发现为该等特征和该等参数给出最佳结果。除了测量直方图中的不平滑性的波动以外,该等参数通常是以分数或百分比来测量,且该等特征是用来找到该等参数的。如果暗细节超过一半,那么这意味着暗像素占据图像的超过一半,且图像被视为太暗,且曝光是次最优的。如果天空对比度大于50%,那么在天空的最暗部分与整个天空之间缺少对比度,这意味着图像的细节因过度曝光而丢失。过度曝光的另一标志是在峰对比度测量值超过50%时。
另一方面,当存在亮像素和暗像素的平衡比率时曝光可为近最优的。这是当天空对比度在五分之一左右而暗细节在三分之一左右时实现的。此外,当多个细节出现(由高波动指示)时曝光可为最优的。重要峰和右峰的峰巅也将在直方图的上半部处,且当曝光为近最优时暗细节小于五分之一。
重要峰或右峰的峰巅的区间值的若干阈值可在较低区间值与较高区间值之间变化,取决於该测试是给一曝光不足或一曝光过度的图像。暗细节的阈值通常针对最优曝光图像有小于70%的值,而天空对比度的阈值则在5%与60%之间变化,取决於该测试是给曝光不足还是曝光过度以及天空对比度是与哪些其它参数配对。波动的阈值通常在多个细节出现时具有高值,且这些值高于200,且峰对比度的阈值通常在50%左右。
图46和47展示可如何使用标准来决定增加或减少曝光的一实施例。图46展示确定是否增加曝光的一过程。决策方块4602核查以查看重要峰或右峰的峰巅的区间值是否小于3。如果测试是肯定的,且如果在决策方块4604中发现暗细节大于55%,那么可在方块4610中增加曝光。然而,如果来自决策方块4602的测试为否定的且在决策方块4606中发现暗细节大于45%,那么也可在方块4610中增加曝光。在决策方块4608中,该过程确定暗细节是否大于35%且天空对比度是否小于5%。如果测试为肯定的,那么也可增加曝光,否则不增加曝光。
图47展示确定是否减少曝光的一过程。在决策方块4702中,该过程确定天空对比度是否大于50%,而在决策方块4704该过程确定天空对比度是否大于20%且暗细节是否小于35%。在决策方块4706中,该过程确定波动是否大于200。该过程在决策方块4708中确定暗细节是否小于35%,且在决策方块4710中确定重要峰或右峰的峰巅的区间值是否大于3且暗细节是否小于20%。在决策方块4712该过程确定峰对比度是否大于50%且暗细节是否小于45%,且还在决策方块4714中确定天空对比度是否小于10%且峰对比度是否大于50%。
如果决策方块4702或4704的测试为肯定的,那么在方块4716中减少曝光。否则,如果决策方块4706和4710的测试均为肯定的,或者如果决策方块4706的测试为否定的而决策方块4708的测试为肯定的,那么也是减少曝光。如果所有上述条件均不满足,那么使用来自决策方块4712和4714的结果。如果任一测试为肯定的,那么减少曝光。
虽然已在附图中描述和展示了某些示范性实施例,但应了解,所述实施例仅说明而不是限制广泛的发明,且本发明不限于所展示和描述的特定构造和布置,因为所属领域的技术人员可想到各种其它修改。

Claims (1)

1.一种图像产生方法,其包括:
由直方图产生单元接收一场景的具有不同曝光的多个低动态范围图像;
从所述多个低动态范围图像产生具有由所述多个低动态范围图像的最小曝光值和最大曝光值确定的范围的扩展动态范围图像;以及
由所述扩展动态范围图像产生单个或多个具有在所述最小曝光值和最大曝光值之间的曝光值的低动态范围图像。
CN200880100606.5A 2007-07-25 2008-07-16 用于成像系统的曝光控制 Expired - Fee Related CN101803366B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US96202807P 2007-07-25 2007-07-25
US60/962,028 2007-07-25
US12/218,742 US8264594B2 (en) 2007-07-25 2008-07-16 Exposure control for an imaging system
US12/218,742 2008-07-16
PCT/IB2008/003793 WO2009050594A2 (en) 2007-07-25 2008-07-16 Exposure control for an imagning system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201410751738.1A Division CN104618659A (zh) 2007-07-25 2008-07-16 用于成像系统的曝光控制

Publications (2)

Publication Number Publication Date
CN101803366A CN101803366A (zh) 2010-08-11
CN101803366B true CN101803366B (zh) 2015-01-14

Family

ID=40294977

Family Applications (2)

Application Number Title Priority Date Filing Date
CN200880100606.5A Expired - Fee Related CN101803366B (zh) 2007-07-25 2008-07-16 用于成像系统的曝光控制
CN201410751738.1A Pending CN104618659A (zh) 2007-07-25 2008-07-16 用于成像系统的曝光控制

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201410751738.1A Pending CN104618659A (zh) 2007-07-25 2008-07-16 用于成像系统的曝光控制

Country Status (10)

Country Link
US (5) US8264594B2 (zh)
JP (3) JP5189649B2 (zh)
CN (2) CN101803366B (zh)
BR (1) BRPI0814365A2 (zh)
DE (1) DE112008001990B4 (zh)
ES (1) ES2396318B1 (zh)
GB (2) GB2464441B (zh)
HK (2) HK1143015A1 (zh)
MX (1) MX2010000931A (zh)
WO (1) WO2009050594A2 (zh)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5118129B2 (ja) * 2007-03-06 2013-01-16 パナソニック株式会社 撮像装置、編集装置、画像処理方法及びプログラム
KR20110043833A (ko) * 2009-10-22 2011-04-28 삼성전자주식회사 퍼지룰을 이용한 디지털 카메라의 다이나믹 레인지 확장모드 결정 방법 및 장치
CN102129148A (zh) * 2010-01-20 2011-07-20 鸿富锦精密工业(深圳)有限公司 相机及照片拍摄与处理方法
JP5621335B2 (ja) * 2010-06-14 2014-11-12 株式会社リコー 画像処理装置及び画像処理方法、並びに画像撮像装置
JP2012050073A (ja) * 2010-07-30 2012-03-08 Nikon Corp 撮像装置及び画像合成プログラム
US8493500B2 (en) * 2010-10-27 2013-07-23 Apple Inc. Auto exposure blowout prevention
US9813632B2 (en) * 2011-05-19 2017-11-07 Foveon, Inc. Method of adjusting digital camera image processing parameters
KR101820497B1 (ko) * 2011-07-27 2018-01-22 삼성디스플레이 주식회사 표시 장치 및 그 구동 방법
WO2013040073A1 (en) * 2011-09-12 2013-03-21 Google Inc. System for enhancing content
WO2013039730A2 (en) * 2011-09-15 2013-03-21 Dolby Laboratories Licensing Corporation Method and system for backward compatible, extended dynamic range encoding of video
JP2013077879A (ja) * 2011-09-29 2013-04-25 Sony Corp 撮像装置と撮像方法およびプログラム
JP5856464B2 (ja) * 2011-12-14 2016-02-09 理想科学工業株式会社 画像処理装置および画像処理方法
US9479705B2 (en) * 2012-02-13 2016-10-25 Htc Corporation Exposure value adjustment apparatus, method, and non-transitory tangible machine-readable medium thereof
GB2499668B (en) * 2012-02-27 2019-03-06 Apical Ltd Exposure controller
JP6120500B2 (ja) * 2012-07-20 2017-04-26 キヤノン株式会社 撮像装置およびその制御方法
JP6259185B2 (ja) * 2012-12-21 2018-01-10 キヤノン株式会社 撮像装置及びその制御方法、プログラム並びに記憶媒体
US9307207B2 (en) * 2013-01-07 2016-04-05 GM Global Technology Operations LLC Glaring reduction for dynamic rearview mirror
NZ709731A (en) * 2013-01-15 2016-12-23 Avigilon Corp Imaging apparatus with scene adaptive auto exposure compensation
JP6020199B2 (ja) 2013-01-24 2016-11-02 株式会社ソシオネクスト 画像処理装置、方法、及びプログラム、並びに撮像装置
CN103973988B (zh) * 2013-01-24 2018-02-02 华为终端(东莞)有限公司 场景识别方法及装置
US8982238B2 (en) 2013-07-02 2015-03-17 Omnivision Technologies, Inc. Multi-target automatic exposure and gain control based on pixel intensity distribution
US9870375B2 (en) * 2013-12-20 2018-01-16 Nvidia Corporation Image analysis of display content for dynamic adjustment of a continuous scan display
US9830871B2 (en) 2014-01-03 2017-11-28 Nvidia Corporation DC balancing techniques for a variable refresh rate display
US9711099B2 (en) 2014-02-26 2017-07-18 Nvidia Corporation Techniques for avoiding and remedying DC bias buildup on a flat panel variable refresh rate display
US9344638B2 (en) 2014-05-30 2016-05-17 Apple Inc. Constant bracket high dynamic range (cHDR) operations
US9380218B2 (en) 2014-05-30 2016-06-28 Apple Inc. Highlight exposure metric and its applications
JP2016006930A (ja) * 2014-06-20 2016-01-14 ソニー株式会社 撮像装置および撮像方法
US9361502B2 (en) * 2014-07-31 2016-06-07 Symbol Technologies, Llc System for, and method of, controlling target illumination for an imaging reader
CN105160636A (zh) * 2015-07-09 2015-12-16 北京控制工程研究所 一种面向星上光学成像敏感器的自适应图像预处理方法
CN106534708B (zh) * 2015-09-15 2020-02-18 瑞昱半导体股份有限公司 宽动态范围影像方法
DE102015119137B3 (de) * 2015-11-06 2017-06-08 Hochschule Rheinmain University Of Applied Sciences Wiesbaden Rüsselsheim Erfindung betreffend Verfahren zur Blendeneinstellung
CN105554494B (zh) * 2015-12-09 2018-09-11 浙江省公众信息产业有限公司 雪点图像检测方法和装置以及视频质量检测装置和系统
JP2017139678A (ja) * 2016-02-05 2017-08-10 Necプラットフォームズ株式会社 画像データ変換装置、画像データ変換方法、画像データ変換用プログラム、pos端末装置、及びサーバ
US9940898B2 (en) 2016-02-25 2018-04-10 Nvidia Corporation Variable refresh rate video capture and playback
CN106657946B (zh) 2017-01-12 2019-03-01 深圳岚锋创视网络科技有限公司 图像紫边消除系统和方法
US10706512B2 (en) * 2017-03-07 2020-07-07 Adobe Inc. Preserving color in image brightness adjustment for exposure fusion
JP7075272B2 (ja) 2018-04-20 2022-05-25 キヤノン株式会社 画像処理装置、情報表示装置、制御方法、及びプログラム
JP7075271B2 (ja) * 2018-04-20 2022-05-25 キヤノン株式会社 画像処理装置、情報表示装置、制御方法、及びプログラム
CN112840637B (zh) * 2018-09-07 2022-04-05 杜比实验室特许公司 自动曝光方法
EP3620765B1 (en) 2018-09-10 2020-11-04 Axis AB Method and system for filtering thermal image data
TWI697867B (zh) * 2018-12-12 2020-07-01 晶睿通訊股份有限公司 測光補償方法及其相關監控攝影設備
US11265484B1 (en) 2020-12-16 2022-03-01 Waymo Llc Systems and methods for automatic exposure of images

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1206130A1 (en) * 2000-11-07 2002-05-15 Eastman Kodak Company Method and system for generating a low resolution image from a sparsely sampled extended dynamic range image
CN1874499A (zh) * 2006-05-12 2006-12-06 北京理工大学 一种高动态、超分辨率图像重建装置

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5194960A (en) * 1990-03-05 1993-03-16 Konica Corporation Optical image signal control device
US5929908A (en) * 1995-02-03 1999-07-27 Canon Kabushiki Kaisha Image sensing apparatus which performs dynamic range expansion and image sensing method for dynamic range expansion
US5633511A (en) * 1995-12-22 1997-05-27 Eastman Kodak Company Automatic tone scale adjustment using image activity measures
US5828793A (en) * 1996-05-06 1998-10-27 Massachusetts Institute Of Technology Method and apparatus for producing digital images having extended dynamic ranges
US5822453A (en) * 1996-12-10 1998-10-13 Eastman Kodak Company Method for estimating and adjusting digital image contrast
US6101294A (en) * 1997-06-02 2000-08-08 Sarnoff Corporation Extended dynamic imaging system and method
JPH11202378A (ja) * 1998-01-09 1999-07-30 Fuji Photo Film Co Ltd 露出制御装置およびその制御方法
US6694051B1 (en) * 1998-06-24 2004-02-17 Canon Kabushiki Kaisha Image processing method, image processing apparatus and recording medium
JP3458741B2 (ja) * 1998-12-21 2003-10-20 ソニー株式会社 撮像方法及び撮像装置、画像処理方法及び画像処理装置
JP4284570B2 (ja) * 1999-05-31 2009-06-24 ソニー株式会社 撮像装置及びその方法
JP2001036806A (ja) * 1999-07-16 2001-02-09 Asahi Optical Co Ltd 電子カメラの露光制御装置
US7006668B2 (en) * 1999-12-28 2006-02-28 Canon Kabushiki Kaisha Image processing method and image processing apparatus
US6850642B1 (en) * 2000-01-31 2005-02-01 Micron Technology, Inc. Dynamic histogram equalization for high dynamic range images
US6717698B1 (en) * 2000-02-02 2004-04-06 Eastman Kodak Company Tone scale processing based on image modulation activity
US7342609B2 (en) * 2000-05-09 2008-03-11 Eastman Kodak Company Exposure adjustment in an imaging apparatus
CN1520580A (zh) * 2000-07-06 2004-08-11 ŦԼ�и��ױ��Ǵ�ѧ�йܻ� 用于增强数据解析度的方法和设备
JP2002044515A (ja) * 2000-07-28 2002-02-08 Sanyo Electric Co Ltd ディジタルカメラ
JP4554094B2 (ja) * 2001-01-26 2010-09-29 オリンパス株式会社 撮像装置
US7298402B2 (en) * 2000-10-26 2007-11-20 Olympus Corporation Image-pickup apparatus with expanded dynamic range capabilities
JP4783985B2 (ja) * 2001-02-28 2011-09-28 日本電気株式会社 映像処理装置、映像表示装置及びそれに用いる映像処理方法並びにそのプログラム
US6516154B1 (en) * 2001-07-17 2003-02-04 Eastman Kodak Company Image revising camera and method
JP3948229B2 (ja) * 2001-08-01 2007-07-25 ソニー株式会社 画像撮像装置及び方法
JP3994721B2 (ja) * 2001-11-21 2007-10-24 ソニー株式会社 画像撮像装置及び方法
US20030103158A1 (en) * 2001-12-05 2003-06-05 Creo Il. Ltd. System and method for the formation of multiple exposure images
US7215828B2 (en) * 2002-02-13 2007-05-08 Eastman Kodak Company Method and system for determining image orientation
JP2003274427A (ja) * 2002-03-15 2003-09-26 Canon Inc 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム
US20040008267A1 (en) * 2002-07-11 2004-01-15 Eastman Kodak Company Method and apparatus for generating images used in extended range image composition
JP3801126B2 (ja) * 2002-09-25 2006-07-26 ソニー株式会社 撮像装置,撮像装置の画像出力方法,およびコンピュータプログラム
US7430011B2 (en) * 2003-01-22 2008-09-30 Omnivision Technologies, Inc. Image sensor having dual automatic exposure control
JP2004245923A (ja) * 2003-02-12 2004-09-02 Fuji Photo Film Co Ltd オートブラケティング撮影方法
US7142723B2 (en) * 2003-07-18 2006-11-28 Microsoft Corporation System and process for generating high dynamic range images from multiple exposures of a moving scene
JP2005072949A (ja) * 2003-08-25 2005-03-17 Casio Comput Co Ltd 画像撮影装置及びプログラム
US7336819B2 (en) * 2003-12-29 2008-02-26 Eastman Kodak Company Detection of sky in digital color images
US8218625B2 (en) * 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
JP2005348115A (ja) * 2004-06-03 2005-12-15 Canon Inc 明度補正画像生成装置および明度補正画像生成方式
US20050275737A1 (en) * 2004-06-10 2005-12-15 Cheng Brett A System and method for effectively utilizing a live preview mode in an electronic imaging device
CN100492152C (zh) * 2004-08-23 2009-05-27 英华达股份有限公司 将一高动态范围影像转换成一低动态范围影像的方法及其装置
JP2006081037A (ja) * 2004-09-10 2006-03-23 Eastman Kodak Co 撮像装置
JP4733419B2 (ja) * 2005-04-26 2011-07-27 富士フイルム株式会社 合成画像データ生成装置およびその制御方法ならびにその制御プログラム
US7352410B2 (en) * 2005-05-31 2008-04-01 Kolorific, Inc. Method and system for automatic brightness and contrast adjustment of a video source
JP2007019726A (ja) * 2005-07-06 2007-01-25 Olympus Corp 撮像装置
US8018999B2 (en) * 2005-12-05 2011-09-13 Arcsoft, Inc. Algorithm description on non-motion blur image generation project
KR100801758B1 (ko) * 2006-01-19 2008-02-11 엠텍비젼 주식회사 이미지 센서 및 그 제어 방법
JP4306752B2 (ja) * 2007-03-19 2009-08-05 ソニー株式会社 撮像装置、測光方法、輝度算出方法、プログラム
US7548689B2 (en) * 2007-04-13 2009-06-16 Hewlett-Packard Development Company, L.P. Image processing method
JP5083046B2 (ja) * 2008-06-03 2012-11-28 ソニー株式会社 撮像装置及び撮像方法
JP4770907B2 (ja) * 2008-10-21 2011-09-14 ソニー株式会社 撮像装置、撮像方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1206130A1 (en) * 2000-11-07 2002-05-15 Eastman Kodak Company Method and system for generating a low resolution image from a sparsely sampled extended dynamic range image
CN1874499A (zh) * 2006-05-12 2006-12-06 北京理工大学 一种高动态、超分辨率图像重建装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP特开2004-180308A 2004.06.24 *

Also Published As

Publication number Publication date
ES2396318B1 (es) 2013-12-16
BRPI0814365A2 (pt) 2018-07-31
GB2464441A (en) 2010-04-21
JP2013138449A (ja) 2013-07-11
JP5189649B2 (ja) 2013-04-24
US20160028932A1 (en) 2016-01-28
US20120218434A1 (en) 2012-08-30
DE112008001990T5 (de) 2010-09-09
CN101803366A (zh) 2010-08-11
GB2488683B (en) 2012-10-10
WO2009050594A2 (en) 2009-04-23
CN104618659A (zh) 2015-05-13
HK1143015A1 (zh) 2010-12-17
WO2009050594A3 (en) 2009-11-12
ES2396318A1 (es) 2013-02-20
US8334924B2 (en) 2012-12-18
GB201003139D0 (en) 2010-04-14
GB201206086D0 (en) 2012-05-16
GB2464441B (en) 2012-10-17
GB2488683A (en) 2012-09-05
MX2010000931A (es) 2010-04-21
JP2011503915A (ja) 2011-01-27
US20090027545A1 (en) 2009-01-29
DE112008001990B4 (de) 2015-05-13
US8792049B2 (en) 2014-07-29
US20130223739A1 (en) 2013-08-29
US8264594B2 (en) 2012-09-11
JP2014233075A (ja) 2014-12-11
US20120013789A1 (en) 2012-01-19
HK1175340A1 (en) 2013-06-28
JP5590476B2 (ja) 2014-09-17
US8451371B2 (en) 2013-05-28

Similar Documents

Publication Publication Date Title
CN101803366B (zh) 用于成像系统的曝光控制
CN101283604B (zh) 具有自动白平衡的图像处理设备
US8295606B2 (en) Device and method for detecting shadow in image
CN101523897B (zh) 具有降低噪声的电子图像捕获
US9432589B2 (en) Systems and methods for generating high dynamic range images
US8416316B2 (en) Apparatus and method for adjusting white balance in a digital imaging device
CN100377576C (zh) 数字视频处理装置及其处理方法
EP1868374A2 (en) Image processing apparatus, image capture apparatus, image output apparatus, and method and program for these apparatus
CN111739110B (zh) 一种图像过暗或过曝检测方法及装置
US20050012832A1 (en) Image processing apparatus and method
KR20090111136A (ko) 최적 영상 선택 방법 및 장치
US7949182B2 (en) Combining differently exposed images of the same object
CN113748426A (zh) 实时馈送中的内容感知的pq范围分析仪和色调映射
US20040012700A1 (en) Image processing device, image processing program, and digital camera
JP3631022B2 (ja) 撮像装置および信号処理装置
Sá et al. High dynamic range image reconstruction
CN113822819B (zh) Hdr场景检测方法与装置、终端及可读存储介质
JP3907654B2 (ja) 撮像装置および信号処理装置
KR19980079137A (ko) 칼라 화상으로부터 조명의 칼라를 결정하는 방법
CN115086566A (zh) 图片场景检测方法、装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1143015

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1143015

Country of ref document: HK

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150114

Termination date: 20190716