CN103518223A - 高动态范围图像的白平衡优化 - Google Patents

高动态范围图像的白平衡优化 Download PDF

Info

Publication number
CN103518223A
CN103518223A CN201280022357.9A CN201280022357A CN103518223A CN 103518223 A CN103518223 A CN 103518223A CN 201280022357 A CN201280022357 A CN 201280022357A CN 103518223 A CN103518223 A CN 103518223A
Authority
CN
China
Prior art keywords
image
white balance
sensor
bright area
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280022357.9A
Other languages
English (en)
Other versions
CN103518223B (zh
Inventor
鲁宾·M·贝拉尔德
卡林·M·阿塔纳索夫
塞波·罗伯特·洪
梁亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN103518223A publication Critical patent/CN103518223A/zh
Application granted granted Critical
Publication of CN103518223B publication Critical patent/CN103518223B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Exposure Control For Cameras (AREA)
  • Image Processing (AREA)

Abstract

本发明揭示用以改进高动态范围图像的白平衡的系统和方法。在特定实施例中，一种成像装置包含相机传感器和处理器，所述处理器经配置以捕获场景的较亮图像和较暗图像。所述处理器接着经配置以基于所述图像的较亮区域对所述较亮图像进行白平衡，和基于所述图像的较暗区域对所述较暗图像进行白平衡。可以接着组合所述两个图像以产生最终图像。

Description

高动态范围图像的白平衡优化
技术领域
本发明总体上涉及图像的白平衡。更具体地说，本发明涉及用于对高动态范围图像进行白平衡的系统和方法。
背景技术
技术进步已经产生更小且更强大的计算装置。举例来说，当前存在多种便携式个人计算装置，包含无线计算装置，例如较小、轻重量且易于由用户携带的便携式无线电话、个人数字助理(PDA)和寻呼装置。更具体来说，便携式无线电话(例如，蜂窝式电话和因特网协议(IP)电话)可经由无线网络传送语音和数据包。此外，许多此类无线电话包含并入其中的其它类型装置。举例来说，无线电话还可包含数字照像机、数字摄像机、数字记录器和音频文件播放器。而且，所述无线电话可处理可执行指令，其包含可用以接入因特网的软件应用程序，例如，网页浏览器应用程序。因而，这些无线电话可包含显著的计算能力。
数字信号处理器(DSP)、图像处理器和其它处理装置常常用于包含数码相机或显示数码相机捕获的图像或视频数据的便携式个人计算装置。这些处理装置可以用于提供视频和音频功能，并且处理接收到的数据，例如捕获到的图像数据。
数码相机捕获的图像数据或视频数据的动态范围指示可以精确解析的最高亮度级与最低亮度级之间的比率。图像的动态范围可能随图像的曝光时间变化。在一些情况下，可能使用两个不同的预设曝光时间来捕获图像。例如，获得一个场景的第一曝光，然后捕获一个场景在所述曝光时间的1/2、1/3或1/4的第二曝露。第一曝光是用于提供较暗的图像区域，并且第二较短曝光是用于提供较亮的图像区域。接着组合所得的两个曝光以创建高动态范围(HDR)图像，所述图像具有所述图像的亮区域和暗区域中的恰当曝光。但是，因为这种方法使用固定曝光时间，所以其未用其捕获亮区域和暗区域的方式提供灵活性，因为第二帧始终是作为第一帧的曝光的百分比捕获的。
此外，传统的白平衡算法对于特定图像利用单一的白平衡增益集合。当这些传统的技术被应用于高动态范围图像时，复合图像的两个或两个以上区域的变化照度可能迫使产生非正常的白平衡，并且有损于所得图像的质量。
发明内容
所揭示的技术解决上文所描述的问题。首先，针对特定照明源优化将被组合以形成高动态范围的每一源图像的曝光。举例来说，可以曝光一个源图像以便针对场景的暗区域优化，而针对场景的亮区域优化第二源图像的曝光参数。此技术消除由上文相对于一些现有技术所描述的固定曝光划界所造成的次优曝光。
接下来，基于图像的曝光经过优化的区域对每一源图像进行白平衡。举例来说，如果针对第一源图像的亮区域优化了所述区域的曝光，则其白平衡仅基于来自同一亮区域的数据。类似地，接着基于暗区域对曝光经过优化以捕获暗区域的图像进行白平衡。通过考虑曝光参数进一步改进这两个图像的白平衡方法。
在特定实施例中，揭示了一种产生高动态范围数字图像的方法，其包含从至少一个传感器捕获场景的第一图像，其中所述第一图像具有亮区域和暗区域，并且其中所述第一图像是使用基于所述亮区域的第一曝光设置捕获的，并且其中所述第一图像的白平衡是通过所述亮区域确定的。所述方法包含从至少一个传感器捕获所述场景的第二图像，其中所述第二图像是使用基于所述暗区域的第二曝光设置捕获的，并且其中所述第二图像的所述白平衡是通过所述暗区域确定的；以及通过组合所述第一图像和所述第二图像产生高动态范围数字图像。
在所述方法的一个实施例中，所述高动态范围数字图像是通过组合所述第一图像的所述亮区域与所述第二图像的所述暗区域产生的。在另一实施例中，所述第一区域的所述白平衡还是基于所述第一曝光设置确定的，并且所述第二区域的所述白平衡还是基于所述第二曝光设置确定的。在一些实施例中，所述白平衡仅应用于所述第一图像的亮区域和所述第二图像的暗区域。在其它实施例中，所述第一曝光设置是通过以下方式确定的：创建所述第一图像的第一亮度直方图；根据所述第一亮度直方图识别阈值；以及基于所述阈值确定所述亮区域。在一些实施例中，仅存在一个传感器。在其它实施例中，存在至少两个传感器，并且所述第一图像是通过第一传感器捕获的，并且所述第二图像是通过第二传感器捕获的。
其它实施例包含一种成像装置，其包括相机传感器和处理器，所述处理器经配置以：从至少一个传感器捕获场景的第一图像，其中所述第一图像具有亮区域和暗区域，并且其中所述第一图像是使用基于所述亮区域的第一曝光设置捕获的，并且其中所述第一图像的白平衡是通过所述亮区域确定的。所述处理器进一步经配置以从至少一个相机传感器捕获所述场景的第二图像，其中所述第二图像是使用基于所述暗区域的第二曝光设置捕获的，并且其中所述第二图像的所述白平衡是通过所述暗区域确定的。所述处理器还经配置以组合所述第一图像和第二图像以产生最终图像。实施例的装置还包括用于存储最终图像的存储装置。
在所述装置的一些实施例中，所述第一曝光设置是通过以下方式确定的：创建所述第一图像的第一亮度直方图；根据所述第一亮度直方图识别阈值；以及基于所述阈值确定所述亮区域。在其它实施例中，所述装置进一步包括第二相机传感器，其中所述至少一个传感器是两个传感器，包括第一相机传感器和第二相机传感器。在一些实施例中，最终图像是快照。在一些实施例中，所述成像装置的处理器进一步经配置以基于所述第一曝光设置条件性地确定所述第一区域的白平衡，和基于所述第二曝光设置条件性地确定所述第二区域的白平衡。在一些实施例中，所述成像装置的处理器经配置以重复地执行其步骤。在所述成像装置的一些实施例中，所述处理器进一步经配置以基于所述第一曝光设置条件性地确定所述第一区域的白平衡，和基于所述第二曝光设置条件性地确定所述第二区域的白平衡。在所述成像装置的其它实施例中，所述处理器进一步经配置以基于所述第一曝光设置条件性地确定所述第一区域的白平衡，和基于所述第二曝光设置条件性地确定所述第二区域的白平衡。
一些实施例包括一种非暂时计算机可读媒体，其包含操作以使得处理器进行以下操作的处理器可执行第一指令：从至少一个传感器捕获场景的第一图像，其中所述第一图像具有亮区域和暗区域，并且其中所述第一图像是使用基于所述亮区域的第一曝光设置捕获的，并且其中所述第一图像的白平衡是通过所述亮区域确定的；和从至少一个传感器捕获所述场景的第二图像，其中所述第二图像是使用基于所述暗区域的第二曝光设置捕获的，并且其中所述第二图像的所述白平衡是通过所述暗区域确定的；以及组合所述第一图像和第二图像以产生最终图像。在一些实施例中，所述第一曝光设置是通过以下方式确定的：创建所述第一图像的第一亮度直方图；根据所述第一亮度直方图识别亮阈值；以及基于所述亮阈值确定所述亮区域。其它实施例还包含操作以使得所述处理器重复地执行所述第一指令的第二指令。
用于高动态范围图像组合的改进的白平衡的实施例提供的一个特定优点是对于真实图像照度的更精确表示，不管用于构成最终图像的变化曝光时间如何。
在审视整个申请案后，将明白本发明的其它方面、优点和特征，申请案包含以下部分：附图说明、具体实施方式和权利要求书。
附图说明
图1是包含具有高动态范围(HDR)组合模块和HDR压缩模块的图像处理系统的系统的特定说明性实施例的框图。
图2是自动曝光控制系统的说明性实施例的数据流图。
图3是包含区域识别模块和自动白平衡模块的高动态范围图像组合系统的说明性实施例的框图。
图4A和4C是两个图像。图4a是用短曝光获得的，并且图4c是用长曝光获得的。图4b和图4d图解说明每一图像内适合于优化白平衡操作的区域的识别。
图5是区域识别模块的说明性实施例的流程图。
图6是展示具有亮区域和暗区域的亮度直方图的阈值的曲线图。
图7是高动态范围图像组合方法的第一说明性实施例的流程图。
图8是对数字图像进行自动白平衡的方法的说明性实施例的流程图。
图9是作为自动白平衡过程的一部分的收集帧统计数据的方法的说明性实施例的流程图。
图10是作为自动白平衡方法的一部分分析帧统计数据以确定参考光源的方法的说明性实施例的流程图。
图11是包含高动态范围组合模块的装置的特定实施例的的框图。
图12是包含高动态范围组合模块的无线通信装置的框图。
具体实施方式
本文揭示的实施方案提供用于对高动态范围图像进行白平衡的系统、方法和设备。具体来说，本实施例预期基于场景的暗区域或亮区域捕获场景的图像。所述实施例进一步预期基于亮区域或暗区域对图像进行白平衡。所属领域的技术人员将认识到，这些实施例可能是用硬件、软件、固件或其任何组合来实施。
在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述实例。举例来说，可以在框图中展示电组件/装置，以免用不必要的细节混淆所述实例。在其它例子中，可详细展示此些组件、其它结构和技术以进一步解释所述实例。
还应注意，可能将所述实例描述成过程，这个过程被描绘成程序图、流程图、有限状态图、结构图或框图。虽然流程图可能将操作描述成顺序过程，但是许多操作可以并行或同时执行，并且所述过程可以重复。另外，可重新布置操作的次序。过程在其操作完成时终止。过程可以对应于方法、功能、程序、子例程、子程序等。当过程对应于软件功能时，过程的终止对应于功能返回到调用功能或主功能。
所属领域的技术人员将了解，可使用多种不同技术和技法中的任一者来表示信息和信号。举例来说，可由电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任何组合来表示在以上描述中始终参考的数据、指令、命令、信息、信号、位、符号和码片。
图1是包含图像处理系统130的系统的特定说明性实施例的框图，图像处理系统130具有高动态范围(HDR)组合模块116和使用局部和全局映射的HDR压缩模块118。系统100包含图像捕获装置101，其耦合到图像处理系统130。图像处理系统130耦合到图像存储装置140和显示装置170。图像处理系统130经配置以从图像捕获装置101接收使用不同曝光时间的多个图像数据集合109，并且创建与低动态范围(LDR)传递、存储和显示机构相容的HDR图像。通常，系统100可实施于电子装置中，所述电子装置经配置以使用相对有限的处理资源来执行实时图像处理。
在特定实施例中，图像捕获装置101是相机，例如摄像机或照像机。图像捕获装置101包括镜头102，其响应于聚焦模块104和曝光模块106。图像传感器108经耦合以经由镜头102接收光，并且响应于经由镜头102接收到的图像而产生图像数据109。聚焦模块104可响应于传感器108，且可能适于自动地控制镜头102的聚焦。曝光模块106还可响应于传感器108，并且可能适于控制图像的曝光和改变有待组合成HDR图像的多个图像的曝光。在特定实施例中，传感器108包含多个检测器或像素井，其经布置以使得相邻检测器检测不同色彩的光。举例来说，所接收到的光可经过滤以使得每一检测器接收红色、绿色或蓝色传入光。
在一些实施例中，具体来说那些在移动装置中实施的实施例中，传感器通常包含曝光时间和增益设置。在这些实施例中，自动曝光模块106不仅将控制镜头102以进行曝光和增益控制，而且控制传感器108以进行光圈和快门控制。除了较高端较昂贵的实施例之外，一般不在这些装置中利用机械快门和光圈控制。
图像捕获装置101经耦合以向图像处理系统130提供图像数据109。图像处理系统130包含去马赛克模块110以对从传感器108接收的图像数据109执行去马赛克操作。色彩和伽马校正模块112经配置以对去马赛克的图像数据执行色彩校正，并且产生经伽马校正的图像数据。色彩转换模块114经耦合以对所述经伽玛校正的图像数据执行色彩空间转换。
图像处理系统130还包含高动态范围(HDR)组合模块116和使用局部和全局映射的HDR压缩模块118。HDR组合模块116经配置以组合使用缩短曝光时间捕获的第一低动态范围图像160与使用较长曝光时间捕获的第二低动态范围图像162。低动态范围(LDR)图像160和162经组合以形成高动态范围图像164。使用局部和全局映射的HDR压缩模块118经配置以将高动态范围图像164压缩到与传输层(例如联合摄影专家组(JPEG)编码)或显示装置(例如显示装置170)相容的位范围。
压缩和存储模块120经耦合以接收HDR压缩模块118的输出，并且将输出数据作为压缩HDR文件166存储在图像存储装置140处。举例来说，所述压缩和存储模块120可经配置以使用JPEG编码对HDR压缩模块118的输出进行编码以供存储。图像存储装置140可包含任何类型的存储媒体，例如一个或一个以上显示缓冲器、寄存器、高速缓冲存储器、快闪存储器元件、硬盘、任何其它存储装置，或其任何组合。图像存储装置140可能可供显示装置170存取，使得压缩HDR文件166可供检索以便作为HDR图像168在显示装置170处显示。
在操作期间，系统100可以执行代表性图像150的至少两个图像捕获操作。图像150包含亮区域(图解说明为太阳)以及暗区域(图解说明为树荫)。低动态范围图像160可包含在传感器108处响应于缩短的曝光时间捕获的图像数据。缩短的曝光时间可以使得传感器108能够捕获图像150的较亮区域内的细节。举例来说，缩短的曝光时间可以防止太阳的区域中的传感器像素的饱和，其结果是可能捕获不到例如树荫等较暗区域的细节。另一方面，第二低动态范围图像162可包含传感器108以较长曝光时间(例如图像160的曝光时间的两倍)捕获的图像数据。较长曝光时间使得传感器108能够捕获图像150的较暗部分的细节，但会导致亮区域附近的传感器108的像素饱和。
在图像处理系统130内，第一LDR图像160可以提供亮区域当中的对比度，但不提供较暗区域中的对比度，而第二LDR图像162可以提供较暗区域中的对比度，但亮区域可能显得被洗掉或不明显。通过组合低动态范围图像160和162以创建高动态范围图像164，图像处理系统130使得图像数据能够包含太阳周围的亮区域还有树荫周围的较暗区域中的细节。但是，所得HDR图像164可能需要比传输层(例如JPEG层)或显示装置(例如显示装置170)所支持的信息多很多的信息。举例来说，在低动态范围图像160和162两者均可将像素亮度值表示为8位值(例如具有从0到255的范围)的情况下，HDR图像164可使用16位值表示像素亮度值，例如以便容纳从0到65,535的范围。但是，显示装置170可能仅支持8位亮度值/像素。因此，HDR图像164的16位亮度值被压缩成8位值以便可在显示装置170处显示。
HDR压缩模块118使用局部色调映射和全局色调映射两者来压缩HDR图像164。举例来说，全局色调映射可用于基于整个HDR图像164中的亮度值分布将高动态范围图像的大量亮度值减少成较小数目的亮度值。但是，在HDR图像164的任何特定区域中，全局色调映射可能是次优的。举例来说，全局色调映射不可能为太阳周围的亮区域和树根阴影区域两者提供足够大的动态范围。另一方面，局部色调映射可能将高动态范围图像逻辑上划分成多个区域并在逐区域基础上选择性地将像素亮度值映射成减小范围的亮度值。因而，局部色调映射可能能够将动态范围更局部有效映射到减小范围的亮度值，但可能导致图像的多个区域上丢失均一性。
HDR压缩模块118可以基于接收到的HDR图像数据执行全局色调映射以及局部色调映射并且在逐像素基础上选择局部色调映射、全局色调映射或局部色调映射与全局色调映射的加权的组合。举例来说，当考虑中的像素处在亮度值的高变化区域中时，HDR压缩模块118可以选择局部映射的较大加权以提供像素的所述区域中的亮度值的较大动态范围。相比之下，在特定像素的邻域中不存在大量亮度变化的情况下，HDR压缩模块118可选择全局色调映射的较大加权以实现图像各处的更大均一性。
通过使用不同曝光值组合所述一个或一个以上低动态范围图像160、162，和接着使用局部和全局色调映射两者来压缩所得HDR图像164，系统100能够进行图像产生，其在所关注的区域中提供有效更大的动态范围，同时保持与较低动态范围技术的相容性。另外，通过选择性组合局部色调映射的像素值与全局色调映射的像素值以便将HDR图像164压缩成亮度值的较小范围，可以基于特定图像特性选择适当的映射技术或映射技术的混合，并且可以随着图像特性变化而在图像各处改变映射技术的选择。
虽然在图1中图解说明的特定实施例中，图像捕获装置102被图解说明为具有单一传感器108，但是在其它实施例中图像捕获装置102可能具有多个传感器。举例来说，图像捕获装置102可能具有两个或两个以上传感器，其经配置以使用不同曝光设置执行特定场景的多个同时图像捕获以便提供LDR图像160和162。在具有多个传感器的实施例中，传感器不需要是相同的，而是可实际上具有不同特性。
其它实施例可以使多个传感器与多个图像处理系统130耦合。通过包含用于每一传感器的单独图像处理系统130，每一传感器的数据的处理速度可以提高，因为不需要在两个传感器之间共享图像处理系统130。这些实施例可能在需要极少处理延迟的高帧速率时有用，例如在某些视频应用中。
参看图2，将自动曝光控制的说明性实施例的数据流描绘和总体上指示为200。数据流在成像传感器210处开始，成像传感器210基于控制参数的两个集合205和215捕获图像数据。图像数据接着流动到门280。取决于门280的位置，图像数据接着流动到上部路径和模块220或下部路径和模块230。通过所述成像传感器210已经使用长曝光设置205还是短曝光设置215捕获图像来确定门280的位置。在一个实施例中，成像传感器210在两个设置集合之间交替，导致门也在对应上部数据路径与下部数据路径之间交替。遵循上部数据路径到达模块220，模块220收集关于图像的亮区域的统计数据。经由下文论述的页外参考225将这些统计数据发送到自动白平衡模块。统计数据还移动到模块240，使得能够确定针对亮度目标比较的图像的总亮度。接下来，将图像的总亮度发送到模块250，其中更新曝光参数以准备捕获下一短曝光图像。这些新曝光参数接着流动到成像传感器210的亮设置215。
从门280遵循下部分支，图像数据流动到模块230，其中计算图像数据的暗区域的区域统计数据。还经由下文论述的页外参考235将这些统计数据发送到自动白平衡模块。还将统计数据发送到模块260，其中将图像的总亮度与暗图像的目标亮度比较。将这个计算的结果发送到模块270，其中对任何必需的曝光控制参数进行调节并将其发送到暗设置205，准备有待通过成像传感器捕获的下一长曝光图像。
应注意，在利用多个成像传感器的实施例中，消除了对于门280的需要。实际上，第一成像传感器直接将图像数据发送到亮区域统计数据剖析模块220。第一成像传感器从亮设置模块215中读取其设置。第二成像传感器直接将图像数据发送到暗区域统计数据剖析模块230，从暗设置模块205中读取其设置。
因而，图2图解说明的系统(也被称为自动曝光控制环路)表示用于从至少一个传感器捕获场景的图像的装置，其中所述图像具有亮区域和暗区域。当成像传感器从亮设置模块215读取其设置并且门280允许数据流动到模块220时，图2图解说明的系统表示用于基于亮区域使用曝光设置捕获图像的装置。当成像传感器从暗设置模块205读取其设置并且门280允许数据流动到模块230时，图2图解说明的系统表示用于基于暗区域使用曝光设置捕获图像的装置。
参看图3，将高动态范围(HDR)图像组合系统的说明性实施例描绘和总体上指定为300。系统300包含图像对齐模块302、图像缩放模块304、区域识别模块306、自动白平衡模块308和图像组合模块310和加权函数350。系统300组合第一图像数据312和第二图像数据314以产生HDR图像数据316。在说明性实施例中，系统300可能包含在图1的HDR组合模块116中。
第一图像数据312可包含图像传感器的对应于使用第一曝光时间的图像的输出，而第二图像数据314可包含相同图像传感器(或另一图像传感器)的对应于使用第二曝光时间的图像的输出。举例来说，第一图像数据312可能使用曝光时间N曝光，而第二图像数据314可能使用曝光时间1.5N、2N、4N或N的任何其它整数或非整数倍数曝光。
在特定实施例中，图像对齐模块302经配置以包含接收第一图像数据312和第二图像数据314的指令。图像对齐模块302可能配置有确定对于第一图像数据312和第二图像数据314的一个或一个以上偏移以便使得图像的精确对齐能够产生第一经对准的图像数据318和第二经对准的图像数据330的指令。举例来说，第一图像数据312可能归因于相机的移动而从第二图像数据314偏移，例如因为手晃动或其它相机运动或图像内的对象的移动。图像对齐模块302可包含确定对应于图像数据312和314的区域或像素的一个或一个以上运动向量的指令。运动向量使得第一图像数据312和第二图像数据314中的至少一者能够被调节，使得每一图像的对应部分在第一经对准的图像数据318和第二经对准的图像数据330中基本上位于每一图像的相同像素位置。
图像缩放模块304经配置以包含修改经对准的图像数据318和320中的一者或一者以上的各种像素等级的强度以产生第一经缩放的图像数据322和第二经缩放的图像数据334的指令。举例来说，如果第二经对准的图像数据320具有等于第一经对准的图像数据318的曝光时间的两倍的曝光时间，则可以对对应于第一经对准的图像数据318的每一像素的亮度值进行调节，以补偿像素如果被曝光与第二经对准的图像数据320相同时间量则像素将已经接收到的光的近似量。此外，可以在运行中通过模块304内的指令来估计亮度值的缩放。在特定实施例中，对第一经对准的图像数据318的亮度值进行缩放的一个结果是，第一经对准的图像数据318的缩放的亮度值的范围可能超过低动态范围图像数据格式中可供使用的亮度值的数目。因此，可以使用用于每一像素的比第一图像数据312大的数目个数据位来表示第一经缩放的图像数据322。
在特定实施例中，图像缩放模块304经配置有仅基于第一和第二图像的相对曝光时间对第一经对准的图像数据318或第二经对准的图像数据320中的仅一者进行缩放以产生第一经缩放的图像数据322和第二经缩放的图像数据334的指令。但是，在其它实施例中所述指令可以调节第一经对准的图像数据318和第二经对准的图像数据320中的一者或两者。
在特定实施例中，区域识别模块306可以配置有从图像缩放模块304接收经缩放的图像数据322和334的指令。在一特定实施例中，区域识别模块306中的指令可以接收对应于较短曝光时间的第一经缩放的图像数据322，例如通过图像缩放模块304缩放的图像数据312。区域识别模块内的指令接着识别来自经缩放的图像数据322的一个或一个以上亮区域。
或者，区域识别模块306中的指令可以接收对应于较长曝光时间的第二经缩放的图像数据334，例如通过图像缩放模块304缩放的图像数据314。区域识别模块内的指令接着识别来自经缩放的图像数据334的一个或一个以上暗区域。
在特定实施例中，自动白平衡模块308可以配置有从区域识别模块接收图像数据328和330的指令。自动白平衡模块还包含从区域识别模块接收用于较短曝光时间图像329的区域信息和用于长曝光图像331的区域信息的指令。区域信息识别将在最终图像中利用的每一图像数据328和330的部分。自动白平衡模块还包含接收与每一图像数据相关联的曝光信息335和380的指令。自动白平衡模块内的指令接着对每一图像数据328和330执行白平衡操作。
在一特定实施例中，图像组合模块310可以配置有从自动白平衡模块308接收经白平衡的数据340和345的指令，以及组合所接收的图像数据以产生高动态范围图像数据316的指令。在一特定实施例中，图像组合模块310内的指令可以接收对应于较短曝光时间的第一经白平衡的图像数据340，例如图像数据312，其通过图像缩放模块304缩放并且通过自动白平衡模块308白平衡。另外，图像组合模块310内的指令可以接收对应于较长曝光时间的第二经白平衡的图像数据345，例如图像数据314，其通过图像缩放模块304缩放并且通过自动白平衡模块308白平衡。图像组合模块310可包含指令、内部逻辑或其它决策电路，用以针对HDR图像数据316的每一特定像素确定是否包含对应于第一经缩放的图像数据340、第二经缩放的图像数据345或两者的组合的值。
在特定实施例中，图像组合模块310经配置有从加权函数350接收一个或一个以上值的指令。加权函数350可包含一个或一个以上条件或值以使得图像组合模块310内的指令能够选择性组合第一经白平衡的图像数据340和第二经白平衡的图像数据345以便产生HDR图像数据316。举例来说，加权函数350可包含一个或一个以上阶跃函数、一个或一个以上S形函数或一个或一个以上其它函数的表示，以便混合、区分或以其它方式确定或选择来自第一经白平衡的图像数据340和第二经白平衡的图像数据345的HDR图像数据316的像素值。为了图解说明，可以根据经白平衡的图像数据340和/或345确定例如像素的区域内的亮度变化的度量并且将其提供到加权函数350。加权函数350可以传回值，所述值指示在将第一经缩放的图像数据340中的像素值加到第二经缩放的图像数据345中的像素值以产生HDR图像数据316中的像素值之前将应用于第一经白平衡的图像数据340中的像素值和/或第二经白平衡的图像数据345中的像素值的比例因子。
图3中图解说明的HDR图像组合系统表示一个用于通过组合第一图像和第二图像来产生高动态范围数字图像的装置。更一般来说，包括图像对齐模块、图像缩放模块、区域识别模块、自动白平衡模块和图像组合模块的图像管线表示另一用于通过组合第一图像和第二图像来产生高动态范围数字图像的装置。
图4a到4d图解说明图像中的暗区域和图像的亮区域的曝光的优化。图4a模拟通过使用短曝光针对亮区域优化的图像。天空和洋娃娃坐着的窗台后方的背景曝光良好，细节良好。相比之下，前景图像较暗，并且细节不能突出。短曝光没有给传感器提供区分那些区域中的细节所需的光的量。在一个实施例中，图4a的白平衡将仅基于对应于图4b的阴影部分的图像数据。替代实施例可以利用整个图像作为白平衡的基础。但是，在那些实施例中，未曝光的区域可能会产生次优的白平衡结果。图4c模拟针对相同图像的前景部分优化的曝光的结果。洋娃娃、玩具火车和窗台良好曝光并且很清晰。在图4c中背景天空和云朵过曝，从而归因于那些区域中的图像传感器饱和而导致细节丢失。白平衡优化算法的一个实施例将利用图4c的对应于图4d的阴影部分的区域来计算用于图4c的白平衡增益。
图5是图解说明在区域识别模块306的一个实施例内运行的过程500的流程图。在一个实施例中，区域识别模块306包含在开始状态510处开始过程500并且接着移动到状态520(其中指令产生亮度直方图)的指令。过程500接着移动到状态530。在步骤530中，过程500确定用于确定图像的暗区域的阈值。
在一个实施例中，用于所述暗区域的阈值与具有低于某个等级的值的像素的数目成比例。举例来说，关于8个位的像素宽度，可以通过首先识别具有小于4的值的像素的数目(像素位2-7清晰)来确定暗阈值。接着用低于4个的像素的数目除以像素的总数，以找到通过低于4个的像素表示的图像区域的比例。其它实施例可以基于其各别的设计考虑而选择不同的阈值。
一些实施例可以识别额外阈值以创建多个区域。举例来说，在具有较大处理能力的实施例中，区域的数目可以提高，使得每一各别区域较小以便提供更大的精确度。
在一些实施例中，接着通过用这个值乘以常数kdark且接着加上offsetdark来确定暗阈值。kdark用于确定图像的最暗区域将对于确定暗阈值有多大的偏置或影响。Offsetdark确定阈值的开始点，举例来说，从用于暗区域阈值的0的偏移或从用于亮阈值的255(对于8位像素)的距离，下文中对此进行进一步论述。Offsetdark还给暗阈值的确定添加了灵活性。用于计算暗阈值的方法的公式表示为：
Σ n = Hist min ] n = Hist _ threshold histogram [ n ] / num _ pixels × K dark + offset dark
在确定了用于暗区域的阈值之后，过程500移动到步骤540，其中确定用于亮区域的阈值。以与暗阈值类似的方式确定用于亮区域的阈值。举例来说，首先确定高于特定值的像素的数目。出于图解说明的目的，可以使用高于252的值(0xFC)的8位像素的数目(位3-7设置成1)。在一个实施例中，类似于暗阈值，接着通过使这个值乘以常数Kbright并且加上offsetbright来确定亮阈值。通过下式表示此确定：
Σ n = HisttMax - Histthreshold ] n = HistMax histogram [ n ] / num _ pixels × K bright + offset bright
在已确定亮阈值之后，过程500移动到步骤550以确定亮区域。在一个实施例中，亮区域是那些具有大于或等于亮阈值的区域亮度平均值的区域。用于识别这些区域的技术在所属领域中是已知的。举例来说，参见第2006/0262363号美国专利申请案(“高动态范围图像的再现(Rendering of High Dynamic Range Images)”)第10段(2005年5月23日申请)和第6,177,958号美国专利(“用于突出静止图像的自动捕获的系统和方法(System and Method for the Automatic Capture of Salient Still Images)”)第8栏，1.5(1998年3月11日申请)。在已经确定了亮区域之后，过程500移动到状态560，其中识别暗区域。在一个实施例中，暗区域构成那些具有低于暗阈值的区域亮度平均值的区域。在步骤560已经确定暗阈值之后，过程500结束。
图6是典型亮度直方图的曲线图。图解说明了两个阈值，TH_DARK和TH_BRIGHT。在绿线左侧可以观察到高于TH_BRIGHT阈值的像素值集合。这些像素表示图像的亮区域。TH_DARK线右侧的像素值表示图像的暗区域。所述线之间的那些像素既不是暗区域的一部分也不是亮区域的一部分。
当TH_DARK和TH_BRIGHT重叠时，通常需要多个图像之间的较少曝光分离。或者，所述场景可以具有相对小的动态范围，并且因而可以对亮区域和暗区域两者使用类似曝光。但是，如果TH_DARK和TH_BRIGHT具有大的分离，这表明需要两个区域之间有更大的曝光分离。
图7是高动态范围图像组合方法的说明性实施例的流程图。在特定实施例中，通过图1到3或图11到12或其任何组合的系统执行方法700。过程700在开始步骤703处开始，并且接着移动到步骤705，其中从图像传感器接收到第一图像数据。使用第一曝光时间产生第一图像数据。过程700接着移动到步骤710，其中从图像传感器接收到第二图像数据。使用大于第一曝光时间的第二曝光时间产生第二图像数据。
过程700接着移动到步骤715，其中基于第二曝光时间与第一曝光时间的比率缩放第一图像数据的亮度值以创建经缩放的第一图像数据。过程700接着移动到步骤720，其中识别第一图像数据和第二图像数据的暗区域和亮区域。过程700接着移动到步骤725，其中根据用于第一和第二图像的区域信息和曝光设置对第一图像数据和第二图像数据进行白平衡。在过程800中更详细地解释步骤725。
过程700接着移动到步骤730，其中基于经缩放的第一图像数据的第一有效动态范围与第二图像数据的第二有效动态范围之间的重叠来选择性组合经缩放的第一图像数据和第二图像数据，以便产生高动态范围(HDR)图像。可基于第一图像数据的第一饱和度等级、第一暗度等级和第一底噪确定第一有效动态范围。可基于第二图像数据的第二饱和度等级、第二暗度等级和第二底噪确定第二有效动态范围。可使用基本上以第一底噪为中心的第一S形函数和基本上以第二饱和度等级减去第二暗度等级为中心的第二S形函数来选择性组合经缩放的第一图像数据和第二图像数据。
移动到735，产生色调映射以压缩HDR图像的动态范围。产生色调映射包含基于每一像素的邻域内的亮度变化来确定全局色调映射值和局部色调映射值的逐像素加权。举例来说，压缩动态范围可以是八位范围。继续到740，提供具有压缩动态范围的色调映射图像以供在显示装置处显示。过程700接着转变到结束状态750。
图8是自动白平衡的方法的说明性实施例的流程图。实施过程800的指令可以包含在实施过程700的步骤725的指令集中。自动白平衡模块308内的指令还可实施过程800。或者，过程800可以由图1到3或图11到12中图解说明的任何模块或组件来实施。过程800在开始状态805处开始，并且接着移动到步骤810，其中建立参考光照条件。用于给定传感器模块的表征过程通常离线发生。在一个实施例中，模拟各种发光体下方的灰度图的图片，并且获得图片。这些发光体可包含D90、D65、D75、TL84、荧光、水平线、白炽灯和定制的荧光。这些参考点是所属领域中已知的。记录灰色对象在这些光照条件下的R/G和B/G比率。在确定R/G和B/G比率的比例之后，给这些参考点提供网格坐标。以可使用网格距离适当地区分不同参考点的方式确定比例。过程800被图解说明为合并了步骤810，以便提供对自动白平衡过程的完整解释。但是，其它实施例将把步骤810实施成离线单独任务，其中过程800简单地利用参考亮数据。
在知道了参考光照条件之后，过程800移动到步骤820，其中收集像素统计数据以支持接下来的自动白平衡操作。在图9中更详细地解释这个步骤。接下来，过程800移动到步骤830，其中分析所收集的自动白平衡统计数据。在图10中更详细地解释这个步骤。接下来，过程800移动到步骤840，其中计算和应用自动白平衡增益。步骤840中利用的技术是所属领域中已知的。举例来说，步骤840的一个实施例可以利用简单的灰色世界技术，而另一实施例可以利用高级的灰色世界方法。在一些实施例中还可使用通过相关进行的白平衡，其中图像场景的色彩响应与不同光源相关。在应用了自动白平衡增益之后，过程800移动到结束状态850。
图9是收集自动白平衡统计数据的方法的说明性实施例的流程图。实施过程900的指令可以在实施图8的过程800的步骤820的指令集内运行。过程900也可根据图1到3或图11到12或其任何组合的任何实施例或方法来操作。过程900在开始状态910处开始，且接着移动到步骤920，其中从图像获得第一区域。接下来，过程900移动到决策步骤930，其中过程900确定是否针对长曝光图像执行白平衡。如果对长曝光图像执行白平衡，那么过程900移动到步骤935。在步骤935中，对照上文描述的过程500中所计算的TH_DARK阈值评估当前区域的亮度。如果区域的亮度低于TH_DARK，则过程900移动到步骤960，其中累加灰色像素的Y、Cb和Cr分量的总和。如果区域的亮度不低于TH_DARK，则过程900移动到下文论述的决策步骤950。
如果过程900正在对短曝光图像进行白平衡，则过程900从决策步骤930移动到决策步骤940。在决策步骤940中，过程900确定当前区域的亮度是否高于上文描述的过程500中所计算的TH_BRIGHT阈值。如果区域的亮度高于TH_BRIGHT，则过程900移动到步骤960，其中同样累加灰色像素的Y、Cb和CR分量的总和。过程900接着移动到步骤950。
决策步骤950确定是否有更多的区域有待评估。如果有更多区域可用，则过程900移动到步骤925，其中得到下一个区域。过程900接着返回到决策步骤930。如果决策步骤950确定没有更多区域可用，则过程900移动到步骤970，其中累加全局统计数据。
在过程900的一个实施例中，全局白平衡统计数据包含用于具有某个Ymin与Ymax之间的Y值的像素的Y、Cb和Cr分量。这确保了全局统计数据并不包含太暗或太亮的像素，因而减少了噪声和饱和问题。过程900接着移动到结束状态980。
过程900结合过程700表示一个用于至少部分基于图像的暗区域来确定长曝光图像的白平衡的装置。过程900结合过程700进一步表示一个用于至少部分基于图像的亮区域来确定短曝光图像的白平衡的装置。
图10是分析自动白平衡统计数据的方法的说明性实施例的流程图。实施过程1000的指令可以包含在实施过程800的步骤830的指令集内。或者，过程1000可以在图1到3或图11到12中图解说明的任何模块或组件内执行。过程1000在开始状态1010处开始，且接着移动到步骤1015，其中将在过程900中收集的数据点转换成网格坐标。在过程1000的步骤1015的一个实施例中，通过用一个区域的Y、Cb和Cr值的每一总和除以在所述区域中累加的像素的数目来找到每一区域的所述总和的平均值。接着可以将平均Y、Cb和Cr值转换回到R、G和B值。接着针对每一区域计算R/G和B/G比率，并且接着将所述比率转换成网格坐标。
接下来，过程1000移动到步骤1017，其中得到第一数据点。过程1000接着移动到步骤1020，其中计算从数据点到一系列参考点的距离。举例来说，在一个实施例中，一系列参考点可包含水平线、白炽灯、TL84、冷白光、D65和阴影。这些色彩参考是所属领域中已知的。一旦计算了到每一参考点的距离，过程1000就移动到步骤1025，其中将到参考点的最短距离与阈值比较。如果最近参考点比阈值更远，则认为所述点是离群值，并且过程1000从决策步骤1025移动到步骤1060，其中丢弃所述数据点。远离所述参考点中的每一者的数据点最可能不是灰度对象。在一个实施例中丢弃这些观察结果，因为其可能对总距离比较产生负面影响。但是，如果至少一个参考点在阈值距离内，则过程1000移动到步骤1027，其中保存所述数据点用于以后在创建复合点时在步骤1040中使用。过程1000接着移动到决策步骤1030，决策步骤1030确定是否应评估更多的数据点。如果有更多的点有待评估，则过程1000从决策步骤1030移动到步骤1065，其中得到接下来的数据点。过程1000接着返回到步骤1020。
如果决策步骤1030确定没有剩下数据点要评估，则过程1000从决策步骤1030移动到决策步骤1035，其中确定至少一个数据点是否足够接近将是非离群值的参考点。如果数据点不比阈值离参考点更近，则过程1000从决策步骤1035移动到决策步骤1050。在步骤1050中，考虑用于捕获帧的曝光指数。曝光指数通常是快门速度与光圈的组合。如果曝光指数指示在图像捕获过程中接收到强光照，则过程1000移动到步骤1055，其中选择对应于室外光照的参考点。举例来说，可以在步骤1055的一个实施例中选择D50。如果曝光指数未指示强光照，则过程1000从决策步骤1050转变到步骤1045，其中利用对应于室内光照的参考点。举例来说，在一个实施例中，可以将TL84和冷白光的平均值用作参考。
如果决策步骤1035确定至少一个数据点在从参考点的阈值距离内，则过程1000移动到步骤1040。在步骤1040中，产生复合样本点。为了产生复合样本点，计算用于所有非离群值点的R/G和B/G比率的平均值。过程1000接着移动到步骤1042，其中确定最靠近复合点的参考点。将最近参考点视为帧的光照条件。过程1000接着从步骤1042、1045或1055移动到结束状态1070。
图11是包含高动态范围(HDR)组合和压缩模块的系统的特定实施例的的框图。系统1100包含图像传感器装置1122，所述图像传感器装置1122耦合到镜头1168且还耦合到便携式多媒体装置的应用处理器芯片组1170。图像传感器装置1122包含：自动曝光控制和自动白平衡估计模块1150，用于估计自动曝光控制和自动白平衡参数；和使用局部和全局映射的HDR模块1164，其可包含实施图1到3的模块或系统中的一者或一者以上的指令，或可包含使其根据图5或7-10或其任何组合的任何实施例或方法操作的指令。
自动曝光控制和自动白平衡估计模块1150经耦合以从图像阵列1166接收图像数据，例如经由模/数转换器1126，其经耦合以接收图像阵列1166的输出，并且将图像数据提供到自动曝光控制和自动白平衡估计模块1150。
使用局部和全局映射的HDR模块1164经耦合以从自动曝光和自动白平衡估计模块1150接收图像数据。使用局部和全局映射的HDR模块1164可以从在图像阵列1166处捕获的多个图像产生HDR图像数据，使得能够用普通图像阵列1166执行HDR功能性。另外，使用局部和全局映射的HDR模块1164可以使用局部和全局色调映射两者的组合来压缩所得图像以便与较低分辨率传输和存储机构相容，同时确保连续性，并且不会引入假影。
举例来说，所述使用局部和全局映射的HDR模块1164可包含：全局映射模块，其经配置以产生图像的区域内的第一全局映射亮度值；局部映射模块，其经配置以产生图像的区域内的第二局部映射亮度值；以及组合模块，其经配置以使用第一全局映射亮度值和第二局部映射亮度值的加权总和确定输出图像的对应区域内的亮度值。加权的总和的权重至少部分是基于图像的区域内的亮度变化。举例来说，所述权重可以在所述区域内在逐像素的基础上确定。
使用局部和全局映射的HDR模块1164还可经配置以产生对应于所述图像的一部分的平坦度图。平坦度图可以指示图像的区域内的亮度变化。HDR模块可经配置以确定区域内的特定像素的邻域内的亮度差异。平坦度图的对应于特定像素的条目可以与特定像素的邻域内的亮度差异与特定像素的邻域内的亮度中值的比率成比例。
图像传感器装置1122还可包含处理器1110。在特定实施例中，处理器1110经配置以实施使用局部和全局映射的HDR模块1164。举例来说，处理器1110可经配置以从处理器可读媒体读取指令，并且执行所述指令以实施HDR模块1164。在另一实施例中，使用局部和全局映射的HDR模块1164经实施为图像处理电路。
在另一特定实施例中，处理器1110经配置以实施自动曝光控制和自动白平衡估计模块1150。在另一实施例中，自动曝光控制和自动白平衡估计模块1150经实施为图像处理电路。
处理器1110还可经配置以执行额外图像处理操作，例如通过图1的模块110-120执行的操作中的一者或一者以上。处理器1110可以向应用处理器芯片组1170提供经处理的图像数据以供进一步处理、发射、存储、显示或其任何组合。
图12是包含自动曝光控制和自动白平衡估计模块1250和HDR组合和压缩模块1264的系统的特定实施例的框图。系统1200可以在便携式无线电子装置中实施，并且包含处理器1210，例如数字信号处理器(DSP)，其耦合到存储器1232。系统1200包含自动曝光控制和自动白平衡估计模块1250。自动曝光控制和自动白平衡估计模块1250可以在信号处理器1210中，或者可以是沿硬件图像处理管线(未图示)的单独的装置或电路。自动曝光控制和自动白平衡估计模块1250包含用于控制自动曝光的装置1298和用于控制自动白平衡的装置1299。所述用于控制自动曝光的装置1298和用于控制自动白平衡的装置1299可包含硬件电路、固件、处理器或执行代码的控制器、现场可编程阵列或其任何组合。
系统1200还包含使用局部和全局映射的HDR模块1264。在示意性实例中，使用局部和全局映射的HDR模块1264包含图1到3的模块或系统中的一者或一者以上，或根据图5或图7到10的任何实施例或方法操作，或其任何组合。使用局部和全局映射的HDR模块1264可以在处理器1210中，或者可以是单独的装置。
相机接口1268耦合到处理器1210，并且还耦合到相机，例如摄像机或照像机1270。显示器控制器1226耦合到处理器1210和显示装置1228。译码器/解码器(CODEC)1234也可耦合到处理器1210。扬声器1236和麦克风1238可耦合到CODEC1234。无线接口1240可以耦合到处理器1210和无线天线1242。
在特定实施例中，处理器1210包含使用局部和全局映射的HDR模块1264，并且适于根据相机1270捕获的多个图像产生HDR图像数据，以便用普通相机1270实现HDR功能性。另外，使用局部和全局映射的HDR模块1164可以使用局部和全局色调映射两者的组合来压缩所得图像以便与较低分辨率传输和存储机构相容，同时确保连续性，并且不会引入假影。
处理器1210还可适于根据可以从各种来源接收到的图像数据的多个集合产生和压缩HDR图像数据。举例来说，作为说明性非限制性实例，所述图像数据可包含来自相机1270的视频数据或静止图像，经由无线接口1240来自无线发射或来自例如经由通用串行总线(USB)接口(未图示)耦合的外部装置的其它来源的图像数据。
在特定实施例中，处理器1210经配置以基于特定像素的邻域内的亮度变化而产生经色调映射的图像数据，其包含图像数据的多个像素中的每一特定像素的色调映射像素值，并且提供经色调映射的图像数据以供在显示装置1228处显示。举例来说，所述经色调映射的数据可以是图3的输出图像数据316。另外，处理器1210可以进一步经配置以在存储器1232处存储经色调映射的图像数据，或者提供有待经由无线接口1240传送的经色调映射的图像数据。
图像数据可以是通过组合使用第一曝光时间从相机1270接收到的图像数据的第一集合与使用第二曝光时间从相机1270接收到的图像数据的第二集合而产生的高动态范围(HDR)图像数据。图像数据的第一和第二集合可以依次在相机1270的单一传感器处捕获，或者可以使用不同曝光条件在相机1270的多个传感器处并行地捕获。可以基于第二曝光时间与第一曝光时间的比率来经缩放的图像数据的第一集合的亮度值。可接着基于图像数据的暗区域或亮区域对图像数据的第一和第二集合两者进行白平衡。接着基于经缩放亮度值的第一有效动态范围和图像数据的第二集合的第二有效动态范围之间的重叠将第一图像数据与图像数据的第二集合选择性组合以产生HDR图像数据，例如相对于图6描述。处理器1210可以进一步经配置以处理HDR图像数据以产生指示特定像素的邻域内的亮度变化的平坦度图，并且使用全局映射图像数据和局部映射图像数据的加权的总和来确定特定像素的经色调映射的像素值。可以基于特定像素的邻域内的亮度变化来确定加权的总和的权重。
显示器控制器1226经配置有接收经处理的图像数据和将经处理的图像数据提供到显示装置1228的指令。此外，存储器1232可经配置以接收并存储经处理的图像数据，且无线接口1240可经配置以接收经处理的图像数据以供经由天线1242进行发射。
在特定实施例中，信号处理器1210、显示器控制器1226、存储器1232、CODEC1234、无线接口1240和相机接口1268包含在封装中系统或芯片上系统装置1222中。在一特定实施例中，输入装置1230和电源1244耦合到芯片上系统装置1222。此外，在一特定实施例中，如图12中所说明，显示装置1228、输入装置1230、扬声器1236、麦克风1238、无线天线1242、摄像机1270和电源1244处于芯片上系统装置1222外部。然而，显示装置1228、输入装置1230、扬声器1236、麦克风1238、无线天线1242、摄像机1270和电源1244中的每一者可耦合到芯片上系统装置1222的组件(例如，接口或控制器)。
所属领域的技术人员将进一步了解，可将结合本文所揭示的实施例而描述的各种说明性逻辑块、配置、模块、电路和算法步骤实施为电子硬件、计算机软件或两者的组合。为清晰说明此硬件与软件的互换性，上文已大致就各种说明性组件、块、配置、模块、电路和步骤的功能性描述了各种说明性组件、块、配置、模块、电路和步骤。所述功能性是实施为硬件还是软件取决于特定应用和施加于整个系统的设计约束。所属领域的技术人员可针对每一特定应用以不同方式实施所描述功能性，但所述实施决策不应被解释为导致偏离本发明的范围。
结合本文中所揭示的实施例而描述的方法或算法的步骤可直接包含于硬件中、由处理器执行的软件模块中或所述两者的组合中。软件模块可驻留在随机存取存储器(RAM)、快闪存储器、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可装卸磁盘、压缩光盘只读存储器(CD-ROM)或所属领域已知的任何其它形式的非暂时性存储媒体中。示范性存储媒体耦合到处理器，使得处理器可从存储媒体读取信息和将信息写入到存储媒体。在替代方案中，存储媒体可与处理器成一体式。处理器和存储媒体可驻留在专用集成电路(ASIC)中。ASIC可驻留在计算装置或用户终端中。或者，处理器和存储媒体可作为离散组件驻留在计算装置或用户终端中。
提供对所揭示实施例的先前描述以使得所属领域的技术人员能够制作或使用所揭示的实施例。对于所属领域的技术人员来说，对这些实施例的各种修改将为显而易见的，且可在不偏离本发明的范围的情况下将本文中所定义的原理应用于其它实施例。因此，本发明无意限于本文中所展示的实施例，而是将赋予本发明与如由所附权利要求书界定的原理和新颖特征一致的可能的最广范围。

Claims (20)

1.一种产生高动态范围数字图像的方法，其包括：
从至少一个传感器捕获场景的第一图像，其中所述场景具有亮区域和暗区域，并且其中所述第一图像是使用基于所述亮区域的第一曝光设置捕获的，并且其中所述第一图像的白平衡是通过所述亮区域确定的；
从所述至少一个传感器捕获所述场景的第二图像，其中所述第二图像是使用基于所述暗区域的第二曝光设置捕获的，并且其中所述第二图像的所述白平衡是通过所述暗区域确定的；以及
通过组合所述第一图像和所述第二图像产生高动态范围数字图像。
2.根据权利要求1所述的方法，其中所述高动态范围数字图像是通过组合至少所述第一图像的所述亮区域与所述第二图像的所述暗区域而产生的。
3.根据权利要求1所述的方法，其中所述第一区域的所述白平衡还是基于所述第一曝光设置确定的，或者所述第二区域的所述白平衡还是基于所述第二曝光设置确定的。
4.根据权利要求1所述的方法，其中所述高动态范围数字图像包含应用于所述第一图像的所述亮区域的所述白平衡和应用于所述第二图像的所述暗区域的所述白平衡。
5.根据权利要求1所述的方法，其中所述第一曝光设置是通过以下方式确定的：
创建所述第一图像的第一亮度直方图；
根据所述第一亮度直方图确定阈值；以及
基于所述阈值确定所述亮区域。
6.根据权利要求1所述的方法，其中所述至少一个传感器是一个传感器。
7.根据权利要求1所述的方法，其中所述至少一个传感器是两个传感器，并且所述第一图像是从第一传感器捕获的，并且所述第二图像是从第二传感器捕获的。
8.根据权利要求1所述的方法，其中所述最终图像是快照。
9.根据权利要求1所述的方法，其中所述最终图像是视频的一个帧。
10.根据权利要求1所述的方法，其中所述步骤是重复执行的。
11.一种成像装置，其包括：
相机传感器；
处理器，其经配置以：
从至少一个传感器捕获场景的第一图像，其中所述场景具有亮区域和暗区域，并且其中所述第一图像是使用基于所述亮区域的第一曝光设置捕获的，并且其中所述第一图像的白平衡是通过所述亮区域确定的；
从所述至少一个相机传感器捕获所述场景的第二图像，其中所述第二图像是使用基于所述暗区域的第二曝光设置捕获的，并且其中所述第二图像的所述白平衡是通过所述暗区域确定的；以及
组合所述第一图像和第二图像以产生最终图像；以及
用于存储所述最终图像的存储装置。
12.根据权利要求11所述的装置，其中所述第一曝光设置是通过以下方式确定的：
创建所述第一图像的第一亮度直方图；
根据所述第一亮度直方图确定阈值；以及
基于所述阈值确定所述亮区域。
13.根据权利要求11所述的装置，其进一步包括：
第二相机传感器，其中所述至少一个传感器是两个传感器，包括所述第一相机传感器和所述第二相机传感器。
14.根据权利要求11所述的装置，其中所述最终图像是快照。
15.根据权利要求11所述的装置，其中所述处理器经配置以重复地执行所述步骤。
16.根据权利要求11所述的装置，其中所述处理器进一步经配置以基于所述第一曝光设置条件性地确定所述第一区域的白平衡，和基于所述第二曝光设置条件性地确定所述第二区域的白平衡。
17.一种非暂时计算机可读媒体，其包含操作以使得处理器进行以下操作的处理器可执行第一指令：
从至少一个传感器捕获场景的第一图像，其中所述第一图像具有亮区域和暗区域，并且其中所述第一图像是使用基于所述亮区域的第一曝光设置捕获的，并且其中所述第一图像的白平衡是通过所述亮区域确定的；以及
从所述至少一个传感器捕获所述场景的第二图像，其中所述第二图像是使用基于所述暗区域的第二曝光设置捕获的，并且其中所述第二图像的所述白平衡是通过所述暗区域确定的；以及
组合所述第一图像和第二图像以产生最终图像。
18.根据权利要求17所述的计算机可读媒体，其中所述第一曝光设置是通过以下方式确定的：
创建所述第一图像的第一亮度直方图；
根据所述第一亮度直方图识别亮阈值；以及
基于所述亮阈值确定所述亮区域。
19.根据权利要求17所述的计算机可读媒体，其还包含操作以使得所述处理器重复地执行所述第一指令的第二指令。
20.一种成像设备，其包括：
用于从至少一个传感器捕获场景的第一图像的装置，其中所述第一图像具有亮区域和暗区域，并且其中所述第一图像是使用基于所述亮区域的第一曝光设置捕获的，并且其中所述第一图像的白平衡至少部分是通过所述亮区域确定的；
用于从所述至少一个传感器捕获所述场景的第二图像的装置，其中所述第二图像是使用基于所述暗区域的第二曝光设置捕获的，并且其中所述第二图像的所述白平衡至少部分是通过所述暗区域确定的；以及
用于通过组合所述第一图像和所述第二图像产生高动态范围数字图像的装置。
CN201280022357.9A 2011-04-18 2012-04-18 高动态范围图像的白平衡优化 Active CN103518223B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/088,936 US8947555B2 (en) 2011-04-18 2011-04-18 White balance optimization with high dynamic range images
US13/088,936 2011-04-18
PCT/US2012/034105 WO2012145415A1 (en) 2011-04-18 2012-04-18 White balance optimization with high dynamic range images

Publications (2)

Publication Number Publication Date
CN103518223A true CN103518223A (zh) 2014-01-15
CN103518223B CN103518223B (zh) 2016-11-02

Family

ID=46022709

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280022357.9A Active CN103518223B (zh) 2011-04-18 2012-04-18 高动态范围图像的白平衡优化

Country Status (6)

Country Link
US (1) US8947555B2 (zh)
EP (1) EP2700053A1 (zh)
JP (1) JP5964409B2 (zh)
KR (1) KR101537182B1 (zh)
CN (1) CN103518223B (zh)
WO (1) WO2012145415A1 (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104683779A (zh) * 2015-03-17 2015-06-03 上海兆芯集成电路有限公司 自动白平衡补偿方法以及使用该方法的装置
CN104954698A (zh) * 2014-03-31 2015-09-30 佳能株式会社 能够生成合成视频图像的图像处理设备及其控制方法
CN104954687A (zh) * 2015-06-26 2015-09-30 魅族科技（中国）有限公司 一种图像生成方法及装置
CN105023258A (zh) * 2014-05-01 2015-11-04 想象技术有限公司 噪声增强直方图
CN105323474A (zh) * 2014-07-31 2016-02-10 佳能株式会社 摄像设备及其控制方法
CN105338338A (zh) * 2014-07-17 2016-02-17 诺基亚技术有限公司 用于成像条件检测的方法和装置
CN106204662A (zh) * 2016-06-24 2016-12-07 电子科技大学 一种多光源环境下的图像颜色恒常方法
CN107077727A (zh) * 2014-11-21 2017-08-18 德克萨斯仪器股份有限公司 处理宽动态范围图像的有效方法
CN108063898A (zh) * 2016-11-07 2018-05-22 株式会社电装 图像生成设备
CN108605104A (zh) * 2016-02-03 2018-09-28 德克萨斯仪器股份有限公司 用于宽动态范围(wdr)传感器数据的图像处理
CN109155052A (zh) * 2016-05-18 2019-01-04 德州仪器公司 用于多重曝光宽动态范围图像数据的图像数据处理
CN110035237A (zh) * 2019-04-09 2019-07-19 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110177221A (zh) * 2019-06-25 2019-08-27 维沃移动通信有限公司 高动态范围图像的拍摄方法及装置
CN110312080A (zh) * 2018-03-20 2019-10-08 株式会社东芝 拍摄控制装置、拍摄装置及拍摄控制方法
CN110312115A (zh) * 2018-03-20 2019-10-08 株式会社东芝 图像处理装置、驾驶辅助装置及图像处理方法
CN110445986A (zh) * 2019-07-30 2019-11-12 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110458860A (zh) * 2018-05-08 2019-11-15 华晶科技股份有限公司 图像处理方法及图像处理装置
CN111279686A (zh) * 2017-11-03 2020-06-12 高通股份有限公司 用于高动态范围成像的系统和方法
CN111526298A (zh) * 2020-03-24 2020-08-11 深圳英飞拓智能技术有限公司 一种改善宽动态多场景适应性的方法
CN112384930A (zh) * 2018-07-13 2021-02-19 索尼公司 信息处理装置、信息处理方法和程序

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11381757B2 (en) 2019-06-13 2022-07-05 Motherson Innovations Company Limited Imaging system and method
US9584733B2 (en) * 2010-09-30 2017-02-28 Apple Inc. High dynamic range transition
KR20120114899A (ko) * 2011-04-08 2012-10-17 삼성전자주식회사 영상 처리 방법 및 영상 처리 장치
WO2012147018A2 (en) * 2011-04-28 2012-11-01 Koninklijke Philips Electronics N.V. Apparatuses and methods for hdr image encoding and decoding
US9406028B2 (en) * 2012-08-31 2016-08-02 Christian Humann Expert system for prediction of changes to local environment
US9531961B2 (en) 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US9179085B1 (en) 2014-11-06 2015-11-03 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US9179062B1 (en) 2014-11-06 2015-11-03 Duelight Llc Systems and methods for performing operations on pixel data
US9167169B1 (en) 2014-11-05 2015-10-20 Duelight Llc Image sensor apparatus and method for simultaneously capturing multiple images
US9160936B1 (en) 2014-11-07 2015-10-13 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
US9154708B1 (en) 2014-11-06 2015-10-06 Duelight Llc Image sensor apparatus and method for simultaneously capturing flash and ambient illuminated images
US8976264B2 (en) 2012-09-04 2015-03-10 Duelight Llc Color balance in digital photography
US9918017B2 (en) 2012-09-04 2018-03-13 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US9137455B1 (en) 2014-11-05 2015-09-15 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US9167174B1 (en) 2014-11-05 2015-10-20 Duelight Llc Systems and methods for high-dynamic range images
US9143673B2 (en) * 2012-09-19 2015-09-22 Google Inc. Imaging device with a plurality of pixel arrays
US9129388B2 (en) 2012-11-21 2015-09-08 Apple Inc. Global approximation to spatially varying tone mapping operators
US9437171B2 (en) 2012-12-05 2016-09-06 Texas Instruments Incorporated Local tone mapping for high dynamic range images
US9071765B2 (en) * 2012-12-28 2015-06-30 Nvidia Corporation System, method, and computer program product implementing an image processing pipeline for high-dynamic range images
US9819849B1 (en) 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images
US9807322B2 (en) 2013-03-15 2017-10-31 Duelight Llc Systems and methods for a digital image sensor
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
KR101805629B1 (ko) * 2013-05-07 2017-12-07 삼성전자주식회사 영상의 상태에 따라 적응적인 영상 처리를 위한 방법 및 장치
US9305223B1 (en) * 2013-06-26 2016-04-05 Google Inc. Vision-based indicator signal detection using spatiotemporal filtering
TWI501639B (zh) * 2013-07-29 2015-09-21 Quanta Comp Inc 拍攝高動態範圍影片之方法
US9654738B1 (en) * 2013-08-07 2017-05-16 Waymo Llc Using multiple exposures to improve image processing for autonomous vehicles
KR20150051085A (ko) * 2013-11-01 2015-05-11 삼성전자주식회사 하이 다이나믹 레인지 영상을 표시하는 방법 및 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 디지털 영상 처리 장치.
JP5911518B2 (ja) * 2014-01-29 2016-04-27 キヤノン株式会社 表示装置、表示装置の制御方法、及び、プログラム
TWI505233B (zh) * 2014-02-20 2015-10-21 Asustek Comp Inc 影像處理方法及影像處理裝置
KR102149187B1 (ko) * 2014-02-21 2020-08-28 삼성전자주식회사 전자 장치와, 그의 제어 방법
KR20150128168A (ko) * 2014-05-08 2015-11-18 삼성전자주식회사 화이트 밸런싱 장치 및 이의 구동 방법
US9424628B2 (en) 2014-06-19 2016-08-23 Microsoft Technology Licensing, Llc Identifying gray regions for auto white balancing
TWI498848B (zh) * 2014-10-13 2015-09-01 Quanta Comp Inc 多重曝光成像系統及其白平衡方法
US10924688B2 (en) 2014-11-06 2021-02-16 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US11463630B2 (en) 2014-11-07 2022-10-04 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
JP6533050B2 (ja) * 2014-11-13 2019-06-19 クラリオン株式会社 車載カメラシステム
KR102277178B1 (ko) * 2015-03-09 2021-07-14 삼성전자 주식회사 카메라 모듈을 포함하는 전자 장치 및 전자 장치의 이미지 처리 방법
JP6521776B2 (ja) * 2015-07-13 2019-05-29 オリンパス株式会社 画像処理装置、画像処理方法
US10542242B2 (en) 2015-09-30 2020-01-21 Samsung Electronics Co., Ltd. Display device and method for controlling same
JP6674255B2 (ja) * 2015-12-28 2020-04-01 キヤノン株式会社 固体撮像素子及び撮像装置
US9787909B1 (en) * 2016-03-31 2017-10-10 Stmicroelectronics (Research & Development) Limited Controlling signal-to-noise ratio in high dynamic range automatic exposure control imaging
US10366478B2 (en) * 2016-05-18 2019-07-30 Interdigital Ce Patent Holdings Method and device for obtaining a HDR image by graph signal processing
US10129485B2 (en) * 2016-06-10 2018-11-13 Microsoft Technology Licensing, Llc Methods and systems for generating high dynamic range images
US10313605B2 (en) * 2016-06-15 2019-06-04 Canon Kabushiki Kaisha Image processing apparatus and control method thereof for generating high dynamic range image data
CN114449163A (zh) 2016-09-01 2022-05-06 迪尤莱特公司 基于焦点目标信息调整焦点的装置和方法
US10284823B1 (en) * 2016-10-12 2019-05-07 Google Llc Capturing photographs based on rotation of device
EP3319013A1 (en) * 2016-11-03 2018-05-09 Thomson Licensing Method and device for estimating cast shadow regions and/or highlight regions in images
JP6910704B2 (ja) 2016-12-13 2021-07-28 ソニーセミコンダクタソリューションズ株式会社 撮像素子、撮像素子の製造方法、プラズモンフィルタ、及び、電子機器
KR20180078961A (ko) 2016-12-30 2018-07-10 삼성전자주식회사 이미지 촬상 장치 및 이의 구동 방법
US11238281B1 (en) * 2017-02-27 2022-02-01 Amazon Technologies, Inc. Light source detection in field of view
JP6887853B2 (ja) * 2017-04-03 2021-06-16 キヤノン株式会社 撮像装置、その制御方法、プログラム
US10863105B1 (en) * 2017-06-27 2020-12-08 Amazon Technologies, Inc. High dynamic range imaging for event detection and inventory management
KR20190017303A (ko) * 2017-08-10 2019-02-20 엘지전자 주식회사 이동 단말기
JP6789904B2 (ja) 2017-09-20 2020-11-25 株式会社東芝 ダイナミックレンジ圧縮装置及び画像処理装置
US10497104B2 (en) * 2017-10-24 2019-12-03 Adobe Inc. Empirical exposure normalization
JP7135299B2 (ja) * 2017-10-27 2022-09-13 株式会社リコー 画像処理装置、表示装置、画像処理方法、プログラム
JP6946966B2 (ja) * 2017-11-22 2021-10-13 富士通株式会社 画像生成装置及び方法
CN107948519B (zh) * 2017-11-30 2020-03-27 Oppo广东移动通信有限公司 图像处理方法、装置及设备
EP3493150A1 (en) * 2017-11-30 2019-06-05 InterDigital VC Holdings, Inc. Tone mapping adaptation for saturation control
GB2572571B (en) * 2018-04-03 2021-09-01 Apical Ltd Image processing
CN108989700B (zh) * 2018-08-13 2020-05-15 Oppo广东移动通信有限公司 成像控制方法、装置、电子设备以及计算机可读存储介质
JP6726324B1 (ja) * 2019-01-17 2020-07-22 オリンパス株式会社 撮像装置、画像合成方法、及び画像合成プログラム
TWI700929B (zh) 2019-06-11 2020-08-01 晶睿通訊股份有限公司 曝光補償方法及其攝影設備
KR20210053377A (ko) * 2019-11-01 2021-05-12 삼성전자주식회사 이미지 센서 및 이미지 신호 처리기를 포함하는 이미지 장치, 및 이미지 센서의 동작 방법
US11445127B2 (en) 2020-06-15 2022-09-13 Samsung Electronics Co., Ltd. Leveraging HDR sensors for handling mixed illumination auto white balance
US11736804B2 (en) * 2020-09-07 2023-08-22 Mediatek Inc. Method and apparatus for generating high dynamic range frame through white balance compensation that uses white balance gain table generated from combining multiple sets of white balance gain settings
US11595589B2 (en) 2021-07-22 2023-02-28 Arthrex, Inc. Surgical camera system with high dynamic range
CN115226054B (zh) * 2022-03-22 2024-04-12 广州汽车集团股份有限公司 一种数据采集方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6496309B1 (en) * 1999-06-18 2002-12-17 Genomic Solutions, Inc. Automated, CCD-based DNA micro-array imaging system
US6747694B1 (en) * 1999-06-07 2004-06-08 Hitachi Denshi Kabushiki Kaisha Television signal processor for generating video signal of wide dynamic range, television camera using the same, and method for television signal processing
US20080143844A1 (en) * 2006-12-15 2008-06-19 Cypress Semiconductor Corporation White balance correction using illuminant estimation
US20090060315A1 (en) * 2007-08-27 2009-03-05 Harris Kevin M Method and apparatus for inspecting objects using multiple images having varying optical properties
US20100271512A1 (en) * 2009-04-23 2010-10-28 Haim Garten Multiple exposure high dynamic range image capture

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4647975A (en) * 1985-10-30 1987-03-03 Polaroid Corporation Exposure control system for an electronic imaging camera having increased dynamic range
JPH07212645A (ja) * 1994-01-25 1995-08-11 Hitachi Denshi Ltd テレビジョンカメラ
US6177958B1 (en) * 1998-03-11 2001-01-23 Flashpoint Technology, Inc. System and method for the automatic capture of salient still images
US6850249B1 (en) * 1998-04-03 2005-02-01 Da Vinci Systems, Inc. Automatic region of interest tracking for a color correction system
JP3841584B2 (ja) * 1999-04-01 2006-11-01 松下電器産業株式会社 撮像装置
JP2000350220A (ja) * 1999-06-07 2000-12-15 Hitachi Denshi Ltd テレビジョンカメラ
US7084907B2 (en) * 2001-01-15 2006-08-01 Nikon Corporation Image-capturing device
JP3801126B2 (ja) 2002-09-25 2006-07-26 ソニー株式会社 撮像装置，撮像装置の画像出力方法，およびコンピュータプログラム
JP4043928B2 (ja) * 2002-12-02 2008-02-06 富士フイルム株式会社 デジタルカメラ
JP4378141B2 (ja) 2003-09-29 2009-12-02 キヤノン株式会社 撮像装置および撮像装置の制御方法
WO2006098356A1 (ja) 2005-03-15 2006-09-21 Omron Corporation 画像処理装置および画像処理方法、プログラム、並びに、記録媒体
US7480421B2 (en) 2005-05-23 2009-01-20 Canon Kabushiki Kaisha Rendering of high dynamic range images
US7636496B2 (en) 2006-05-17 2009-12-22 Xerox Corporation Histogram adjustment for high dynamic range image mapping
JP4218723B2 (ja) * 2006-10-19 2009-02-04 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP4306750B2 (ja) 2007-03-14 2009-08-05 ソニー株式会社 撮像装置、撮像方法、露光制御方法、プログラム
JP2009038412A (ja) * 2007-07-10 2009-02-19 Rohm Co Ltd 画像処理回路、半導体装置、画像処理装置
WO2009063553A1 (ja) * 2007-11-13 2009-05-22 Fujitsu Limited 画像補正装置、画像補正方法および画像補正プログラム
KR101257942B1 (ko) 2008-04-23 2013-04-23 고려대학교 산학협력단 광역 역광보정 영상처리에서의 전처리 방법 및 장치
JP2009284136A (ja) * 2008-05-21 2009-12-03 Nikon Corp 電子カメラ
US8237807B2 (en) * 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
JP5375457B2 (ja) 2008-09-03 2013-12-25 株式会社リコー 撮像装置及び撮像方法
JP2010219624A (ja) 2009-03-13 2010-09-30 Toshiba Corp 画像信号処理装置及び画像信号処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6747694B1 (en) * 1999-06-07 2004-06-08 Hitachi Denshi Kabushiki Kaisha Television signal processor for generating video signal of wide dynamic range, television camera using the same, and method for television signal processing
US6496309B1 (en) * 1999-06-18 2002-12-17 Genomic Solutions, Inc. Automated, CCD-based DNA micro-array imaging system
US20080143844A1 (en) * 2006-12-15 2008-06-19 Cypress Semiconductor Corporation White balance correction using illuminant estimation
US20090060315A1 (en) * 2007-08-27 2009-03-05 Harris Kevin M Method and apparatus for inspecting objects using multiple images having varying optical properties
US20100271512A1 (en) * 2009-04-23 2010-10-28 Haim Garten Multiple exposure high dynamic range image capture

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104954698B (zh) * 2014-03-31 2018-04-17 佳能株式会社 能够生成合成视频图像的图像处理设备及其控制方法
CN104954698A (zh) * 2014-03-31 2015-09-30 佳能株式会社 能够生成合成视频图像的图像处理设备及其控制方法
CN105023258A (zh) * 2014-05-01 2015-11-04 想象技术有限公司 噪声增强直方图
CN105023258B (zh) * 2014-05-01 2019-09-06 想象技术有限公司 将输入值分箱的装置及其产生方法、直方图产生方法
CN105338338A (zh) * 2014-07-17 2016-02-17 诺基亚技术有限公司 用于成像条件检测的方法和装置
CN105338338B (zh) * 2014-07-17 2018-01-02 诺基亚技术有限公司 用于成像条件检测的方法和装置
US9973706B2 (en) 2014-07-17 2018-05-15 Nokia Technologies Oy Method and apparatus for detecting imaging conditions
CN105323474A (zh) * 2014-07-31 2016-02-10 佳能株式会社 摄像设备及其控制方法
CN105323474B (zh) * 2014-07-31 2018-10-23 佳能株式会社 摄像设备及其控制方法
CN107077727A (zh) * 2014-11-21 2017-08-18 德克萨斯仪器股份有限公司 处理宽动态范围图像的有效方法
CN104683779A (zh) * 2015-03-17 2015-06-03 上海兆芯集成电路有限公司 自动白平衡补偿方法以及使用该方法的装置
CN104954687A (zh) * 2015-06-26 2015-09-30 魅族科技（中国）有限公司 一种图像生成方法及装置
CN104954687B (zh) * 2015-06-26 2018-11-16 魅族科技（中国）有限公司 一种图像生成方法及装置
CN108605104B (zh) * 2016-02-03 2021-10-29 德克萨斯仪器股份有限公司 用于宽动态范围(wdr)传感器数据的图像处理
CN108605104A (zh) * 2016-02-03 2018-09-28 德克萨斯仪器股份有限公司 用于宽动态范围(wdr)传感器数据的图像处理
CN109155052A (zh) * 2016-05-18 2019-01-04 德州仪器公司 用于多重曝光宽动态范围图像数据的图像数据处理
CN109155052B (zh) * 2016-05-18 2023-06-16 德州仪器公司 用于多重曝光宽动态范围图像数据的图像数据处理
CN106204662A (zh) * 2016-06-24 2016-12-07 电子科技大学 一种多光源环境下的图像颜色恒常方法
CN106204662B (zh) * 2016-06-24 2018-11-20 电子科技大学 一种多光源环境下的图像颜色恒常方法
CN108063898A (zh) * 2016-11-07 2018-05-22 株式会社电装 图像生成设备
CN108063898B (zh) * 2016-11-07 2020-12-22 株式会社电装 图像生成设备
CN111279686A (zh) * 2017-11-03 2020-06-12 高通股份有限公司 用于高动态范围成像的系统和方法
CN111279686B (zh) * 2017-11-03 2021-05-14 高通股份有限公司 用于高动态范围成像的系统和方法
CN110312080A (zh) * 2018-03-20 2019-10-08 株式会社东芝 拍摄控制装置、拍摄装置及拍摄控制方法
CN110312115A (zh) * 2018-03-20 2019-10-08 株式会社东芝 图像处理装置、驾驶辅助装置及图像处理方法
CN110458860A (zh) * 2018-05-08 2019-11-15 华晶科技股份有限公司 图像处理方法及图像处理装置
CN112384930A (zh) * 2018-07-13 2021-02-19 索尼公司 信息处理装置、信息处理方法和程序
US11922687B2 (en) 2018-07-13 2024-03-05 Sony Group Corporation Information processing apparatus, information processing method, and program
CN110035237A (zh) * 2019-04-09 2019-07-19 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110177221A (zh) * 2019-06-25 2019-08-27 维沃移动通信有限公司 高动态范围图像的拍摄方法及装置
CN110445986A (zh) * 2019-07-30 2019-11-12 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110445986B (zh) * 2019-07-30 2021-03-23 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111526298A (zh) * 2020-03-24 2020-08-11 深圳英飞拓智能技术有限公司 一种改善宽动态多场景适应性的方法
CN111526298B (zh) * 2020-03-24 2021-10-19 深圳英飞拓智能技术有限公司 一种改善宽动态多场景适应性的方法

Also Published As

Publication number Publication date
EP2700053A1 (en) 2014-02-26
JP2014519218A (ja) 2014-08-07
WO2012145415A1 (en) 2012-10-26
US8947555B2 (en) 2015-02-03
KR101537182B1 (ko) 2015-07-16
KR20130138340A (ko) 2013-12-18
CN103518223B (zh) 2016-11-02
JP5964409B2 (ja) 2016-08-03
US20120262600A1 (en) 2012-10-18

Similar Documents

Publication Publication Date Title
CN103518223A (zh) 高动态范围图像的白平衡优化
US11375085B2 (en) Systems and methods for capturing digital images
CN110445988B (zh) 图像处理方法、装置、存储介质及电子设备
KR101433542B1 (ko) 고 다이나믹 레인지 이미지를 캡처하도록 장치를 동작시키는 방법
CN106797453B (zh) 图像处理装置、摄像装置、图像处理方法以及图像处理程序
CN110381263B (zh) 图像处理方法、装置、存储介质及电子设备
CN110266954B (zh) 图像处理方法、装置、存储介质及电子设备
CN110213502B (zh) 图像处理方法、装置、存储介质及电子设备
CN106358030B (zh) 图像处理装置和图像处理方法
US8982251B2 (en) Image processing apparatus, image processing method, photographic imaging apparatus, and recording device recording image processing program
KR20060045424A (ko) 휘도 정정을 갖는 디지털 카메라
CN104853106A (zh) 一种信息处理方法和电子设备
CN110868547A (zh) 拍照控制方法、拍照控制装置、电子设备及存储介质
EP3836532A1 (en) Control method and apparatus, electronic device, and computer readable storage medium
CN113962859A (zh) 一种全景图生成方法、装置、设备及介质
US20090002544A1 (en) Methods of adding additional parameters during automatic exposure for a digital camera and related electronic devices and computer program products
CN111724447B (zh) 一种图像处理方法、系统及电子设备和存储介质
JPWO2019208155A1 (ja) 画像処理装置、方法、及びプログラム並びに撮像装置
CN109845241A (zh) 摄像装置、摄像方法及程序
CN110572585B (zh) 图像处理方法、装置、存储介质及电子设备
CN115699785A (zh) 一种屏下拍摄控制方法、终端设备及存储介质
CN110581957A (zh) 图像处理方法、装置、存储介质及电子设备
CN117135293B (zh) 图像处理方法和电子设备
CN116320716B (zh) 图片采集方法、模型训练方法及相关装置
CN116723417A (zh) 一种图像处理方法和电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant