CN102668545A - 采用静态图像和预览图像创建高动态范围图像 - Google Patents

采用静态图像和预览图像创建高动态范围图像 Download PDF

Info

Publication number
CN102668545A
CN102668545A CN2010800585316A CN201080058531A CN102668545A CN 102668545 A CN102668545 A CN 102668545A CN 2010800585316 A CN2010800585316 A CN 2010800585316A CN 201080058531 A CN201080058531 A CN 201080058531A CN 102668545 A CN102668545 A CN 102668545A
Authority
CN
China
Prior art keywords
image
live view
view image
exposure
still
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010800585316A
Other languages
English (en)
Inventor
W·E·普伦蒂斯
A·T·迪弗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gaozhi 83 Foundation Co.,Ltd.
Original Assignee
Eastman Kodak Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eastman Kodak Co filed Critical Eastman Kodak Co
Publication of CN102668545A publication Critical patent/CN102668545A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

一种用于改善捕捉的数字图像的动态范围的方法，包括：从实时取景图像流采集至少一个图像，其中，每一采集的实时取景图像具有有效曝光和第一分辨率；以不同于采集的实时取景图像中的每一个的有效曝光的有效曝光和以高于第一分辨率的分辨率捕捉至少一个静态图像；以及将至少一个实时取景图像和至少一个静态图像组合。

Description

采用静态图像和预览图像创建高动态范围图像
技术领域
本发明涉及根据多个图像产生改善的图像。更具体地，多个图像用于形成具有增加的动态范围的高分辨率图像。
背景技术
通常在诸如数码相机、扫描机和摄像机这样的产品中发现图像传感设备，比如电荷耦合器件（CCD）。与传统的底片产品相比，这些图像传感设备具有非常有限的动态范围。典型的图像传感设备具有大约5档的动态范围。这意味着为了避免剪掉信号，对于典型场景必须确定具有相当数量的精确度的曝光。另外，由于多个光源（比如，场景的正面照明部分和背面照明部分），场景常常具有非常宽的动态范围。在宽动态范围场景的情况下，选择适当的主体曝光经常使得剪掉图像的另一部分中的数据成为必需。因此，相对于卤化银介质，图像传感设备的低动态范围导致通过图像传感设备获得的图像的较低图像质量。
提高通过图像传感设备获得的图像的动态范围的方法允许再均衡这样的图像以获得图像的更令人喜爱的再现。具有增加的动态范围的图像也考虑到更令人喜爱的反差光补（contrast improvement），比如Lee等人在共同转让的美国专利No.5,012,333中描述的。
一种用于采用图像传感设备获得改善的图像的方法是包围式曝光，由此以一系列不同曝光捕捉具有相同分辨率的多个静态图像，并且这些图像之一被选作最好的整体曝光。然而，该技术不提高通过图像传感设备捕捉的单个图像的动态范围。
一种用于获得具有增加的动态范围的图像的方法是通过以不同曝光捕捉具有相同分辨率的多个静态图像，并且将这些图像组合成具有提高的动态范围的单一输出图像。Mann在共同转让的美国专利No.5,828,793和Ikeda在共同转让的美国专利No.6,040,858中描述了该方法。该方法经常需要数码相机中的单独的捕捉模式和处理通道。另外，多个捕捉的时间接近度被速率限制，其中可以以此速率从图像传感器读出图像。捕捉之间的更大的时间不一致提高存在于捕捉之间存在的运动的可能性，不管是涉及手抖动的相机运动还是由场景内的移动目标导致的场景运动。运动增加将多个图像融合成单一输出图像的困难。
一种用于获得具有增加的动态范围的图像的另一方法是同时捕捉具有不同曝光的多个图像，其中该方法解决了存在于多个图像之间的运动问题。随后将图像组合成具有增加的动态范围的单一输出图像。可以通过使用多个成像通道和传感器实现该捕捉过程。然而，该解决办法招致以多个成像通道和传感器形式的额外成本。因为传感器不位于相同的位置，因此产生具有不同视角的图像，这也引入多个图像之间的一致性问题。或者，分光板可以用于将入射光投射到单一图像捕捉设备内的多个传感器上。该解决方法方案招致以分光板和多个传感器形式的额外成本，并且也减少任何单个图像传感器可用的光的量。
用于获得具有增加的动态范围的图像的另一方法是通过使用具有标准响应于曝光的像素和不标准响应于曝光的像素的图像传感器。Gallagher等人在共同转让的美国专利No 6,909,461中描述了这样的解决办法。然而，因为具有较慢的、不标准响应的像素比具有标准响应的像素具有较差的信噪比性能，这样的传感器对于不呈现高动态范围特性的场景具有较差性能。
用于获得具有增加的动态范围的图像的另一方法通过使用被编程以读出并存储处于第一曝光的图像传感器内的像素的图像传感器，同时继续将图像传感器暴露于光。Ward等人在共同转让的美国专利No7,616,256中描述了这种解决办法。一个例子中，第一曝光时间之后，来自于CCD的像素被读入光屏蔽垂直寄存器，并且继续图像传感器的曝光，直到完成第二曝光时间为止。然而，该解决办法允许利用曝光之间的最小时间从图像传感器多次读出单个像素，它具有缺陷：需要将数据从传感器读取的专门的硬件。
因此，本领域中，需要一种改善的解决办法，以将多个图像组合以形成具有增加的动态范围的图像，不需要专门硬件或附加图像传感器，不牺牲不需要高动态范围的场景的性能，不需要单独的捕捉模式，并且多个曝光之间具有最小时间。
发明内容
本发明的目的是采用至少一个实时取景图像和至少一个静态图像产生具有增加的动态范围的图像。通过用于改善捕捉的数字图像的动态范围的方法实现该目的，方法包括步骤：（a）从实时取景图像流采集至少一个图像，其中，每一采集的实时取景图像具有有效曝光和第一分辨率；（b）以不同于采集的实时取景图像中的每一个的有效曝光的有效曝光和以高于第一分辨率的分辨率捕捉至少一个静态图像；以及（c）将至少一个实时取景图像和至少一个静态图像组合。
本发明的优点是：可以不用专门硬件或附加图像传感器产生具有增加的动态范围的图像。
本发明的另一个优点是：可以产生具有增加的动态范围的图像而不牺牲不需要高动态范围的场景的性能。
本发明的另一优点是：可以产生具有增加的动态范围的图像而不需要单独的捕捉模式。
本发明的又一优点是：可以以多个曝光之间的最小时间产生具有提高的动态范围的图像。
根据浏览下面对优选实施方式和对附加的权利要求的详细描述，并且参考附图，本发明的这些和其它方面、目的、特征和优点会被更清楚地理解和懂得。
附图说明
图1是采用本发明的处理方法的数字静态照相机系统的方块图；
图2（现有技术）示出图像传感器上的Bayer模式；
图3a是本发明的一个实施方式的流程图；
图3b是本发明的一个实施方式的流程图；
图4是本发明的用于将实时取景图像和静态图像组合的方法的流程图；
图5是本发明的用于将实时取景图像和静态图像组合的方法的流程图；
图6是本发明的用于将实时取景图像和代表实时取景图像组合的方法的流程图；
图7是本发明的用于将调整的实时取景图像和代表实时取景图像组合的方法的流程图；并且
图8是本发明的用于将调整的实时取景图像和代表实时取景图像组合的方法的流程图。
具体实施方式
因为使用成像设备和用于信号捕捉和校正并用于曝光控制的相关电路的数码相机是众所周知的，本描述将特别指向形成根据本发明的方法和装置的一部分或更直接地与根据本发明的方法和装置合作的元件。这里没有特别显示或描述的元件选择于现有技术中已知的元件。以软件提供要描述的实施方式的某些方面。考虑到接下来的材料中的根据本发明显示和描述的系统，这里没有明确显示、描述或提出的对本发明的实施有帮助的软件是常规的并处于这种领域中的普通技术的范围内。
现在转向图1，显示为体现本发明的数码相机的图像捕捉设备的方块图被显示。尽管现在会解释数码相机，但是本发明清楚地适用于其它类型的图像捕捉设备，比如包括在非相机设备中的成像子系统，例如，其中非相机设备比如为手机和汽车。来自于主体场景的光10被输入到成像平台11，光被透镜12聚焦以形成固态图像传感器20上的图像。图像传感器20通过将每一图像元素（像素）的电荷积分（integrating），将入射光转换成电信号。优选实施方式的图像传感器20是电荷耦合器件（CCD）类型或主动式像素传感器（APS）类型。（因为可以用互补金属氧化物半导体工艺制造APS设备，APS设备经常被称作CMOS传感器）。这种传感器包括随后更详细地描述的彩色滤光片排列。
通过光圈模块14和中性密度（ND）滤光片模块13调节到达传感器20的光量，其中，光圈模块改变孔径，中性密度滤光片模块包括一个或更多插入在光路中的ND滤光片。快门模块18被打开的时间也调节整体光水平。曝光控制器模块40响应于场景中可用的、通过亮度传感器模块16测量的光量，并且控制所有这三个调节功能。
来自于图像传感器20的模拟信号被模拟信号处理器22处理，并且被应用到用于数字化传感器信号的模拟数字（A/D）转换器24。定时发生器26产生各种时钟信号以选择行和像素，并使模拟信号处理器22和A/D转换器24的操作同步。图像传感器平台28包括图像传感器20、模拟信号处理器22、A/D转换器24和定时发生器26。图像传感器平台28的功能元件是分别制造的集成电路，或如同通常对CMOS图像传感器进行的，它们被制作成单一的集成电路。来自于A/D转换器24的生成的数字像素值流被存储在与数字信号处理器（DSP）36相联系的存储器32中。
数字信号处理器36是该实施方式中的三个处理器或控制器之一，除系统控制器50和曝光控制器40之外。尽管将相机功能控制分布在多个控制器和处理器中是典型的，但是这些控制器或处理器是可以以各种方式组合的，而不影响相机的功能操作和本发明的应用。这些控制器或处理器可以包括一个或更多数字信号处理设备、微控制器、可编程逻辑设备、或其他数字逻辑电路。尽管已经描述了这些控制器或处理器的组合，但是明显的应该是：优选地，一个控制器或处理器被指派执行所有需要的功能。所有这些变体可以执行相同的功能并且落在本发明的范围之内，并且当需要时可以采用术语“处理平台”以将所有这些功能包含在一个短语之内，例如，图1中的处理平台38。
在示出的实施方式中，DSP36根据永久存储在程序存储器54中并被复制到存储器32以在图像捕捉期间执行的软件程序，处理其存储器32中的数字图像数据。DSP36执行实施图3a和3b中显示的图像处理需要的软件。存储器32包括任何类型的随机存取存储器，比如SDRAM。包括用于地址和数据信号的路径的总线30将DSP36连接到其相关存储器32、A/D转换器24和其他相关设备。
系统控制器50基于存储在程序存储器54中的软件程序控制相机的整体操作，程序存储器可以包括Flash EEPROM或其他非易失存储器。该存储器也可以被用于存储图像传感器校准数据、用户设定选择和相机被关掉时必须被保存的其他的数据。通过命令如以前描述的曝光控制器40操作透镜12、ND滤光片13、光圈14和快门18，通过命令定时发生器26操作图像传感器20和相关的元件，并通过命令DSP36处理捕捉的图像数据，系统控制器50控制图像捕捉的序列。图像被捕捉并被处理之后，存储在存储器32中的最终图像文件被通过接口57转移到主机、存储在可插拔存储卡64或其他存储设备上、并为用户显示在图像显示器88上。
总线52包括用于地址、数据和控制信号的路径，并将系统控制器50连接到DSP36、程序存储器54、系统存储器56、主机接口57、存储卡接口60和其他相关设备。主机接口57提供到个人计算机（PC）或用于转移用于显示、存储、处理或打印的图像数据的其他主机的高速连接。该接口是IEEE1394或USB2.0串行接口、或任何其他合适的数字接口。典型地，存储卡64是插入到插口62并通过存储卡接口60连接到系统控制器50的紧凑型闪存（CF）卡。被采用的其他类型的存储体包括而不限于PC卡，多媒体卡（MMC）或安全数字（SD）卡。
经过处理的图像被复制到系统存储器56中的显示缓冲器，并被通过视频编码器80连续读出以产生视频信号。信号被直接从相机输出，用于显示在外部监视器上，或被显示控制器82处理并被呈现在图像显示器88上。典型地，该显示器是主动阵列式彩色液晶显示器（LCD），尽管也采用其他类型的显示器。
用户接口68（包括取景显示器70、曝光显示器72、状态显示器76和图像显示器88的所有或任何组合）和用户输入74被曝光控制器40和系统控制器50上执行的软件程序的组合控制。典型地，用户输入74包括按钮、摇臂开关、操纵杆、旋转拨盘或触摸屏的一些组合。曝光控制器40操作测光、曝光模式、自动聚焦和其他曝光功能。系统控制器50控制呈现在显示器的一个或更多，比如图像显示器88上的图形用户界面（GUI）。典型地，GUI包括获得用于检查捕捉的图像的各种选项选择和浏览模式的菜单。
曝光控制器40接受选择曝光模式、透镜孔径、曝光时间（快门速度）和曝光指数或ISO速度等级的用户输入，并为随后的捕捉相应地指导透镜和快门。当手动设定ISO速度等级、孔径和快门速度时，采用亮度传感器16测量场景的亮度并为用户提供以供参考的曝光测量功能。这种情况下，当用户改变一个或更多设定时，呈现在取景显示器70上的测光计指示器告诉用户图像会过度曝光或曝光不足到什么程度。在自动曝光模式中，用户改变一个设定，曝光控制器40自动改变另一个设定，以维持正确的曝光，例如，对于用户减少透镜孔径时的给定的ISO速度等级，曝光控制器40自动增加曝光时间，以维持相同的整体曝光。
ISO速度等级是数字静态照相机的重要属性。曝光时间、透镜孔径、透镜透射比、场景的照明水平及光谱分布和场景反射比确定数字静态照相机的曝光水平。当采用不足曝光获得来自于数字静态照相机的图像时，一般地可以通过增加电子或数字增益维持适当的色调再现，但是，图像会包含不能接受的噪声量。当增加曝光时，增益减少，因此，通常可以将图像噪声减少到可以接受的水平。如果过分增加曝光，在图像的明亮区域中产生的信号可以超过图像传感器或相机信号处理的最大信号水平容量。这可以导致图像加亮区被剪掉以形成均匀地明亮的区域，或导致图像加亮区发展成为包围图像的区域。指导用户设定恰当的曝光是重要的。ISO速度等级意在起这种指导的作用。为了被摄影者容易理解，数字静态照相机的ISO速度等级应该直接涉及胶卷相机的ISO速度等级。例如，如果数字静态照相机具有ISO200的ISO速度等级，那么相同的曝光时间和孔径对于ISO200等级的胶卷/过程系统应该是适当的。
ISO速度等级意在与胶卷ISO速度等级调和。然而，电子和基于胶卷的成像系统之间存在差异，其妨碍了确切的等效性。数字静态照相机可以包括可变增益，并且在图像数据被捕捉之后可以提供数字处理、使得可以实现覆盖相机曝光范围的色调再现。由于灵活性，数字静态照相机可以具有速度等级范围。该范围定义为ISO速度宽容度（latitude）。为了避免混淆，单一值被指派为固有ISO速度等级，ISO速度宽容度上、下限指示速度范围，也就是包括与固有ISO速度等级不同的有效速度等级的范围。基于这种思想，固有ISO速度是根据提供在数字静态照相机的焦平面的曝光计算的数值，以产生指定的相机输出信号特性。固有速度通常是针对正常场景产生给定相机系统的最高图像质量的曝光指数值，其中，曝光指数是与提供给图像传感器的曝光成反比的数字值。
数码相机的前面的描述对本领域技术人员是熟悉的。明显的是，有该实施方式的许多变体可供选择，以减少成本、增加特征、或改善相机的性能。例如，可以增加自动对焦系统，或透镜是可拆卸的和可互换的。会被理解的是，本发明被应用到任何类型的数码相机，或更一般地，数字图像捕捉装置，其中，替换的模块提供相似的功能。
考虑到图1的说明性的例子，那么下面的描述将详细描述根据本发明的用于捕捉图像的相机的操作。每当下面的描述中一般性地提到图像传感器时，它被理解成代表来自于图1的图像传感器20。典型地，图1中显示的图像传感器20包括制造在硅衬底上的二维光敏像素阵列，该二维光敏像素阵列将每一像素处的入射光转换成被测量的电信号。在图像传感器的背景下，像素（图像元素的缩写）指的是离散感光区域和与感光区域相联系的电荷转移或电荷测量电路。在数字彩色图像的背景下，术语像素通常指的是具有相关彩色值的图像中的特别位置。术语彩色像素指的是，具有覆盖相对狭窄的光谱带的彩色光响应的像素。术语曝光持续时间和曝光时间被交换使用。
当传感器20被暴露于光时，每一像素处的电子结构内自由电子被产生并被捕捉。捕捉这些自由电子一段时间，然后测量捕捉的电子的数量，或测量自由电子产生的速度，可以测量每一像素处的光水平。在前面的情况中，如在电荷耦合器件（CCD）中那样，积累的电荷被从像素阵列转移到电荷电压测量电路，或如在主动式像素传感器（APS或CMOS传感器）中那样，接近每一像素的区域可以包含电荷电压测量电路的元件。
为了产生彩色图像，典型地，图像传感器中的像素阵列具有放置在其上的彩色滤光片的模式。图2显示通常采用的红色（R）、绿色（G）和蓝色（B）彩色滤光片的模式。在其发明人Bryce Bayer在美国专利No.3,971,065中公开之后，这种特别的模式通常被称为Bayer彩色滤光片阵列（CFA）。这种模式被有效利用在具有二维彩色像素阵列的图像传感器中。结果，每一像素具有特别的彩色光响应，这种情况下，彩色光响应主要对红色、绿色或蓝色光敏感。彩色光响应的另一有用的变体主要对品红色、黄色或青色光敏感。在每一情况下，特别的彩色光响应对可见光谱的特定部分具有高敏感性，而同时对可见光谱的其他部分具有低敏感性。
采用具有有图2的CFA的二维阵列的图像传感器捕捉的图像在每一像素处仅具有一个彩色值。为了产生全彩色图像，有许多在每一像素处推断或内插缺失色彩的技术。这些CFA内插技术在本领域中是众所周知的，并且参考下面的专利：美国专利No.5,506,619、美国专利No.5,629,734和美国专利No.5,652,621。
图3a示出根据本发明的实施方式的流程图。在步骤310中，当操作者构成图像时，操作者通过将相机上的捕捉按钮从S0位置（未按下的位置）按压到S1位置（部分按下的位置）开始采集过程，从而将部分按下捕捉按钮信号发送到相机中的系统控制器50。然后，系统控制器50命令相机开始采集并存储（采用可用的DSP存储器32）实时取景图像320。应该注意的是，同时，相机中的系统控制器50也会典型地完成自动对焦和自动曝光。当操作者识别到采集时刻时，如步骤330中显示的，操作者将捕捉按钮从S1按压到S2（完全按下的位置），从而将完全按下捕捉按钮信号发送到相机中的系统控制器50。此时，在步骤340中，系统控制器50命令相机停止继续采集或捕捉实时取景图像，并且开始捕捉具有比实时取景图像的空间分辨率大的空间分辨率的静态图像。在步骤350中，实时取景图像和静态图像被组合以形成具有比原始捕捉的静态图像的动态范围高的动态范围的改善的静态图像。最后，在步骤360中，改善的静态图像被渲染到输出空间。
在步骤320中采集的实时取景图像可以来自于实时取景图像流，比如经常显示在相机LCD显示器88上的。典型地，这些图像被捕捉并被以每秒钟30帧、以320列×240行（QVGA分辨率）的空间分辨率或以640列×480行（VGA分辨率）显示。然而，该空间分辨率不是限制性的，并且可以以更大的空间分辨率捕捉实时取景图像。也可以以更大的空间分辨率显示实时取景图像。实时取景图像可被捕捉并被从传感器读出的频率与实时取景图像的空间分辨率成反比。
采用特定有效曝光初始捕捉在步骤320中获得的每一实时取景图像。如这里定义的，有效曝光被定义为针对给定图像的图像传感器的曝光时间，其通过从传感器读出图像数据时采用的任何装仓因子（binning factor）调整。例如，对于实时取景图像采用1/30秒的曝光、连同9×的装仓因子的图像传感器，对于实时取景图像产生9/30或相当于3/10秒的有效曝光。上下文中，装仓指的是读出之前来自于临近像素的电荷积累，并且装仓因子指的是多少像素将其电荷积累到被读出的单一值。典型地，通过从图像传感器上的CFA模式内的相似像素积累电荷来发生装仓。例如，图2中，通过积累来自于显示在图表中的所有4个红色像素以形成单一红色像素，并且针对蓝色像素和绿色像素通过相似地积累电荷，可以获得4×的装仓因子。注意，在Bayer模式中，有蓝色或红色两倍之多的绿色像素，并且在两个独立的组中积累它们以形成两个独立的装仓的像素。
在步骤340中捕捉的静态图像具有比步骤320期间采集的实时取景图像的空间分辨率大的空间分辨率。静态图像经常具有图像传感器20的全空间分辨率。以不同于对应于任何实时取景图像的有效曝光的有效曝光捕捉静态图像。有效曝光的差异允许步骤350中的高动态范围图像的随后产生。
在S1之外实时取景图像的采集也可以发生。当相机处于S0位置时，可以如步骤320中采集实时取景图像。也可以通过从S0到S1的转移或通过从S1到S0的转移，继续采集实时取景图像。
采集的实时取景图像具有不同于静态图像的有效曝光的有效曝光。在本发明的一个实施方式中，采集的实时取景图像具有少于静态图像的有效曝光的有效曝光。概念地，这种情况下，静态图像包括由于过度暴露于光而已经饱和的区域。如果相应的像素也没有饱和，具有较低有效曝光的实时取景图像提供这些区域中的另外的信息。
本发明的另一个实施方式中，采集的实时取景图像具有比静态图像的有效曝光大的有效曝光。概念地，这种情况下，静态图像包含黑暗的、并且具有低信噪比的区域。可以通过将数字增益因子应用到那些像素值或通过应用显示阴影中的细节的色调调整操作使这些黑暗区域变亮，但是这增加随信号一起的噪声。具有较大有效曝光的实时取景图像提供这些区域中的具有减少的噪声的另外的信息。黑暗区域中的改善的信噪比性能允许这些区域变亮，具有讨厌的噪声的风险较少。
本发明的另一个实施方式中，至少一个采集的实时取景图像具有比静态图像的有效曝光少的有效曝光，并且至少一个采集的实时取景图像具有比静态图像的有效曝光大的有效曝光。概念地，这种情况下，可以采用提供在实时取景图像中的另外的信息提高黑暗区域和饱和区域中的静态图像的质量。
当采用多个图像产生具有增加的动态范围的图像时，优选的是，多个图像捕捉相同的场景。为了实现这个，可以采用尽可能少的图像之间的时间不一致采集多个图像。这使得由比如相机运动、目标运动或照明改变的事件导致的场景中的任何改变的可能性最小化。大体上，实时取景图像流产生实时取景图像的连续流之后，捕捉静态图像。为了最小化采集的实时取景图像和静态图像之间的时间不一致，可以采集并存储来自于实时取景图像流的最近捕捉的图像，连续地代替较旧的实时取景图像。
在采集并存储具有多个不同有效曝光的实时取景图像的情况下，改变某一瞬间的实时取景图像流中的图像的有效曝光是必要的。用于采集具有两个有效曝光的实时取景图像的一个方法是捕捉具有交替的有效曝光的实时取景图像。这种策略总是保证当捕捉静态图像时，两个最近捕捉的实时取景图像包括一个具有第一有效曝光的实时取景图像和另一个具有第二有效曝光的实时取景图像。这种策略的缺陷是：在相机的后面显示具有交替的有效曝光的实时取景图像而没有视觉伪像是困难的。然而，在一些情况下，可以以超过实时取景图像显示在相机的后面的速度捕捉实时取景图像。例如，如果以每秒60帧捕捉实时取景图像，并以每秒30帧将实时取景图像显示在相机的后面，只需要使对应于单一有效曝光的实时取景图像用于显示在相机的后面，消除视觉伪像的忧虑。
图3b示出用于采集具有不同有效曝光的实时取景图像的另外的方法。在步骤310中，当操作者构成图像时，操作者通过将相机上的捕捉按钮从S0位置（未按下的位置）按压到S1位置（部分按下的位置）开始采集过程，从而将部分按下捕捉按钮信号发送到相机中的系统控制器50。然后，系统控制器50命令相机开始采集并存储（采用可用的DSP存储器32）实时取景图像320。采集的实时取景图像可以对应于单一有效曝光。当操作者识别到采集时刻时，如步骤330中显示的，操作者将捕捉按钮从S1按压到S2（完全按下的位置），从而将完全按下捕捉按钮信号发送到相机中的系统控制器50。此时，在步骤335中，系统控制器50命令相机以不同于以前采集的有效曝光捕捉至少一个另外的实时取景图像。捕捉一个或更多另外的实时取景图像之后，在步骤340中系统控制器50命令相机停止继续采集或捕捉实时取景图像，并且开始捕捉具有比实时取景图像的空间分辨率大的空间分辨率的静态图像。在步骤350中，实时取景图像和静态图像被组合以形成具有比原始捕捉的静态图像的动态范围高的动态范围的改善的静态图像。最后，在步骤360中，改善的静态图像被渲染到输出空间。
通过延迟捕捉具有第二有效曝光的实时取景图像，直到用户已经将捕捉按钮从S1按压到S2为止，先于S2捕捉的实时取景图像可以显示在相机的后面，而不担心由改变实时取景图像的有效曝光导致的视觉伪像。
所有情况下，可以自动捕捉实时取景图像，而用户不需要转换相机模式，或针对实时取景图像手动设定曝光。
图4更详细地描述根据本发明的一个实施方式将实时取景图像和静态图像组合的步骤（来自图3a和图3b的步骤350）。采用静态图像410和至少一个实时取景图像420，将实时取景图像和静态图像组合的步骤开始。最初，静态图像的分辨率被减少430。注意，如这里定义的“代表实时取景图像”是作为步骤430的结果而产生的图像。该步骤可以包括像素组合、抽取（decimation）和修剪。优选实施方式中，减少静态图像的分辨率的步骤被设计成模仿相机采用的、产生实时取景图像的步骤。
对于具有4032列和3034行的12兆像素Bayer模式传感器，减少分辨率的例子如下。减少静态图像以产生1312×506的实时取景图像，比如当相机按钮被按压到S1位置时产生的。在每一维中，通过因子3，4032列×3034行被数字化组合。这可以通过组合相应Bayer模式像素位置的像素值实现。九个蓝色像素值被组合以产生一个组合的蓝色像素值。相似地，九个红色像素值被组合以产生一个组合的红色像素值。与红色像素相同的行上的九个绿色像素值被组合以形成组合的绿色像素值。并且与蓝色像素相同的行上的九个绿色像素被组合以形成另一个组合的绿色像素值。可以将组合的像素值除以贡献于该值的像素的数量而将组合的像素值归一化。组合步骤也可以抛弃像素值中的一些。例如，当形成组合的像素值时可以仅采用九个像素值中的六个。产生的图像的分辨率是1342×1010，并且保留Bayer模式。为了通过因子2进一步降低垂直分辨率，同时维持具有Bayer模式结构的图像，每隔两行地抛弃。这导致具有1342×506的分辨率的Bayer模式图像。最后，从图像的左侧剪掉16列，并在图像的右侧剪掉14列，以产生具有对应于实时取景图像的1312×506的分辨率的图像。
随后，将代表实时取景图像空间内插回到到原始静态图像的分辨率440。该过程产生内插的静态图像。在形成代表实时取景图像期间剪掉原始静态图像的某些行或列的情况下，内插步骤仅产生具有与剪掉的静态图像的分辨率相同的分辨率的内插的图像。优选的实施方式中，双三次内插用于产生内插的静态图像。然而，本领域的技术人员会认识到，存在许多产生内插的静态图像的合适的内插技术。
在步骤450中，从原始静态图像减去内插的静态图像以产生剩余图像。如果原始和内插的静态图像具有不同尺寸，剩余图像的尺寸可以与内插的静态图像的尺寸相同，并且可以忽略来自于原始静态图像的另外的行/列。或者，剩余图像的尺寸可以与原始静态图像的尺寸相同，并且剩余图像可以具有与内插的静态图像的分辨率之外的任何位置处的原始静态图像的值相等的值。注意，一旦产生剩余图像，存储体中再也不需要原始静态图像。
在步骤460中，将实时取景图像与代表实时取景图像组合以形成具有增加的动态范围的最终的实时取景图像。一旦完成该步骤，最终的实时取景图像被内插回到（可能修剪过的）静态图像的分辨率470。优选的实施方式中，内插步骤与步骤450中采用的内插步骤是相同的。最后，内插步骤的结果，内插的最终的实时取景图像被增加到剩余的图像，从而以具有增加的动态范围的静态图像分辨率形成改善的图像480。
图5更详细地描述根据本发明的替换实施方式将实时取景图像和静态图像组合的步骤（来自图3a和图3b的步骤350）。采用静态图像410和至少一个实时取景图像420，将实时取景图像和静态图像组合的步骤开始。实时取景图像被内插到与静态图像的分辨率相同的分辨率530。随后，将内插的实时取景图像与静态图像组合以形成具有增加的动态范围的最终的静态图像。
图6更详细地描述根据本发明的优选实施方式将实时取景图像和代表实时取景图像组合成具有增加的动态范围的最终的实时取景图像的步骤（来自图4的步骤460）。为了将实时取景图像和代表实时取景图像组合成具有更大动态范围的单一图像，实时取景图像和代表实时取景图像被处理以处于曝光度量中610。也就是说，像素值被处理以处于可以被追溯到相对曝光量的度量中。在优选实施方式中，该度量是线性相对曝光量。
随后，将实时取景图像和代表实时取景图像校正，以便两个图像都代表相同场景内容620。如以前描述的，期望的是：如果多个图像捕捉相同的场景，并且多个捕捉期间没有全局或目标运动发生。然而，运动的情况下，将实时取景图像和代表实时取景图像组合之前，可以包括另外的运动补偿步骤。
在一种运动补偿的方法中，应用全局运动补偿步骤以校正（align）实时取景图像和代表实时取景图像。全局运动估计和补偿方法对本领域技术人员是众所周知的，并且可以应用任何合适的方法以校正实时取景图像和代表实时取景图像。优选的实施方式中，在被校正的图像是CFA图像的情况下，运动估计步骤被限制到CFA模式尺寸的整数倍的平移运动，比如Bayer模式情况下的2×2，以确保运动补偿过的图像保留Bayer模式。
可以采用局部运动估计和补偿以代替或精炼全局运动估计。局部运动估计和补偿的方法对本领域技术人员是众所周知的，并且可以应用任何合适的方法以校正实时取景图像和代表实时取景图像。特别地，可以采用基于块的运动估计算法以确定局部区域（块）上的运动估计。
下一步是创建曝光和闪光的估计。假设有如下的关系：
Y(x,y)=ExposureDelta·X(x,y)+FlareDelta    等式(1)。
在等式（1）中，(x,y)指的是像素坐标，X指的是实时取景图像，并且Y指的是代表实时取景图像。ExposureDelta和FlareDelta是两个待求解的未知项。对于线性曝光度量中的图像数据，可以通过ExposureDelta代表的倍增项使两个仅在曝光方面不同的图像发生关系。可以采用如通过FlareDelta给定的另外的偏移项模拟未被倍增项模拟的两个图像之间的剩余的差异，比如闪光方面的差异。
大体上，可以根据相机捕捉系统确定两个图像之间的曝光差异和因此确定ExposureDelta项，然而，由于机械快门和其他相机元件的性能的变化，记录的曝光和实际的图像曝光之间存在显著差异。为了估计使实时取景图像和代表实时取景图像发生关系的曝光和闪光项，首先，将实时取景图像和代表实时取景图像像素化630或通过预过滤到小图像表示（比如，12×8像素）来减小实时取景图像和代表实时取景图像的尺寸。在优选实施方式中，实时取景图像和代表实时取景图像是CFA数据，并且仅采用来自单通道的图像数据形成每一图像的像素化版本。例如，计算像素化图像时，可以采用绿色像素数据。或者，可以采用所有三个通道的Bayer模式的CFA数据以产生像素化图像的亮度值。在实时取景图像和代表实时取景图像是全彩色图像的情况下，其中，每个像素位置处，全彩色图像具有红色、绿色和蓝色值，可以采用来自单通道的数据或根据全彩色图像计算亮度通道并根据亮度图像数据得到像素化图像而形成像素化图像。
实时取景图像和代表实时取景图像的像素化表示分别被给定为XP(i,j)和YP(i,j)，其中(i,j)是像素坐标。将像素化图像矢量化，并将像素化图像排列成两列阵列，其中阵列的每一行包括来自于XP的像素值和来自于YP的相应像素值。接下来，除去包含剪掉的像素值的所有行数据。注意的是，像素值随着增加的场景亮度增加到一点，其中，该点处像素值不再增加，而是保持相同。该点是剪掉的值。当像素处于剪掉的值时，它被称为被剪掉的。而且，除去包含被认为被噪声主导的像素值的所有行640。可以基于给定捕捉设备总体的噪声数据设定用于确定像素值是否被噪声主导的阈值。然后对剩余的阵列数据进行线性回归，以计算使阵列的第一列中的数据和阵列的第二列中的数据发生关系的斜率和偏移650。斜率代表曝光移位（ExposureDelta）；偏移代表全局闪光的估计（FlareDelta）。下一步是，对于与等式（1）相符合的曝光和闪光，转换实时取景图像X以匹配代表实时取景图像Y 660。该步骤导致调整的实时取景图像。优选实施方式中，如果偏移项FlareDelta是正的，从代表实时取景图像和调整的实时取景图像中都减去FlareDelta项。这导致计算具有减少的闪光的代表实时取景图像和调整的实时取景图像。
将代表实时取景图像和调整的实时取景图像组合以形成具有增加的动态范围的最终的实时取景图像670。在图7和图8中更详细地描述组合代表实时取景图像和调整的实时取景图像的步骤。
在图7中，如果调整的实时取景图像中的像素被剪掉710，并且代表实时取景图像中的相应像素被剪掉730，那么高动态范围图像（HDR图像）中的相应像素被设定到剪掉的值760。如果调整的实时取景图像中的像素被剪掉710，并且代表实时取景图像中的相应像素不被剪掉730，那么HDR图像中的相应像素被设定到相应代表实时取景图像像素值770。如果调整的实时取景图像中的像素不被剪掉710，并且代表实时取景图像中的相应像素被剪掉720，那么HDR中的相应像素被设定到相应调整的实时取景图像像素值740。如果调整的实时取景图像中的像素不被剪掉710，并且代表实时取景图像中的相应像素不被剪掉720，那么基于图8中描述的下面的方法之一设定HDR图像中的相应像素750。
组合像素的第一个方法810是简单地计算像素值的平均值820。平均值也可以是加权平均值，其中，权重是包含在每一图像中的相对噪声的函数。当捕捉之一具有较低分辨率和较低曝光时指出方法2，830。在这种情况下，计算两个图像的平均值会导致细节的损失。为了避免这样，总是选择来自于较高曝光图像的信息840。方法3描述一种方法850，其中，避免硬逻辑阈值，有利于以较低分辨率、较低曝光图像为特征的方法。将来自于较高曝光图像的像素值与阈值比较860。通过计算来自两个图像的像素值的平均值组合高于阈值的像素870。采用来自于具有较大曝光的图像的像素值组合不高于阈值的像素值880。
回到图3a和3b，一旦已经将实时取景图像和静态图像组合成具有增加的动态范围的图像，可以将它渲染到输出空间360。例如，可以通过色调调整处理（比如Gindele等人在美国专利No.7,130,485中描述的）将它渲染到sRGB图像。注意，如果图像被显示在固有地能够处理并显示高动态范围图像的设备上，可以略过步骤360。
在根据图4的本发明的优选实施方式中，实时取景图像和代表实时取景图像是CFA图像，并且具有增加的动态范围的最终的实时取景图像也是CFA图像。这种情况下，已经产生高动态范围图像之后，执行CFA内插的标准的图像处理步骤。或者，实时取景图像和静态图像可以是最初内插的CFA，并且可以采用全彩色图像执行所有随后步骤。
在图6中示出的组合实时取景图像和代表实时取景图像的步骤也可以被应用到待组合的两个图像是如步骤540中的内插的实时取景图像和静态图像的情况。该情况中，通过采用内插的实时取景图像和静态图像分别代替采用实时取景图像和代表实时取景图像来应用图6中概述的步骤中的每一个。而且，该情况中，组合步骤的输出是具有静态图像的分辨率的高动态范围图像。
图6中示出的组合实时取景图像和代表实时取景的步骤可以被多次应用到有多个具有不同曝光的实时取景图像的情况中。每一实时取景图像可以具有个别的比例和偏移值，其中计算比例和偏移值以使实时取景图像与代表实时取景图像发生关系。最终的实时取景图像可以形成为多个调整的实时取景图像与代表实时取景图像一起的组合。
运动补偿的另一个方法中，局部运动估计或运动检测用于识别场景中的目标运动区域。对应于目标运动的像素被识别，并且在将实时取景图像和代表实时取景图像组合（图4中的步骤460），或将内插的实时取景图像和静态图像组合（图5中的步骤540）的步骤中被不同地处理。特别地，因为标记为具有目标运动的区域中的静态图像和实时取景图像之间，场景内容不匹配，实时取景图像不用于改善那些区域中的静态图像的动态范围。对于本领域技术人员，运动检测方法是众所周知的，并且可以应用任何合适的方法以检测静态图像和实时取景图像中的运动区域。
本领域的技术人员会认识到，本发明有许多替换的方法。
已经具体参考其特定优选实施方式详细描述了本发明，但是，需要理解的是，本领域技术人员可以在如上述和如所附的权利要求中表明的本发明的范围内实现变化和修改，而不脱离本发明的范围。
元件清单
10  光
11  成像平台
12  透镜
13  滤光片模块
14  光圈
16  传感器模块
18  快门模块
20  图像传感器
22  模拟信号处理器
24  A/D转换器
26  定时发生器
28  传感器平台
30  总线
32  DSP存储器
36  数字信号处理器
38  处理平台
40  曝光控制器
50  系统控制器
52  总线
54  程序存储器
56  系统存储器
57  主机接口
60  存储卡接口
62  插口
64  存储卡
68  用户接口
70  取景显示器
72  曝光显示器
74  用户输入
76  状态显示器
80  视频编码器
82  显示控制器
88  图像显示器
310  捕捉按钮到S1块
320  图像采集块
330  捕捉按钮到S2块
335  图像捕捉块
340  图像捕捉块
350  图像组合块
360  图像渲染块
410  静态图像
420  实时取景图像
430  分辨率减少块
440  内插块
450  剩余计算块
460  图像组合块
470  内插块
480  图像组合块
530  内插块
540  图像组合块
610  图像处理块
620  图像校正块
630  图像像素形成块
640  剪掉的和噪声数据除去块
650  回归块
660  实时取景调整块
670  图像组合块
710  实时取景像素剪掉询问
720  代表实时取景像素剪掉询问
730  代表实时取景像素剪掉询问
740  分配块
750  分配块
760  分配块
770  分配块
810  方法一块
820  分配块
830  方法二块
840  分配块
850  方法三块
860  像素值询问
870  分配块
880  分配块。

Claims (11)

1.一种用于改善捕捉的数字图像的动态范围的方法，该方法包括步骤：
a）从实时取景图像流采集至少一个图像，其中，每一采集的实时取景图像具有有效曝光和第一分辨率；
b）以不同于采集的实时取景图像中的每一个的有效曝光的有效曝光和以高于所述第一分辨率的分辨率捕捉至少一个静态图像；以及
c）将至少一个实时取景图像和所述至少一个静态图像组合。
2.根据权利要求1所述的方法，进一步包括将组合的图像渲染到输出空间的步骤。
3.根据权利要求1所述的方法，其中，步骤c）包括以高于个别的采集的实时取景图像和捕捉的静态图像的动态范围的动态范围，将所述至少一个实时取景图像和所述至少一个静态图像组合到共同曝光空间。
4.根据权利要求1所述的方法，其中，步骤a）包括自动采集每一图像。
5.根据权利要求1所述的方法，其中，每一采集的实时取景图像具有少于静态图像的有效曝光的有效曝光。
6.根据权利要求1所述的方法，其中，每一采集的实时取景图像具有大于静态图像的有效曝光的有效曝光。
7.根据权利要求1所述的方法，其中，步骤a）包括以第一有效曝光采集第一实时取景图像和以不同于所述第一有效曝光的第二有效曝光采集第二实时取景图像。
8.根据权利要求7所述的方法，其中，第一采集的实时取景图像具有少于静态图像的有效曝光的有效曝光，并且第二采集的实时取景图像具有大于静态图像的有效曝光的有效曝光。
9.根据权利要求1所述的方法，其中，以实时取景图像的分辨率发生组合步骤。
10.根据权利要求1所述的方法，其中，以静态图像的分辨率发生组合步骤。
11.根据权利要求1所述的方法，其中，步骤c）进一步包括检测并补偿实时取景图像和静态图像中的运动。
CN2010800585316A 2009-12-22 2010-12-08 采用静态图像和预览图像创建高动态范围图像 Pending CN102668545A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/644,039 2009-12-22
US12/644,039 US20110149111A1 (en) 2009-12-22 2009-12-22 Creating an image using still and preview
PCT/US2010/059414 WO2011087630A1 (en) 2009-12-22 2010-12-08 Creating a high dynamic range image using still and preview images

Publications (1)

Publication Number Publication Date
CN102668545A true CN102668545A (zh) 2012-09-12

Family

ID=43618116

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010800585316A Pending CN102668545A (zh) 2009-12-22 2010-12-08 采用静态图像和预览图像创建高动态范围图像

Country Status (6)

Country Link
US (1) US20110149111A1 (zh)
EP (1) EP2517460A1 (zh)
JP (1) JP2013515442A (zh)
CN (1) CN102668545A (zh)
TW (1) TW201143396A (zh)
WO (1) WO2011087630A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104243844A (zh) * 2013-06-06 2014-12-24 富士通株式会社 图像处理装置、图像处理方法以及电子设备
WO2015117397A1 (zh) * 2014-08-25 2015-08-13 中兴通讯股份有限公司 一种拍照方法、装置及设备
CN105262953A (zh) * 2015-10-30 2016-01-20 努比亚技术有限公司 一种移动终端及其控制拍摄的方法
CN107392989A (zh) * 2016-04-29 2017-11-24 Arm有限公司 图形处理系统
CN108156390A (zh) * 2016-12-06 2018-06-12 宝利通公司 用于提供具有高动态范围的图像和视频的系统和方法
CN113364964A (zh) * 2020-03-02 2021-09-07 RealMe重庆移动通信有限公司 图像处理方法、图像处理装置、存储介质与终端设备
RU212327U1 (ru) * 2021-11-18 2022-07-15 Федеральное государственное унитарное предприятие "Центральный научно-исследовательский институт химии и механики" (ФГУП "ЦНИИХМ") Устройство для создания изображения с высоким динамическим диапазоном

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012019392A (ja) * 2010-07-08 2012-01-26 Nikon Corp 画像処理装置、電子カメラおよび画像処理プログラム
US9584733B2 (en) * 2010-09-30 2017-02-28 Apple Inc. High dynamic range transition
US8462221B2 (en) * 2010-11-03 2013-06-11 Eastman Kodak Company Method for producing high dynamic range images
US8466976B2 (en) * 2010-11-03 2013-06-18 Eastman Kodak Company Digital camera providing high dynamic range images
US8873882B2 (en) * 2011-02-28 2014-10-28 Aptina Imaging Corporation Blooming filter for multiple exposure high dynamic range image sensors
US8836816B2 (en) * 2011-05-19 2014-09-16 Foveon, Inc. Method of adjusting the brightness of a digital camera image
JP6021465B2 (ja) * 2011-07-11 2016-11-09 キヤノン株式会社 画像処理装置及び画像処理装置の制御方法
EP2608529B1 (en) 2011-12-22 2015-06-03 Axis AB Camera and method for optimizing the exposure of an image frame in a sequence of image frames capturing a scene based on level of motion in the scene
KR101889932B1 (ko) * 2012-07-25 2018-09-28 삼성전자주식회사 촬영 장치 및 이에 적용되는 촬영 방법
US8446481B1 (en) 2012-09-11 2013-05-21 Google Inc. Interleaved capture for high dynamic range image acquisition and synthesis
US8866927B2 (en) 2012-12-13 2014-10-21 Google Inc. Determining an image capture payload burst structure based on a metering image capture sweep
US9087391B2 (en) 2012-12-13 2015-07-21 Google Inc. Determining an image capture payload burst structure
US8866928B2 (en) 2012-12-18 2014-10-21 Google Inc. Determining exposure times using split paxels
US9247152B2 (en) 2012-12-20 2016-01-26 Google Inc. Determining image alignment failure
US8995784B2 (en) 2013-01-17 2015-03-31 Google Inc. Structure descriptors for image processing
US9686537B2 (en) 2013-02-05 2017-06-20 Google Inc. Noise models for image processing
TWI499984B (zh) * 2013-03-15 2015-09-11 Altek Semiconductor Corp 動態範圍模式的判定方法及其影像擷取裝置
US9117134B1 (en) 2013-03-19 2015-08-25 Google Inc. Image merging with blending
US9066017B2 (en) 2013-03-25 2015-06-23 Google Inc. Viewfinder display based on metering images
US9131201B1 (en) 2013-05-24 2015-09-08 Google Inc. Color correcting virtual long exposures with true long exposures
US9077913B2 (en) 2013-05-24 2015-07-07 Google Inc. Simulating high dynamic range imaging with virtual long-exposure images
US9615012B2 (en) 2013-09-30 2017-04-04 Google Inc. Using a second camera to adjust settings of first camera
US10110826B2 (en) * 2014-02-25 2018-10-23 Sony Corporation Imaging with adjustment of angle of view
US11190653B2 (en) * 2016-07-26 2021-11-30 Adobe Inc. Techniques for capturing an image within the context of a document
US10602051B2 (en) * 2017-03-28 2020-03-24 Canon Kabushiki Kaisha Imaging apparatus, control method, and non-transitory storage medium
CN110557573A (zh) 2018-06-01 2019-12-10 苹果公司 用于成像的统一包围曝光方法
CN109361870A (zh) * 2018-11-28 2019-02-19 维沃移动通信有限公司 一种拍照方法及终端设备
US20220217276A1 (en) * 2019-05-21 2022-07-07 Sony Group Corporation Image processing device, image processing method, and program

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0977432A2 (en) * 1998-07-28 2000-02-02 Olympus Optical Co., Ltd. Image pickup apparatus
CN101083724A (zh) * 2006-05-31 2007-12-05 Ess技术公司 具有提供增强动态范围图像的交错读取的cmos图像系统
US20080219581A1 (en) * 2007-03-05 2008-09-11 Fotonation Vision Limited Image Processing Method and Apparatus
US20090153694A1 (en) * 2007-12-14 2009-06-18 Katsumi Takayama Moving image generating apparatus, moving image shooting apparatus, moving image generating method, and program
US20090231445A1 (en) * 2008-03-17 2009-09-17 Makoto Kanehiro Imaging apparatus

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
US5012333A (en) * 1989-01-05 1991-04-30 Eastman Kodak Company Interactive dynamic range adjustment system for printing digital images
US6040858A (en) * 1994-11-18 2000-03-21 Canon Kabushiki Kaisha Method and apparatus for expanding the dynamic range of sensed color images
US5506619A (en) 1995-03-17 1996-04-09 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
US5629734A (en) 1995-03-17 1997-05-13 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
US5652621A (en) 1996-02-23 1997-07-29 Eastman Kodak Company Adaptive color plane interpolation in single sensor color electronic camera
US5828793A (en) * 1996-05-06 1998-10-27 Massachusetts Institute Of Technology Method and apparatus for producing digital images having extended dynamic ranges
TW502532B (en) * 1999-12-24 2002-09-11 Sanyo Electric Co Digital still camera, memory control device therefor, apparatus and method for image processing
US6909461B1 (en) * 2000-07-13 2005-06-21 Eastman Kodak Company Method and apparatus to extend the effective dynamic range of an image sensing device
WO2004017628A1 (ja) * 2002-07-24 2004-02-26 Matsushita Electric Industrial Co., Ltd. 撮像システム
US7130485B2 (en) 2002-10-02 2006-10-31 Eastman Kodak Company Enhancing the tonal and color characteristics of digital images using expansive and compressive tone scale functions
US7653298B2 (en) * 2005-03-03 2010-01-26 Fujifilm Corporation Image capturing apparatus, image capturing method, image capturing program, image recording output system and image recording output method
US7616256B2 (en) * 2005-03-21 2009-11-10 Dolby Laboratories Licensing Corporation Multiple exposure methods and apparatus for electronic cameras
JP4282645B2 (ja) * 2005-08-31 2009-06-24 株式会社東芝 撮像装置
JP4905187B2 (ja) * 2007-03-09 2012-03-28 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0977432A2 (en) * 1998-07-28 2000-02-02 Olympus Optical Co., Ltd. Image pickup apparatus
CN101083724A (zh) * 2006-05-31 2007-12-05 Ess技术公司 具有提供增强动态范围图像的交错读取的cmos图像系统
US20080219581A1 (en) * 2007-03-05 2008-09-11 Fotonation Vision Limited Image Processing Method and Apparatus
US20090153694A1 (en) * 2007-12-14 2009-06-18 Katsumi Takayama Moving image generating apparatus, moving image shooting apparatus, moving image generating method, and program
US20090231445A1 (en) * 2008-03-17 2009-09-17 Makoto Kanehiro Imaging apparatus

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104243844A (zh) * 2013-06-06 2014-12-24 富士通株式会社 图像处理装置、图像处理方法以及电子设备
WO2015117397A1 (zh) * 2014-08-25 2015-08-13 中兴通讯股份有限公司 一种拍照方法、装置及设备
CN105376473A (zh) * 2014-08-25 2016-03-02 中兴通讯股份有限公司 一种拍照方法、装置及设备
CN105262953A (zh) * 2015-10-30 2016-01-20 努比亚技术有限公司 一种移动终端及其控制拍摄的方法
WO2017071471A1 (zh) * 2015-10-30 2017-05-04 努比亚技术有限公司 一种移动终端及其控制拍摄的方法
CN105262953B (zh) * 2015-10-30 2018-11-16 努比亚技术有限公司 一种移动终端及其控制拍摄的方法
CN107392989A (zh) * 2016-04-29 2017-11-24 Arm有限公司 图形处理系统
CN107392989B (zh) * 2016-04-29 2023-03-21 Arm有限公司 图形处理器和操作方法、图形处理系统和操作方法
CN108156390A (zh) * 2016-12-06 2018-06-12 宝利通公司 用于提供具有高动态范围的图像和视频的系统和方法
CN108156390B (zh) * 2016-12-06 2020-06-05 宝利通公司 用于提供具有高动态范围的图像和视频的系统和方法
CN113364964A (zh) * 2020-03-02 2021-09-07 RealMe重庆移动通信有限公司 图像处理方法、图像处理装置、存储介质与终端设备
RU212327U1 (ru) * 2021-11-18 2022-07-15 Федеральное государственное унитарное предприятие "Центральный научно-исследовательский институт химии и механики" (ФГУП "ЦНИИХМ") Устройство для создания изображения с высоким динамическим диапазоном

Also Published As

Publication number Publication date
EP2517460A1 (en) 2012-10-31
US20110149111A1 (en) 2011-06-23
TW201143396A (en) 2011-12-01
WO2011087630A1 (en) 2011-07-21
JP2013515442A (ja) 2013-05-02

Similar Documents

Publication Publication Date Title
CN102668545A (zh) 采用静态图像和预览图像创建高动态范围图像
CN105046668B (zh) 产生高动态范围图像的方法
TWI496463B (zh) 形成全彩色影像之方法
TWI462055B (zh) 具有合成全色影像之彩色濾光器陣列影像
TWI495336B (zh) 利用彩色濾光片陣列影像產生全彩影像
US8218068B2 (en) Exposing pixel groups in producing digital images
US8558913B2 (en) Capture condition selection from brightness and motion
US8164651B2 (en) Concentric exposure sequence for image sensor
CN101755463B (zh) 图像传感器的多分量读出
US8737755B2 (en) Method for creating high dynamic range image
US10630920B2 (en) Image processing apparatus
US20110052095A1 (en) Using captured high and low resolution images
US20090051984A1 (en) Image sensor having checkerboard pattern
CN102783135A (zh) 利用低分辨率图像提供高分辨率图像的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: GAOZHI 83 FOUNDATION LLC

Free format text: FORMER OWNER: EASTMAN KODAK COMPANY (US) 343 STATE STREET, ROCHESTER, NEW YORK

Effective date: 20130409

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20130409

Address after: Nevada, USA

Applicant after: Gaozhi 83 Foundation Co.,Ltd.

Address before: American New York

Applicant before: Eastman Kodak Co.

C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120912