CN102857712B - 具有高动态范围捕捉能力的图像传感器 - Google Patents

具有高动态范围捕捉能力的图像传感器 Download PDF

Info

Publication number
CN102857712B
CN102857712B CN201210269110.9A CN201210269110A CN102857712B CN 102857712 B CN102857712 B CN 102857712B CN 201210269110 A CN201210269110 A CN 201210269110A CN 102857712 B CN102857712 B CN 102857712B
Authority
CN
China
Prior art keywords
image
view data
data
classification
snubber
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210269110.9A
Other languages
English (en)
Other versions
CN102857712A (zh
Inventor
M·弗兰克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Computer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Computer Inc filed Critical Apple Computer Inc
Publication of CN102857712A publication Critical patent/CN102857712A/zh
Application granted granted Critical
Publication of CN102857712B publication Critical patent/CN102857712B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明涉及具有高动态范围捕捉能力的图像传感器。一种生成高动态范围图像的系统和方法。在传感器的两个或更多读取之后执行单一的图像传感器复位以检索数据。所述图像传感器的这些读取在随后的传感器复位之前完成。这些读取也可在预定时间相对于彼此完成。在这些扫描期间读出的数据可由图像信号处理器解交织(deinterleaved)并组合到高动态范围图像中。

Description

具有高动态范围捕捉能力的图像传感器
技术领域
本公开一般涉及图像捕捉系统及技术。
背景技术
这部分旨在向读者介绍可与本公开的各个方面相关联的不同方面的技术，其在下面进行描述和/或要求权利。这部分论述被认为在向读者提供背景技术信息以便更好地理解本公开的各个方面是有帮助的。相应的，应当理解这些文字表述将从这个角度进行阅读，而不是作为对现有技术的承认。
高动态范围(HDR)成像一般涉及一组成像技术，其允许比标准数字成像技术捕捉和呈现图像的最亮区域和最暗区域之间亮度的更大动态范围。较宽的动态范围允许HDR图像更精确的呈现在真实世界场景中发现的宽范围强度等级。一种用于捕捉HDR图像的方法包括合并多个独立捕捉的照片。例如，这个过程可包括以不同连续曝光捕捉多个图像，以及然后对它们进行处理以生成复合HDR图像。
然而，从多个独立捕捉的图像生成HDR图像的过程存在缺点。例如，当连续捕捉图像时可以发生改变，使得由此生成的复合HDR图像可以并不完全对齐。这可以在复合HDR图像中产生运动伪影。此外，图像可以被图像场景中的局部运动影响，例如，树在风中摇摆、人物和面孔轻微转移等等。此外，基于要捕捉的图像，用于处理HDR图像所需的时间可能发生延迟。相应的，需要增加生成HDR图像的速度和连续性的技术和系统。
发明内容
以下阐述在此公开的特定实施例的概述。应当理解，所呈现的这些方面仅是向读者提供这些特定实施例的简要概述并且这些方面并不试图限制本公开的范围。实际上，本公开可以包括以下可能没有阐述的不同方面。
本发明的实施例涉及图像的生成，特别涉及在HDR成像应用中的图像的生成。例如，在一个实施例中，单个图像可以由图像捕捉设备(例如照相机)捕捉到。这个捕捉到的图像可以是由图像捕捉设备的图像传感器将光能转换成电信号(例如，电压)的结果。图像传感器进行多次扫描(即，读取)以便当第二读取与要捕捉的图像的过度曝光表现相对应时，一个读取能够与要捕捉的图像的欠曝光表现相对应。该读取数据可以沿单一路径被传输到图像处理电路，在所述图像处理电路中，图像信号处理器从第一和第二扫描中分离数据。该分离的数据可以被单独存储并且可以通过图像信号处理器被重新组合以生成HDR图像，所述HDR图像被传输用于在电子设备的显示器上显示。
以上提到的各种改进的特征可能与本公开的不同方面有关。进一步的特征也可被结合到这些不同方面中。这些改进和附加特征可以独立存在或以任何方式组合。例如，与下面论述的一个或多个说明的实施例相关的不同特征可以被单独或以任何组合方式结合到本公开以上描述的任何方面中。此外，以上的简要概述仅试图使读者熟悉本公开的实施例的某些方面和范围而并不限制所要求的主题。
附图说明
通过阅读以下的详细描述以及通过参照附图可以更好地理解本公开的各个方面，其中：
图1是描述示例的电子设备的组件的简化框图，该电子设备包括图像捕捉设备以及被配置成根据本公开阐述的各个方面来实现HDR图像处理技术的图像信号处理子系统；
图2是在图1的电子设备的图像捕捉设备中实现的拜耳滤色器阵列的2×2像素块的图形表示；
图3是根据本公开的各个方面的手持便携式电子设备形式的图1的电子设备的前视图；
图4是图3中示出的手持电子设备的后视图；
图5显示经由图1的电子设备捕捉的图像的示例；
图6是图1的电子设备的图像捕捉设备和图像信号处理子系统的框图；以及
图7是描述图6的图像信号处理子系统的图像信号处理器的操作的流程图。
具体实施方式
将在以下描述本公开的一个或多个具体实施例。这些描述的实施例仅是当前公开的技术的示例。此外，在致力于提供这些实施例的简要说明的过程中，实际实现方式的所有特征可能不会在说明书中描述。应当明白在任何这样的实际实现方式的开发中，如在任何工程或设计项目中，必须作出许多具体实现方式的决定以实现开发者的具体目标，例如遵守系统相关和业务相关准则，这可以根据不同实现方式而变化。此外，应当明白这样的开发努力可能是复杂和耗时的，但是对于那些受益于本公开的普通技术人员来说，这种开发努力又是承担设计、制造以及生产的日常事务。
当介绍本公开的不同实施例的元件时，冠词“一个(a，an)”和“所述(the)”试图表示具有一个或多个元件。术语“包含(comprising)”，“包括(including)”以及“具有(having)”是包含性的并且意味着有附加的元件而不是列出的元件。此外，应当理解对本公开的“一个实施例”和“实施例”的引用，并不试图被解释为排除存在还结合了引用特征的附加实施例。
如将在以下论述的，本公开一般提供使用数字图像传感器用于HDR图像生成以及用于合并在单次曝光期间捕捉的图像的不同技术。图1是描述示例的电子设备10的结构图，所述电子设备10可根据本公开的实施例提供数字图像的生成。电子设备10可以是任何类型的电子设备，诸如膝上型电脑或台式计算机、移动电话、数字媒体播放器等等，其可以接收并处理图像数据，诸如使用一个或多个图像感测设备获取的数据。仅通过示例，电子设备10可以是便携式电子设备，例如可从加州库珀蒂诺的苹果公司获得的或的型号。此外，电子设备10可以是台式机、膝上型电脑或平板电脑，诸如可从苹果公司获得的MacMac或者的型号。在其他实施例中，电子设备10还可以是来自其它能够获取和处理图像数据的制造商的电子设备的型号。
电子设备10可以包括有助于设备10的功能的各种内部和/或外部组件。本领域普通技术人员可以理解图1示出的各种功能块可以包含硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)或者硬件元件和软件元件的组合。例如，在当前说明的实施例中，电子设备10可包括输入/输出(I/O)端口12、输入结构14、一个或多个处理器16、存储设备18、非易失性存储器20、一个或多个扩展卡22、联网设备24、电源26、以及显示器28。此外，电子设备10可以包括一个或多个成像设备30(例如数字照相机)，以及图像处理电路(ISP子系统)32。如将在以下进一步论述的，图像处理电路32可执行用于处理图像数据以生成复合HDR图像的图像处理技术。
处理器16可控制设备10的一般操作。例如，处理器16可提供执行操作系统、程序、用户和应用界面的处理能力，以及电子设备10的任意其他功能。处理器16可包括一个或多个微处理器，诸如一个或多个“通用”微处理器、一个或多个特殊用途微处理器和/或专用微处理器(ASIC)、或这些处理元件的组合。例如，处理器16可包括一个或多个处理引擎(例如，RISC或CISC处理器、图形处理器(GPU)、视频处理器、和/或相关芯片组)。可以理解，处理器16可以被耦接到一个或多个用于在电子设备10的不同组件之间传输数据和指令的总线。在特定实施例中，处理器16可提供处理能力来执行电子设备10上的成像应用，诸如可从苹果公司获得的Photo或或者由苹果公司提供并且可由型号获得的“Camera”和/或“Photo”应用。在一个实施例中，处理器16也可以提供用来执行设备10上的视频会议应用的能力，诸如可从苹果公司获得的
由处理器16处理的指令或数据可被存储在计算机可读介质中，诸如存储在存储设备18中。可提供存储设备18作为易失性存储器(诸如随机存取存储器(RAM))或作为非易失性存储器(诸如只读存储器(ROM))，或者作为一个或多个RAM和ROM器件的组合。存储设备18可以存储多种信息并可被用作不同的目的。例如，存储设备18可以存储用于电子设备10的固件，诸如基本输入输出系统(BIOS)、操作系统、各种程序、应用、或可在电子设备10上执行的任何其它例程，包括用户接口功能、处理器功能等等。此外，存储设备18可以被用来在电子设备10的操作期间进行缓冲或超高速缓存。例如，在一个实施例中，存储设备18可包括一个或多个用于缓冲被输出到显示器28的视频数据的帧缓冲器。
除了存储设备18之外，电子设备10可以进一步包括非易失性存储器20，用于持久存储数据和/或指令。非易失性存储器20可以包括闪速存储器、硬盘、或任何其它的光学的、磁性的、和/或固态的存储介质、或其的一些组合。因而，尽管为了清楚起见描绘图1中的单一设备，但是可以理解非易失性存储器20可以包括结合处理器16操作的一个或多个以上列出的存储器器件的组合。非易失性存储器20也可被用来存储固件、数据文件、图像数据、软件程序和应用、无线连接信息、个人信息、用户偏好、以及任何其他适当的数据。依照本公开的各个方面，存储在非易失性存储器20和/或存储设备18中的图像数据在被输出到显示器之前可以由图像处理电路32处理。
显示器28可被用来显示由设备10生成的各种图像，例如用于操作系统的GUI，或由图像处理电路32处理的图像数据(包括静止图像数据和视频数据)，这将在以下进一步论述。如上所述，图像数据可包括使用成像设备30获取的数据图像或从存储设备18和/或非易失性存储器20检索到的图像数据。显示器28可以是任何适当类型的显示器，诸如例如液晶显示器(LCD)、等离子显示器、或有机发光二极管(OLED)显示器。在一个实施例中，显示器可以是每英寸具有300个或更多像素的高分辨率LCD显示器，诸如可从苹果公司获得的Retina此外，在一些实施例中，显示器28可被提供用来结合上面论述的触敏机构(例如，触摸屏)，所述触敏机构可作为电子设备10的输入结构(14)起作用。
如上所述，电子设备10可包括成像设备(30)，所述成像设备可被提供作为被配置成获取静止图像和移动图像(例如，视频)的数字照相机。照相机30可包括镜头以及一个或多个用来捕捉和将光转换成电信号的图像传感器。仅通过示例，图像传感器可包括CMOS图像传感器(例如CMOS有源像素传感器(APS))或CCD(电荷耦合器件)传感器。通常照相机30中的图像传感器包括具有像素阵列的集成电路，其中每个像素包括用于从图像场景感测光的光电探测器。图像传感器可经由传感器接口被耦接到ISP子系统32，所述ISP子系统32可利用标准移动成像构架(SMIA)接口或任何适当的串行或并行图像传感器接口，或这些接口的组合。
本领域技术人员可以理解，传感器的成像像素中的光电探测器一般探测经由照相机镜头捕捉的光的强度。然而，光电探测器本身一般不能探测捕捉的光的波长，以及因而不能确定颜色信息。相应的，图像传感器进一步包括滤色器阵列(CFA)，其可以覆盖或被布置到图像传感器的像素阵列上以捕捉颜色信息。滤色器阵列可包括小型滤色器阵列，其每一个可以覆盖图像传感器的相应像素并可过滤通过波长捕捉的光。因而，当结合使用时，滤色器阵列和图像传感器可提供关于通过照相机捕捉的光的波长和强度信息，其可以表示捕捉到的图像。
在一个实施例中，滤色器阵列可包括拜耳滤色器阵列，其提供的彩色图样(colorpattern)包括50％绿色元素、25％红色元素以及25％蓝色元素。图2示出了包括2个绿色元素(参考Gr和Gb)、1个红色元素(R)以及1个蓝色元素(B)的拜耳滤色器阵列CFA的2×2像素块。因而，利用拜耳滤色器阵列的图像传感器可提供有关由照相机30在绿色、红色和蓝色波长接收的光的强度的信息，由此每个图像像素仅记录三种颜色(红、绿或蓝)中的一种。然后，可以使用一种或多种去马赛克技术处理该信息(可被称为“原始图像数据”)，以将原始图像数据转换成全彩色图像，一般通过为每个像素插入一组红色、绿色和蓝色值。这些去马赛克技术可由ISP子系统32执行。
继续到图3和4，电子设备10以便携式手持电子设备50的形式进行描述，其可以是型号，诸如可从苹果公司获得的iPod或手持设备50包括外壳52，其可具有保护内部元件免受物理损害以及使内部元件屏蔽电磁干扰(EMI)的功能。外壳52可由任何适当的材料或材料的组合形成(例如塑料、金属、合金、或复合材料)，并且允许某些频率的电磁辐射(诸如无线网络(例如，支持802.11a/b/g/n网络)和/或电信信号(例如，GPRS、EDGE、3G、LTE等等)通过无线通信电路(例如，网络设备24)，所述无线通信电路可被放置在外壳52中，如图3所示。
外壳52还包括各种用户输入结构14，用户可通过其与手持设备50交互。例如，当按压或启动时每个输入结构14可控制一个或多个相应的设备功能。通过示例，一个或多个输入结构14可调用要显示的“主(home)”屏幕或菜单，以在休眠、唤醒、或在电源打开/关闭模式之间切换，使蜂窝电话应用的振铃静默，增加或降低音量输出等等。应当理解所示出的输入机构14仅是示范性的，并且手持设备50可以包括任意数量的以不同形式存在的适当的用户输入结构，包括按钮、开关、按键、旋钮、滚轮等等。
手持设备50可以包括各种I/O端口12。例如，所描述的I/O端口12可包括专有连接端口12a(例如，可从苹果公司获得的30针对接连接器(dock-connector))，用于传输和接收数据以及用于对电源26充电，所述电源26可以包括一个或多个可移动、可充电、和/或可替换的电池。I/O端口也可以包括用于将设备50连接到音频输出设备(例如，耳机或扬声器)的音频连接端口12b。此外，在手持设备50提供移动电话功能性的实施例中，I/O端口12c可被提供用于接收用户识别模块(SIM)卡(例如，扩展卡22)。
显示器28，其可以是LCD、OLED或任何适当类型的显示器并可以显示由手持设备50生成的各种图像。例如，显示器28可以显示各种系统指示符54，该系统指示符用于向用户提供有关于手持设备50的一个或多个状态的反馈，例如电源状况、信号强度、外部设备连接等等。显示器28也可以显示允许用户与设备50交互的图像用户界面(GUI)56。在某些实施例中，当前显示的GUI56的屏幕图像可以表示在设备50上运行的操作系统的主屏幕(homescreen)，所述操作系统可以是可从苹果公司获得的Mac或(以前iPhone)操作系统的版本。
GUI56可以包括各种图形元素，诸如可与各种可以根据用户选择(例如，接收对应于选择特定图标58的用户输入)而被打开或执行的应用对应的图标58。在一些实施例中，对图标58的选择可引起分等级导航过程，使得对图标58的选择导致包括一个或多个附加的图标或其他GUI元素的屏幕或打开包括一个或多个附加的图标或其他GUI元素的另一个图形窗口。在所说明的实施例中，图标58中的一个代表照相机应用66，其可以与位于设备50前端的用于捕捉图像的第一前置照相机30a和位于设备50后端的用于捕捉图像的第二后置照相机36b(在图3中用幻影线表示)中的一者或两者组合使用。简要参考图4，所描述的手持设备50的后视图示出了与外壳52相结合并位于手持设备50后部的后置照相机36b。在所描述的实施例中，手持设备50的后部可包括闪光灯模块(也被称为频闪闪光灯)64，其可被用于照亮使用后置照相机36b捕捉的图像场景。通过示例，闪光灯模块64可包括氙气照明设备和/或发光二极管(LED)。在一个实施例中，前置和后置照相机30a和30b可以用来提供视频会议功能，诸如通过使用基于可从苹果公司获得的的视频会议应用。
此外，手持设备50可包括各种音频输入和输出元件。例如，音频输入/输出元件70可以包括输入接收器，诸如麦克风。因而，在手持设备50包括移动电话功能性的实施例中，输入接收器可接收用户音频输入，诸如用户的声音。此外，音频输入/输出元件70可包括一个或多个输出发射机，其可包括一个或多个用来诸如在使用媒体播放器应用72播放音乐数据期间向用户传递音频信号的扬声器。在移动电话的实施例中，可以提供附加的音频输出发射机74，如图3所示。类似于音频输入/输出元件70的输出发射机，输出发射机74也可以包括一个或多个将音频信号传递给用户的扬声器，例如诸如在电话呼叫期间接收的语音数据。因而，在移动电话的实施例中，音频输入/输出元件70和74可共同用作电话的音频接收和发送的元件。
现在提供了与电子设备10可采用的某些形状因子有关的内容，将进一步详细论述可在依据本公开阐明的各个实施例的电子设备10上执行的特定HDR成像技术。例如，图像处理电路32可对捕捉的图像执行图像合并以生成复合HDR图像。在一个实施例中，对于HDR成像，照相机30可在单次曝光期间获得多个图像，包括在低曝光水平(欠曝光)的一个或多个图像以及在高曝光水平(过曝光)的一个或多个图像，所述图像可被用来由图像处理电路32生成单个复合HDR图像。可替代的，照相机30可在低曝光水平(欠曝光)获得至少一个图像，以及在正常高曝光水平获得至少一个图像，以及在高曝光水平(过曝光)获得至少一个图像。图像处理电路32可处理这些图像以生成复合HDR图像。
图5描述了由照相机30的图像传感器捕捉的图像76的示例。可通过照相机30经由使用图像获取的卷帘快门方法(即，对像素进行行扫描获取和行扫描复位来启动曝光)的处理来捕捉图像76。也就是说，照相机30可以及时记录并非来自单点的单个快照的图像，而是通过在照相机30的图像传感器的可曝光区域卷帘(即，移动)快门，而不是始终曝光图像区域(帧)。相应的，由照相机30的图像传感器中的像素按行(或者垂直或者水平方向)捕捉信息帧，使得图像76的所有部分并不是在完全相同的时间被记录，尽管图像76的整体可以被重建以在播放期间作为单个图像76进行显示。在其他实施例中，可以采用图像获取的全局快门方法，其中图像传感器的整个帧在同时曝光。
如图5所示，图像76的扫描方向可由线条78表示。就是说，卷帘快门复位80可从图像76的最上面部分82移动到图像76的最下面部分84来复位图像传感器中的像素。由于图像传感器的像素由卷帘快门复位80来复位，复位像素可开始收集对应于图像76的一部分的光。就是说，照相机30中的图像传感器的像素可以曝光，所述光被收集并用来生成图像76。在一个实施例中，卷帘快门复位80可在固定时间量“t”(即，帧时间)内从图像76的部分82移动到部分84(即，跨越一个完整帧)。例如，这个固定时间量t可以是一秒的1/15、一秒的1/30、一秒的1/60、一秒的1/125、一秒的1/250、一秒的1/500、一秒的1/1000、一秒的1/5000、一秒的1/10000、或其它的时间量。该固定时间量t也可以自动调整，例如由在电子设备10上执行成像应用的处理器16调整，所述应用诸如可以是可从苹果公司获得的Photo或或者是可由苹果公司提供并可在型号上获得的“Camera”和/或“Photo”应用，或者可由用户例如在与以上提到的成像应用交互期间调整。
为了在帧的单次曝光期间(即，在卷帘快门复位80移动跨越帧期间的固定时间量t)生成HDR图像，可以进行对图像传感器的同一行像素的多个读取。例如，对存储在像素行中的数据的第一数据读取86可在时间n进行，其中n是时间t的固定分数时间。该时间n例如可以是1/2、1/3、1/4、1/5、1/10、1/20、或帧时间t的其它数值。该时间n可由图5中的线条88表示。就是说，第一数据读取86可在由卷帘快门复位80复位一行像素之后的时间n进行。相应的，随着卷帘快门复位80沿线条78向下通过，第一数据读取86可按时间n追踪卷帘快门复位80。以这种方式，对存储在帧的每行像素中的数据的读取可在该行像素的卷帘快门复位80之后的时间n进行。因而，在第一数据读取86跨越图像存储器时读取的每行像素将在同一时间n曝光，其被称为曝光时间或积分时间。
应当指出该第一数据读取86可对应于以低曝光水平(欠曝光)生成图片。就是说，第一数据读取86可有助于生成图片，其中图像76的阴影区域可被不佳呈现，而图片的明亮区域被清晰呈现。就是说，与第一数据读取86对应的数据可有助于呈现HDR图像的明亮部分。
在第一数据读取86之后，例如，可对存储在图像存储器的像素行中的数据执行第二数据读取90。第二数据读取90可处于由图5中的线条92表示的时间m。该时间m可以是时间n的多倍。例如时间m可以等于时间n、1.5倍的时间n、2倍的时间n、2.5倍的时间n、3倍的时间n、3.5倍的时间n、4倍的时间n、或其它倍数的时间n。在一个实施例中，沿线条92表示的时间m可以是时间n的三倍，以便第二数据读取90可在四倍的时间n(也就是，4n)的总时间执行。就是说，第二数据读取90可发生在由卷帘快门复位80对像素行的复位之后的时间4n。相应的，随着卷帘快门复位80沿线条78向下通过，第二数据读取86可按时间4n追踪卷帘快门复位80。以这种方式，对存储在帧的每行像素中的数据的读取可在该行像素的卷帘快门复位80之后的时间4n进行。因而，在第二数据读取90通过图像传感器时读取的每行像素将在同一时间4n曝光。以这种方式，在单个帧捕捉期间可以完成多次曝光(例如，一个具有曝光时间n以及一个具有曝光时间4n)。
应当注意该第二数据读取90可对应于以高曝光水平(过曝光)生成图片。就是说，第二数据读取90可有助于生成图片，其中图像76的阴影区域被清晰呈现，而图片的明亮区域被淘汰(washout)。就是说，与第二数据读取90对应的数据可有助于呈现HDR图像的黑暗部分。以这种方式，来自第一数据读取86的数据可以用来生成HDR图像的明亮部分，以及来自第二数据读取90的数据可以用来生成HDR图像的黑暗部分，以便复合HDR图像可具有改进的动态范围，以及因而比从第一数据读取86的数据或第二数据读取90的数据呈现的图片更有视觉吸引力。此外，除了第一数据读取86和第二数据读取90之外可采取其他数据读取。例如，在第一数据读取86与第二数据读取90之间的时刻采取第三数据读取，以便第三数据读取与“正常”曝光(例如，如果第一数据读取86在时间n并且第二数据读取90在时间4n时在时间2n)相对应。该第三数据读取可结合来自第一数据读取86和第二数据读取90的数据，以生成复合HDR图像。
另外，执行电子设备10上的成像应用的处理器16也可以改变读出时间n和任何其随后的多个时间以及数据读取的总数。这种改变可基于有关诸如要拍摄的主体的亮度、照相机的曝光指数、噪音的因素、或其他因素的反馈来进行。例如，以较慢的帧速率可发生更多的数据读取，以及在较低亮度水平发生延迟读出时间n。尽管改变了数据读取(例如，数据读出86和90)的读出时间，但是可以调整曝光时间以允许对要生成的HDR图像的修改。
图6示出了照相机30以及可被用来生成HDR图像的图像处理电路32的元件的框图。照相机30包括用来捕捉光并将光转换成电信号的图像传感器94。图像传感器94可以是例如CMOS图像传感器(例如，CMOS有源像素传感器(APS))或CCD(电荷耦合器件)传感器。通常，照相机30中的图像传感器94包括具有像素阵列的集成电路，其中每个像素包括用于从图像76感测光的光电探测器。像素可经由如上关于图5描述的卷帘快门复位80被复位，并且可操作用来读出捕捉的光数值作为第一数据读取86、第二数据读取90、或其他数据读取期间的电信号。例如，第一数据读取86可在以上描述的时间n进行以生成对应于欠曝光图片的数据，第二数据读取90可在时间4n进行以生成对应于过曝光图片的数据，以及第三数据读取可在时间2n进行以生成对应于平均(即，正常)曝光图片的数据。
卷帘快门复位80、第一数据读取86、第二数据读取90、以及任何其他数据读取可以由扫描电路95执行。扫描电路95可例如从处理器16接收一个或多个激活信号，并且可操作以将数据读取信号传输到图像传感器94的各个像素。例如，扫描电路95可在第一数据读取86(例如，在时间n)期间将激活信号传输到像素行以使数据从激活的像素行传输。随后扫描电路95可在第二数据读取90(例如，在时间4n)期间将激活信号传输到该相同的像素行以使数据从激活的像素行传输。以这种方式，扫描电路95可允许在快门复位之前多次从图像传感器94读出数据。
从图像传感器94读出的数据可以被传输到模数(A/D)转换器96。A/D转换器96可以例如是与图像传感器94在同一个芯片或电路上，或者A/D转换器96可以电耦接到图像传感器。A/D转换器96可以例如是流水线A/D转换器或列A/D转换器。A/D转换器96可以例如在第一数据读取86期间接收从图像传感器94读出的数据，以及可以将接收的数据转换成与接收到的数据值对应的数字信号(数字数据)。然后该数字数据可沿路径98传输到图像处理电路32。路径98可包括移动行业处理器接口摄像头串行接口(MIPICSI)、标准移动行业架构(SMIA)接口、或者任何其他合适的并行或串行接口。另外，在一个实施例中，数据可以串行方式传输到图像处理电路32。
然而，如上所述，图像传感器94的多个数据读取可以在单次曝光(例如，第一数据读取86、第二数据读取90、和/或其他数据读取)期间进行。因而，经由这些读取中的每一个接收的数据必须共享路径98。要实现这点，可以执行图像传感器94的交错读取。就是说，来自第一数据读取86的数据可被传输到A/D转换器直到第二数据读取90开始的时间。此时，从图像传感器94首先沿与第一数据读取86对应的行，然后沿与第二数据读取90对应的行读取数据。该过程可以重复(例如，以交织模式)，只要两个正被执行的读取的时间重叠。此外，如果引入第三或更多数据读取，可以类似的与其他读取交错，以便每个读取以交错方式将数据传输到A/D转换器96。以这种方式，由于A/D转换器96将提供给它的数据转换成它接收的数字格式，沿路径98传输的数字数据可以包括例如从第一数据读取86读取的数据、从第二数据读取90读取的数据、以及任何从附加数据读出读取的数据。
在一个实施例中，缓冲器97可以被实现为与图像传感器94在同一芯片或电路上的线缓冲区(即，存储对应于读出数据行的数据的存储器)。该缓冲器97可存储从数据读取(例如，第一数据读取86)接收的数据以便数据可在A/D转换器96转换之前被分组(例如，4×4分级)。就是说，來自像素集群的数据可以被组合成单个像素值，因而降低读取噪音的影响，该读取噪音被传递给从图像传感器94读取的数据。在一个实施例中，与过曝光和欠曝光图片相关的数据可被分级以降低在接口上传输的数据量。
另外的或可替代的，缓冲器97可被用来排列用于多个数据读取的数据流。就是说，缓冲器97可以是帧缓冲器，其可存储用于传输的一个完整数据读取(例如，第二数据读取90)，同时不用存储而传输第二数据读取(例如，第一数据读取86)。就是说，当数据读取可被交错时，沿路径98传输的数据可以包括从第一数据读取86读出的所有数据以及随后从第二数据读取90读出的(以及从缓冲器97传输的)所有数据。以这种方式使用缓冲器97可允许降低在将数据与数据路径98分离时(即，数据路径98上的数据不会被交织)的复杂性。
沿路径98传递的数字数据可以在图像处理电路32接收。如上所述，该数字数据可以包括来自图像传感器94的一个以上的读取的数据(即，与不同曝光时间相关的数据)。相应的，在一个实施例中，对应于第一数据读取86、第二数据读取90、或任何其他数据读取的数字数据可以包括标识符，诸如一个或多个标识比特，以便接收的数据可被标识为属于特定数据读取(例如，第一数据读取86)。以这种方式，可标记数字数据，以便图像信号处理器(ISP)100可以例如对与特定数据读取相关的接收数字数据进行正确分类。此外，应当注意到ISP100可以被用来调整读出时间(例如，当执行数据读取时)。例如，ISP100可以被用来生成诸如与曝光、白平衡、以及成像设备30的焦点的因素相关的统计数据。该数据可被用来调整成像设备30的读出时间以及因此调整HDR图像。
如上所述，ISP100可以接收数字数据并可操作用来将从路径98接收的数据分离成相应的曝光。例如，ISP100可以分离从第一数据读取86读取的数据并在缓冲器102中保存该分离的数据，所述缓冲器102可以是一个存储位置。类似的，ISP100可以将从第二数据读取90读取的数据与沿路径98接收的数据，并在缓冲器104中存储该分离的数据，所述缓冲器104可以是一个存储位置。在一些实施例中，缓冲器102和104可以是单个物理存储电路的单独位置。在其他实施例中，缓冲器102和104可以位于不同的存储电路中。另外，ISP100可以操作用来分离与从图像传感器94读取一样多的数据部分，以及例如可以包括对应于所执行的每个附加数据读取的附加缓冲器。
例如，一旦分离了与第一数据读取86和第二数据读取90相关的所有数据，则每个缓冲器102和104可以包括可用来形成HDR图像的完整一组数据。相应的，ISP100可以组合存储在缓冲器102和104中的数据，以生成复合HDR图像，该HDR图像可以被传输到用于供处理器16检索的缓冲器106。在一个实施例中，HDR图像可以包含比存储在缓冲器102和104中的数据更高的比特深度。例如，存储在缓冲器106中的HDR图像可以包含一个、两个、三个、或更多与存储在缓冲器102和104中的数据相关的附加信息。该HDR图像的较高比特深度可允许生成更清晰的和/或视觉上更有吸引力的图片。
图7描述了详述操作ISP100的一个实施例的流程图108。在步骤110，ISP100可以从路径98接收数字数据。在步骤112，ISP100可以将从路径98接收的数据分离成不同的曝光。这种分离可通过分析与接收的数据相关的标识符(即，例如附加到数据上的一个或多个标识比特)以便将接收的数据分类为属于特定数据读取(例如，第一数据读取86)，确定给定数据组对应于哪个数据读取来实现。
一旦分离了接收的图像数据，在步骤114ISP100可存储分离的数据。例如，来自第一数据读取86的数据可被存储在缓冲器102，所述缓冲器102可以是一个存储位置。类似地，来自第二数据读取90的数据可被存储在缓冲器104，所述缓冲器104可以是一个与缓冲器102相分离的存储位置。另外，来自任何附加数据读取的数据可被ISP100存储在附加的缓冲器中。
一旦存储了与这些数据读取相关的所有数据，则在步骤116，ISP100可生成HDR图像。就是说，每个缓冲器102和104以及所使用的任何附加的缓冲器可以包括可被用来形成HDR图像的完整一组数据。ISP100可以组合存储在缓冲器中的数据以生成复合HDR图像，该复合HDR图像可以被传输到缓冲器106，以在步骤118传输到处理器16。以这种方式，ISP100可以被用来从图像捕捉设备30的单个卷帘快门复位80生成HDR图像。
可以理解，在此仅通过示例提供了以上描述的且与HDR成像相关的各种技术。相应的，应当理解本公开不应被构造成仅限于所提供的示例。此外，应当知道，可以以任何适当的方式，包括硬件(适当配置的电路)、软件(例如，经由包括存储在一个或多个有形计算机可读介质上的可执行代码的计算机程序)、或通过使用硬件元件和软件元件的组合，来实现HDR成像技术。
根据本公开的一个方面，公开了一种生成高清晰度图像的设备。所述设备包括：用于在图像信号处理器接收与单个图像的多次曝光有关的图像数据的装置；用于在所述图像信号处理器基于至少一个标准将所述图像数据分离成至少两个类别的装置；以及用于在第一缓冲器中存储来自所述类别中的至少一个类别的数据的装置。
根据本公开的一个方面，所述设备包括用于在第二缓冲器中存储来自所述类别中的第二个类别的数据的装置。
根据本公开的一个方面，所述设备包括：用于检索存储在第一和第二缓冲器中的每一个中的数据的装置，以及用于基于检索出的数据生成高动态范围图像的装置。
根据本公开的一个方面，所述设备包括：用于在第三缓冲器中存储来自所述类别中的第三个类别的数据的装置，以及用于检索存储在第一、第二、和第三缓冲器中的每一个中的数据的装置，以及用于基于检索出的数据生成高动态范围图像的装置。
根据本公开的一个方面，其中用于将图像数据分离成至少两个类别的装置包括：用于将所述数据图像分离成欠曝光图像数据类别和过曝光图像数据类别的装置。
已经通过示例的方式显示了以上论述的具体实施例，应当理解可以容易对这些实施例进行各种修改和替换形式。应当进一步理解权利要求并不试图局限于所公开的特定形式，而是要覆盖所有的修改、等同物、以及落入本公开的精神和范围之内的替换方式。

Claims (25)

1.一种图像处理电路，包括：
被配置成传输与单个帧的多次曝光有关的图像数据的数据路径，所述多次曝光与单个图像相关联；
耦接到所述数据路径的图像信号处理器，所述图像信号处理器被配置成接收图像数据以及基于至少一个标准将所述图像数据分离成至少两个类别；
耦接到所述图像信号处理器并被配置成存储来自所述类别中的至少一个类别的图像数据的第一缓冲器；和
处理器，适于确定与用于所述单个图像的图像捕获度量相关联的反馈因素，其中所述处理器进一步适于通过基于所述反馈因素控制所述多次曝光的曝光时间，来控制在快门复位之前所述单个图像的扫描的频率和数量。
2.如权利要求1所述的图像处理电路，还包括：耦接到所述图像信号处理器并被配置成存储来自所述类别中的第二个类别的图像数据的第二缓冲器。
3.如权利要求2所述的图像处理电路，其中，所述图像信号处理器进一步被配置成检索存储在第一和第二缓冲器中的每一个中的图像数据以及利用检索出的图像数据生成高动态范围图像。
4.如权利要求3所述的图像处理电路，还包括：耦接到所述图像信号处理器并被配置成存储所述高动态范围图像的第三缓冲器。
5.如权利要求1所述的图像处理电路，其中，所述至少两个类别包括欠曝光图像数据类别和过曝光图像数据类别。
6.一种生成高清晰度图像的方法，包括：
确定与用于单个图像的图像捕获度量相关联的反馈因素；
确定在用于所述单个图像的快门复位之前要发送到图像传感器的多个读请求的次数和频率，其中所述确定次数和频率通过控制与所述多个读请求相关联的读出时间来执行，所述次数和频率基于所述反馈因素；
在图像信号处理器接收与所述多个读请求有关的图像数据；
在所述图像信号处理器基于至少一个标准将所述图像数据分离成至少两个类别；以及
在第一缓冲器中存储来自所述类别中的至少一个类别的图像数据。
7.如权利要求6所述的方法，还包括：在第二缓冲器中存储来自所述类别中的第二个类别的图像数据。
8.如权利要求7所述的方法，还包括：检索存储在第一和第二缓冲器中的每一个中的图像数据以及基于检索出的图像数据生成高动态范围图像。
9.如权利要求7所述的方法，还包括：
在第三缓冲器中存储来自所述类别中的第三个类别的图像数据；
检索存储在第一、第二、和第三缓冲器中的每一个中的图像数据；以及
基于检索出的图像数据生成高动态范围图像。
10.如权利要求6所述的方法，其中将图像数据分离成至少两个类别包括：将所述数据图像分离成欠曝光图像数据类别和过曝光图像数据类别。
11.一种图像捕捉设备，包括：
被配置成接收与单个图像的捕捉对应的光的镜头；
耦接到所述镜头的图像传感器，所述图像传感器被配置成接收所述光并生成对应于在所述图像传感器中的像素位置接收的光的数据值；
耦接到所述图像传感器的扫描电路，所述扫描电路被配置成响应于第一读请求在第一时间读出表示从所述图像传感器中的一行像素位置接收的光的第一数据值，以及响应于第二读请求在第二时间读出对应于从所述图像传感器中的该行像素位置接收的光的第二数据值，其中所述第一时间和所述第二时间在所述像素位置的单个快门复位之前发生；以及
处理器，适于确定与用于所述单个图像的图像捕获度量相关联的反馈因素，其中所述处理器进一步适于通过基于所述反馈因素控制所述第一时间和所述第二时间，来控制在快门复位之前读请求的频率和数量。
12.如权利要求11所述的图像捕捉设备，还包括：被配置成接收并存储由所述扫描电路在第一读取期间从所述图像传感器的所有像素位置读出的所有数据值的线缓冲器。
13.一种电子设备，包括：
图像传感器，被配置成接收对应于单个捕捉图像的光并生成对应于在图像传感器中的像素位置接收的光的数据值；
耦接到所述图像传感器的扫描电路，所述扫描电路被配置成响应于第一读请求在第一时间读出对应于从所述图像传感器中的一行像素位置接收的光的第一数据值，以及响应于第二读请求在第二时间读出对应于从所述图像传感器中的该行像素位置接收的光的第二数据值，其中所述第一时间和所述第二时间在所述像素位置的行的复位之前发生；
耦接到所述图像传感器的模数转换器，所述模数转换器被配置为接收所述第一数据值和所述第二数据值并且将所述第一和第二数据值转换成图像数据；
图像信号处理器，被配置成接收所述图像数据以及基于至少一个标准将所述图像数据分离成至少两个类别；
耦接到所述图像信号处理器的第一缓冲器，所述第一缓冲器被配置成存储来自所述类别中的至少一个类别的图像数据；以及
处理器，适于确定与用于所述单个图像的图像捕获度量相关联的反馈因素，其中所述处理器进一步适于通过基于所述反馈因素控制所述第一时间和所述第二时间，来控制在快门复位之前所述多个读请求的频率和数量。
14.如权利要求13所述的电子设备，还包括：耦接所述模数转换器和所述图像传感器以及所述图像信号处理器的数据路径，其中所述数据路径包括串行数据线。
15.如权利要求13所述的电子设备，还包括：耦接到所述图像传感器并被配置成存储由所述扫描电路在第一读取期间从像素位置读出的数据值的第二缓冲器。
16.如权利要求13所述的电子设备，还包括：耦接到所述图像信号处理器并被配置成存储来自所述类别中的第二个类别的图像数据的第二缓冲器。
17.如权利要求16所述的电子设备，其中所述图像信号处理器进一步被配置成检索存储在所述第一和第二缓冲器中的每一个中的图像数据以及利用检索出的图像数据生成高动态范围图像。
18.一种电子设备，包括：
适于接收对应于单个图像的光并生成对应于接收的光的电子信号的图像传感器；
图像扫描仪，适于通过在第一扫描和第二扫描期间检索来自图像传感器的一行像素的电子信号来扫描该行像素，所述第一扫描和第二扫描对应于在单个帧期间捕捉的单个图像的接收光；以及
处理器，适于控制由所述图像扫描仪执行的、对应于所述单个图像的扫描的频率和数量，
其中所述处理器进一步适于确定与用于所述单个图像的图像捕获度量相关联的反馈因素，以及
其中所述处理器进一步适于通过基于所述反馈因素控制所述扫描的扫描时间，来控制在快门复位之前所述单个图像的扫描的频率和数量。
19.如权利要求18所述的电子设备，还包括：被配置成接收所述图像数据并基于至少一个标准将所述图像数据分离成至少两个类别并进行存储的图像信号处理器。
20.如权利要求19所述的电子设备，其中，所述图像信号处理器被配置成基于来自所述分离的图像数据和所述存储的图像数据的组合数据生成高动态范围图像。
21.一种生成高清晰度图像的设备，包括：
用于在图像信号处理器接收与单个图像的多次曝光有关的图像数据的装置；
用于在所述图像信号处理器基于至少一个标准将所述图像数据分离成至少两个类别的装置；
用于在第一缓冲器中存储来自所述类别中的至少一个类别的图像数据的装置；
用于确定与用于单个图像的图像捕获度量相关联的反馈因素的装置；以及
用于通过基于所述反馈因素控制所述多次曝光的曝光时间，来控制在快门复位之前多次曝光的频率和数量的装置。
22.如权利要求21所述的设备，还包括：用于在第二缓冲器中存储来自所述类别中的第二个类别的图像数据的装置。
23.如权利要求22所述的设备，还包括：用于检索存储在第一和第二缓冲器中的每一个中的图像数据的装置，以及用于基于检索出的图像数据生成高动态范围图像的装置。
24.如权利要求22所述的设备，还包括：用于在第三缓冲器中存储来自所述类别中的第三个类别的图像数据的装置，以及用于检索存储在第一、第二、和第三缓冲器中的每一个中的图像数据的装置，以及用于基于检索出的图像数据生成高动态范围图像的装置。
25.如权利要求21所述的设备，其中用于将图像数据分离成至少两个类别的装置包括：用于将所述数据图像分离成欠曝光图像数据类别和过曝光图像数据类别的装置。
CN201210269110.9A 2011-06-09 2012-06-08 具有高动态范围捕捉能力的图像传感器 Active CN102857712B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/157,090 US9077917B2 (en) 2011-06-09 2011-06-09 Image sensor having HDR capture capability
US13/157,090 2011-06-09

Publications (2)

Publication Number Publication Date
CN102857712A CN102857712A (zh) 2013-01-02
CN102857712B true CN102857712B (zh) 2016-06-15

Family

ID=46798978

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210269110.9A Active CN102857712B (zh) 2011-06-09 2012-06-08 具有高动态范围捕捉能力的图像传感器

Country Status (7)

Country Link
US (1) US9077917B2 (zh)
EP (1) EP2533520B1 (zh)
JP (1) JP5531054B2 (zh)
KR (1) KR101361331B1 (zh)
CN (1) CN102857712B (zh)
TW (1) TWI511558B (zh)
WO (1) WO2012170717A1 (zh)

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8788348B2 (en) 2011-12-20 2014-07-22 Wikipad, Inc. Combination game controller and point of sale input device
KR101938381B1 (ko) * 2012-07-10 2019-01-14 삼성전자주식회사 촬상 장치 및 촬상 방법
US8976264B2 (en) 2012-09-04 2015-03-10 Duelight Llc Color balance in digital photography
US9154708B1 (en) 2014-11-06 2015-10-06 Duelight Llc Image sensor apparatus and method for simultaneously capturing flash and ambient illuminated images
US9137455B1 (en) 2014-11-05 2015-09-15 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US9918017B2 (en) 2012-09-04 2018-03-13 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US9179085B1 (en) 2014-11-06 2015-11-03 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US9531961B2 (en) 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US9167169B1 (en) 2014-11-05 2015-10-20 Duelight Llc Image sensor apparatus and method for simultaneously capturing multiple images
US9160936B1 (en) 2014-11-07 2015-10-13 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
US9167174B1 (en) 2014-11-05 2015-10-20 Duelight Llc Systems and methods for high-dynamic range images
US9179062B1 (en) 2014-11-06 2015-11-03 Duelight Llc Systems and methods for performing operations on pixel data
US8446481B1 (en) * 2012-09-11 2013-05-21 Google Inc. Interleaved capture for high dynamic range image acquisition and synthesis
KR101948692B1 (ko) 2012-10-09 2019-04-25 삼성전자주식회사 촬영 장치 및 이미지 합성 방법
US9568985B2 (en) * 2012-11-23 2017-02-14 Mediatek Inc. Data processing apparatus with adaptive compression algorithm selection based on visibility of compression artifacts for data communication over camera interface and related data processing method
US9087391B2 (en) 2012-12-13 2015-07-21 Google Inc. Determining an image capture payload burst structure
US8866927B2 (en) 2012-12-13 2014-10-21 Google Inc. Determining an image capture payload burst structure based on a metering image capture sweep
US8866928B2 (en) 2012-12-18 2014-10-21 Google Inc. Determining exposure times using split paxels
US9247152B2 (en) 2012-12-20 2016-01-26 Google Inc. Determining image alignment failure
US8995784B2 (en) 2013-01-17 2015-03-31 Google Inc. Structure descriptors for image processing
US9686537B2 (en) 2013-02-05 2017-06-20 Google Inc. Noise models for image processing
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US9807322B2 (en) 2013-03-15 2017-10-31 Duelight Llc Systems and methods for a digital image sensor
US9819849B1 (en) 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images
US20140240469A1 (en) * 2013-02-28 2014-08-28 Motorola Mobility Llc Electronic Device with Multiview Image Capture and Depth Sensing
WO2014133557A1 (en) * 2013-02-28 2014-09-04 Wikipad, Inc. Combination game controller and point of sale input device
US9117134B1 (en) 2013-03-19 2015-08-25 Google Inc. Image merging with blending
US9066017B2 (en) 2013-03-25 2015-06-23 Google Inc. Viewfinder display based on metering images
US9955084B1 (en) 2013-05-23 2018-04-24 Oliver Markus Haynold HDR video camera
US9131201B1 (en) 2013-05-24 2015-09-08 Google Inc. Color correcting virtual long exposures with true long exposures
US9077913B2 (en) 2013-05-24 2015-07-07 Google Inc. Simulating high dynamic range imaging with virtual long-exposure images
TWI502990B (zh) * 2013-06-27 2015-10-01 Altek Semiconductor Corp 產生高動態範圍影像的方法及其影像感測器
US9615012B2 (en) 2013-09-30 2017-04-04 Google Inc. Using a second camera to adjust settings of first camera
WO2015084991A1 (en) 2013-12-04 2015-06-11 Rambus Inc. High dynamic-range image sensor
JP6090820B2 (ja) * 2014-06-27 2017-03-08 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法及び装置
US10277771B1 (en) 2014-08-21 2019-04-30 Oliver Markus Haynold Floating-point camera
US10225485B1 (en) 2014-10-12 2019-03-05 Oliver Markus Haynold Method and apparatus for accelerated tonemapping
US10924688B2 (en) 2014-11-06 2021-02-16 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US11463630B2 (en) 2014-11-07 2022-10-04 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
TWI558204B (zh) * 2014-11-25 2016-11-11 Trans Electric Co Ltd Image capture system
TWI558193B (zh) * 2015-05-11 2016-11-11 Trans Electric Co Ltd Film production method
US20170142313A1 (en) * 2015-11-16 2017-05-18 Microsoft Corporation Image sensor system
US9743025B2 (en) * 2015-12-30 2017-08-22 Omnivision Technologies, Inc. Method and system of implementing an uneven timing gap between each image capture in an image sensor
CN106961557B (zh) 2016-01-08 2020-01-31 中强光电股份有限公司 光场相机及其影像处理方法
US10742390B2 (en) * 2016-07-13 2020-08-11 Novatek Microelectronics Corp. Method of improving clock recovery and related device
WO2018044314A1 (en) 2016-09-01 2018-03-08 Duelight Llc Systems and methods for adjusting focus based on focus target information
US10187584B2 (en) * 2016-12-20 2019-01-22 Microsoft Technology Licensing, Llc Dynamic range extension to produce high dynamic range images
TW201822709A (zh) * 2016-12-30 2018-07-01 曦威科技股份有限公司 即時心跳偵測方法及即時心跳偵測系統
CN107066987B (zh) * 2017-04-26 2020-12-15 胡明建 摄像头数据直接传给gpu处理的方法
CN109104584B (zh) * 2017-06-21 2020-07-10 比亚迪股份有限公司 图像传感器及其高动态范围图像的获取方法
TW201915818A (zh) * 2017-10-05 2019-04-16 香港商印芯科技股份有限公司 光學識別模組
WO2019079556A1 (en) * 2017-10-18 2019-04-25 Perkinelmer Health Sciences, Inc. HIGH DYNAMIC AND FAST DYNAMIC IMAGE ACQUISITION WITH A CHARGING TRANSFER DEVICE (DTC) CAMERA
JP7278750B2 (ja) * 2018-11-14 2023-05-22 キヤノン株式会社 撮像装置
TWI739431B (zh) * 2019-12-09 2021-09-11 大陸商廣州印芯半導體技術有限公司 資料傳輸系統及其資料傳輸方法
CN115379092A (zh) * 2022-08-17 2022-11-22 中南大学 一种高动态范围视频获取方法、系统及终端

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090091645A1 (en) * 2007-10-03 2009-04-09 Nokia Corporation Multi-exposure pattern for enhancing dynamic range of images

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5309243A (en) * 1992-06-10 1994-05-03 Eastman Kodak Company Method and apparatus for extending the dynamic range of an electronic imaging system
US6115065A (en) 1995-11-07 2000-09-05 California Institute Of Technology Image sensor producing at least two integration times from each sensing pixel
US6707499B1 (en) 1998-12-08 2004-03-16 Industrial Technology Research Institute Technique to increase dynamic range of a CCD image sensor
JP3615454B2 (ja) 2000-03-27 2005-02-02 三洋電機株式会社 ディジタルカメラ
US6927796B2 (en) 2001-09-24 2005-08-09 The Board Of Trustees Of The Leland Stanford Junior University CMOS image sensor system with self-reset digital pixel architecture for improving SNR and dynamic range
JP2003319250A (ja) * 2002-04-22 2003-11-07 Toshiba Lsi System Support Kk 撮像装置および撮像方法
US7382407B2 (en) 2002-08-29 2008-06-03 Micron Technology, Inc. High intrascene dynamic range NTSC and PAL imager
US6894264B2 (en) 2002-10-15 2005-05-17 Applera Corporation System and methods for dynamic range extension using variable length integration time sampling
US7397509B2 (en) * 2004-08-27 2008-07-08 Micron Technology, Inc. High dynamic range imager with a rolling shutter
KR100656666B1 (ko) 2004-09-08 2006-12-11 매그나칩 반도체 유한회사 이미지 센서
JP4689620B2 (ja) * 2004-11-02 2011-05-25 パナソニック株式会社 イメージセンサ
JP4379408B2 (ja) 2004-12-07 2009-12-09 セイコーエプソン株式会社 信号処理部および撮像装置
US7714903B2 (en) * 2006-08-29 2010-05-11 Zoran Corporation Wide dynamic range image capturing system method and apparatus
US7990451B2 (en) * 2006-11-20 2011-08-02 Ben Gurion University Of The Negev Research And Development Authority Optical pixel and image sensor
WO2008075136A1 (en) * 2006-12-20 2008-06-26 Nokia Corporation Exposure control based on image sensor cost function
US7808538B2 (en) * 2007-01-22 2010-10-05 Omnivision Technologies, Inc. Image sensors with blooming reduction mechanisms
US7616243B2 (en) * 2007-03-07 2009-11-10 Altasens, Inc. Method and apparatus for improving and controlling dynamic range in an image sensor
US8542315B2 (en) * 2007-11-27 2013-09-24 Broadcom Corporation Method and apparatus for expanded dynamic range imaging
JP2010004240A (ja) * 2008-06-19 2010-01-07 Yamaha Corp Ｃｍｏｓ固体撮像装置
JP2011010108A (ja) * 2009-06-26 2011-01-13 Seiko Epson Corp 撮像制御装置、撮像装置及び撮像制御方法
US8279328B2 (en) * 2009-07-15 2012-10-02 Tower Semiconductor Ltd. CMOS image sensor with wide (intra-scene) dynamic range
JP5478215B2 (ja) * 2009-11-25 2014-04-23 オリンパスイメージング株式会社 撮影装置および撮影装置の制御方法
JP5445235B2 (ja) * 2010-03-09 2014-03-19 ソニー株式会社 画像処理装置、画像処理方法およびプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090091645A1 (en) * 2007-10-03 2009-04-09 Nokia Corporation Multi-exposure pattern for enhancing dynamic range of images

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Coded rolling shutter photography: flexible space-time sampling;JINWEI GU;《COMPUTATIONAL PHOTOGRAPHY(ICCP),2010 IEEE INTERNATIONAL CONFERENCE ON》;20100329;正文第3-5部分 *

Also Published As

Publication number Publication date
TWI511558B (zh) 2015-12-01
TW201301883A (zh) 2013-01-01
EP2533520B1 (en) 2016-10-12
KR101361331B1 (ko) 2014-02-10
KR20130000325A (ko) 2013-01-02
US9077917B2 (en) 2015-07-07
US20120314100A1 (en) 2012-12-13
EP2533520A2 (en) 2012-12-12
EP2533520A3 (en) 2013-07-24
JP2013059017A (ja) 2013-03-28
JP5531054B2 (ja) 2014-06-25
CN102857712A (zh) 2013-01-02
WO2012170717A1 (en) 2012-12-13

Similar Documents

Publication Publication Date Title
CN102857712B (zh) 具有高动态范围捕捉能力的图像传感器
US10916036B2 (en) Method and system of generating multi-exposure camera statistics for image processing
CN106797453B (zh) 图像处理装置、摄像装置、图像处理方法以及图像处理程序
CN101489051B (zh) 图像处理设备和图像处理方法以及摄像设备
JP5946970B2 (ja) 撮像装置及び撮像方法
MX2013003446A (es) Sistema y metodo para procesar datos de imagen utilizando un procesador de señal de imagen con logica de procesamiento de etapa final.
CN108605099A (zh) 用于终端拍照的方法及终端
JP5749401B2 (ja) 画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラム
CN104159021A (zh) 成像设备、成像方法和程序
CN114092364A (zh) 图像处理方法及其相关设备
CN108259757A (zh) 摄像装置、图像处理装置、以及记录方法
JPWO2016006305A1 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
CN110166709A (zh) 夜景图像处理方法、装置、电子设备以及存储介质
CN112785510B (zh) 图像处理方法和相关产品
US20180241941A1 (en) Image processing apparatus, image processing method, and image pickup apparatus
CN108370414A (zh) 一种拍摄方法和终端
CN105915815A (zh) 一种基于移动设备进行拍摄的方法、装置和移动设备
KR20200016559A (ko) 복수의 구간 영상들을 포함하는 동영상 데이터를 생성하는 전자 장치 및 방법
US8934042B2 (en) Candidate image presenting method using thumbnail image and image signal processing device and imaging device performing the same
CN108156392A (zh) 一种拍摄方法、终端和计算机可读存储介质
JP5732175B2 (ja) 画像ファイル生成装置及び表示装置
CN114143471B (zh) 图像处理方法、系统、移动终端及计算机可读存储介质
KR20160120469A (ko) 사용자 단말 장치, 외부 장치 및 오디오 출력 방법
WO2014097792A1 (ja) 撮像装置、信号処理方法、信号処理プログラム
CN106412320A (zh) 一种图像处理方法及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant