CN105323498A - 不含运动伪影的高动态范围hdr图像 - Google Patents

不含运动伪影的高动态范围hdr图像 Download PDF

Info

Publication number
CN105323498A
CN105323498A CN201510446315.3A CN201510446315A CN105323498A CN 105323498 A CN105323498 A CN 105323498A CN 201510446315 A CN201510446315 A CN 201510446315A CN 105323498 A CN105323498 A CN 105323498A
Authority
CN
China
Prior art keywords
image
exposure
time
pixel
pixel value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510446315.3A
Other languages
English (en)
Inventor
王晓勇
单继璋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omnivision Technologies Inc
Original Assignee
Omnivision Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Technologies Inc filed Critical Omnivision Technologies Inc
Publication of CN105323498A publication Critical patent/CN105323498A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及不含运动伪影的高动态范围HDR图像。揭示用于高动态范围HDR图像的过程的实施例，所述过程使用具有包括多个像素的像素阵列的图像传感器以捕获具有第一曝光时间的第一图像、具有第二曝光时间的第二图像及具有第三曝光时间的第三图像，其中在所述第一、第二及第三曝光时间中，所述第二曝光时间最短。将所述第一、第二及第三图像组合成高动态范围HDR图像。揭示及主张其它实施例。

Description

不含运动伪影的高动态范围HDR图像
技术领域
所揭示的实施例大体上涉及图像传感器，且特定来说(但不排除其他)，涉及用以产生不含运动伪影的高动态范围图像的图像传感器。
背景技术
在摄影术中，对比度可认为是场景的亮区与暗区之间的差异；具有亮区及暗区两者的场景被视为具有高的对比度。使用相机很难捕获这些高对比度场景，因为现实世界场景中的对比度常常超越消费者的相机可捕获的对比度。
一现实世界实例为在明媚的一天拍一个人在沙滩上的照片。如果该人站在明媚的阳光下，那么该人及周围场景两者都将为亮的，因为两者都由阳光所照明。因为人与周围场景之间存在很小对比度，所以较易捕获好的图片。但拍一个人在沙滩伞下的照片较难。如果该人位于沙滩伞的阴影中，那么在伞下方的阴影区域与其后方的亮的沙子、海水及天空之间存在高的对比度。这些高对比度场景的单图像通常可捕获伞下方的图像或背景图像，但不能同时捕获两者，因为所述两个不同区域需要不同曝光时间。亮的背景所需要的较短曝光时间将适当捕获背景但将使伞下的区域变暗且很难看到。且伞下区域所需要的较长曝光时间将适当捕获伞下区域但使背景曝光过度且褪色。
针对这些情况，可通过使用不同曝光时间来捕获所述场景的多个图像且接着将它们组合成到处都具有适当曝光的一个图像来产生高动态范围(HDR)图像。但因为所述技术涉及捕获多个图像，所以(例如)通过移动场景中的对象而引起的场景中的变化可在最终图像中产生实际上并非为所述场景的部分的伪影。
发明内容
本发明的方面涉及一种用于高动态范围(HDR)图像的过程，所述过程包括：使用具有包括多个像素的像素阵列的图像传感器以捕获具有第一曝光时间的第一图像、具有第二曝光时间的第二图像及具有第三曝光时间的第三图像，其中在所述第一、第二及第三曝光时间中，所述第二曝光时间最短；以及将所述第一、第二及第三图像组合成高动态范围(HDR)图像。
本发明的另一方面涉及一种设备，所述设备包括：包含多个像素的像素阵列；读出电路，其耦合到所述像素阵列以捕获具有第一曝光时间的第一图像、具有第二曝光时间的第二图像及具有第三曝光时间的第三图像，其中在所述第一、第二及第三曝光时间中，所述第二曝光时间最短；以及处理电路及功能逻辑，其耦合到所述读出电路以将所述第一、第二及第三图像组合成高动态范围(HDR)图像。
附图说明
参考以下图式描述本发明的非限制性且非穷举实施例，图式中相似的元件符号指代贯穿多个视图的相似部件，除非另有说明。
图1为包含滤色器阵列的图像传感器的实施例的示意图。
图2A到2B分别为一对前侧经照明像素的实施例的横截面及一对背侧经照明像素的实施例的横截面。
图3为说明高动态范围(HDR)图像的概念的示意图。
图4为具有移动元件的简化场景的实施例的示意图。
图5A到5C为使用不同曝光时间捕获图4的场景的图像的图像捕获序列的实施例的图(图5A)、所得的图像的强度特性的曲线图(图5B)及通过组合所捕获到的图像所获得的高动态范围(HDR)图像的强度特性的曲线图(图5C)。
图6A到6C为使用不同曝光时间捕获图4的场景的图像的图像捕获序列的实施例的图(图6A)、所得的图像的强度特性的曲线图(图6B)及通过组合所捕获到的图像而获得的HDR图像的强度特性的曲线图(图6C)。
图7A到7C为使用不同曝光时间捕获图4的场景的图像的图像捕获序列的实施例的图(图7A)、所得的图像的强度特性的曲线图(图7B)及通过组合所捕获到的图像而获得的HDR图像的强度特性的曲线图(图7C)。
图8A到8C为使用不同曝光时间捕获图4的场景的图像的图像捕获序列的实施例的图(图8A)、所得的图像的强度特性的曲线图(图8B)及通过组合所捕获到的图像而获得的HDR图像的强度特性的曲线图(图8C)。
图8D到8E为图像捕获序列的其它实施例的图。
图9为用于从两个或两个以上图像组合高动态范围(HDR)图像的过程的实施例的流程图。
具体实施方式
描述用以创建不含运动伪影的高动态范围图像的图像传感器的设备、系统及方法的实施例。描述特定细节以提供对所述实施例的透彻理解，但相关领域的技术人员将认识到，可无需使用一或多个所描述的细节或使用其它方法、组件、材料等等来实践本发明。在一些例子中，未详细展示或描述众所周知的结构、材料或操作，但所述结构、材料或操作然而包含于本发明的范围内。
贯穿描述对“一个实施例”或“一实施例”的参考意味着所描述的特征、结构或特性可包含于至少一个所描述的实施例中。因此，“在一个实施例中”或“在一实施例中”的出现并不一定都指代相同的实施例。此外，在一或多个实施例中，所描述的特征、结构或特性可以任何合适的方式组合。
图1说明包含彩色像素阵列105、耦合到所述像素阵列的读出电路170、耦合到所述读出电路的功能逻辑115及耦合到所述像素阵列的控制电路120的互补金属氧化物半导体(CMOS)图像传感器100的实施例。可在前侧照明图像传感器中实施彩色像素阵列105(如图2A中所展示)，或作为背侧照明图像传感器实施(如图2B中所示)。彩色像素阵列105为个别图像传感器或经布置成X像素列及Y像素行的像素(举例来说，像素P1、P2……Pn)的二维(2D)阵列。如所说明，将所述阵列中的每一个别像素布置成行(举例来说，行R1到Ry)及列(举例来说，列C1到Cx)以获取人、位置或物体的图像数据。接着可使用所述图像数据或像素数据来渲染所述人、位置或物体的2D图像。彩色像素阵列105(如果存在)使用耦合到所述像素阵列的滤色器阵列(“CFA”)将颜色指派到每一像素。
在像素阵列105中的每一像素已获取其图像数据或图像电荷后，由读出电路170从所述个别像素读出所述图像数据且将其转移到功能逻辑115以供存储、额外处理等等。读出电路170可包含放大电路、模/数(“ADC”)转换电路或其它电路。功能逻辑115可存储所述图像数据及/或通过应用后图像效果(举例来说，剪裁、旋转、消除红眼、调整亮度、调整对比度、高动态范围(HDR)图像组合或其它)操纵所述图像数据。在一个实施例中，还可使用功能逻辑115来处理所述图像数据以校正(减小或消除)固定的图案噪声。控制电路120耦合到像素阵列105以控制像素阵列105的操作特性。举例来说，控制电路120可产生用于控制图像获取的快门信号。
图2A说明CMOS图像传感器中的一对前侧照明(FSI)像素200的实施例的横截面。FSI像素200的前侧为衬底202的其上安置光敏区域204及相关联的像素电路的一侧，且在其上方形成用于重新分布信号的金属堆叠206。金属堆叠206包含金属层M1及M2，金属层M1及M2经图案化以产生光学通道，入射到FSI像素200的光通过所述光学通道可到达光敏或光电二极管(“PD”)区域204。为了实施彩色图像传感器，所述前侧可包含滤色器布置201，其中其个别滤色器中的每一者(在此特定横截面中说明个别滤色器203及205)安置于帮助将入射光聚焦到PD区域204上的微透镜206下方。
图2B说明CMOS图像传感器中的一对背侧照明(BSI)像素250的实施例的横截面。如在FSI像素200中，像素250的前侧为衬底202的其上安置光敏区域204及相关联的像素电路的一侧，且在其上方形成用于重新分布信号的金属堆叠206。所述背侧为衬底202的与前侧相对的侧。为了实施彩色图像传感器，所述背侧可包含滤色器阵列201，其中其个别滤色器中的每一者(在此特定横截面中说明个别滤波器203及205)安置于微透镜206下方。微透镜206帮助将入射光聚焦到光敏区域204上。像素250的背侧照明意味着金属堆叠206中的金属互连线不混淆经成像的对象与光敏区域204之间的路径，使得光敏区域204产生更大信号。
图3为组合高动态范围(HDR)图像的实施例的示意说明。为了形成HDR图像，捕获场景的两个或两个以上图像且接着将其组合成HDR图像(举例来说，在一个实施例中使用图9中所展示的过程)。在所说明的实例中，捕获具有长曝光时间的第一图像302连同包含具有短曝光时间的第二图像304的一或多个随后图像。用以描述曝光时间的术语“长”及“短”为相对的；所述两者的实际持续时间不重要，只要一者比另一者长即可。接着可将第一图像302、第二图像304及任何其它捕获到的图像组合成单HDR图像306。
图4说明包含场景中的运动且将在以下描述中使用的简化场景400的实施例。当然，场景400仅为说明性实例；现实世界场景可具有比所展示的更多的具有不同强度、颜色、位置及移动的对象。在图中，垂直轴表示在朝下方向上增加的时间，且水平轴表示在场景中从场景的左边界所测量的黑条408的x位置。在场景400中，黑条408从左向右穿过白色背景410移动使得场景400随着时间变化。
在时间t1处的初始场景状态402中，黑条408处于位置x1，x1≥0。在第二状态404中，在比t1晚的时间t2处(即，t2>t1)，黑条408处于位置x2>x1，意味着在时间t2–t1中，黑条408穿过白色背景410已向右移动距离x2–x1。在第三场景406中，在时间t3>t2处，黑条408已向右进一步移动到位置x3>x2。在使具有移动对象的场景(例如，场景400)成像时的挑战为，捕获场景的多个图像且将它们组合成捕获黑条408及白色背景410但不含运动伪影的高动态范围(HDR)图像，所述运动伪影为由于运动而在图像中出现但其实际上并非为场景的部分的事物，由黑条408穿过白色背景410的运动所引起。
图5A到5C一起说明用于捕获多个个别图像且使用它们来形成HDR图像的过程的实施例。所说明的实施例使用图4中所展示的场景作为实例，但当然所述过程并非限制于此类场景且所述过程可用于其中存在运动的任何种类的场景。图5A说明图像捕获序列的实施例；类似于图4，水平轴表示穿过空间的运动，而垂直轴表示时间。图5A中的曝光周期的平行四边形形状是由黑条408在曝光周期期间及曝光周期之间穿过场景的移动所引起的；如果所述黑条为静止的，那么图5A中的曝光周期的形状将为矩形而不是平行四边形。
在所说明的序列中，在两个不同图像传感器帧中捕获两个图像。图像传感器帧为时间周期，在所述时间周期期间在启动新帧以捕获另一图像之前所述图像传感器捕获图像且读出图像；图像传感器每秒捕获的帧的数目被称为其帧速率。在所说明的图像捕获序列中，首先以帧0捕获长曝光图像，接着，在一延迟后，以帧1捕获短曝光图像。用以描述曝光时间的术语“长”及“短”为相对的；所述两者的实际持续时间不重要，只要一者比另一者长即可。
图5B为说明用于如图5A中所展示的捕获到的长及短曝光图像的代表性图像强度的曲线图。在长曝光图像中，所述强度在对应于场景的白色部分410的图像区域中超过传感器饱和电平，但在对应于黑条408的图像区域中降低到饱和电平以下。在短曝光图像中，所述强度在整个图像中位于所述饱和电平之下，而在长曝光图像中，所述强度在对应于黑条408的图像区域中降低到较低电平。在两个曝光中所述黑条出现于不同位置中，因为黑条408为移动的且因为长曝光图像捕获的结束与短曝光图像捕获的开始之间的时间差。
图5C为展示使用HDR组合过程(例如，图9中所展示的一者)的实施例，HDR图像组合图5B的长及短曝光图像的实施例的代表性图像强度的曲线图。如可见，经组合的(HDR)图像包含运动伪影——即，因为场景中的运动而导致在图像中出现但实际上并非为所述场景的部分的事物——由所述黑条在曝光之间及曝光期间的移动所引起。
图6A到6C一起说明用于捕获多个个别图像且使用它们以形成HDR图像的过程的另一实施例。所说明的实施例使用场景400作为实例，但当然所述过程不限于此类场景且所述过程可使用于其中存在运动的任何种类的场景。图6A说明图像捕获序列的实施例。如图5A中，在白色背景410上捕获移动的黑条408的两个单独图像。但在图6A中，在相同的图像传感器帧内通过增加所述图像传感器的帧速率来捕获两个图像——此被称为“交错”所述图像。所捕获的第一图像为长曝光图像，之后(很小或无延迟)捕获第二短曝光图像。用以描述曝光时间的术语“长”及“短”为相对的；所述两者的实际持续时间不重要，只要它们具有不同的持续时间即可。
图6B为用于图6A的长及短曝光图像的代表性图像强度的曲线图。在所述较长曝光图像中，所述强度在对应于所述场景的白色部分410的图像区域中超过传感器饱和电平，但其在对应于黑条408的图像区域中降低到饱和电平之下。在所述短曝光中，所述强度在整个图像中位于所述饱和电平之下，而在长曝光中，所述强度在对应于黑条408的图像部分中下降到较低电平。因为黑条408为移动的，所以在两个曝光中其出现于不同位置中，但因为图6A中所述长与短曝光图像的捕获之间经减小或消除的时间差，所以所述黑条图像在长与短曝光图像之间的移位比图5A到5C中的小。
图6C为使用图6A的长及短曝光图像及例如图9中所展示的过程所组合的HDR图像的代表性强度的曲线图。与之前一样，所述HDR图像包含通过在两个不同时间且使用非零曝光时间捕获所述移动的黑条的单独图像所引起的运动伪影。与图5C相比，图6C中运动伪影较小，因为所述长与短曝光图像的捕获之间经减小或经消除的时间。然而，所述运动伪影并非完全从所得的HDR图像消除。
图7A到7C一起说明用于捕获多个个别图像且使用它们以形成HDR图像的过程的另一实施例。所说明的过程使用场景400作为实例，但当然所述过程并非限于此场景。图7A说明图像捕获序列的实施例。在所说明的序列中，捕获黑条408移动穿过白色背景410的三个图像。三个图像都为“交错的”，意味着在相同帧内通过加快所述图像传感器的帧速率来捕获它们。首先捕获长曝光图像，之后(极少或无延迟)捕获中等曝光图像，且接着之后(极少或无延迟)捕获短曝光图像。用以描述曝光时间的术语“长”、“中等”及“短”为相对的；所述三者的实际持续时间不重要，只要它们具有三个不同持续时间即可。
图7B为用于图7A的长、中等及短曝光图像的代表性图像强度的曲线图。在长曝光图像中，所述强度在对应于白色部分410的图像区域中超过传感器饱和电平，但在对应于黑条408的图像部分中下降到饱和电平之下。中等曝光图像具有长与短曝光图像之间的强度电平，且所述强度在图像部分中超过饱和但在对应于黑条408的图像部分中回落到饱和之下。在短曝光中，所述强度在整个图像中位于饱和电平之下，而在长曝光中，所述强度在对应于黑条408的图像部分中下降到较低电平。所述非零曝光时间及图像捕获之间的时间差连同黑条408的运动一起致使黑条在三个曝光中出现于不同的位置中。但因为图7A中图像捕获之间的经减小或经消除的时间差，所以所述黑条的图像在曝光之间的移位比图5A到5C中的小。
图7C为使用图7B的图像及例如图9中所展示的过程所组合的HDR图像的代表性强度的曲线图。与之前一样，所述HDR图像包含通过在三个不同时间处且使用非零曝光时间捕获移动的黑条的单独图像所引起的运动伪影。与图5C相比，图7C中所述运动伪影通过曝光之间经减小或经消除的时间及通过曝光时间的序列而被变小，但所述运动伪影并非完全从所得的HDR图像中消除。
图8A到8C一起说明用于捕获多个个别图像且使用它们以形成HDR图像的过程的另一实施例。所说明的过程使用场景400，但当然并不限于此场景。图8A说明图像捕获序列的实施例。所说明的序列捕获三个图像。所述三个图像为“交错的”，意味着在相同的帧内通过加速所述图像传感器的帧速率来捕获它们。首先捕获长曝光图像，之后(极少或无延迟)捕获短曝光图像，且接着之后(极少或无延迟)捕获中等曝光图像。用以描述曝光时间的术语“长”、“中等”及“短”为相对的；所述三者的实际持续时间不重要，只要它们具有三个不同持续时间即可。
图8B为用于图8A的长、短及中等曝光图像的代表性图像强度的曲线图。在长曝光图像中，所述强度在对应于白色部分410的图像区域中超过传感器饱和电平，但在对应于黑条408的图像部分中降低到饱和电平之下。在短曝光中，所述强度在整个图像上位于饱和电平之下，而在长曝光中，所述强度在对应于黑条408的图像部分中降低到较低电平。中等曝光图像具有长与短曝光图像之间的强度电平，且所述强度在图像部分中超过饱和但在对应于黑条408的图像部分中回落到饱和之下。非零曝光时间及图像捕获之间的时间差连同黑条408的运动一起引起所述黑条在三个曝光中出现于不同的位置中。但因为图8A中图像捕获之间的经减小或经消除的时间差，所以所述黑条的图像在曝光之间的移位比图5A到5C中的小。
图8C为使用图8A的图像及例如图9中所展示的过程所组合的HDR图像的代表性强度的曲线图。在图8C中，不存在由于黑条408的运动而引起的运动伪影；通过曝光之间的经减小或经消除的时间以及曝光时间的长-短-中等序列中的一者或两者来消除所述运动伪影。
图8D说明图像捕获序列的另一实施例。图8A中所展示的所述图像捕获序列捕获三个图像，其中首先捕获长曝光图像，之后(极少或无延迟)捕获短曝光图像，之后(极少或无延迟)捕获中等曝光图像。但所述图像捕获序列并非限于此长-短-中等序列。例如，在图8D的实施例中，所述图像捕获序列为中等-短-长：首先捕获中等曝光图像，之后(极少或无延迟)捕获短曝光图像，之后(极少或无延迟)捕获长曝光图像。所述三个图像为“交错的”，意味着在相同帧内通过加速所述图像传感器的帧速率来捕获它们。图8A及8D中所展示的两个序列为对称的，所以它们为等效的且两者均可用来产生不含运动伪影的最终HDR图像，如图8B到8C所展示。
图8E说明图像捕获序列的另一实施例。如图8A中所展示的所述图像捕获序列捕获三个图像，但所述图像捕获序列不限于此图像数目；图8E说明捕获三个以上图像的图像捕获序列的实施例。在所说明的序列中，捕获图4中所展示的场景的多个图像。所述三个图像为“交错的”，意味着在相同帧内通过加速所述图像传感器的帧速率来捕获它们。首先捕获长曝光图像，之后(极少或无延迟)捕获短曝光图像，之后(极少或无延迟)捕获中等曝光图像。捕获所述中等曝光图像之后接着捕获一或多个额外图像。所说明的实施例展示四个额外图像捕获，但额外图像捕获可为任意数目且其不需要呈特定的曝光时间序列，只要前三个图像遵循长-短-中等曝光时间序列即可。
图9说明用于将图像组合成高动态范围(HDR)图像的过程的实施例。所述过程在框902处开始，此时使用图像传感器的像素阵列将已捕获N个图像，其中N为整数；针对例如图8A到8C中所说明的实施例，N等于3，因为捕获到3个图像。更一般来说，在已捕获到N个图像的实施例中，它们将为针对像素阵列中的每一像素的N个像素值。
框904以所述阵列中的第一像素开始。在框906处，所述过程检索正处理的像素可用的N个像素值，且接着继续进行到框908，在此处其从所述N个像素值当中消除异常值。异常像素值为超出(高于或低于)指定范围的像素值，或在某些限制处或附近的值。在不同实施例中可不同地界定异常像素值，但在一个实施例中异常值可包含超过所述图像传感器的饱和值的值及在暗值处或接近暗值的值。
框910检查以查看消除异常值后是否仅剩余一个像素值。如果在框910处消除异常值后仅剩余一个像素值，那么在框912处将剩余像素值指派为在所述HDR图像中所述像素的像素值。但是如果在框910处在消除异常值后剩余一个以上像素值，那么过程继续进行到框914，在此处计算所述剩余像素值的加权平均值。在一个实施例中，所述加权平均像素值可根据以下公式计算：
P ‾ = Σ 1 N w i P i Σ 1 N w i
其中为特定像素的加权平均像素值，Pi为所述特定像素的剩余像素值(消除异常值后)，且wi为指派到所述像素值的加权值。在一个实施例中，指派到每一像素值的加权值wi可根据信号质量来指派，使得基于更好质量信号的像素值在所述加权平均中具有更大影响力。在不同的实施例中可不同地界定信号质量，但在一个实施例中其可被界定为信号的信噪比。当然，其它实施例可将不同的加权方案应用到所述像素值。在框914处已计算出所述加权平均像素值后，过程移动到框916，在此处将所计算的加权平均像素值指派为最终HDR图像中的所述特定像素的值。
在框918处所述过程检查以查看是否有更多剩余像素待处理。如果在框918处有更多剩余像素待处理，那么过程移动到框920处，在此处其选择下一个像素，且接着返回到框906且为新的像素重复所述过程。但如果在框918处不存在更多像素，意味着已处理整个图像，那么所述过程在框922处结束。
上文描述及摘要中所描述的内容不希望呈现每一可能选项或不应将本发明限制于所揭示的精确实施例。虽然为了说明的目的描述特定实施例，但相关领域的技术人员将认识到，鉴于本发明范围内的上文详细的描述，多种等效修改是可能的。
不应将所附权利要求书中所使用的术语解释为将本发明限制于说明书及权利要求书中所揭示的特定实施例。事实上，本发明的范围将完全由所附权利要求书确定，所述权利要求书应根据权利要求解释的公认原则来解释。

Claims (18)

1.一种用于高动态范围HDR图像的过程，所述过程包括：
使用具有包括多个像素的像素阵列的图像传感器以捕获具有第一曝光时间的第一图像、具有第二曝光时间的第二图像及具有第三曝光时间的第三图像，其中在所述第一、第二及第三曝光时间中，所述第二曝光时间最短；以及
将所述第一、第二及第三图像组合成高动态范围HDR图像。
2.根据权利要求1所述的过程，其中在所述第一、第二及第三曝光时间当中，所述第一曝光时间最长且所述第二曝光时间最短。
3.根据权利要求1所述的过程，其中在单图像传感器帧内捕获所述第一、第二及第三图像。
4.根据权利要求3所述的过程，其中捕获所述第一图像与捕获所述第二图像之间的时间及捕获所述第二图像与捕获所述第三图像之间的时间实质上为零。
5.根据权利要求1所述的过程，其中在所述第一、第二及第三曝光时间当中，所述第三曝光时间最长且所述第二曝光时间最短。
6.根据权利要求1所述的过程，其进一步包括：
在捕获所述第三图像后捕获一或多个额外图像；以及
将所述第一、第二、第三及所述一或多个额外图像组合成HDR图像。
7.根据权利要求1所述的过程，其中每一图像包括多个像素值且组合所述第一、第二及第三图像以形成HDR图像包括针对所述像素阵列中的每个像素：
消除任何异常像素值；
如果消除异常像素值后仅剩余一个像素值，那么将所述剩余像素值指派为所述HDR图像中所述像素的值；以及
如果消除异常像素值后剩余多个像素值，那么将加权平均像素值计算为非异常像素值的加权平均且将所述加权平均像素值指派为所述HDR图像中所述像素的值。
8.根据权利要求7所述的过程，其中具有最佳信号质量的所述像素值在所述加权平均计算中被加权最重。
9.根据权利要求7所述的过程，其中异常像素值为超过所述图像传感器的饱和阈值的像素值，或为所述图像传感器的暗值处、附近或以下的像素值。
10.一种设备，其包括：
包含多个像素的像素阵列；
读出电路，其耦合到所述像素阵列以捕获具有第一曝光时间的第一图像、具有第二曝光时间的第二图像及具有第三曝光时间的第三图像，其中在所述第一、第二及第三曝光时间中，所述第二曝光时间最短；以及
处理电路及功能逻辑，其耦合到所述读出电路以将所述第一、第二及第三图像组合成高动态范围HDR图像。
11.根据权利要求10所述的设备，其中在所述第一、第二及第三曝光时间当中，所述第一曝光时间最长且所述第二曝光时间最短。
12.根据权利要求10所述的设备，其中在单图像传感器帧内捕获所述第一、第二及第三图像。
13.根据权利要求12所述的设备，其中捕获所述第一图像与捕获所述第二图像之间的时间及捕获所述第二图像与捕获所述第三图像之间的时间实质上为零。
14.根据权利要求10所述的设备，其中在所述第一、第二及第三曝光时间当中，所述第三曝光时间最长且所述第二曝光时间最短。
15.根据权利要求10所述的设备，其进一步包括：
在捕获所述第三图像后捕获一或多个额外图像；以及
将所述第一、第二、第三及所述一或多个额外图像组合成HDR图像。
16.根据权利要求10所述的设备，其中每一图像包含多个像素值且组合所述第一、第二及第三图像以形成HDR图像包括针对所述像素阵列中的每个像素：
消除任何异常像素值；
如果消除异常像素值后仅剩余一个像素值，那么将所述剩余像素值指派为所述HDR图像中所述像素的值；以及
如果消除异常像素值后剩余多个像素值，那么将加权平均像素值计算为非异常像素值的加权平均且将所述加权平均像素值指派为所述HDR图像中所述像素的值。
17.根据权利要求16所述的设备，其中具有最佳信号质量的所述像素值在所述加权平均计算中被加权最重。
18.根据权利要求16所述的设备，其中异常像素值为超过所述图像传感器的饱和阈值的像素值，或为在所述图像传感器的暗值处、附近或以下的像素值。
CN201510446315.3A 2014-08-01 2015-07-27 不含运动伪影的高动态范围hdr图像 Pending CN105323498A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/449,538 US20160037043A1 (en) 2014-08-01 2014-08-01 High dynamic range (hdr) images free of motion artifacts
US14/449,538 2014-08-01

Publications (1)

Publication Number Publication Date
CN105323498A true CN105323498A (zh) 2016-02-10

Family

ID=55181383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510446315.3A Pending CN105323498A (zh) 2014-08-01 2015-07-27 不含运动伪影的高动态范围hdr图像

Country Status (4)

Country Link
US (1) US20160037043A1 (zh)
CN (1) CN105323498A (zh)
HK (1) HK1215983A1 (zh)
TW (1) TWI561084B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108632537A (zh) * 2018-05-04 2018-10-09 Oppo广东移动通信有限公司 控制方法及装置、成像设备、计算机设备及可读存储介质
CN109144240A (zh) * 2017-06-19 2019-01-04 Arm有限公司 图形处理系统
CN110430368A (zh) * 2018-05-01 2019-11-08 韩华泰科株式会社 用于处理图像的设备和方法
CN112188124A (zh) * 2019-07-01 2021-01-05 三星电子株式会社 图像传感器及其驱动方法
CN112840637A (zh) * 2018-09-07 2021-05-25 杜比实验室特许公司 空间复用曝光高动态范围图像传感器的自动曝光
CN112995545A (zh) * 2019-12-13 2021-06-18 安讯士有限公司 多传感器高动态范围成像
CN113691738A (zh) * 2018-06-07 2021-11-23 杜比实验室特许公司 从单拍摄hdr彩色图像传感器生成hdr图像
CN113892256A (zh) * 2019-05-21 2022-01-04 法雷奥舒适驾驶助手公司 用于监控驾驶员的多曝光图像捕获设备和相关系统

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102469567B1 (ko) * 2016-04-11 2022-11-22 삼성전자주식회사 이미징 장치 및 그 동작 방법
US10244182B2 (en) * 2016-06-23 2019-03-26 Semiconductor Components Industries, Llc Methods and apparatus for reducing spatial flicker artifacts
KR20180067052A (ko) * 2016-12-12 2018-06-20 삼성전자주식회사 광역 역광 보정 영상 촬상 방법, 이를 수행하는 영상 촬상 장치 및 이를 포함하는 전자 시스템
JP6887853B2 (ja) * 2017-04-03 2021-06-16 キヤノン株式会社 撮像装置、その制御方法、プログラム
WO2018190649A1 (en) * 2017-04-12 2018-10-18 Samsung Electronics Co., Ltd. Method and apparatus for generating hdr images
US10467733B2 (en) 2017-07-27 2019-11-05 Raytheon Company Multiplexed high dynamic range images
JP7129264B2 (ja) * 2018-08-03 2022-09-01 キヤノン株式会社 撮像装置
KR102585654B1 (ko) * 2018-12-07 2023-10-10 삼성전자주식회사 수광 시간이 다른 복수의 픽셀을 이용하여 획득한 데이터의 합성을 통해 이미지를 생성하는 전자 장치 및 방법
US11595590B1 (en) * 2022-01-24 2023-02-28 Dell Products L.P. Method for intelligent frame capture for high-dynamic range images

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000165754A (ja) * 1998-11-27 2000-06-16 Canon Inc 固体撮像装置および固体撮像装置の信号読出し方法
US20020153474A1 (en) * 2000-06-14 2002-10-24 Nec Corporation Image sensor
CN101365069A (zh) * 2007-06-29 2009-02-11 豪威科技有限公司 具有图像浮散漏极的、高动态范围的传感器
CN102077572A (zh) * 2008-06-19 2011-05-25 松下电器产业株式会社 用于在成像系统中防止运动模糊和重影的方法及装置
US20110188744A1 (en) * 2010-02-04 2011-08-04 Microsoft Corporation High dynamic range image generation and rendering
CN102547159A (zh) * 2012-02-16 2012-07-04 上海中科高等研究院 高动态范围图像传感器及其控制方法
US20120219235A1 (en) * 2011-02-28 2012-08-30 Johannes Solhusvik Blooming filter for multiple exposure high dynamic range image sensors
CN102905058A (zh) * 2011-07-28 2013-01-30 三星电子株式会社 产生去除了重影模糊的高动态范围图像的设备和方法
CN103069453A (zh) * 2010-07-05 2013-04-24 苹果公司 操作设备以捕捉高动态范围图像

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5600389A (en) * 1994-09-07 1997-02-04 Nikon Corporation Camera which sets shutter speed and lights display in accordance with flash device
JP2000032330A (ja) * 1998-07-08 2000-01-28 Toshiba Corp カメラの自動レベル調整装置
TWI382753B (zh) * 2007-12-17 2013-01-11 Omnivision Tech Inc 具有整合式閃光燈之可回銲相機模組
JP5767485B2 (ja) * 2011-02-07 2015-08-19 キヤノン株式会社 画像処理装置及び制御方法
CN202353673U (zh) * 2011-11-03 2012-07-25 陈源波 照相机无线电快门定时控制器

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000165754A (ja) * 1998-11-27 2000-06-16 Canon Inc 固体撮像装置および固体撮像装置の信号読出し方法
US20020153474A1 (en) * 2000-06-14 2002-10-24 Nec Corporation Image sensor
CN101365069A (zh) * 2007-06-29 2009-02-11 豪威科技有限公司 具有图像浮散漏极的、高动态范围的传感器
CN102077572A (zh) * 2008-06-19 2011-05-25 松下电器产业株式会社 用于在成像系统中防止运动模糊和重影的方法及装置
US20110188744A1 (en) * 2010-02-04 2011-08-04 Microsoft Corporation High dynamic range image generation and rendering
CN102741883A (zh) * 2010-02-04 2012-10-17 微软公司 高动态范围图像生成和渲染
CN103069453A (zh) * 2010-07-05 2013-04-24 苹果公司 操作设备以捕捉高动态范围图像
US8885978B2 (en) * 2010-07-05 2014-11-11 Apple Inc. Operating a device to capture high dynamic range images
US20120219235A1 (en) * 2011-02-28 2012-08-30 Johannes Solhusvik Blooming filter for multiple exposure high dynamic range image sensors
CN102905058A (zh) * 2011-07-28 2013-01-30 三星电子株式会社 产生去除了重影模糊的高动态范围图像的设备和方法
CN102547159A (zh) * 2012-02-16 2012-07-04 上海中科高等研究院 高动态范围图像传感器及其控制方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109144240A (zh) * 2017-06-19 2019-01-04 Arm有限公司 图形处理系统
CN109144240B (zh) * 2017-06-19 2024-04-12 Arm有限公司 图形处理系统和操作图形处理系统的方法、显示系统
CN110430368B (zh) * 2018-05-01 2022-08-12 韩华泰科株式会社 用于处理图像的设备和方法
CN110430368A (zh) * 2018-05-01 2019-11-08 韩华泰科株式会社 用于处理图像的设备和方法
US10728473B2 (en) 2018-05-04 2020-07-28 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Imaging control method, imaging device, and computer-readable storage medium
CN108632537A (zh) * 2018-05-04 2018-10-09 Oppo广东移动通信有限公司 控制方法及装置、成像设备、计算机设备及可读存储介质
CN113691738A (zh) * 2018-06-07 2021-11-23 杜比实验室特许公司 从单拍摄hdr彩色图像传感器生成hdr图像
US11922639B2 (en) 2018-06-07 2024-03-05 Dolby Laboratories Licensing Corporation HDR image generation from single-shot HDR color image sensors
CN112840637A (zh) * 2018-09-07 2021-05-25 杜比实验室特许公司 空间复用曝光高动态范围图像传感器的自动曝光
CN113892256A (zh) * 2019-05-21 2022-01-04 法雷奥舒适驾驶助手公司 用于监控驾驶员的多曝光图像捕获设备和相关系统
CN113892256B (zh) * 2019-05-21 2023-08-22 法雷奥舒适驾驶助手公司 用于监控驾驶员的多曝光图像捕获设备和相关系统
US11877069B2 (en) 2019-05-21 2024-01-16 Valeo Comfort And Driving Assistance Multi-exposure image capturing device and associated system for monitoring a driver
CN112188124A (zh) * 2019-07-01 2021-01-05 三星电子株式会社 图像传感器及其驱动方法
CN112995545A (zh) * 2019-12-13 2021-06-18 安讯士有限公司 多传感器高动态范围成像
CN112995545B (zh) * 2019-12-13 2022-12-23 安讯士有限公司 多传感器高动态范围成像

Also Published As

Publication number Publication date
HK1215983A1 (zh) 2016-09-30
US20160037043A1 (en) 2016-02-04
TWI561084B (en) 2016-12-01
TW201611613A (zh) 2016-03-16

Similar Documents

Publication Publication Date Title
CN105323498A (zh) 不含运动伪影的高动态范围hdr图像
KR100827238B1 (ko) 고화질 영상을 위한 영상 표시 방법 및 장치
US9681059B2 (en) Image-capturing device
US8355074B2 (en) Exposing pixel groups in producing digital images
CN204498282U (zh) 具有可见光感光像素和红外光感光像素的成像系统
CN105453542B (zh) 用于通过多个图像感测元件俘获图像的系统及方法
CN103327342B (zh) 具有透明滤波器像素的成像系统
US9307161B2 (en) System and method for capturing digital images using multiple short exposures
TWI610426B (zh) 具有比例濾波陣列及像素內合併的影像感測器
US9438827B2 (en) Imaging systems and methods for generating binned high-dynamic-range images
US20120194686A1 (en) Methods for motion correction for high-dynamic-range imaging systems
US10991281B2 (en) Apparatus and method for encoding high frame rate content in standard frame rate video using temporal interlacing
JP2013546249A (ja) 複数開口のカメラを用いる撮像システムおよび撮像方法
CN103503143B (zh) 固体摄像元件以及摄像装置
CN105721798B (zh) 用于hdr成像的系统及方法
CN103327220A (zh) 低照度Bayer图像上以绿色通道为导向的去噪方法
US20170264839A1 (en) Enhanced high dynamic range
US20200204729A1 (en) Image capturing device and imaging element, and image processing method
CN107431755A (zh) 图像处理设备、摄像设备、图像处理方法、程序和存储介质
CN202535464U (zh) 成像装置
US11245878B2 (en) Quad color filter array image sensor with aperture simulation and phase detection
US11089202B2 (en) Focus adjustment for image capture device
WO2017146972A1 (en) Apparatus and method for encoding high frame rate content in standard frame rate video using temporal interlacing
CN106550199A (zh) 多层高动态范围传感器
CN109937382A (zh) 成像装置和成像方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1215983

Country of ref document: HK

CB02 Change of applicant information

Address after: American California

Applicant after: OmniVision Technologies, Inc.

Address before: American California

Applicant before: Omnivision Tech Inc.

COR Change of bibliographic data
RJ01 Rejection of invention patent application after publication

Application publication date: 20160210

RJ01 Rejection of invention patent application after publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1215983

Country of ref document: HK