CN111464754A - 用于生成hdr图像的成像系统及其操作方法 - Google Patents

用于生成hdr图像的成像系统及其操作方法 Download PDF

Info

Publication number
CN111464754A
CN111464754A CN201910977457.0A CN201910977457A CN111464754A CN 111464754 A CN111464754 A CN 111464754A CN 201910977457 A CN201910977457 A CN 201910977457A CN 111464754 A CN111464754 A CN 111464754A
Authority
CN
China
Prior art keywords
image
pixels
pixel
pixel values
bayer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910977457.0A
Other languages
English (en)
Other versions
CN111464754B (zh
Inventor
姜熙
宋容准
张璨煐
宣玟圭
郑正勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111464754A publication Critical patent/CN111464754A/zh
Application granted granted Critical
Publication of CN111464754B publication Critical patent/CN111464754B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

一种用于生成高动态范围(HDR)图像的成像系统包括：像素阵列，包括第一像素和第二像素；驱动电路，被配置为基于第一曝光时间控制第一像素以及基于第二曝光控制第二像素时间；输出电路，被配置为从像素阵列输出第一像素的第一像素值和第二像素的第二像素值；以及处理设备，被配置为基于第一拜耳图像和第二拜耳图像生成HDR图像，其中第一拜耳图像基于第一像素值生成，并且第二拜耳图像基于第二像素值和第一拜耳图像的第三像素值生成。第一像素的像素数量可以大于第二像素的像素数量。

Description

用于生成HDR图像的成像系统及其操作方法
相关申请的交叉引用
本申请要求2019年1月18日在韩国知识产权局提交的第10-2019-0006857号韩国专利申请的优先权，其公开内容通过引用整体合并于此。
技术领域
本文描述的发明构思的示例实施例涉及成像系统，更具体地，涉及用于生成高动态范围(HDR)图像的成像系统及其操作方法。
背景技术
成像系统是被配置为将从相机捕获的图像提供给用户的系统。成像系统可以包括相机，从而成像系统可以捕获图像并将捕获的图像提供给用户。成像系统可以实现在包括智能电话在内的各种电子设备中。为了向用户提供高质量图像，成像系统可以增加(例如，使其变好、改善等)图像的动态范围。动态范围是指能够在图像中表现从暗部到亮部的照射的范围。动态范围得到改善的图像称为“HDR图像”。
成像系统可以通过捕获并组合对应于不同曝光时间的图像以生成单个图像，来生成HDR图像。然而，在物体移动的同时捕获物体的对应于不同曝光时间的图像的情况下，在得到的HDR图像中可能出现伪像。在一些示例实施例中，在生成物体的HDR图像的过程中，物体的图像的分辨率可能降低。
发明内容
本发明构思的一些示例实施例提供了可以生成HDR图像的成像系统及其操作方法，其中即使所生成的HDR图像中的物体处于运动中也可减少或最小化伪像。
本发明构思的一些示例实施例提供了可以生成具有高分辨率的HDR图像的成像系统及其操作方法。
根据一些示例实施例，一种成像系统可以包括：像素阵列，包括多个第一像素和多个第二像素；驱动电路系统，被配置为基于第一曝光时间控制多个第一像素并基于第二曝光时间控制多个第二像素；输出电路系统，被配置为从像素阵列输出多个第一像素的第一像素值和多个第二像素的第二像素值；以及处理电路系统，被配置为基于第一拜耳图像和第二拜耳图像生成高动态范围(HDR)图像。第一拜耳图像可以基于第一像素值生成。第二拜耳图像可以基于第二像素值和第一拜耳图像的第三像素值生成。第一像素的像素数量可以大于第二像素的像素数量。
根据一些示例实施例，一种成像系统可以包括图像传感器，该图像传感器包括多个第一像素和多个第二像素。图像传感器可以被配置为基于在第一曝光时间期间受到控制的多个第一像素和在第二曝光时间期间受到控制的多个第二像素来生成与图像的一帧相关联的图像数据。图像数据可以包括多个第一像素的第一像素值和多个第二像素的第二像素值。该成像系统可以包括图像信号处理电路系统，被配置为基于第一拜耳图像和第二拜耳图像生成HDR图像。第一拜耳图像可以基于第一像素值生成。第二拜耳图像可以基于第二像素值和第一拜耳图像的第三像素值两者生成。第一像素的像素数量可以大于第二像素的像素数量。
根据一些示例实施例，提出了一种成像系统的操作方法，该成像系统包括图像传感器，图像传感器包括多个第一像素和多个第二像素，该操作方法可以包括：基于在第一曝光时间期间受到控制的多个第一像素和在第二曝光时间期间受到控制的多个第二像素生成与图像的一帧相关联的图像数据，图像数据包括多个第一像素的第一像素值和多个第二像素的第二像素值像素；基于图像数据中的第一像素的第一像素值生成第一拜耳图像；基于图像数据中的第二像素的第二像素值和第一拜耳图像的第三像素值生成第二拜耳图像；以及基于第一拜耳图像和第二拜耳图像生成HDR图像。第一像素的像素数量可以大于第二像素的像素数量。
附图说明
通过参考附图详细描述本发明构思的一些示例实施例，本发明构思的上述和其他目的和特征将变得清楚。
图1是示出根据本发明构思的一些示例实施例的成像系统的框图。
图2是详细示出图1的成像系统的框图。
图3A、3B和3C是示出根据本发明构思的一些示例实施例的示例滤色器阵列图案的图。
图4A、4B和4C示出了根据本发明构思的一些示例实施例的示例曝光图案。
图5A和5B示出了根据本发明构思的一些示例实施例的图2的成像系统基于曝光时间控制像素的示例。
图6是示出图2的处理设备的一个示例的框图。
图7是示出根据图6的处理设备的操作生成的示例图像的图。
图8是示出图2的处理设备的一个示例的框图。
图9是示出根据图8的处理设备的操作生成的示例图像的图。
图10是示出图6的处理设备生成HDR图像的操作的流程图。
图11是示出图6的第二拜耳图像生成模块的示例附加操作的框图。
图12是示出图6的处理设备生成第二拜耳图像的操作的流程图。
图13是示出图2的成像系统的示例操作的流程图。
图14是示出应用根据本发明构思的一些示例实施例的成像系统的一个示例的框图。
图15是示出应用根据本发明构思的一些示例实施例的成像系统的示例的框图。
具体实施方式
下面，可以详细且清楚地描述本发明构思的实施例，使得本领域普通技术人员容易实现本发明构思。
图1是示出根据本发明构思的一些示例实施例的成像系统1000的框图。成像系统1000可以实现在各种电子设备或电子电路上。例如，成像系统1000可以以台式计算机、膝上型计算机、平板计算机、智能手机、可穿戴设备、电动车辆、集成电路(IC)、片上系统(SoC)、数字信号处理器(DSP)等实现。然而，本发明构思不限于此。例如，成像系统1000可以以捕获并处理图像的任何类型设备或电路来实现。
参考图1，成像系统1000可以包括图像感测设备100、处理设备200和控制器300。图像感测设备100、处理设备200和控制器300可以集成在一个芯片中和/或以一个芯片实现，或者可以分别以单独的芯片实现。
图像感测设备100可包括镜头110和图像传感器120。镜头110可接收从特定帧中存在的物体反射的光信号LS。镜头110可以将接收的光信号LS提供给图像传感器120。
图像传感器120可以基于光信号LS输出图像数据IDAT。图像传感器120可包括多个像素。光信号LS可以通过像素转换为电信号。图像数据IDAT可以是基于从光信号LS转换而来的电信号的数字信号。图像数据IDAT可以包括图像信息，图像信息包括但不限于特定帧的亮度信息和颜色信息。可以将图像数据IDAT提供给处理设备200。此外，可以将图像数据IDAT提供给控制器300。
处理设备200可以处理图像数据IDAT以生成HDR图像HDAT。HDR图像HDAT的分辨率可以与图像传感器120的分辨率相同。于是，处理设备200可以生成高分辨率的HDR图像。之后，HDR图像HDAT可以进行后处理，然后可以通过显示设备提供给用户。例如，可以对HDR图像HDAT执行镜头阴影校正、白平衡校正、降噪、锐化、伽马校正、颜色转换等。上述后处理操作可以由处理设备200执行，或者可以由单独的处理设备执行。处理设备200(也可以称为“处理电路系统”)可以包括处理电路系统(例如，包括逻辑电路的硬件)、硬件/软件组合(例如，执行软件的处理器)或其组合。例如，处理电路系统更具体地可以包括但不限于中央处理单元(CPU)、算术逻辑单元(ALU)、数字信号处理器、微计算机、现场可编程门阵列(FPGA)、片上系统(SoC)、可编程逻辑单元、微处理器、专用集成电路(ASIC)等。
控制器300可以控制图像感测设备100和处理设备200的操作。在一些示例实施例中，控制器300可以控制图像传感器120中包括的像素的曝光时间。控制器300可以基于多个曝光时间来确定每个像素的曝光时间。图像传感器120可以基于所确定的曝光时间来操作像素。例如，可以在长曝光时间期间驱动一部分像素，并且可以在短曝光时间期间驱动其余像素。在一些示例实施例中，由图像传感器120生成的图像数据IDAT可以包括相对高亮度的像素值和相对低亮度的像素值。处理设备200可以从基于多个曝光时间所生成的图像数据IDAT来生成具有改善动态范围的HDR图像HDAT。控制器300(也可以称为“控制器电路系统”)可以包括处理电路系统(例如，包括逻辑电路的硬件)、硬件/软件组合(例如，执行软件的处理器)或其组合。例如，处理电路系统更具体地可以包括但不限于中央处理单元(CPU)、算术逻辑单元(ALU)、数字信号处理器、微计算机、现场可编程门阵列(FPGA)、片上系统(SoC)、可编程逻辑单元、微处理器、专用集成电路(ASIC)等。
如上所述，根据本发明构思的一些示例实施例的成像系统1000可以通过基于多个曝光时间获得一帧的图像数据IDAT并处理图像数据IDAT来生成HDR图像HDAT。在捕获一帧的同时物体移动的概率可能低于在捕获多帧的同时物体移动的概率。于是，在基于获得多帧的图像数据IDAT的结果来生成HDR图像HDAT的情况下，由于物体的移动而发生伪像的概率可能变高。根据本发明构思的一些示例实施例的成像系统1000可以基于一帧生成HDR图像HDAT，因此，与基于多帧生成HDR图像HDAT的情况相比，由于物体的移动而发生伪像的概率可以降低。
图2是详细示出图1的成像系统1000的框图。参考图2，成像系统1000可以包括图像传感器120、处理设备200(在此也称为“处理电路系统”)和控制器300，图像传感器120包括像素阵列121、驱动电路122(在此也称为“驱动电路系统”)、输出电路123(在此也称为“输出电路系统”)。像素阵列121、驱动电路122和输出电路123可以包括在图1的图像传感器120中。
像素阵列121可以包括以多行和多列的矩阵形式布置的多个像素。每个像素可以基于光信号LS生成电信号(例如，模拟信号)。为了生成彩色图像，每个像素可以与红色(R)滤色器、绿色(G)滤色器和蓝色(B)滤色器之一组合。R、G和B滤色器可以根据特定图案(即，滤色器阵列(CFA)的图案)布置在像素阵列121中，例如位于像素阵列121上方。于是，从每个像素生成的电信号可以包括与每个像素的滤色器对应的颜色值。
像素阵列121可包括多个像素块PB。每个像素块PB可以包括多个像素。例如，一个像素块PB可以包括第一像素P1和第二像素P2，并且包括多个像素块PB的像素阵列因此可以包括多个第一像素P1和多个第二像素P2，其中各第一像素P1可以包括在各像素块PB中，并且各第二像素P2可以包括在各像素块PB中。每个像素块PB可以具有特定的CFA图案。由于每个像素块PB具有特定的CFA图案，所以包括多个像素块PB的像素阵列121可以具有重复的CFA图案。将参考图3A至3C描述像素块PB的示例CFA图案。
像素块PB可以包括具有一个或多个像素的子块SB。子块SB可以包括与相同颜色(为“R”、“G”和“B”之一)相对应的像素。也即，具有相同颜色的滤色器可以位于子块SB的像素中。例如，对应于一个子块SB的至少两个相邻滤色器可以被配置为选择性地透射具有相同颜色的光，其中相同颜色是红色、绿色或蓝色之一。
驱动电路122可以控制像素阵列121的像素。为了控制像素，驱动电路122可以生成控制信号。例如，驱动电路122可以以行为单位控制像素阵列121的像素。像素可以响应于控制信号而操作。驱动电路122(也可以称为“驱动电路系统”)可以包括处理电路系统(例如，包括逻辑电路的硬件)、硬件/软件组合(例如，执行软件的处理器)或其组合。例如，处理电路系统更具体地可以包括但不限于中央处理单元(CPU)、算术逻辑单元(ALU)、数字信号处理器、微计算机、现场可编程门阵列(FPGA)、片上系统(SoC)、可编程逻辑单元、微处理器、专用集成电路(ASIC)等。
输出电路123可以将从像素阵列121输出的模拟信号转换为数字信号。模拟信号可以以列为单位从像素阵列121输出。输出电路123可以执行相关双采样(CDS)以便提取有效信号分量。输出电路123可以将经历CDS的模拟信号转换为数字信号。在一些示例实施例中，输出电路123可以对数字信号执行CDS。于是，输出电路123可以以数字信号的形式输出图像数据IDAT。可以将图像数据IDAT提供给处理设备200和控制器300。输出电路123(可以称为“输出电路系统”)可以包括处理电路系统(例如，包括逻辑电路的硬件)、硬件/软件组合(例如，执行软件的处理器)或其组合。例如，处理电路系统更具体地可以包括但不限于中央处理单元(CPU)、算术逻辑单元(ALU)、数字信号处理器、微计算机、现场可编程门阵列(FPGA)、片上系统(SoC)、可编程逻辑单元、微处理器、专用集成电路(ASIC)等。
控制器300可以针对像素阵列121的各个像素确定曝光时间信息ETI。控制器300可以基于多个曝光时间来确定曝光时间信息ETI。多个曝光时间可以包括两个或更多不同的曝光时间。例如，控制器300可以将像素阵列121的一个或多个第一像素P1的曝光时间信息ETI确定为第一曝光时间，并且可以将像素阵列121的一个或多个第二像素P2的曝光时间信息ETI确定为第二曝光时间。在一些示例实施例中，第一曝光时间可以长于第二曝光时间。在一些示例实施例中，第一曝光时间可以短于第二曝光时间。
控制器300可以确定曝光时间信息ETI，使得像素的数目随曝光时间而变化。例如，控制器300可以确定曝光时间信息ETI，使得对应于第一曝光时间的像素的数目大于对应于第二曝光时间的像素的数目。
控制器300可以确定曝光时间信息ETI以允许像素块PB或子块SB具有给定的曝光图案。在此，曝光图案意指根据与每个像素对应的曝光时间而形成的图案。在以像素块PB为单位形成给定曝光图案的情况下，像素阵列121可以具有根据像素块PB的曝光图案而重复的曝光图案。在以子块SB为单位形成给定曝光图案的情况下，像素阵列121可以具有根据子块SB的曝光图案而重复的曝光图案。例如，在以像素块PB为单位形成曝光图案的情况下，第一像素P1可以对应于第一曝光时间，第二像素P2可以对应于第二曝光时间。将参考图4A至4C描述示例曝光图案。
控制器300可以确定曝光时间信息ETI，以便调整HDR图像HDAT的动态范围。例如，为了增加动态范围，控制器300可以进一步增加相对长的曝光时间或者可以进一步减少相对短的曝光时间。在一些示例实施例中，控制器300可以基于从输出电路123输出(例如，传输)的图像数据IDAT(可以包括像素值)确定曝光时间信息ETI。例如，控制器300可以基于根据图像数据IDAT计算的动态范围来确定曝光时间信息ETI。可以将曝光时间信息ETI提供给驱动电路122和处理设备200。
驱动电路122可以基于曝光时间信息ETI来控制像素阵列121的各个像素。例如，在第一像素P1的曝光时间信息ETI对应于第一曝光时间的情况下，驱动电路122可以控制第一像素P1，使得第一像素P1在第一曝光时间期间工作。例如，在第二像素P2的曝光时间信息ETI对应于第二曝光时间的情况下，驱动电路122可以控制第二像素P2，使得第二像素P2在第二曝光时间期间工作。例如，在多个第一像素P1的曝光时间信息ETI对应于第一曝光时间并且多个第二像素P2的曝光时间信息ETI对应于第二曝光时间的情况下，驱动电路122可以基于第一曝光时间控制第一像素P1，例如使得第一像素P1在第一曝光时间期间工作，并且可以基于第二曝光时间控制第二像素P2，例如使得第二像素P2在第二曝光时间期间工作，其中第一和第二曝光时间可以是相同的、部分不同的或完全不同的曝光时间。例如，驱动电路122可以基于曝光时间信息ETI控制各个像素中包括的晶体管。具体地，驱动电路122可以基于曝光时间信息ETI调整每个像素的传输门的开/关时间。于是，每个像素可以基于曝光时间信息ETI进行操作。
从输出电路123输出的图像数据IDAT可以基于多个曝光时间获得。例如，可以从对应于第一曝光时间的像素(例如，第一像素P1)获得图像数据IDAT的一部分，并且可以从对应于第二曝光时间的像素(例如，第二像素P2)获得其余部分。例如，输出电路123可以从像素阵列121输出包括第一像素P1的第一像素值和第二像素P2的第二像素值在内的图像数据IDAT。在一些示例实施例中，对应于第一曝光时间的像素的数目(“数量”)可以与对应于第二曝光时间的像素的数目(“数量”)不同。例如，第一像素P1的像素数量可以大于第二像素P2的像素数量。
可以由处理电路系统的一个或多个实例(例如，操作处理设备/电路)实现的处理设备200可以基于曝光时间信息ETI来处理图像数据IDAT，并且可以生成HDR图像HDAT。在一些示例实施例中，处理设备200可以基于曝光时间来分离图像数据IDAT。例如，图像数据IDAT可以包括对应于第一曝光时间的像素值(例如，第一像素P1的第一像素值)以及对应于第二曝光时间的像素值(例如，第二像素P2的第二像素值)。处理设备200可以分离通过使用第一曝光时间获得的像素值和通过使用第二曝光时间获得的像素值。处理设备200可以通过使用由此分离的像素值来生成HDR图像HDAT。将参考图6至图12描述如何生成HDR图像HDAT。
图3A、3B和3C是示出根据本发明构思的一些示例实施例的示例CFA图案的图。参考图3A，像素块PB可以包括第一至第四子块SB1至SB4。第一至第四子块SB1至SB4中的每一个可包括四个像素。例如，第一子块SB1可以包括第一至第四像素P1至P4。像素块PB可以具有特定的CFA图案。第一子块SB1和第四子块SB4可以对应于绿色，第二子块SB2可以对应于红色，第三子块SB3可以对应于蓝色。
参考图3B，像素块PB可以包括第一至第四子块SB1至SB4。第一至第四子块SB1至SB4中的每一个可包括九个像素。例如，第一子块SB1可以包括第一至第九像素P1至P9。像素块PB可以具有特定的CFA图案。第一子块SB1和第四子块SB4可以对应于绿色，第二子块SB2可以对应于红色，第三子块SB3可以对应于蓝色。
参考图3C，像素块PB可以包括第一至第四子块SB1至SB4。第一至第四子块SB1至SB4中的每一个可包括一个像素。例如，第一子块SB1可以包括第一像素P1。像素块PB可以具有特定的CFA图案。第一子块SB1和第四子块SB4可以对应于绿色，第二子块SB2可以对应于红色，第三子块SB3可以对应于蓝色。图3C的CFA图案可以是拜耳(Bayer)图案。
根据图3A至3C的CFA图案，对应于绿色的像素的数目、对应于红色的像素的数目以及对应于蓝色的像素的数目可以分别是所有像素的50％、25％和25％。然而，本发明构思不限于此。例如，对应于绿色、红色和蓝色的像素的百分比可以是可变的。
图3A示出了四个像素对应于相同颜色的示例，图3B示出了九个像素对应于相同颜色的示例。然而，本发明构思不限于此。例如，像素块PB中包括的像素的数目可以不同地改变，并且对应于相同颜色的子块SB中包括的像素的数目可以不同地改变。
如上所述，在根据本发明构思的一些示例实施例的CFA图案中，对应于相同颜色的多个像素可以彼此相邻地形成，如图3A和3B所示，或者如图3C所示，对应于不同颜色的像素可以交替地形成。
图4A、4B和4C示出了根据本发明构思的一些示例实施例的示例曝光图案。图4A至4C中示出的曝光图案仅是示例，并且本发明构思不限于此。也即，像素阵列121可以具有图4A至4C中未示出的各种曝光图案。
参考图4A，四个像素P1至P4可以形成一个曝光图案。第一至第三像素P1至P3可以对应于第一曝光时间，第四像素P4可以对应于第二曝光时间。也即，可以基于两个曝光时间形成曝光图案。例如，第一曝光时间可以长于第二曝光时间。对应于第一曝光时间的像素(例如，P1至P3)的数目可以大于对应于第二曝光时间的像素(例如，P4)的数目。例如，图3A的子块SB或图3C的像素块PB可以具有图4A的曝光图案。
参考图4B，九个像素P1至P9可以形成一个曝光图案。第一像素P1、第三像素P3、第五像素P5、第七像素P7和第九像素P9可以对应于第一曝光时间，第二像素P2、第四像素P4、第六像素P6和第八像素P8可以对应于第二曝光时间。对应于第一曝光时间的像素的数目可以大于对应于第二曝光时间的像素的数目。例如，图3B的子块SB可以具有图4B的曝光图案。
参考图4C，九个像素P1至P9可以形成一个曝光图案。第一像素P1、第三像素P3、第七像素P7和第九像素P9可以对应于第一曝光时间；第二像素P2、第四像素P4、第六像素P6和第八像素P8可以对应于第二曝光时间；第五像素P5可以对应于第三曝光时间。也即，可以基于三个曝光时间来形成曝光图案。例如，曝光时间可以按照第一曝光时间、第二曝光时间和第三曝光时间的顺序变短。对应于第一曝光时间的像素的数目和对应于第二曝光时间的像素的数目可以大于对应于第三曝光时间的像素的数目。例如，图3B的子块SB可以具有图4C的曝光图案。
如上所述，从根据本发明构思的一些示例实施例的上述曝光图案可以理解，根据曝光图案不同地设置像素的数目。也即，对应于各个曝光时间的像素计数可以彼此不同。
在图4A至4C中示出了根据两个曝光时间或三个曝光时间的曝光图案，但是本发明构思不限于此。也即，可以基于四个或更多曝光时间形成曝光图案。
图5A和5B示出了根据本发明构思的一些示例实施例的图2的成像系统1000基于曝光时间控制像素的示例。参考图2和5A，驱动电路122可以基于第一曝光时间和比第一曝光时间短的第二曝光时间来控制像素。驱动电路122可以从第一时间t1到第三时间t3控制对应于第一曝光时间的像素，并且可以从第二时间t2到第三时间t3控制对应于第二曝光时间的像素。例如，驱动电路122可以基于第一时间t1和第三时间t3控制对应于第一曝光时间的每个像素中的传输门的开/关时间。因此，应理解，包括第一像素P1和第二像素P2的图像传感器120可以基于在第一曝光时间期间被控制的第一像素P1以及在第二曝光时间期间被控制的第二像素P2来生成与图像的一帧相关联的图像数据IDAT。
参考图2和图5B，驱动电路122可以基于第一曝光时间、比第一曝光时间短的第二曝光时间和比第二曝光时间短的第三曝光时间来控制像素。驱动电路122可以从第一时间t1到第四时间t4控制对应于第一曝光时间的像素，可以从第二时间t2到第四时间t4控制对应于第二曝光时间的像素，并且可以从第三时间t3到第四时间t4控制对应于第三曝光时间的像素。例如，驱动电路122可以基于第一时间t1和第四时间t4控制对应于第一曝光时间的每个像素中的传输门的开/关时间。
如图5A和5B所示，驱动电路122可以通过控制每个像素的传输门的开/关时间来使像素的曝光时间不同。在一些示例实施例中，驱动电路122可以控制像素，使得像素中的传输门的关闭时间是固定的。然而，本发明构思不限于此。例如，驱动电路122可以通过不同地控制每个像素的传输门的开/关时间来使像素的曝光时间不同。
下面，将参照图6至图12描述图2的处理设备200生成HDR图像HDAT的操作。为了便于描述，如图4A或4B所示，假设处理设备200基于通过使用两个曝光时间或三个曝光时间获得的图像数据IDAT来生成HDR图像HDAT。然而，本发明构思不限于此。例如，处理设备200可以基于通过使用四个或更多曝光时间获得的图像数据IDAT来生成HDR图像HDAT。
图6是示出图2的处理设备200的一个示例的框图。具体地，图6示出了基于通过使用两个曝光时间获得的图像数据IDAT来生成HDR图像HDAT的处理设备200。参考图6，处理设备200可以包括图案分离模块210、运动估计模块220、拜耳图像生成块230和图像重建模块240。拜耳图像生成块230可以包括第一拜耳图像生成模块231和第二拜耳图像生成模块232。
处理设备200的每个模块可以以软件、硬件或其组合的形式实现。例如，软件可以是机器代码、固件、嵌入式代码和应用软件。例如，硬件可以包括电气电路、电子电路、处理器、集成电路、集成电路核、微机电系统(MEMS)或其组合。例如，实现处理设备200的处理电路系统(包括处理电路系统(例如，包括逻辑电路的硬件)、硬件/软件组合(例如，执行软件的处理器)或者其组合)可以进一步实现处理设备200的每个模块。
图案分离模块210可以基于每个像素的曝光时间信息ETI来分离图像数据IDAT。图案分离模块210可以从图像数据IDAT中分离出对应于相同曝光时间的像素值。例如，图案分离模块210可以分离对应于第一曝光时间的第一像素值PX1(例如，第一像素P1的第一像素值PX1)和对应于第二曝光时间的第二像素值PX2(例如，第二像素P2的第二像素值PX2)。因此，应当理解，可以由处理设备200实现的图案分离模块210可以基于与像素阵列121相关联的曝光时间信息ETI来分离第一像素值PX1和第二像素值PX2(以分别建立分离的第一像素值和分离的第二像素值)。在一些示例实施例中，对应于第一像素值PX1的像素的数目可以大于对应于第二像素值PX2的像素的数目。可以将分离的像素值PX提供给拜耳图像生成块230。
运动估计模块220可基于图像数据IDAT估计与由像素阵列121捕获的图像中所成像的物体相关联的运动信息MI。物体可以是在图像数据IDAT中可见的物体。运动信息MI可以指示在获得一帧的图像数据IDAT的同时物体在帧上的移动的大小。例如，物体的移动较大时的运动信息MI的值可以大于物体的移动较小时的运动信息MI的值。物体的移动幅度可以随图像的面积(或像素)而变化。例如，运动估计模块220可以比较特定区域中的图像数据IDAT的第一像素值PX1和第二像素值PX2，以估计该特定区域中的运动信息MI。具体地，运动估计模块220可以校正像素值，使得第一像素值PX1和第二像素值PX2具有相同的亮度。在校正之后，运动估计模块220可以基于第一像素值PX1和第二像素值PX2之间的差来估计运动信息MI。因此，运动估计模块220可以基于第一像素值PX1和第二像素值PX2来估计运动信息MI。然而，本发明构思不限于此。例如，运动估计模块220可以基于各种方法估计运动信息MI。
在一些示例实施例中，在存在检测物体移动的运动检测传感器的情况下(例如，成像系统包括生成与物体相关联的感测信息的运动检测传感器)，运动估计模块220可以进一步基于从运动检测传感器输出(例如，生成)的感测信息来估计运动信息MI。在一些示例实施例中，可以基于图像数据IDAT和感测信息来估计运动信息MI。可以将运动信息MI提供给拜耳图像生成块230和图像重建模块240。
拜耳图像生成块230可以基于像素值PX生成拜耳图像BI。拜耳图像BI可以是具有如图3C所示的拜耳图案的图像。
第一拜耳图像生成模块231可以基于第一像素值PX1(例如，基于分离的第一像素值)生成第一拜耳图像BI1。例如，第一拜耳图像生成模块231可以通过使用第一像素值PX1生成插值图像并将插值图像转换为拜耳图案来生成第一拜耳图像BI1，从而基于第一像素值PX1生成第一拜耳图像BI1。重申，第一拜耳图像生成模块231可以通过基于第一像素值PX1(例如，分离的第一像素值)对像素值进行插值以生成插值图像并进一步将插值图像转换为拜耳图案来生成第一拜耳图像BI1。第一拜耳图像BI1可以仅包括对应于第一曝光时间的像素值(例如，可以仅包括和/或基于第一像素值PX1)。
在一些示例实施例中，第一拜耳图像生成模块231可另外使用第二像素值PX2和运动信息MI以便生成第一拜耳图像BI1，从而基于第一像素值PX1和第二像素值PX2两者生成第一拜耳图像BI1。在一些示例实施例中，第一拜耳图像生成模块231可以基于运动信息MI确定第一像素值PX1的权重和第二像素值PX2的权重。第一拜耳图像生成模块231可以基于权重使用第一像素值PX1和第二像素值PX2来生成第一拜耳图像BI1。
第二拜耳图像生成模块232可以基于第二像素值PX2和第一拜耳图像BI1生成第二拜耳图像BI2。例如，第二拜耳图像生成模块232可以通过使用第二像素值PX2和第一拜耳图像BI1的像素值来插值第二拜耳图像BI2的像素值。在一些示例实施例中，第一拜耳图像BI1的像素值可以被称为第一拜耳图像BI1的第三像素值，从而基于第二像素值PX2(例如，分离的第二像素值)和第一拜耳图像BI1的第三像素值两者来生成第二拜耳图像BI2。第二拜耳图像生成模块232可以基于第二像素值PX2的权重和第一拜耳图像BI1的像素值的权重来插值第二拜耳图像BI2的像素值。第二像素值PX2的权重(例如，第二像素值PX2的第一权重)和第一拜耳图像BI1的像素值的权重(例如，第一拜耳图像BI1的第三像素值的第二权重)可以由第二拜耳图像生成模块232基于运动信息MI确定，以生成第二拜耳图像BI2的像素值。因此，可以基于第二像素值PX2的权重和第一拜耳图像BI1的像素值的权重来生成第二拜耳图像BI2的像素值。例如，在运动信息MI的值大的区域中，可以将第二像素值PX2的权重确定为大于第一拜耳图像BI1的像素值的权重。第二拜耳图像BI2可以仅包括对应于第二曝光时间的像素值。在一些示例实施例中，第二拜耳图像生成模块232可另外使用第一像素值PX1以生成第二拜耳图像BI2。
图像重建模块240可以基于第一拜耳图像BI1和第二拜耳图像BI2生成HDR图像HDAT。例如，图像重建模块240可以基于第一拜耳图像BI1的权重和第二拜耳图像BI2的权重来组合第一拜耳图像BI1和第二拜耳图像BI2。可以基于运动信息MI确定各权重。因此，可以基于运动信息MI来组合第一拜耳图像BI1和第二拜耳图像BI2，以生成HDR图像HDAT。例如，在运动信息MI的值大的区域中，可以将第一拜耳图像BI1的权重确定为小于第二拜耳图像BI2的权重。
如上所述，根据本发明构思的一些示例实施例的处理设备200可以基于对应于第一曝光时间的第一像素值PX1生成第一拜耳图像BI1。因为对应于第一像素值PX1的像素的数目大于对应于第二像素值PX2的像素的数目，所以基于第一像素值PX1生成的第一拜耳图像BI1可以具有相对高的锐度。基于第一拜耳图像BI1生成的第二拜耳图像BI2的锐度也可以相对较高。于是，基于第一拜耳图像BI1和第二拜耳图像BI2生成的HDR图像HDAT的锐度可以相对较高。也即，可以改善HDR图像HDAT的质量。此外，处理设备200可以基于物体的运动信息MI来生成拜耳图像BI1和BI2以及HDR图像HDAT。因此，由于物体的移动而在HDR图像HDAT中出现伪像的概率可以降低。
图7是示出根据图6的处理设备200的操作生成的示例图像的图。参考图6和图7，处理设备200可以基于图像数据IDAT随时间生成各种图像数据。
图案分离模块210可以接收图像数据IDAT。图像数据IDAT可以包括从具有图3A的CFA图案的像素P1至P16获得的像素值V1至V16。像素值V1至V16可以基于图4A的曝光图案获得。在此，像素值V1至V16可以是像素P1至P16的像素值。
图案分离模块210可以从图像数据IDAT中分离第一像素值PX1和第二像素值PX2。第一像素值PX1可以包括对应于第一曝光时间的12个像素值，第二像素值PX2可以包括对应于第二曝光时间的4个像素值。
第一拜耳图像生成模块231可以基于第一像素值PX1生成插值图像ITI。第一拜耳图像生成模块231可以通过使用第一像素值PX1来插值插值图像ITI的像素值T1至T16。在此，像素值T1至T16可以是与像素P1至P16对应的位置的像素值。
第一拜耳图像生成模块231可以转换插值图像ITI以生成具有拜耳图案的第一拜耳图像BI1。在一些示例实施例中，第一拜耳图像BI1的像素值M1至M16可以对应于第一曝光时间。在此，像素值M1至M16可以是与像素P1至P16对应的位置的像素值。
第二拜耳图像生成模块232可以基于第二像素值PX2和第一拜耳图像BI1的像素值M1至M16生成第二拜耳图像BI2。第二拜耳图像生成模块232可以插值第二拜耳图像BI2的像素值N1至N16，使得第二拜耳图像BI2具有拜耳图案。在此，像素值N1至N16可以是与像素P1至P16对应的位置的像素值。在一些示例实施例中，第二拜耳图像BI2的像素值N1至N16可以对应于第二曝光时间。
在图7示出的示例中第二拜耳图像BI2直接通过插值生成，但是本发明构思不限于此。例如，如同第一拜耳图像BI1，第二拜耳图像BI2可以通过插值生成插值图像并将插值图像转换为拜耳图案来生成。
图像重建模块240可以组合第一拜耳图像BI1和第二拜耳图像BI2以生成HDR图像HDAT的像素值H1至H16。于是，可以生成具有拜耳图案的HDR图像HDAT。
如图7中所示，第一拜耳图像BI1和第二拜耳图像BI2的分辨率可以与图像数据IDAT的分辨率相同。图像数据IDAT的分辨率可以与像素阵列121的像素的总数目(“数量”)相同。即，第一拜耳图像BI1的分辨率和第二拜耳图像BI2的分辨率可以与图像传感器120的分辨率相同。此外，从第一拜耳图像BI1和第二拜耳图像BI2生成的HDR图像HDAT的分辨率可以与图像传感器120的分辨率相同。因此，处理设备200可以在不降低分辨率的情况下生成高分辨率的HDR图像HDAT。
图8是示出图2的处理设备200的一个示例的框图。具体地，图8示出了基于通过使用三个曝光时间获得的图像数据IDAT来生成HDR图像HDAT的处理设备200。参考图8，处理设备200可以包括图案分离模块210、运动估计模块220、拜耳图像生成块230和图像重建模块240。拜耳图像生成块230可以包括第一拜耳图像生成模块233、第二拜耳图像生成模块234和第三拜耳图像生成模块235。
图8的图案分离模块210、运动估计模块220、拜耳图像生成块230和图像重建模块240的操作可以与图6的图案分离模块210、运动估计模块220、拜耳图像生成块230和图像重建模块240的操作基本相同或相似，因此，将省略附加描述以避免冗余。
图案分离模块210可以基于曝光时间信息ETI，从图像数据IDAT中分离对应于第一曝光时间的第一像素值PX1、对应于第二曝光时间的第二像素值PX2、以及对应于第三曝光时间的第三像素值PX3。对应于第一像素值PX1的像素的数目可以大于对应于第三像素值PX3的像素的数目。对应于第二像素值PX2的像素的数目可以不大于对应于第一像素值PX1的像素的数目，并且可以不小于对应于第三像素值PX3的像素的数目。也即，对应于像素值PX(例如，第一像素值PX1、第二像素值PX2和第三像素值PX3)的像素计数可以彼此不同，或者对应于两个像素值(例如，第一像素值PX1和第二像素值PX2)的像素计数可以彼此相同，并且可以与对应于其余像素值PX(例如，第三像素值PX3)的像素计数不同。可以将分离的像素值PX提供给拜耳图像生成块230。
运动估计模块220可基于图像数据IDAT估计运动信息MI。运动信息MI可以包括第一运动信息MI1和第二运动信息MI2。可以基于图像数据IDAT的第一像素值PX1和第二像素值PX2来估计第一运动信息MI1，并且可以基于图像数据IDAT的第二像素值PX2和第三像素值PX3来估计第二运动信息MI2。运动估计模块220可以将运动信息MI提供给拜耳图像生成块230和图像重建模块240。
第一拜耳图像生成模块233可以基于第一像素值PX1生成第一拜耳图像BI1。例如，第一拜耳图像生成模块233可以通过使用第一像素值PX1生成插值图像并将插值图像转换为拜耳图案来生成第一拜耳图像BI1。第一拜耳图像BI1可以仅包括对应于第一曝光时间的像素值。
在一些示例实施例中，第一拜耳图像生成模块233可以另外使用第二像素值PX2和第一运动信息MI1，以便生成第一拜耳图像BI1。在一些示例实施例中，第一拜耳图像生成模块233可以基于第一运动信息MI1确定第一像素值PX1的权重和第二像素值PX2的权重。第一拜耳图像生成模块233可以基于权重使用第一像素值PX1和第二像素值PX2来生成第一拜耳图像BI1。
第二拜耳图像生成模块234可以基于第二像素值PX2和第一拜耳图像BI1生成第二拜耳图像BI2。例如，第二拜耳图像生成模块234可以通过使用第二像素值PX2和第一拜耳图像BI1的像素值来插值第二拜耳图像BI2的像素值。第二拜耳图像生成模块234可以基于第二像素值PX2的权重和第一拜耳图像BI1的像素值的权重来插值第二拜耳图像BI2的像素值。可以基于第一运动信息MI1确定第二像素值PX2的权重和第一拜耳图像BI1的像素值的权重。例如，在第一运动信息MI1的值大的区域中，可以将第二像素值PX2的权重确定为大于第一拜耳图像BI1的像素值的权重。第二拜耳图像BI2可以仅包括对应于第二曝光时间的像素值。在一些示例实施例中，第二拜耳图像生成模块234可另外使用第一像素值PX1以生成第二拜耳图像BI2。
第三拜耳图像生成模块235可以基于第三像素值PX3和第二拜耳图像BI2生成第三拜耳图像BI3。例如，第三拜耳图像生成模块235可以通过使用第三像素值PX3和第二拜耳图像BI2的像素值来插值第三拜耳图像BI3的像素值。第三拜耳图像生成模块235可以基于第三像素值PX3的权重和第二拜耳图像BI2的像素值的权重来插值第三拜耳图像BI3的像素值。可以基于第二运动信息MI2确定第二像素值PX3的权重和第二拜耳图像BI2的像素值的权重。例如，在第二运动信息MI2的值大的区域中，可以将第三像素值PX3的权重确定为大于第二拜耳图像BI2的像素值的权重。第三拜耳图像BI3可以仅包括对应于第三曝光时间的像素值。在一些示例实施例中，第三拜耳图像生成模块235可另外使用第二像素值PX2以生成第三拜耳图像BI3。
图像重建模块240可以基于第一至第三拜耳图像BI1至BI3生成HDR图像HDAT。例如，图像重建模块240可以基于第一拜耳图像BI1的权重、第二拜耳图像BI2的权重和第三拜耳图像BI3的权重来组合第一至第三拜耳图像BI1至BI3。可以基于第一运动信息MI1和第二运动信息MI2确定各权重。
如上所述，根据本发明构思的一些示例实施例的处理设备200可以通过使用先前生成的拜耳图像来顺序地生成分别对应于曝光时间的拜耳图像。处理设备200可以通过使用对应于各种曝光时间的拜耳图像来生成HDR图像HDAT。于是，处理设备200可以生成具有精细调整的亮度的HDR图像HDAT。
图9是示出根据图8的处理设备200的操作生成的示例图像的图。参考图8和图9，处理设备200可以基于图像数据IDAT随时间生成各种图像数据。
图案分离模块210可以接收图像数据IDAT。图像数据IDAT可以包括从具有图3B的CFA图案的像素P1至P36获得的像素值V1至V36。像素值V1至V36可以基于图4C的曝光图案获得。在此，像素值V1至V36可以是像素P1至P36的像素值。
图案分离模块210可以从图像数据IDAT中分离第一像素值PX1、第二像素值PX2和第三像素值PX3。第一像素值PX1可包括对应于第一曝光时间的16个像素值，第二像素值PX2可包括对应于第二曝光时间的16个像素值，第三像素值PX3可包括对应于第三曝光时间的4个像素值。
第一拜耳图像生成模块233可以基于第一像素值PX1生成插值图像ITI。第一拜耳图像生成模块233可以通过使用第一像素值PX1来插值插值图像ITI的像素值T1至T36。在此，像素值T1至T36可以是与像素P1至P36对应的位置的像素值。
第一拜耳图像生成模块233可以转换插值图像ITI以生成具有拜耳图案的第一拜耳图像BI1。在一些示例实施例中，第一拜耳图像BI1的像素值M1至M36可以对应于第一曝光时间。在此，像素值M1至M36可以是与像素P1至P36对应的位置的像素值。
第二拜耳图像生成模块234可以基于第二像素值PX2和第一拜耳图像BI1的像素值M1至M36生成第二拜耳图像BI2。第二拜耳图像生成模块234可以插值第二拜耳图像BI2的像素值N1至N36，使得
第二拜耳图像BI2具有拜耳图案。在此，像素值N1至N36可以是与像素P1至P36对应的位置的像素值。在一些示例实施例中，第二拜耳图像BI2的像素值N1至N36可以对应于第二曝光时间。
第三拜耳图像生成模块235可以基于第三像素值PX3和第二拜耳图像BI2的像素值N1至N36生成第三拜耳图像BI3。第三拜耳图像生成模块235可以插值第三拜耳图像BI3的像素值L1至L36，使得第三拜耳图像BI3具有拜耳图案。在此，像素值L1至L36可以是与像素P1至P36对应的位置的像素值。在一些示例实施例中，第三拜耳图像BI3的像素值L1至L36可以对应于第三曝光时间。
在图9示出的示例中第二拜耳图像BI2和第三拜耳图像BI3直接通过插值生成，但是本发明构思不限于此。例如，如同第一拜耳图像BI1，第二拜耳图像BI2和第三拜耳图像BI3可以通过插值生成插值图像并将插值图像转换为拜耳图案来生成。
图像重建模块240可以组合第一拜耳图像BI1、第二拜耳图像BI2和第三拜耳图像BI3，以生成HDR图像HDAT的像素值H1至H36。于是，可以生成具有拜耳图案的HDR图像HDAT。
如图9中所示，第一拜耳图像BI1、第二拜耳图像BI2和第三拜耳图像BI3的分辨率可以与图像数据IDAT的分辨率相同。图像数据IDAT的分辨率可以与像素阵列121的像素数目相同。即，第一至第三拜耳图像BI1至BI3的分辨率可以与图像传感器120的分辨率相同。从第一至第三拜耳图像BI1至BI3生成的HDR图像HDAT的分辨率可以与图像传感器120的分辨率相同。因此，处理设备200可以在不降低分辨率的情况下生成高分辨率的HDR图像HDAT。
下面，为了便于描述，将参照图6的处理设备200描述根据本发明构思的一些示例实施例的处理设备200的操作。
图10是示出图6的处理设备200生成HDR图像的操作的流程图。参考图6和10，在操作S201中，处理设备200可以接收一帧的图像数据IDAT。如至少图7中所示，由像素阵列121生成的图像的一帧可以包括第一像素值PX1和第二像素值PX2，从而第一像素值PX1和第二像素值PX2可以从由像素阵列121生成的图像的共同帧获得。图像数据IDAT可以从图像传感器120获得。在操作S202中，处理设备200可以基于曝光时间来分离图像数据IDAT的像素值。处理设备200可以分离第一像素值PX1和第二像素值PX2。
在操作S203中，处理设备200可以基于第一像素值PX1生成第一拜耳图像BI1。在操作S204中，处理设备200可以基于第一拜耳图像BI1生成第二拜耳图像BI2。处理设备200可以另外使用第二像素值PX2以生成第二拜耳图像BI2。在操作S205中，处理设备200可以基于第一拜耳图像BI1和第二拜耳图像BI2生成HDR图像HDAT。
图11是示出图6的第二拜耳图像生成模块232的示例性附加操作的框图。参考图11，第二拜耳图像生成模块232可以接收第二像素值PX2和第一拜耳图像BI1的像素值BPX。
第二拜耳图像生成模块232可以包括饱和检测模块236。饱和检测模块236可以检测第一拜耳图像BI1的饱和区域。饱和区域可包括一个或多个饱和像素。因此，饱和检测模块236可以确定在第一拜耳图像BI1中存在包括一个或多个饱和像素的饱和区域。饱和像素可以是具有失真颜色值的像素。例如，饱和检测模块236可以基于每个像素值BPX的颜色值是否超过阈值来确定饱和像素。在此，阈值可以是用于确定饱和像素的参考值。饱和检测模块236可以基于饱和像素来检测饱和区域，并且可以生成饱和信息。
第二拜耳图像生成模块232可以通过使用第一拜耳图像BI1的饱和信息来确定像素值BPX的权重以生成第二拜耳图像BI2。例如，第二拜耳图像生成模块232可以将饱和区域的像素值BPX的权重确定为“0”。在一些示例实施例中，第二拜耳图像生成模块232可以在不使用饱和区域的像素值BPX的情况下生成第二拜耳图像BI2的像素值。重申，响应于确定包括一个或多个饱和像素的饱和区域存在于第一拜耳图像BI1中，第二拜耳图像生成模块232可以基于第一拜耳图像BI1的第三像素值中排除了饱和区域的一个或多个饱和像素的像素值之外的其余像素值来生成第二拜耳图像BI2的像素值。
如上所述，根据本发明构思的一些示例实施例的处理设备200可以使用第一拜耳图像BI1的饱和信息以及运动信息MI，以便生成第二拜耳图像BI2。在使用饱和信息的情况下，处理设备200可以生成除饱和像素值之外的HDR图像HDAT。于是，可以提高HDR图像HDAT的质量。
图12是示出图6的处理设备200生成第二拜耳图像BI2的操作的流程图。参考图6、图11和图12，在操作S211中，处理设备200可以获得饱和信息和运动信息MI。处理设备200可以通过饱和检测模块236检测第一拜耳图像BI1的饱和区域，并且可以获得饱和信息。处理设备200可以通过运动估计模块220获得物体的运动信息MI。
在操作S212中，处理设备200可以确定第一拜耳图像BI1的像素值BPX的权重。处理设备200可以基于饱和信息、运动信息MI或者饱和信息和运动信息MI两者来确定像素值BPX(例如，第一拜耳图像BI1的第三像素值)的权重。例如，处理设备200可以将饱和区域的像素值BPX的权重确定为“0”而无论运动信息MI如何。
在操作S213中，处理设备200可以基于所确定的权重来生成第二拜耳图像BI2。处理设备200可以基于第二像素值PX2的权重和第一拜耳图像BI1的像素值BPX的权重来生成第二拜耳图像BI2。第二像素值PX2的权重可以取决于像素值BPX的权重。例如，当像素值BPX的权重减小时，第二像素值PX2的权重可以增加。于是，处理设备200可以基于各权重生成第二拜耳图像BI2。
图13是示出图2的成像系统1000的示例操作的流程图。参考图2和13，在操作S1100中，成像系统1000可以确定要捕获的环境的动态范围。成像系统1000可以通过控制器300基于图像数据IDAT确定动态范围。例如，控制器300可以基于图像数据IDAT的统计信息确定动态范围。在操作S1200中，成像系统1000可以确定动态范围是否不大于参考值。例如，参考值可以是但不限于84dB。
当动态范围不大于参考值时，在操作S1300中，成像系统1000可以根据本发明构思生成HDR图像HDAT。也即，可以如参考图1至12所述生成HDR图像HDAT。例如，成像系统1000可以调整每个像素的曝光时间以形成图4A、4B或4C的曝光图案。成像系统1000可以基于曝光图案获得一帧的图像数据IDAT。成像系统1000可以基于图像数据IDAT顺序地生成分别对应于曝光时间的拜耳图像。在一些示例实施例中，成像系统1000可以通过使用先前生成的拜耳图像来生成下一拜耳图像。成像系统1000可以基于拜耳图像生成HDR图像HDAT。
当动态范围大于参考值时，成像系统1000可以通过使用与本发明构思不同的方法来生成HDR图像HDAT。例如，成像系统1000可以形成曝光图案或者可以以与本发明构思不同的方式处理图像数据IDAT。
如上所述，成像系统1000可以基于要捕获的环境的动态范围来选择处理图像数据IDAT以生成HDR图像HDAT的方式。
图14是示出应用根据本发明构思的一些示例实施例的成像系统的一个示例的框图。参考图14，成像系统2000包括图像感测设备2100和图像信号处理器2200。图像感测设备2100可以包括图像传感器120，因此可以获得根据本文描述的任何示例实施例的如本文所述的图像数据IDAT，并且可以将所获得的图像数据IDAT提供给图像信号处理器2200。图像信号处理器2200可以包括HDR模块2210、降噪模块2220、白平衡模块2230、去马赛克模块2240、伽马校正模块2250和颜色变换模块2260。图像感测设备2100可以包括处理电路系统(例如，包括逻辑电路的硬件)、硬件/软件组合(例如，执行软件的处理器)或其组合。例如，处理电路系统更具体地可以包括但不限于中央处理单元(CPU)、算术逻辑单元(ALU)、数字信号处理器、微计算机、现场可编程门阵列(FPGA)、片上系统(SoC)、可编程逻辑单元、微处理器、专用集成电路(ASIC)等。图像信号处理器2200(包括其中包括的一个或多个模块)可以被称为“图像信号处理电路系统”，并且可以由处理电路系统(例如，包括逻辑电路的硬件)、硬件/软件组合(例如，执行软件的处理器)或其组合实现。例如，处理电路系统更具体地可以包括但不限于中央处理单元(CPU)、算术逻辑单元(ALU)、数字信号处理器、微计算机、现场可编程门阵列(FPGA)、片上系统(SoC)、可编程逻辑单元、微处理器、专用集成电路(ASIC)等。
HDR模块2210可以从来自图像感测设备2100的图像数据IDAT生成HDR图像。HDR模块2210可以包括参考图1至图13描述的处理设备200的功能。例如，HDR模块2210可以基于图像数据顺序地生成分别对应于曝光时间的拜耳图像，并且可以基于拜耳图像生成HDR图像。例如，HDR模块2210可以基于第一拜耳图像BI1和第二拜耳图像BI2生成HDR图像，其中第一拜耳图像BI1基于第一像素P1的第一像素值PX1生成，并且第二拜耳图像BI2基于第二像素P2的第二像素值PX2和第一拜耳图像BI1的第三像素值生成。于是，可以在不降低分辨率的情况下生成高分辨率和高质量的HDR图像。在一些示例实施例中，第一像素P1的像素数量大于第二像素P2的像素数量。
降噪模块2220可以被配置为降低来自HDR模块2210的原始数据的噪声。白平衡模块2230可以对降噪后的数据调整白平衡增益。
去马赛克模块2240可以被配置为将白平衡模块2230的输出转换为全色数据。例如，白平衡模块2230的输出可以具有拜耳图案。去马赛克模块2240可以被配置为转换拜耳图案以便对应于RGB格式。
伽马校正模块2250可以被配置为基于去马赛克模块2240的输出来校正图像的伽马值。颜色变换模块2260可以被配置为变换伽马校正模块2250的输出以便对应于特定格式。例如，伽马校正模块2250的输出可以具有RGB格式。颜色变换模块2260可以将具有RGB格式的伽马校正模块2250的输出变换为YUV格式。
如上所述，可以通过各种模块对通过HDR模块2210生成的HDR图像进行后处理。在图14示出的示例中从HDR模块2210生成的HDR图像被提供给降噪模块2220，但是本发明构思不限于此。例如，HDR模块2210可以从通过降噪模块2220降噪的图像数据来生成HDR图像。
图15是示出应用根据本发明构思的一些示例实施例的成像系统的示例的框图。参考图15，成像系统3000可以以各种电子设备实现。例如，成像系统3000可以是台式计算机、膝上型计算机、平板计算机、智能电话、可穿戴设备、电动车辆等中的一种。成像系统3000可以包括图像处理块3100、通信块3200、音频处理块3300、显示设备3400、缓冲存储器3500、非易失性存储器3600、用户接口3700和主处理器3800。
图像处理块3100可以通过镜头3110接收光信号。图像处理块3100中包括的图像传感器3120和图像信号处理器3130可以基于接收的光信号生成图像数据。例如，图像传感器3120可以包括参照图1至图13描述的图像传感器120的功能。例如，图像传感器3120可以基于参考图4A、4B或4C描述的曝光图案获得图像数据。图像信号处理器3130可以包括参照图1至图13描述的处理设备200的功能。例如，图像信号处理器3130可以基于图像数据顺序地生成分别对应于曝光时间的拜耳图像，并且可以基于拜耳图像生成HDR图像。于是，可以在不降低分辨率的情况下生成高分辨率和高质量的HDR图像。
通信块3200可以通过天线3210与外部设备/系统交换信号。通信块3200的收发器3220和MODEM(调制器/解调器)3230可以处理与外部设备/系统交换的符合各种无线通信协议中的一种或多种的信号。
音频处理块3300可以通过使用音频信号处理器3310来处理声音信息，从而播放和输出音频。音频处理块3300可以通过麦克风3320接收音频输入。音频处理块3300可以通过扬声器3330输出播放的音频。
显示设备3400可以从外部设备(例如，主处理器3800)接收数据，并且可以基于所接收的数据通过显示面板显示图像。例如，显示设备3400可以显示从图像信号处理器3130生成的HDR图像。
缓冲存储器3500可以存储用于操作成像系统3000的数据。在一些示例实施例中，缓冲存储器3500可以临时存储由主处理器3800处理或要处理的数据。在一些示例实施例中，缓冲存储器3500可以包括易失性存储器例如静态随机存取存储器(SRAM)、动态RAM(DRAM)或同步DRAM(SDRAM)，和/或非易失性存储器例如相变RAM(PRAM)、磁阻RAM(MRAM)、电阻RAM(ReRAM)或铁电RAM(FRAM)。
无论电源如何，非易失性存储器3600都可以存储数据。在一些示例实施例中，非易失性存储器3600可以包括各种非易失性存储器中的至少一种，诸如闪存、PRAM、MRAM、ReRAM和FRAM。在一些示例实施例中，非易失性存储器3600可以包括可移除存储器如安全数字(SD)卡和/或嵌入式存储器如嵌入式多媒体卡(eMMC)。
用户接口3700可以在用户和成像系统3000之间执行通信仲裁。在一些示例实施例中，用户接口3700可以包括输入接口如键盘、按钮、触摸屏、触摸板、陀螺仪传感器、振动传感器和加速度传感器。在一些示例实施例中，用户接口3700可以包括输出接口如电机和LED灯。
主处理器3800可以控制成像系统3000的组件的整体操作。主处理器3800可以处理各种操作以便操作成像系统3000。例如，主处理器3800可以以操作处理设备/电路实现。如本文所述，操作处理设备/电路可以包括一个或多个处理器核，诸如通用处理器、专用处理器、应用处理器或微处理器。例如，主处理器3800可以包括参考图1至13描述的控制器300的功能。主处理器3800可以包括处理电路系统(例如，包括逻辑电路的硬件)、硬件/软件组合(例如，执行软件的处理器)或其组合。例如，处理电路系统更具体地可以包括但不限于中央处理单元(CPU)、算术逻辑单元(ALU)、数字信号处理器、微计算机、现场可编程门阵列(FPGA)、片上系统(SoC)、可编程逻辑单元、微处理器、专用集成电路(ASIC)等。
根据本发明构思的成像系统可以生成HDR图像，使得即使物体移动也可以减少或最小化伪像。
此外，根据本发明构思的成像系统可以在不降低分辨率的情况下生成高分辨率和高质量的HDR图像。
尽管已经参考本发明的一些示例实施例描述了本发明构思，但是本领域普通技术人员应清楚，在不脱离权利要求书中阐述的本发明构思的精神和范围的情况下，可以对此进行各种改变和修改。

Claims (20)

1.一种成像系统，包括：
像素阵列，包括多个第一像素和多个第二像素；
驱动电路系统，被配置为：
基于第一曝光时间控制所述多个第一像素，以及
基于第二曝光时间控制所述多个第二像素；
输出电路系统，被配置为从所述像素阵列输出所述多个第一像素的第一像素值和所述多个第二像素的第二像素值；以及
处理电路系统，被配置为基于第一拜耳图像和第二拜耳图像生成高动态范围图像，所述第一拜耳图像基于所述第一像素值生成，所述第二拜耳图像基于第二像素值和所述第一拜耳图像的第三像素值两者生成，
其中所述多个第一像素的像素数量大于所述多个第二像素的像素数量。
2.根据权利要求1所述的成像系统，其中所述处理电路系统被配置为：
基于与所述像素阵列相关联的曝光时间信息，分离所述第一像素值和所述第二像素值以分别建立分离的第一像素值和分离的第二像素值，
基于分离的第一像素值生成所述第一拜耳图像，以及
基于分离的第二像素值和所述第一拜耳图像的所述第三像素值生成所述第二拜耳图像。
3.根据权利要求2所述的成像系统，其中所述处理电路系统被配置为基于以下生成所述第一拜耳图像：
基于分离的第一像素值对像素值进行插值以生成插值图像，以及
将所述插值图像转换为拜耳图案。
4.根据权利要求2所述的成像系统，其中所述处理电路系统还被配置为：
基于所述第一像素值和所述第二像素值估计物体的运动信息，以及
基于估计的运动信息确定所述第三像素值的权重以生成所述第二拜耳图像。
5.根据权利要求2所述的成像系统，其中所述处理电路系统还被配置为：响应于确定在所述第一拜耳图像中存在包括一个或多个饱和像素的饱和区域，基于所述第三像素值中排除了所述一个或多个饱和像素的像素值之外的其余像素值生成所述第二拜耳图像的像素值。
6.根据权利要求1所述的成像系统，还包括：
控制器电路系统，被配置为：
将所述多个第一像素的曝光时间确定为所述第一曝光时间，以及
将所述多个第二像素的曝光时间确定为所述第二曝光时间。
7.根据权利要求6所述的成像系统，其中所述控制器电路系统被配置为基于从所述输出电路系统输出的像素值来确定所述多个第一像素的曝光时间和所述多个第二像素的曝光时间。
8.根据权利要求1所述的成像系统，还包括：
滤色器阵列，包括位于所述像素阵列上方的多个滤色器，
其中所述多个滤色器中的至少两个相邻的滤色器被配置为选择性地透射具有相同颜色的光，所述颜色是红色、绿色或蓝色中的一种。
9.根据权利要求1所述的成像系统，其中所述第一像素值和所述第二像素值是从由所述像素阵列生成的图像的共同帧获得的。
10.根据权利要求1所述的成像系统，其中所述第一拜耳图像的分辨率和所述第二拜耳图像的分辨率与所述像素阵列的像素总数相同。
11.根据权利要求1所述的成像系统，其中所述第一曝光时间长于所述第二曝光时间。
12.一种成像系统，包括：
包括多个第一像素和多个第二像素的图像传感器，所述图像传感器被配置为基于在第一曝光时间期间受到控制的所述多个第一像素和在第二曝光时间期间受到控制的所述多个第二像素来生成与图像的一帧相关联的图像数据，所述图像数据包括所述多个第一像素的第一像素值和所述多个第二像素的第二像素值；以及
图像信号处理电路系统，被配置为基于第一拜耳图像和第二拜耳图像生成高动态范围图像，所述第一拜耳图像基于所述第一像素值生成，所述第二拜耳图像基于所述第二像素值和所述第一拜耳图像的第三像素值两者生成，
其中所述多个第一像素的像素数量大于所述多个第二像素的像素数量。
13.根据权利要求12所述的成像系统，其中所述图像信号处理电路系统被配置为基于所述第一拜耳图像的饱和信息、所述一帧上的物体的运动信息、或所述饱和信息和所述运动信息两者确定所述第三像素值的权重以生成所述第二拜耳图像。
14.根据权利要求13所述的成像系统，其中所述图像信号处理电路系统被配置为基于所述运动信息组合所述第一拜耳图像和所述第二拜耳图像，以生成所述高动态范围图像。
15.一种成像系统的操作方法，所述成像系统包括图像传感器，所述图像传感器包括多个第一像素和多个第二像素，所述方法包括：
基于在第一曝光时间期间受到控制的所述多个第一像素和在第二曝光时间期间受到控制的所述多个第二像素生成与图像的一帧相关联的图像数据，所述图像数据包括所述多个第一像素的第一像素值和所述多个第二像素的第二像素值；
基于所述图像数据中的所述多个第一像素的所述第一像素值生成第一拜耳图像；
基于所述图像数据中的所述多个第二像素的第二像素值和所述第一拜耳图像的第三像素值生成第二拜耳图像；以及
基于所述第一拜耳图像和所述第二拜耳图像生成高动态范围图像，
其中所述多个第一像素的像素数量大于所述多个第二像素的像素数量。
16.根据权利要求15所述的方法，其中生成第一拜耳图像包括：
基于所述第一像素值对像素值进行插值以生成插值图像；以及
将所述插值图像转换为拜耳图案。
17.根据权利要求15所述的方法，还包括：
基于所述图像数据估计所述一帧上的物体的运动信息，
其中生成第二拜耳图像包括：
基于估计的运动信息确定所述第二像素值的第一权重和所述第三像素值的第二权重，以及
基于所述第一权重和所述第二权重生成所述第二拜耳图像的像素值。
18.根据权利要求17所述的方法，其中生成高动态范围图像包括：
基于所述运动信息组合所述第一拜耳图像和所述第二拜耳图像。
19.根据权利要求17所述的方法，还包括：
通过运动检测传感器生成与所述物体相关联的感测信息，
其中基于所述图像数据和所述感测信息估计所述运动信息。
20.根据权利要求15所述的方法，还包括：
检测所述第一拜耳图像中的包括一个或多个饱和像素的饱和区域，
其中生成第二拜耳图像包括：
基于所述第三像素值中排除了所述一个或多个饱和像素的像素值之外的其余像素值，生成所述第二拜耳图像的像素值。
CN201910977457.0A 2019-01-18 2019-10-14 用于生成hdr图像的成像系统及其操作方法 Active CN111464754B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0006857 2019-01-18
KR1020190006857A KR102648747B1 (ko) 2019-01-18 2019-01-18 Hdr 이미지를 생성하기 위한 이미징 시스템 및 그것의 동작 방법

Publications (2)

Publication Number Publication Date
CN111464754A true CN111464754A (zh) 2020-07-28
CN111464754B CN111464754B (zh) 2021-11-16

Family

ID=71609276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910977457.0A Active CN111464754B (zh) 2019-01-18 2019-10-14 用于生成hdr图像的成像系统及其操作方法

Country Status (3)

Country Link
US (2) US11082625B2 (zh)
KR (1) KR102648747B1 (zh)
CN (1) CN111464754B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113676636A (zh) * 2021-08-16 2021-11-19 Oppo广东移动通信有限公司 高动态范围图像的生成方法、装置、电子设备和存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11064134B2 (en) * 2019-06-05 2021-07-13 Omnivision Technologies, Inc. High-dynamic range image sensor and image-capture method
US11102422B2 (en) 2019-06-05 2021-08-24 Omnivision Technologies, Inc. High-dynamic range image sensor and image-capture method
US11843868B2 (en) 2021-07-13 2023-12-12 SK Hynix Inc. Electronic apparatus based on multiple exposure image and operating method thereof
WO2024123095A1 (ko) * 2022-12-07 2024-06-13 주식회사 엘엑스세미콘 이미지 센서

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080253758A1 (en) * 2007-04-13 2008-10-16 Choon Hwee Yap Image processing method
US20100201862A1 (en) * 2009-02-10 2010-08-12 Sony Corporation Solid-state imaging device, driving method thereof, and imaging apparatus
US20120050557A1 (en) * 2010-09-01 2012-03-01 Qualcomm Incorporated High dynamic range image sensor
US20120281111A1 (en) * 2011-05-02 2012-11-08 Sony Corporation Image processing device, image processing method, and program
CN104253983A (zh) * 2008-12-08 2014-12-31 索尼株式会社 固态成像器件、固态成像器件的信号处理方法和成像设备
US20150244916A1 (en) * 2014-02-21 2015-08-27 Samsung Electronics Co., Ltd. Electronic device and control method of the same
US20160142645A1 (en) * 2013-07-04 2016-05-19 Nikon Corporation Electronic apparatus, method for controlling electronic apparatus, and control program

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6864916B1 (en) 1999-06-04 2005-03-08 The Trustees Of Columbia University In The City Of New York Apparatus and method for high dynamic range imaging using spatially varying exposures
US7084905B1 (en) 2000-02-23 2006-08-01 The Trustees Of Columbia University In The City Of New York Method and apparatus for obtaining high dynamic range images
JP4131192B2 (ja) 2003-04-25 2008-08-13 コニカミノルタオプト株式会社 撮像装置、画像処理装置及び画像記録装置
US7825969B2 (en) 2006-12-15 2010-11-02 Nokia Corporation Image stabilization using multi-exposure pattern
KR100835894B1 (ko) 2007-06-18 2008-06-09 (주)실리콘화일 다이내믹 레인지가 넓고, 색재현성과 해상능력이 우수한픽셀어레이 및 이미지센서
US8022994B2 (en) 2007-08-31 2011-09-20 Omnivision Technologies, Inc. Image sensor with high dynamic range in down-sampling mode
US7940311B2 (en) * 2007-10-03 2011-05-10 Nokia Corporation Multi-exposure pattern for enhancing dynamic range of images
US7777804B2 (en) 2007-10-26 2010-08-17 Omnivision Technologies, Inc. High dynamic range sensor with reduced line memory for color interpolation
KR101643319B1 (ko) * 2010-01-11 2016-07-27 삼성전자주식회사 하이 다이나믹 레인지 영상을 획득하는 장치 및 그 방법
JP5411786B2 (ja) 2010-04-08 2014-02-12 日本放送協会 撮影装置および画像統合プログラム
EP2442556A1 (en) 2010-10-15 2012-04-18 ST-Ericsson SA Apparatus and method for capturing images with high dynamic range
JP5655626B2 (ja) * 2011-02-24 2015-01-21 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
KR101699919B1 (ko) 2011-07-28 2017-01-26 삼성전자주식회사 다중 노출 퓨전 기반에서 고스트 흐림을 제거한 ｈｄｒ 영상 생성 장치 및 방법
US9129414B2 (en) 2011-10-14 2015-09-08 Morpho, Inc. Image compositing apparatus, image compositing method, image compositing program, and recording medium
KR101225482B1 (ko) 2012-02-15 2013-01-23 인텔 코오퍼레이션 디지털 영상 처리 방법, 장치, 및 컴퓨터로 판독 가능한 기록 매체
US9040892B2 (en) 2012-07-27 2015-05-26 Apple Inc. High dynamic range image sensor having symmetric interleaved long and short exposure pixels
JP6335423B2 (ja) 2012-08-31 2018-05-30 キヤノン株式会社 情報処理装置および情報処理方法
US9338372B2 (en) 2012-09-19 2016-05-10 Semiconductor Components Industries, Llc Column-based high dynamic range imaging systems
JP2014086889A (ja) * 2012-10-24 2014-05-12 Toshiba Corp 固体撮像装置
US9071765B2 (en) * 2012-12-28 2015-06-30 Nvidia Corporation System, method, and computer program product implementing an image processing pipeline for high-dynamic range images
KR101488074B1 (ko) * 2013-02-04 2015-01-29 주식회사 동부하이텍 이미지 센서와 이를 이용한 비닝 이미지 생성 방법
US9413992B2 (en) * 2013-05-20 2016-08-09 Omnivision Technologies, Inc. High dynamic range image sensor with full resolution recovery
KR102254994B1 (ko) * 2013-12-04 2021-05-24 소니 세미컨덕터 솔루션즈 가부시키가이샤 화상 처리 장치, 화상 처리 방법, 전자 기기, 및 프로그램
KR101477505B1 (ko) 2013-12-23 2015-01-07 이동현 하이 다이나믹 레인지 영상 형성 방법
JP6417809B2 (ja) * 2014-03-05 2018-11-07 ソニー株式会社 撮像装置
US10298843B2 (en) * 2014-04-22 2019-05-21 Sony Semiconductor Solutions Corporation Image processing device, image processing method, and electronic apparatus for motion detection in image
KR20150128168A (ko) 2014-05-08 2015-11-18 삼성전자주식회사 화이트 밸런싱 장치 및 이의 구동 방법
JP2015231118A (ja) * 2014-06-04 2015-12-21 キヤノン株式会社 画像合成装置、画像合成システム及び画像合成方法
WO2015196456A1 (zh) * 2014-06-27 2015-12-30 深圳市大疆创新科技有限公司 基于拜尔颜色滤波阵列的高动态范围视频录制方法和装置
KR102273656B1 (ko) * 2014-11-24 2021-07-05 삼성전자주식회사 광역 역광 보정 영상의 노이즈 레벨 제어 장치, 및 이를 포함하는 영상 처리 시스템
US9282256B1 (en) 2014-12-22 2016-03-08 Omnivision Technologies, Inc. System and method for HDR imaging
US9467633B2 (en) 2015-02-27 2016-10-11 Semiconductor Components Industries, Llc High dynamic range imaging systems having differential photodiode exposures
KR102277178B1 (ko) * 2015-03-09 2021-07-14 삼성전자 주식회사 카메라 모듈을 포함하는 전자 장치 및 전자 장치의 이미지 처리 방법
CN104639845B (zh) * 2015-03-17 2017-12-26 上海兆芯集成电路有限公司 高动态范围图像产生方法以及使用该方法的装置
KR102356706B1 (ko) * 2015-07-07 2022-01-27 삼성전자주식회사 넓은 다이나믹 레인지를 갖는 이미지 센서, 이미지 센서의 픽셀 회로 및 이미지 센서의 동작방법
US10313600B2 (en) 2015-10-13 2019-06-04 Canon Kabushiki Kaisha Imaging device capable of simultaneously capturing of a motion image and a static image and imaging method
KR102354991B1 (ko) * 2017-05-24 2022-01-24 삼성전자주식회사 픽셀 회로 및 이를 포함하는 이미지 센서

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080253758A1 (en) * 2007-04-13 2008-10-16 Choon Hwee Yap Image processing method
CN104253983A (zh) * 2008-12-08 2014-12-31 索尼株式会社 固态成像器件、固态成像器件的信号处理方法和成像设备
US20100201862A1 (en) * 2009-02-10 2010-08-12 Sony Corporation Solid-state imaging device, driving method thereof, and imaging apparatus
US20120050557A1 (en) * 2010-09-01 2012-03-01 Qualcomm Incorporated High dynamic range image sensor
US20120281111A1 (en) * 2011-05-02 2012-11-08 Sony Corporation Image processing device, image processing method, and program
US20160142645A1 (en) * 2013-07-04 2016-05-19 Nikon Corporation Electronic apparatus, method for controlling electronic apparatus, and control program
US20150244916A1 (en) * 2014-02-21 2015-08-27 Samsung Electronics Co., Ltd. Electronic device and control method of the same

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113676636A (zh) * 2021-08-16 2021-11-19 Oppo广东移动通信有限公司 高动态范围图像的生成方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN111464754B (zh) 2021-11-16
US11082625B2 (en) 2021-08-03
US20210329160A1 (en) 2021-10-21
US20200236273A1 (en) 2020-07-23
US11622081B2 (en) 2023-04-04
KR20200090291A (ko) 2020-07-29
KR102648747B1 (ko) 2024-03-20

Similar Documents

Publication Publication Date Title
CN111464754B (zh) 用于生成hdr图像的成像系统及其操作方法
US10868985B2 (en) Correcting pixel defects based on defect history in an image processing pipeline
KR102128468B1 (ko) 복수의 이미지 신호 프로세서들을 포함하는 이미지 처리 장치 및 이미지 처리 방법
US9219870B1 (en) Sensor data rescaler for image signal processing
US9787922B2 (en) Pixel defect preprocessing in an image signal processor
US9911174B2 (en) Multi-rate processing for image data in an image processing pipeline
JP6574534B2 (ja) 並列コンピュータビジョン及び画像スケーリング・アーキテクチャ
AU2019203822A1 (en) Method for generating high-dynamic range image, camera device, terminal and imaging method
US8861846B2 (en) Image processing apparatus, image processing method, and program for performing superimposition on raw image or full color image
US9462189B2 (en) Piecewise perspective transform engine
US11223762B2 (en) Device and method for processing high-resolution image
US11240442B2 (en) Signal processing apparatus and signal processing method
KR101364050B1 (ko) 이미지 처리 방법 및 장치
JP2023169254A (ja) 撮像素子、撮像素子の作動方法、プログラム、及び撮像システム
US10375368B2 (en) Image data conversion
JP2012129906A (ja) 画像処理装置、画像処理方法、及びプログラム
US9374526B2 (en) Providing frame delay using a temporal filter
US20230230200A1 (en) Front-end scaler circuit for processing demosaiced image data
JP7094454B2 (ja) 撮像装置、撮像素子、撮像装置の作動方法、撮像素子の作動方法、及びプログラム
KR20210071791A (ko) 고해상도 이미지를 처리하기 위한 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant