CN111953908A - 用于生成高动态范围图像的成像系统 - Google Patents

用于生成高动态范围图像的成像系统 Download PDF

Info

Publication number
CN111953908A
CN111953908A CN202010288453.4A CN202010288453A CN111953908A CN 111953908 A CN111953908 A CN 111953908A CN 202010288453 A CN202010288453 A CN 202010288453A CN 111953908 A CN111953908 A CN 111953908A
Authority
CN
China
Prior art keywords
sub
mode
pixels
exposure time
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010288453.4A
Other languages
English (en)
Inventor
李正局
崔允硕
俞在圣
李相遇
李容彻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190108760A external-priority patent/KR20200133167A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111953908A publication Critical patent/CN111953908A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • G06T5/92—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)

Abstract

本申请提供了一种用于生成高动态范围图像的成像系统，所述成像系统包括图像传感器，所述图像传感器基于接收到的光获得第一图像数据；以及处理电路，所述处理电路被配置为基于与所获得的第一图像数据相对应的照度和动态范围在第一模式和第二模式之中确定所述图像传感器的操作模式。所述图像传感器包括第一子像素，所述第一子像素被配置为在所述第一模式下感测与目标颜色相对应的目标光，将在第一曝光时间期间所感测到的目标光转换为第一信号，并且在所述第二模式下将在比所述第一曝光时间长的第二曝光时间期间感测到的所述目标光转换为第二信号。

Description

用于生成高动态范围图像的成像系统
相关申请的交叉引用
本申请基于2019年5月17日在韩国知识产权局提交的韩国专利申请No.10-2019-0058397和2019年9月3日在韩国知识产权局提交的韩国专利申请No.10-2019-0108760并要求这些韩国专利申请的优先权，这些韩国专利申请的全部公开内容通过引用并入本文。
技术领域
本公开涉及一种成像系统，更具体地，涉及一种用于生成高动态范围(HDR)图像的成像系统。
背景技术
成像系统是用于将由相机捕获的图像提供给用户的系统。可以利用诸如智能电话的各种类型的电子设备来实现成像系统。为了向用户提供高质量图像或准确地表示对象，成像系统可以使图像的动态范围更好。动态范围是指能够表示从图像的暗部到亮部的亮度的范围。
提供了用于生成具有改善的动态范围的HDR图像的各种方案。例如，成像系统可以通过获得并组合与不同曝光时间相对应的图像来生成HDR图像。然而，取决于图像的动态范围，可能不必生成HDR图像或高质量的HDR图像。在这种情况下，生成HDR图像可能会不必要地消耗电力。
发明内容
根据实施例，一种成像系统包括：图像传感器，所述图像传感器设置在第一衬底上并且被配置为基于接收到的光获得第一图像数据；以及处理电路，所述处理电路设置在与所述第一衬底不同的第二衬底上并且被配置为基于与所获得的第一图像数据相对应的照度和动态范围在第一模式和第二模式之中确定所述图像传感器的操作模式。所述图像传感器包括第一子像素，所述第一子像素被配置为：感测与目标颜色相对应的目标光；在所述第一模式下，将在第一曝光时间期间感测到的所述目标光转换为第一信号；并且在所述第二模式下，将在比所述第一曝光时间长的第二曝光时间期间感测到的所述目标光转换为第二信号。所述图像传感器还包括第二子像素，所述第二子像素与所述第一子像素共享浮置扩散区域，并且所述第二子像素被配置为：感测所述目标光；在所述第一模式下，将在所述第一曝光时间期间感测到的所述目标光转换为第三信号；并且在所述第二模式下，将在所述第一曝光时间期间感测到的所述目标光转换为第四信号。所述图像传感器还包括转换电路，所述转换电路被配置为：基于在所述第一模式下所述目标光被转换为的所述第一信号和所述第三信号，获得第二图像数据；并且基于在所述第二模式下所述目标光被转换为的所述第二信号和所述第四信号，获得第三图像数据。
根据实施例，一种成像系统包括设置在第一衬底上的图像传感器，所述图像传感器包括：像素阵列，所述像素阵列包括多个子像素，所述多个子像素中的每个子像素基于接收到的光生成电信号；以及转换电路，所述转换电路被配置为基于由所述多个子像素中的每个子像素生成的所述电信号获得图像数据。所述成像系统还包括设置在与所述第一衬底不同的第二衬底上的处理电路，所述处理电路被配置为：基于所获得的图像数据，获得照度和动态范围；基于所获得的照度和所获得的动态范围，改变所述多个子像素的任一个子像素或任意子像素组合的曝光时间；并且对所获得的图像数据执行高动态范围(HDR)处理。
根据实施例，一种成像系统包括设置在第一衬底上的图像传感器，所述图像传感器包括像素阵列，所述像素阵列包括：多个第一子像素，所述多个第一子像素共享与第一颜色对应的第一浮置扩散区域；多个第二子像素，所述多个第二子像素共享与第二颜色对应的第二浮置扩散区域；以及多个第三子像素，所述多个第三子像素共享与第三颜色对应的第三浮置扩散区域。所述图像传感器还包括转换电路，所述转换电路被配置为基于从所述多个第一子像素、所述多个第二子像素和所述多个第三子像素输出的信号获得当前图像数据。所述成像系统还包括设置在与所述第一衬底不同的第二衬底上的处理电路，所述处理电路被配置为：获得与所获得的当前图像数据相对应的照度和动态范围；基于所获得的照度和所获得的动态范围，对在所获得的当前图像数据之后获得的下一图像数据进行高动态范围(HDR)处理；基于所获得的照度和所获得的动态范围，在第一模式和第二模式之中确定所述图像传感器的操作模式；在所述第一模式下，控制所述多个第一子像素之中的第一第一子像素、所述多个第二子像素之中的第一第二子像素和所述多个第三子像素之中的第一第三子像素的第一曝光时间被设置为第一持续时间；在所述第一模式下，控制所述多个第一子像素之中的第二第一子像素、所述多个第二子像素之中的第二第二子像素和所述多个第三子像素之中的第二第三子像素的第二曝光时间被设置为第二持续时间；并且在所述第二模式下，控制所述多个第一子像素、所述多个第二子像素和所述多个第三子像素的第三曝光时间被设置为所述第一持续时间。
附图说明
图1是根据实施例的成像系统的框图。
图2是图1的图像传感器的框图。
图3是图2的单元像素的示图。
图4是图3的单元颜色像素的电路图。
图5是图1的成像系统的操作方法的流程图。
图6是用于描述在参考图1至图5所述的第一模式下生成HDR图像的过程的示图。
图7A、图7B和图7C是用于描述图6的第一模式下的曝光时间的曲线图。
图8是用于描述在参考图1至图5所述的第二模式下生成HDR图像的过程的示图。
图9A、图9B和图9C是用于描述图8的第二模式下的曝光时间的曲线图。
图10是用于描述在参考图1至图5所述的第三模式下生成HDR图像的过程的示图。
图11是用于描述在参考图1至图5所述的第四模式下生成HDR图像的过程的示图。
图12、图13、图14和图15是图1的成像系统的操作方法的流程图。
图16是应用图1的成像系统的电子系统的框图。
具体实施方式
下面，将参考附图以使得本领域普通技术人员实施实施例的程度来清楚且详细地描述实施例。
实施例提供了一种成像系统，该成像系统用于生成具有改进的性能的HDR图像同时减少功耗。
图1是根据实施例的成像系统的框图。可以利用各种类型的电子设备或电子电路来实现成像系统100。例如，成像系统100可以是台式计算机、膝上型计算机、平板计算机、智能电话、可穿戴设备或电动车辆中的一种。例如，可以利用集成电路(IC)或片上系统(SoC)来实现成像系统100。然而，各种实施例不限于此。例如，可以利用获得和处理图像的任何种类的设备或电路来实现成像系统100。
参考图1，成像系统100可以包括图像传感器110和处理电路120。图像传感器110和处理电路120可以被集成在一个芯片中，但是实施例不限于此。例如，可以利用单独的芯片来分别实现图像传感器110和处理电路120。例如，图像传感器110可以设置在第一衬底上，处理电路120可以设置在与第一衬底不同的第二衬底上。
图像传感器110可以基于从外部接收的光来输出图像数据IDAT。图像传感器110可以包括多个像素。多个像素可以将接收到的光转换成电信号。图像传感器110可以将模拟信号形式的电信号转换为数字信号以生成图像数据IDAT。图像数据IDAT可以包括帧的亮度信息和颜色信息。通过第一接口，图像数据IDAT可以提供给处理电路120。例如，第一接口可以是相机串行接口。稍后将更全面地描述图像传感器110。
处理电路120可以基于接收到的图像数据IDAT执行各种图像处理操作。处理电路120可以执行用于图像处理的各种操作。例如，处理电路120可以执行图像处理，使得从图像传感器110接收的图像数据IDAT被显示在显示设备中。处理电路120可以包括动态范围(DR)和照度计算器121、模式控制器122和高动态范围(HDR)图像生成器123。
动态范围和照度计算器121可以计算与接收到的图像数据IDAT相对应的帧的动态范围。可以基于图像数据IDAT中最亮部分与最暗部分的比率来计算动态范围。例如，动态范围和照度计算器121可以从图像数据IDAT提取与最暗部分相对应的像素值以及与最亮部分相对应的像素值。例如，动态范围和照度计算器121可以计算图像数据IDAT的像素值的最大值与最小值之间的比率。在此，可以基于与单元像素相对应的像素值来确定最大值和最小值。
动态范围和照度计算器121可以计算与接收到的图像数据IDAT相对应的帧的照度。例如，动态范围和照度计算器121可以对图像数据IDAT的像素值求和。例如，动态范围和照度计算器121可以基于通过将求和所得的值除以期间接收光以生成图像数据IDAT的曝光时间而获得的值，计算照度。
模式控制器122可以基于计算出的动态范围和计算出的照度来确定成像系统100的操作模式。根据操作模式，处理电路120可以确定是否基于图像数据IDAT来生成HDR图像。此外，根据操作模式，处理电路120可以确定生成HDR图像的方案。
在动态范围较大且外部照度较大的强背光条件(或情况)下，模式控制器122可以确定基于三种不同的曝光时间生成图像数据IDAT并且基于生成的图像数据IDAT生成HDR图像的操作模式(例如，第一模式)。在与图像数据IDAT相对应的动态范围大于参考动态范围并且照度大于参考照度的情况下，模式控制器122可以生成模式控制信号MC，使得图像数据IDAT基于三种不同的曝光时间来生成。在此，参考动态范围和参考照度可以理解为用于确定由于图像的亮部分和暗部分的极大差异而生成高性能HDR图像的条件(例如提供强背光的条件)的参考。
即使动态范围和照度不对应于使用三种曝光时间的情况，在执行HDR图像处理以准确地表现对象的情况下，模式控制器122也可以确定基于两种不同的曝光时间生成图像数据IDAT并且基于生成的图像数据IDAT生成HDR图像的操作模式(例如，第二模式)。或者，模式控制器122可以确定基于一种曝光时间生成图像数据IDAT并且基于生成的图像数据IDAT生成HDR图像的操作模式(例如，第三模式)。可以预先设置用于在第一模式与第二模式之间、第一模式与第三模式之间、或者第二模式与第三模式之间进行区分的参考动态范围和参考照度。
在动态范围或照度低至不需要HDR图像处理的程度的情况下，模式控制器122可以确定基于一种曝光时间生成图像数据IDAT并且省略HDR图像处理的操作模式(例如，第四模式)。可以预先设置用于在第四模式与第一模式至第三模式中的任何一个模式或任意组合之间进行区分的参考动态范围和参考照度。
模式控制器122可以向图像传感器110和HDR图像生成器123提供与确定的操作模式相对应的模式控制信号MC。例如，模式控制器122可以通过第二接口向图像传感器110提供模式控制信号MC。例如，第二接口可以不同于用于向处理电路120提供图像数据IDAT的第一接口。图像传感器110可以基于模式控制信号MC来调整每个像素接收光的曝光时间。HDR图像生成器123可以基于模式控制信号MC来执行与操作模式相对应的HDR图像处理操作。
模式控制器122可以基于动态范围和照度来确定是否执行HDR图像处理以及用于处理HDR图像的方案。因此，可以防止不必要的HDR图像处理操作或与环境条件(或情况)相比过度的HDR图像处理操作。此外，可以减少HDR图像处理过程的功耗。
模式控制器122可以基于从图像传感器110接收到的图像数据IDAT实时地改变操作模式。模式控制器122可以实时地分析接收到的图像数据IDAT以确定操作模式。当存在操作模式的改变(诸如动态范围或照度的改变)时，模式控制器122可以生成模式控制信号MC，从而针对下一帧改变曝光时间或HDR图像生成方案。如此，可以在没有帧丢失或延迟时间的情况下无缝地改变操作模式。
HDR图像生成器123可以基于由模式控制器122确定的操作模式来对图像数据IDAT执行HDR图像处理。为此，HDR图像生成器123可以从模式控制器122接收模式控制信号MC。HDR图像生成器123可以执行与第一操作模式至第三操作模式中的每个操作模式相对应的HDR图像处理操作。基于指示第四模式的模式控制信号MC，HDR图像生成器123不会执行HDR图像处理。
例如，在第一模式下，HDR图像生成器123可以从图像数据IDAT分离与三种曝光时间分别相对应的第一子图像至第三子图像。HDR图像生成器123可以通过校正第一子图像至第三子图像中的每个子图像的像素值并且合并第一子图像至第三子图像的校正后的像素值，来生成HDR图像。如此，在第一模式下，HDR图像生成器123可以生成具有最高动态范围(例如，大约100dB的水平)的HDR图像。
例如，在第二模式下，HDR图像生成器123可以从图像数据IDAT分离与两种曝光时间分别相对应的第一子图像和第二子图像。HDR图像生成器123可以通过校正第一子图像和第二子图像中的每个子图像的像素值并且合并第一子图像和第二子图像的校正后的像素值，来生成HDR图像。如此，在第二模式下，HDR图像生成器123可以生成具有第二高动态范围(例如，大约80dB的水平)的HDR图像。
例如，在第三模式中，HDR图像生成器123可以通过对图像数据IDAT执行色调映射处理来生成HDR图像。因为图像传感器110基于一种曝光时间生成图像数据IDAT，所以图像传感器110可以在没有合并的情况下生成HDR图像。如此，在第三模式下，HDR图像生成器123可以生成动态范围小于第一模式和第二模式下的动态范围的HDR图像。由于在第三模式下的HDR图像处理所引起的功耗可以小于由于在第一模式和第二模式下的HDR图像处理所引起的功耗。
例如，在第四模式下，HDR图像生成器123不会生成HDR图像。HDR图像生成器123不会对基于一种曝光时间生成的图像数据IDAT执行色调映射。结果，与第一模式至第三模式相比，在第四模式下处理的图像的动态范围可能较小。然而，成像系统100在第四模式下的功耗可以小于第一模式至第三模式下的功耗。
图2是图1的图像传感器的框图。参考图2，图像传感器110可以包括像素阵列111、驱动电路112、转换电路113和定时控制器114。
像素阵列111包括二维布置的多个像素。多个像素均可以将接收到的光转换成电信号。可以通过从驱动电路112提供的驱动信号来控制像素阵列111。响应于驱动信号，多个像素可以生成模拟信号形式的电信号IS。可以通过多条列线将电信号IS提供给转换电路113。
像素阵列111包括用于分别感测蓝色、绿色和红色的单元像素UP。单元像素UP可以包括用于感测各个颜色的单元颜色像素CP1、CP2、CP3和CP4。单元颜色像素CP1、CP2、CP3和CP4均可以包括选择性地透射相应颜色的滤色器。例如，第一单元颜色像素CP1和第四单元颜色像素CP4可以感测绿色，第二单元颜色像素CP2可以感测红色，第三单元颜色像素CP3可以感测蓝色。然而，实施例不限于此。例如，一单元颜色像素可以感测各种颜色的任何一种或任何组合。例如，单元颜色像素CP1、CP2、CP3和CP4均可以感测诸如黄色、青色或品红色的颜色。
单元颜色像素CP1、CP2、CP3和CP4均可以包括多个子像素。多个子像素均可以包括用于将光转换成电信号的光电转换元件。每个子像素可以将在根据上述操作模式设置的曝光时间期间接收的光转换成电信号。在操作模式下，子像素的曝光时间可能会有所不同。稍后将对此进行更加全面详细介绍。
驱动电路112可以生成用于控制像素阵列111中包括的像素的驱动信号。驱动电路112可以基于来自定时控制器114的控制信号C1选择多个行中的一个或更多个行。驱动信号可以包括用于选择行的信号、用于复位与所选择的行相对应的像素的信号、以及用于控制期间接收到光并且生成电信号IS的曝光时间的信号。可以基于模式控制信号MC来生成用于控制曝光时间的信号，并且该信号可以例如用于调整每个像素的传输门的开/关时间。可以向转换电路113提供从所选择的行的像素生成的电信号IS。
转换电路113可以将模拟信号形式的电信号IS转换为数字信号形式的图像数据IDAT。转换电路113可以响应于来自定时控制器114的控制信号C2将电信号IS转换为图像数据IDAT。例如，为了提取有效信号成分，转换电路113可以执行相关双采样(CDS)。例如，转换电路113可以对单元颜色像素CP1至CP4中的每个单元颜色像素的子像素执行平均操作或分箱操作(binning operation)。
定时控制器114可以控制像素阵列111、驱动电路112和转换电路113。定时控制器114可以生成包括时钟信号和定时控制信号的控制信号C1和C2，以用于像素阵列111、驱动电路112和转换电路113的操作。定时控制器114可以基于由图1的处理电路120生成的模式控制信号MC来生成用于控制像素的曝光时间的控制信号(例如，第一控制信号C1)。例如，定时控制器114可以包括逻辑控制电路、锁相环(PLL)电路、定时控制电路和通信接口电路等。与图2中所示的实施例不同，定时控制器114可以包括在图1的处理电路120中。
图3是图2的单元像素的示图。参考图3，单元像素UP可以包括第一至第四单元颜色像素CP1、CP2、CP3和CP4。例如，第一至第四单元颜色像素CP1、CP2、CP3和CP4均可以包括四个子像素。
第一单元颜色像素CP1可以包括与绿色相对应的第一子像素至第四子像素Ga1、Ga2、Ga3和Ga4。第二单元颜色像素CP2可以包括与红色相对应的第一子像素至第四子像素R1、R2、R3和R4。第三单元颜色像素CP3可以包括与蓝色相对应的第一子像素至第四子像素B1、B2、B3和B4。第四单元颜色像素CP4可以包括与绿色相对应的第一子像素至第四子像素Gb1、Gb2、Gb3和Gb4。
一个单元颜色像素中包括的子像素可以以2x2矩阵布置，但是实施例不限于此。例如，可以以诸如1x4矩阵或4x1矩阵的各种方式来布置一个单元颜色像素中包括的子像素。在图3中示出了一个单元颜色像素中包括的子像素的数量为4的示例，但是实施例不限于此。例如，一个单元颜色像素可以包括九个子像素。一个单元颜色像素中包括的子像素可以感测相同的颜色，并且可以彼此相邻地设置。
子像素的操作可以根据低照度环境和高照度环境而变化。例如，为了确保在高照度环境下图像的清晰度，子像素可以分别生成模拟电信号，并且可以以子像素为单位将电信号输出到图2的转换电路113。例如，为了确保在低照度环境下图像的亮度或灵敏度，子像素可以以单元颜色像素为单位将模拟电信号输出到图2的转换电路113。
子像素可以将光(该光在根据参考图1描述的操作模式确定的曝光时间期间被接收)转换成电信号。在基于参考图1描述的三种不同曝光时间生成HDR图像数据的第一模式下，每个子像素可以在第一曝光时间、比第一曝光时间短的第二曝光时间和比第二曝光时间短的第三曝光时间中的一种曝光时间期间生成电信号。例如，在第一单元颜色像素CP1中，第一子像素Ga1可以在第一曝光时间期间生成电信号，第二子像素Ga2和第三子像素Ga3均可以在第二曝光时间期间生成电信号，第四子像素Ga4可以在第三曝光时间期间生成电信号。
在期间基于参考图1描述的两种不同的曝光时间生成HDR图像数据的第二模式下，每个子像素可以在第一曝光时间和比第一曝光时间短的第二曝光时间中的一种曝光时间期间生成电信号。例如，在第一单元颜色像素CP1中，第一子像素Ga1和第四子像素Ga4均可在第一曝光时间期间生成电信号，并且第二子像素Ga2和第三子像素Ga3均可以在第二曝光时间期间生成电信号。
在期间基于参考图1描述的一种曝光时间生成HDR图像数据的第三模式下，或在不生成HDR图像数据的第四模式下，每个子像素可以在一种曝光时间期间生成电信号。即，可以根据由图1的模式控制器122确定的操作模式来确定每个子像素的曝光时间。稍后将更全面地描述如何处理基于所确定的曝光时间生成的图像数据。
图4是图3的单元颜色像素的电路图。图4的单元颜色像素CP可以与图3的第一至第四单元颜色像素CP1、CP2、CP3和CP4中的一个单元颜色像素相对应。参考图4，单元颜色像素CP可以包括第一至第四光电转换元件PD1、PD2、PD3和PD4，第一至第四传输晶体管TX1、TX2、TX3和TX4，复位晶体管RX，选择晶体管SX，以及驱动晶体管DX。图4的电路结构是示例，并且单元颜色像素CP不限于图4。例如，单元颜色像素CP还可以包括用于构成转换增益改变电路的电容器和转换增益晶体管。
第一至第四光电转换元件PD1、PD2、PD3和PD4可以是光敏元件，其根据入射光的量或入射光的强度来生成和累积电荷。第一至第四光电转换元件PD1、PD2、PD3和PD4分别对应于单元颜色像素中包括的四个子像素。例如，第一至第四光电转换元件PD1、PD2、PD3和PD4均可以由光电二极管、光电晶体管、光电门、钉扎光电二极管(PPD)或其组合来实现。
第一至第四传输晶体管TX1、TX2、TX3和TX4可以分别连接到第一至第四光电转换元件PD1、PD2、PD3和PD4。在第一至第四光电转换元件PD1、PD2、PD3和PD4累积电荷可以通过第一至第四传输晶体管TX1、TX2、TX3和TX4传输至浮置扩散区域FD。第一至第四传输晶体管TX1、TX2、TX3和TX4的栅电极(或传输门)可以分别由第一至第四电荷传输信号TG1、TG2、TG3和TG4控制。
可以基于图2的模式控制信号MC生成第一至第四电荷传输信号TG1、TG2、TG3和TG4。第一至第四光电转换元件PD1、PD2、PD3和PD4的曝光时间可以分别由第一至第四电荷传输信号TG1、TG2、TG3和TG4控制。例如，第一电荷传输信号TG1可以导通第一传输晶体管TX1，使得在第一光电转换元件PD1累积的电荷被传输到浮置扩散区域FD，并且可以关断第一传输晶体管TX1，使得电荷积累在第一光电转换元件PD1。曝光时间可以从第一传输晶体管TX1的关断开始，并且可以在第一传输晶体管TX1再次被导通使得累积的电荷被传输到浮置扩散区域FD的时间结束。可以基于由模式控制信号MC确定的操作模式来确定曝光时间的长度。
由第一至第四光电转换元件PD1、PD2、PD3和PD4发送的光电子可以被累积在浮置扩散区域FD。第一至第四光电转换元件PD1、PD2、PD3和PD4可以共享浮置扩散区域FD。即，一个单元颜色像素中包括的子像素可以共享浮置扩散区域FD。可以根据在浮置扩散区域FD累积的光电子的量来控制驱动晶体管DX。
复位晶体管RX可以复位在浮置扩散区域FD累积的电荷。复位晶体管RX的漏极端可以连接到浮置扩散区域FD，并且其源极端连接到像素电源电压VPIX。当通过复位信号RG导通复位晶体管RX时，像素电源电压VPIX可以被提供给浮置扩散区域FD。在这种情况下，可以释放在浮置扩散区域FD累积的电荷，因此，可以复位浮置扩散区域FD。
驱动晶体管DX可以是源极跟随器缓冲放大器，其与输入到驱动晶体管DX的栅极端的浮置扩散区域FD的电荷量成比例地生成源极-漏极电流。驱动晶体管DX可以放大浮置扩散区域FD的电势变化，并且可以通过选择晶体管SX将放大的信号输出到列线。
选择晶体管SX可以以行为单位选择要读取的单元颜色像素CP。当通过从图2的驱动电路112提供的选择信号SEL导通选择晶体管SX时，从驱动晶体管DX输出的模拟电信号可以输出到列线。
图5是图1的成像系统的操作方法的流程图。图5的操作可以在图1的处理电路120处执行，并且可以被理解为设置用于HDR图像处理的操作模式的方法。为了描述的方便，将参考图1的参考标记/标号来描述图5。
在操作S110，处理电路120或动态范围和照度计算器121可以基于从图像传感器110接收的图像数据IDAT来计算帧的动态范围和照度。动态范围和照度可以用于确定是否执行HDR图像处理以及用于处理HDR图像的方案。如上所述，可以基于图像数据IDAT的像素值来计算动态范围，并且可以基于图像数据IDAT的像素值和曝光时间来计算照度。
在操作S120，处理电路120或模式控制器122可以基于计算的动态范围和计算的照度来确定操作模式。可以基于操作模式来确定是否对图像数据IDAT执行HDR处理。可以基于操作模式来确定将用于对图像数据IDAT执行HDR处理的曝光次数。
如上所述，当计算的动态范围大于第一参考动态范围并且计算的照度大于第一参考照度时，处理电路120可以选择基于三种不同曝光时间生成HDR图像数据的第一模式作为操作模式。处理电路120可以向图像传感器110提供与第一模式相对应的模式控制信号MC。图像传感器110的每个子像素可以将在三种曝光时间的指定曝光时间期间接收的光转换成电信号。处理电路120可以对基于三种曝光时间生成的图像数据IDAT执行相应的HDR图像处理。
即使计算的动态范围和计算的照度不与第一模式对应，当计算的动态范围大于第二参考动态范围并且计算的照度大于第二参考照度时，处理电路120也可以选择基于两种不同曝光时间生成HDR图像数据的第二模式作为操作模式。在此，第二参考动态范围可以小于第一参考动态范围，并且第二参考照度可以小于第一参考照度。处理电路120可以向图像传感器110提供与第二模式相对应的模式控制信号MC。图像传感器110的每个子像素可以将在两种曝光时间的指定曝光时间期间接收的光转换成电信号。处理电路120可以对基于两种曝光时间生成的图像数据IDAT执行相应的HDR图像处理。
即使计算的动态范围和计算的照度不与第一模式和第二模式对应，当计算的动态范围大于第三参考动态范围并且计算的照度大于第三参考照度时，处理电路120也可以选择基于一种曝光时间生成HDR图像数据的第三模式作为操作模式。在此，第三参考动态范围可以小于第二参考动态范围，并且第三参考照度可以小于第二参考照度。当计算的动态范围和计算的照度不与第一模式至第三模式对应时，处理电路120可以选择不生成HDR图像的第四模式作为操作模式。以上确定操作模式的方案是示例，并且可以不提供第一模式至第四模式中的一个或两个。
在操作S130，处理电路120可以确定图像传感器110的操作是否终止。当确定图像传感器110的操作终止时，该方法可以结束；否则，则处理电路120可以重复执行操作S110和操作S120，直到图像传感器110的操作终止。处理电路120可以基于从图像传感器110接收到的图像数据IDAT实时地改变操作模式。如此，可以在没有帧丢失或延迟时间的情况下无缝地改变操作模式。
图6是用于描述在参考图1至图5所述的第一模式下生成HDR图像的过程的示图。第一模式可以被理解为用于基于三种不同曝光时间生成HDR图像数据的操作模式。可以在动态范围较大且外部照度较大的情况(例如由于相对于对象而发生的强背光导致对象变暗的情况)下使用第一模式。
参考图6，单元像素UP中包括的每个子像素将在长曝光时间(L)(例如，第一曝光时间)、中等曝光时间(M)(例如，第二曝光时间)和短曝光时间(S)(例如，第三曝光时间)中的一种曝光时间期间接收的光转换为电信号。图2的驱动电路112可以基于模式控制信号MC来控制子像素的曝光时间。如上所述，驱动电路112可以通过基于模式控制信号MC生成将被施加到传输晶体管的栅极的电荷传输信号来控制曝光时间。假设图5的单元像素UP的配置与图3的单元像素UP的配置相同。
参照第一单元颜色像素CP1，第一子像素Ga1可以在第一曝光时间期间生成电信号，第二子像素Ga2和第三子像素Ga3均可以在第二曝光时间期间生成电信号，第四子像素Ga4可以在第三曝光时间期间生成电信号。然而，实施例不限于此。例如，与第一曝光时间相对应的子像素、与第二曝光时间相对应的子像素和与第三曝光时间相对应的子像素可以与图6所示的示例不同。由子像素生成的电信号可以由图2的转换电路113转换为图像数据。
图1的处理电路120或HDR图像生成器123可以以与由模式控制信号MC选择的操作模式相对应的方案来生成HDR图像HD。在这种情况下，基于模式控制信号MC，处理电路120的HDR图像生成器123可以确定基于三种曝光时间生成了图像数据。如此，处理电路120可以基于曝光时间从图像数据分离出三个子图像LD1、MD1和SD1。第一子图像LD1可以包括与第一曝光时间相对应的数据值D1至D4，第二子图像MD1可以包括与第二曝光时间相对应的数据值D5至D12，第三子图像SD1可以包括与第三曝光时间相对应的数据值D13至D16。与由处理电路120分离图像数据的上述描述不同，图像传感器110可以将基于曝光时间分离的图像数据输出到处理电路120。
处理电路120或HDR图像生成器123可以预处理第一子图像至第三子图像LD1、MD1和SD1。例如，第一子图像至第三子图像LD1、MD1和SD1可以被插值以具有相同数量的值。作为插值结果，第一预处理后的子图像至第三预处理后的子图像LD2、MD2和SD2可以具有拜耳图案。
例如，可以将基于曝光时间和数据值确定的权重应用于第一预处理后的子图像至第三预处理后的子图像LD2、MD2和SD2。例如，在亮区域中，第一预处理后的子图像LD2可以具有比第二预处理后的子图像MD2和第三预处理后的子图像SD2更大的权重。在此，亮区域可以被定义为图像数据的像素值超过第一参考值的区域。亮区域可以是与单元像素中包括的所有像素相对应的像素值超过第一参考值以致丢失颜色信息的程度的区域。例如，在暗区域中，第三预处理后的子图像SD2可以具有比第一预处理后的子图像LD2和第二预处理后的子图像MD2更大的权重。在此，暗区域可以被定义为图像数据的像素值未达到第二参考值的区域。暗区域可以是与单元像素中包括的所有像素相对应的像素值未达到第二参考值以致丢失颜色信息的程度的区域。上述预处理方案可以是示例，并且可以提供用于表现清晰、准确的图像的各种预处理方案。
处理电路120或HDR图像生成器123可以合并(或组合)第一预处理后的子图像至第三预处理后的子图像LD2、MD2和SD2以生成HDR图像HD。根据预处理和组合(或合并)的结果，在暗区域的情况下可以强调第三子图像SD1的数据值，在亮区域的情况下可以强调第一子图像LD1的数据值。因此，可以生成具有改善的动态范围的HDR图像HD。以上合并(或组合)方案可以是示例，并且第一预处理后的子图像至第三预处理子图像LD2、MD2和SD2中的一个或更多个可以用于生成HDR图像HD。
图7A、图7B和图7C是用于描述图6的第一模式下的曝光时间的曲线图。在图7A至图7C中示出了第一曝光时间至第三曝光时间。当通过图1的处理电路120将操作模式确定为第一模式时，可以通过第二接口向图像传感器110提供模式控制信号MC。例如，第二接口可以不同于作为相机串行接口的第一接口。图2的图像传感器110中包括的驱动电路112可以基于模式控制信号MC来控制子像素的曝光时间。例如，可以通过分别控制与子像素相对应的传输晶体管TX1、TX2、TX3和TX4来确定子像素的曝光时间。
参考图7A，可以针对第一曝光时间至第三曝光时间的结束时间来控制曝光时间。为了便于描述，在图7A中示出了第一曝光时间至第三曝光时间具有相同的结束时间的示例，但是可以理解的是，与子像素分别对应的曝光时间的阶段根据扫描子像素的顺序而不同。
与第一曝光时间相对应的像素(例如，图6的第一子像素Ga1、R1、B1和Gb1)可以将在第一时间t1到第四时间t4的第一曝光时间期间接收的光转换为电信号。与第二曝光时间相对应的像素(例如，第二子像素Ga2、R2、B2和Gb2以及第三子像素Ga3、R3、B3和Gb3)可以将在第二时间t2到第四时间t4的第二曝光时间期间接收的光转换为电信号。与第三曝光时间相对应的像素(例如，图6的第四子像素Ga4、R4、B4和Gb4)可以将在从第三时间t3到第四时间t4的第三曝光时间期间接收的光转换为电信号。
参考图7B所示，第一曝光时间至第三曝光时间的开始时间和结束时间可以分别不同。可以理解的是，与子像素相对应的曝光时间的阶段根据扫描子像素的顺序而不同。与第一曝光时间相对应的像素可以将在第一时间t1到第六时间t6的第一曝光时间期间接收的光转换为电信号。与第二曝光时间相对应的像素可以将在从第二时间t2到第五时间t5的第二曝光时间期间接收的光转换成电信号。与第三曝光时间相对应的像素可以将在从第三时间t3到第四时间t4的第三曝光时间期间接收的光转换为电信号。
参考图7C，可以针对第一曝光时间至第三曝光时间的开始时间来控制曝光时间。为了便于描述，在图7C中示出了第一曝光时间至第三曝光时间具有相同的开始时间的示例，但是可以理解的是，与子像素分别对应的曝光时间的阶段根据扫描子像素的顺序而不同。与第一曝光时间相对应的像素可以将在第一时间t1到第四时间t4的第一曝光时间期间接收的光转换为电信号。与第二曝光时间相对应的像素可以将在从第一时间t1到第三时间t3的第二曝光时间期间接收的光转换成电信号。与第三曝光时间相对应的像素可以将在从第一时间t1到第二时间t2的第三曝光时间期间接收的光转换为电信号。
此外，可以以各种方案来控制曝光时间。图2的驱动电路112可以基于模式控制信号MC来控制每个子像素的曝光时间，以将其设置为第一曝光时间至第三曝光时间之一。由于使用不同曝光时间的图像来生成HDR图像，因此可以生成动态范围被改善并且清晰度被改善的图像。
图8是用于描述在参考图1至图5所述的第二模式下生成HDR图像的过程的示图。第二模式可以被理解为用于基于两种不同曝光时间生成HDR图像数据的操作模式。第二模式可以用于对动态范围小于第一模式下的动态范围的图像数据执行HDR图像处理。
参考图8，单元像素UP中包括的每个子像素将在长曝光时间(例如，第一曝光时间)和短曝光时间(例如，第二曝光时间)中的一种曝光时间期间接收的光转换为电信号。然而，实施例不限于此。例如，单元像素UP中包括的每个子像素可以将在长曝光时间和中等曝光时间中的一种曝光时间期间接收的光转换为电信号，或者将在中等曝光时间和短曝光时间中的一种曝光时间期间接收的光转换为电信号。图2的驱动电路112可以基于模式控制信号MC来控制子像素的曝光时间。如上所述，驱动电路112可以通过基于模式控制信号MC生成将被施加到传输晶体管的栅极的电荷传输信号，来控制曝光时间。假设图8的单元像素UP的配置与图3的单元像素UP的配置相同。
例如，在第一单元颜色像素CP1中，第一子像素Ga1和第四子像素Ga4均可以在第一曝光时间期间生成电信号，并且第二子像素Ga2和第三子像素Ga3均可以在第二曝光时间期间生成电信号。然而，实施例不限于此。例如，与第一曝光时间相对应的子像素以及与第二曝光时间相对应的子像素可以与图6所示的示例不同。由子像素生成的电信号可以由图2的转换电路113转换为图像数据。
图1的处理电路120或HDR图像生成器123可以以与由模式控制信号MC选择的操作模式相对应的方案来生成HDR图像HD。在这种情况下，基于模式控制信号MC，处理电路120的HDR图像生成器123可以确定基于两种曝光时间生成了图像数据。如此，处理电路120可以基于曝光时间从图像数据分离出两个子图像LD1和SD1。第一子图像LD1可以包括与第一曝光时间相对应的数据值D1至D8，第二子图像SD1可以包括与第二曝光时间相对应的数据值D9至D16。与由处理电路120分离图像数据的上述描述不同，图像传感器110可以将基于曝光时间分离的图像数据输出到处理电路120。
处理电路120或HDR图像生成器123可以预处理第一子图像和第二子图像LD1和SD1。如参考图5所描述的，可以对第一子图像LD1和第二子图像SD1进行插值，并且可以将基于曝光时间和数据值确定的权重应用于第一预处理后的子图像LD2和第二预处理后的子图像SD2。作为插值结果，第一预处理后的子图像LD2至第二预处理后的子图像SD2可以具有拜耳图案。然而，实施例不限于以上预处理方案，并且可以提供用于表现清晰、准确的图像的各种预处理方案。
处理电路120或HDR图像生成器123可以合并(或组合)第一预处理后的子图像LD2至第二预处理后的子图像SD2以生成HDR图像HD。根据预处理和组合(或合并)的结果，在暗区域的情况下可以强调第二子图像SD1的数据值，并且在亮区域的情况下可以强调第一子图像LD1的数据值。因此，可以生成具有改善的动态范围的HDR图像HD。
图9A、图9B和图9C是用于描述图8的第二模式下的曝光时间的曲线图。在图9A至图9C中示出了第一曝光时间和第二曝光时间。当通过图1的处理电路120将操作模式确定为第二模式时，通过第二接口，模式控制信号MC可以提供给图像传感器110。例如，第二接口可以不同于作为相机串行接口的第一接口。图2的图像传感器110中包括的驱动电路112可以基于模式控制信号MC来控制子像素的曝光时间。例如，可以通过分别控制与子像素相对应的传输晶体管TX1、TX2、TX3和TX4来确定子像素的曝光时间。
参考图9A，可以针对第一曝光时间和第二曝光时间的结束时间来控制曝光时间。可以理解的是，与子像素相对应的曝光时间的阶段根据扫描子像素的顺序而不同。与第一曝光时间相对应的像素(例如，图8的第一子像素Ga1、R1、B1和Gb1以及第四子像素Ga4、R4、B4和Gb4)可以将在第一时间t1到第三时间t3的第一曝光时间期间接收的光转换为电信号。与第二曝光时间相对应的像素(例如，图8的第二子像素Ga2、R2、B2和Gb2以及第三子像素Ga3、R3、B3和Gb3)可以将在第二时间t2到第三时间t4的第二曝光时间期间接收的光转换为电信号。
参考图9B，第一曝光时间和第二曝光时间的开始时间和结束时间可以不同。可以理解的是，与子像素相对应的曝光时间的阶段根据扫描子像素的顺序而不同。与第一曝光时间相对应的像素可以将在第一时间t1到第四时间t4的第一曝光时间期间接收的光转换为电信号。与第二曝光时间相对应的像素可以将在从第二时间t2到第三时间t3的第二曝光时间期间接收的光转换成电信号。
参考图9C，可以针对第一曝光时间至第二曝光时间的开始时间来控制曝光时间。可以理解的是，与子像素相对应的曝光时间的阶段根据扫描子像素的顺序而不同。与第一曝光时间相对应的像素可以将在第一时间t1到第三时间t3的第一曝光时间期间接收的光转换为电信号。与第二曝光时间相对应的像素可以将在第一时间t1到第二时间t2的第二曝光时间期间接收的光转换成电信号。
此外，可以以各种方案来控制曝光时间。图2的驱动电路112可以基于模式控制信号MC来控制每个子像素的曝光时间，以将其设置为第一曝光时间和第二曝光时间之一。由于使用不同曝光时间的图像来生成HDR图像，因此可以生成动态范围被改善并且清晰度被改善的图像。
图10是用于描述在参考图1至图5所述的第三模式下生成HDR图像的过程的示图。第三模式可以被理解为用于基于一种曝光时间来生成HDR图像数据的操作模式。第三模式可以用于对动态范围小于第一模式和第二模式下的动态范围的图像数据执行HDR图像处理。
参考图10，单元像素UP中包括的每个子像素将在一种曝光时间期间接收的光转换成电信号。例如，一种曝光时间可以短于图6或图8的短曝光时间，但是实施例不限于此。例如，一种曝光时间可以与图6或图8的短曝光时间不同。图2的驱动电路112可以基于模式控制信号MC来控制子像素的曝光时间。如上所述，驱动电路112可以通过基于模式控制信号MC生成将被施加到传输晶体管的栅极的电荷传输信号，来控制曝光时间。假设图10的单元像素UP的配置与图3的单元像素UP的配置相同。由子像素生成的电信号可以由图2的转换电路113转换为图像数据。
图1的处理电路120或HDR图像生成器123可以以与由模式控制信号MC选择的操作模式相对应的方案来生成HDR图像HD。在这种情况下，通过模式控制信号MC，处理电路120可以确定基于一种曝光时间生成了图像数据。处理电路120可以在不分离图像数据的情况下，对一个图像SD执行HDR图像处理。图像SD可以包括与一种曝光时间相对应的数据值D1至D16。
在图10中示出了图像SD包括与子图像分别对应的数据值D1至D16的示例，但是实施例并不限于此。例如，在图2的转换电路以单元颜色像素为单位对电信号执行模拟分箱(analog binning)的情况下，或者在转换电路113或处理电路120以单元颜色像素为单位对数字值执行数字分箱(digital binning)的情况下，图像SD中包括的数据值的数量可能会减小。
图1的处理电路120或HDR图像生成器123可以基于图像SD生成HDR图像HD。例如，处理电路120或HDR图像生成器123可以对图像SD执行色调映射处理。然而，实施例不限于此，并且可以提供用于表现清晰、准确的图像的各种图像处理方案。因为在第三模式下通过使用一个图像SD来生成HDR图像HD，所以与在第一模式和第二模式下生成HDR图像的情况相比，成像系统100的功耗可以降低。
图11是用于描述在参考图1至图5所述的第四模式下生成HDR图像的过程的示图。第四模式可以被理解为由于图像数据的动态范围小而不需要HDR图像数据的操作模式。
参考图11，单元像素UP中包括的每个子像素将在一种曝光时间期间接收的光转换成电信号。例如，一种曝光时间可以短于图6或图8的短曝光时间，但是实施例不限于此。例如，一种曝光时间可以与图6或图8的短曝光时间不同。图2的驱动电路112可以基于模式控制信号MC来控制子像素的曝光时间。假设图11的单元像素UP的配置与图3的单元像素UP的配置相同。由子像素生成的电信号可以由图2的转换电路113转换为图像数据。
由图像传感器110提供的图像SD可以包括与一种曝光时间相对应的数据值D1至D16。在图11中示出了图像SD包括与子图像分别对应的数据值D1至D16的示例，但是实施例不限于此。例如，在图2的转换电路113以单元颜色像素为单位对电信号执行模拟分箱的情况下，或者在转换电路113或处理电路120以单元颜色像素为单位对数字值执行数字分箱的情况下，图像SD中包括的数据值的数量可能会减小。
图1的处理电路120或HDR图像生成器123可以基于模式控制信号MC而不执行HDR图像处理。处理电路120或HDR图像生成器123不会对图像SD执行色调映射处理。在第四模式，因为不执行HDR图像生成器123的操作，所以成像系统100的功耗可以降低。
图12、图13、图14和图15是图1的成像系统的操作方法的流程图。图12的操作可以在图1的处理电路120处执行，并且可以被理解为设置用于HDR图像处理的操作模式的方法。为了描述的方便，将参考图1的参考标记/标号来描述图12。
在操作S210，处理电路120或动态范围和照度计算器121可以基于从图像传感器110接收的图像数据IDAT来计算帧的动态范围和照度。操作S210对应于图5的操作S110。可以理解的是，构成确定操作模式的操作的操作S221至操作S227包括在图5的操作S120中。
在操作S221，处理电路120或模式控制器122可以确定计算的动态范围和计算的照度是否属于第一参考范围。第一参考范围可以是用于基于三种不同曝光时间生成HDR图像的条件。第一参考范围可以具有作为下限的用于与计算的动态范围进行比较的第一参考动态范围，并且可以具有作为下限的用于与计算的照度进行比较的第一参考照度。在此，第一参考动态范围和第一参考照度可以对应于参考图5描述的第一参考动态范围和第一参考照度。
当计算的动态范围和计算的照度在第一参考范围内时，执行操作S222。在操作S222，处理电路120可以生成与第一模式相对应的模式控制信号MC。图像传感器110的每个子像素可以基于模式控制信号MC，将在三种曝光时间的指定曝光时间期间接收的光转换成电信号。处理电路120可以对基于三种曝光时间生成的图像数据IDAT执行相应的HDR图像处理。
当计算的动态范围和计算的照度超出第一参考范围时，执行操作S223。在操作S223，处理电路120或模式控制器122可以确定计算的动态范围和计算的照度是否属于第二参考范围。第二参考范围可以是用于基于两种不同曝光时间生成HDR图像的条件。第二参考范围可以具有作为下限的用于与计算的动态范围进行比较的第二参考动态范围，并且可以具有作为下限的用于与计算的照度进行比较的第二参考照度。在此，第二参考动态范围和第二参考照度可以对应于参考图5描述的第二参考动态范围和第二参考照度。
当计算的动态范围和计算的照度在第二参考范围内时，执行操作S224。在操作S224，处理电路120可以生成与第二模式相对应的模式控制信号MC。图像传感器110的每个子像素可以基于模式控制信号MC，将在两种曝光时间的指定曝光时间期间接收的光转换成电信号。处理电路120可以对基于两种曝光时间生成的图像数据IDAT执行相应的HDR图像处理。
当计算的动态范围和计算的照度超出第二参考范围时，执行操作S225。在操作S225，处理电路120或模式控制器122可以确定计算的动态范围和计算的照度是否属于第三参考范围。第三参考范围可以是用于基于一种曝光时间生成HDR图像的条件。第三参考范围可以具有作为下限的用于与计算的动态范围进行比较的第三参考动态范围，并且可以具有作为下限的用于与计算的照度进行比较的第三参考照度。在此，第三参考动态范围和第三参考照度可以对应于参考图5描述的第三参考动态范围和第三参考照度。
当计算的动态范围和计算的照度在第三参考范围内时，执行操作S226。在操作S226，处理电路120可以生成与第三模式相对应的模式控制信号MC。图像传感器110的每个子像素可以基于模式控制信号MC，将在一种曝光时间期间接收的光转换成电信号。处理电路120可以对基于一种曝光时间生成的图像数据IDAT执行相应的HDR图像处理。
当计算的动态范围和计算的照度超出第三参考范围时，执行操作S227。在操作S227，处理电路120可以生成与第四模式相对应的模式控制信号MC。图像传感器110的每个子像素可以基于模式控制信号MC，将在一种曝光时间期间接收的光转换成电信号。处理电路120不会执行HDR操作。
通过操作S221至操作S227，成像系统100可以选择与外部条件相对应的HDR处理方案，并且可以确定HDR处理方案是否是不必要的。因此，适应外部条件的图像处理是可行的。可以减少由于固定的HDR处理方案而导致的不必要的功耗。
在操作S230，处理电路120可以确定图像传感器110的操作是否终止。当确定图像传感器110的操作终止时，该方法可以结束；否则，处理电路120可以重复执行操作S210和操作S227，直到图像传感器110的操作终止。操作S230可以对应于操作S130。因为处理电路120根据外部条件实时地改变操作模式，所以操作模式被无缝地改变。
参考图13至图15，图13至图15的操作可以在图1的处理电路120处被执行。该描述将重点描述图12的操作与图13至图15的操作之间的差异。为了描述的方便，将参考图1的参考标记/标号来描述图13至图15。
参考图13，操作S310、操作S321至操作S325以及操作S330对应于图12的操作S210、操作S221至操作S224、操作S226以及S230。不同于参考图12给出的描述，模式控制器122可以确定三种操作模式之一。不同于参考图12给出的描述，模式控制器122可以不确定与第四模式相对应的操作模式的普通模式。即，模式控制器122可以省略确定HDR图像处理是否不必要的操作，并且可以实时地改变操作模式。在这种情况下，可以省略与图12的操作S225相对应的操作，即，可以省略确定动态范围和照度是否在第三参考范围内的操作。
参考图14，操作S410、操作S421至操作S425以及操作S430对应于图12的操作S210、操作S221、操作S222、操作S225至操作S227以及操作S230相对应。不同于参考图12给出的描述，模式控制器122可以确定三种操作模式之一。不同于参考图12给出的描述，模式控制器122可以不确定与第二模式相对应的操作模式。即，模式控制器122可以不执行基于两种曝光时间的HDR图像处理。
参考图15，操作S510、操作S521至操作S523以及操作S530对应于图12的操作S210、操作S221、操作S222、操作S226以及操作S230。不同于参考图12给出的描述，模式控制器122可以确定两种操作模式之一。不同于参考图12给出的描述，模式控制器122可以不确定与第二模式和第四模式相对应的操作模式，并且可以选择两种HDR图像处理方案之一。
此外，可以选择各种操作模式方案。模式控制器122可以被配置为在第一模式至第四模式的两种模式或三种模式中选择一种模式。此外，模式控制器122可以另外执行基于四种曝光时间执行HDR图像处理的操作模式。例如，模式控制器122可以将外部环境分类为上述的低照度环境或高照度环境，并且可以进一步确定在以子像素为单位输出电信号的操作模式(例如，高照度模式)和以单元颜色像素为单位输出电信号的操作模式(例如，低照度模式)。可以基于动态范围和照度实时地进行操作模式之间的切换，其数量如上所述地设置。
图16是应用图1的成像系统的电子系统的框图。参考图16，可以利用台式计算机、膝上型计算机、平板计算机、智能电话、可穿戴设备或电动车辆中来不同地实现电子系统1000。电子系统1000可以包括成像系统1100、通信系统1200、音频处理系统1300、显示系统1400、缓冲存储器1500、非易失性存储器1600、用户接口1700和主处理器1800。
成像系统1100可以通过透镜1105接收光。成像系统1100中包括的图像传感器1110和图像信号处理器1120可以基于所接收的光来生成图像数据。图像传感器1110可以包括参考图1至图14描述的图像传感器110的功能。例如，图像传感器1110可以基于曝光时间(其是基于操作模式确定的)来获得图像数据。
图像信号处理器1120可以包括参考图1至图14描述的处理电路120的功能。例如，图像信号处理器1120可以基于图像数据计算动态范围和照度，并且可以基于计算的动态范围和计算的照度来确定操作模式。图像信号处理器1120可以对基于操作模式生成的图像数据执行HDR图像处理。
通信系统1200可以通过天线1210与外部设备/系统交换信号。通信系统1200的收发器1220和MODEM(调制器/解调器)1230可以根据各种无线通信协议对与外部设备/系统交换的信号进行处理。
音频处理系统1300可以通过使用音频信号处理器1310来处理声音信息，从而播放和输出音频。音频处理系统1300可以通过麦克风1320接收音频输入。音频处理系统1300可以通过扬声器1330输出再现的音频。
显示系统1400可以从外部设备(例如，主处理器1800)接收数据，并且可以基于接收到的数据通过显示面板显示图像。例如，显示系统1400可以显示从图像信号处理器1120生成的HDR图像。
缓冲存储器1500可以存储用于电子系统1000的操作的数据。在实施例中，缓冲存储器1500可以临时存储由主处理器1800处理的或要处理的数据。在实施例中，缓冲存储器1500可以包括易失性存储器(诸如静态随机存取存储器(SRAM)、动态RAM(DRAM)或同步DRAM(SDRAM))，和/或非易失性存储器(诸如相变RAM(PRAM)、磁阻RAM(MRAM)、电阻RAM(ReRAM)或铁电RAM(FRAM))。
无论电源如何，非易失性存储器1600都可以存储数据。在实施例中，非易失性存储器1600可以包括各种非易失性存储器(诸如闪存、PRAM、MRAM、ReRAM和/或FRAM等)中的任意一种或任意组合。在实施例中，非易失性存储器1600可以包括可移除存储器(诸如安全数字(SD)卡)和/或嵌入式存储器(诸如嵌入式多媒体卡(eMMC))。
用户接口1700可以执行用户与电子系统1000之间的通信仲裁。在实施例中，用户接口1700可以包括输入接口，诸如键盘、按钮、触摸屏、触摸板、陀螺仪传感器、振动传感器和加速度传感器。在实施例中，用户接口1700可以包括输出接口，诸如马达和LED灯。
主处理器1800可以控制电子系统1000的组件的整体操作。为了操作电子系统1000，主处理器1800可以处理各种操作。例如，可以利用操作处理设备/电路来实现主处理器1800，该操作处理设备/电路包括一个或更多个处理器核，例如通用处理器、专用处理器、应用处理器或微处理器。与上面的描述不同，图1的处理电路120中包括的功能块(或知识产权)中的至少一个(例如，模式控制器122)可以被实现于主处理器1800中，而不是实现于图像信号处理器1120中。
根据实施例的用于生成HDR图像的成像系统可以根据与图像相对应的条件来自适应地控制操作模式，从而降低功耗并改善成像系统的性能。另外，根据实施例的用于生成HDR图像的成像系统可以根据在用户未感知到操作模式的改变的状态下与图像相对应的的条件，实时地改变操作模式。
作为在本发明构思的领域中的传统，根据功能块、单元和/或模块在附图中描述和示出了实施例。本领域技术人员将理解的是，这些块、单元和/或模块通过可以使用基于半导体的制造技术或其他制造技术而形成的电子(或光学)电路(诸如，逻辑电路、分立组件、微处理器、硬线电路、存储器元件、线路连接等)被物理实现。在块、单元和/或模块通过微处理器或类似物来实现的情况下，可以使用软件(例如，微代码)对它们进行编程以执行这里讨论的各种功能，并且可由固件和/或软件可选择地驱动它们。或者，每个块、单元和/或模块可通过专用硬件来实现，或者可被实现为用于执行一些功能的专用硬件和用于执行其他功能的处理器(例如，一个或多个编程的微处理器和关联电路)的组合。此外，在不脱离本发明构思的范围的情况下，实施例的每个块、单元和/或模块可被物理分为两个或更多个相互作用且分立的块、单元和/或模块。此外，在不脱离本发明构思的范围的情况下，实施例的块、单元和/或模块可被物理组合成更复杂的块、单元和/或模块。
尽管已经参考本发明构思的实施例描述了本发明构思，但是对于本领域普通技术人员来说显而易见的是，在不背离所附权利要求阐述的本发明构思的精神和范围的情况下，对其做出各种改变和修改。

Claims (20)

1.一种成像系统，所述成像系统包括：
图像传感器，所述图像传感器设置在第一衬底上并且被配置为基于接收到的光获得第一图像数据；以及
处理电路，所述处理电路设置在与所述第一衬底不同的第二衬底上并且被配置为基于与所获得的第一图像数据相对应的照度和动态范围在第一模式和第二模式之中确定所述图像传感器的操作模式，
其中，所述图像传感器包括第一子像素、第二子像素和转换电路：
所述第一子像素被配置为：
感测与目标颜色相对应的目标光，
在所述第一模式下，将在第一曝光时间期间感测到的所述目标光转换为第一信号，并且
在所述第二模式下，将在比所述第一曝光时间长的第二曝光时间期间感测到的所述目标光转换为第二信号；
所述第二子像素与所述第一子像素共享浮置扩散区域，并且所述第二子像素被配置为：
感测所述目标光，
在所述第一模式下，将在所述第一曝光时间期间感测到的所述目标光转换为第三信号，并且
在所述第二模式下，将在所述第一曝光时间期间感测到的所述目标光转换为第四信号；
所述转换电路被配置为：
基于在所述第一模式下所述目标光被转换为的所述第一信号和所述第三信号，获得第二图像数据，并且
基于在所述第二模式下所述目标光被转换为的所述第二信号和所述第四信号，获得第三图像数据。
2.根据权利要求1所述的成像系统，其中，所述处理电路被进一步配置为：
基于所述照度大于第一阈值并且所述动态范围大于第二阈值，确定所述操作模式为所述第二模式；以及
基于所述照度小于或等于所述第一阈值或者所述动态范围小于或等于所述第二阈值，确定所述操作模式为所述第一模式。
3.根据权利要求1所述的成像系统，其中，所述图像传感器具有包括所述第一子像素和所述第二子像素在内的多个子像素，并且所述处理电路被进一步配置为：
基于所获得的第一图像数据的多个值以及与所述多个值分别对应的所述多个子像素的多个曝光时间，获得所述照度；以及
基于所述多个值中的最大值和最小值来获得所述动态范围。
4.根据权利要求1所述的成像系统，其中，所述处理电路被进一步配置为：
将所获得的第三图像数据划分为与所述第一曝光时间相对应的第一值和与所述第二曝光时间相对应的第二值；
基于所述第三图像数据被划分为的所述第一值，获得第一子图像；
基于所述第三图像数据被划分为的所述第二值，获得第二子图像；以及
基于所获得的第一子图像和所获得的第二子图像，获得高动态范围图像。
5.根据权利要求1所述的成像系统，其中，所述处理电路被进一步配置为对所获得的第二图像数据执行色调映射以获得高动态范围图像。
6.根据权利要求1所述的成像系统，其中，所述图像传感器还包括：
第三子像素，所述第三子像素与所述第一子像素和所述第二子像素共享所述浮置扩散区域，并且所述第三子像素被配置为：
感测所述目标光；
在所述第一模式下，将在所述第一曝光时间期间感测到的所述目标光转换为第五信号；并且
在所述第二模式下，将在比所述第一曝光时间长并且比所述第二曝光时间短的第三曝光时间期间感测到的所述目标光转换为第六信号，
其中，所述转换电路被进一步配置为：
还基于在所述第一模式下所述目标光被转换为的所述第五信号，获得所述第二图像数据；并且
还基于在所述第二模式下所述目标光被转为的所述第六信号，获得所述第三图像数据。
7.根据权利要求6所述的成像系统，其中，所述处理电路还被配置为在所述第一模式、所述第二模式和第三模式之中确定所述操作模式，
其中，所述第一子像素、所述第二子像素和所述第三子像素之中的至少一个子像素还配置为：在所述第三模式下，将在所述第一曝光时间期间感测到的所述目标光转换为第七信号，
其中，除了所述第一子像素、所述第二子像素和所述第三子像素之中的所述至少一个子像素之外的所述第一子像素、所述第二子像素和所述第三子像素之中的其余子像素还配置为：在所述第三模式下，将在所述第二曝光时间期间感测到的所述目标光转换为第八信号，
其中，所述转换电路还被配置为：基于在所述第三模式下所述目标光被转换成的所述第七信号和所述第八信号，获得第四图像数据。
8.根据权利要求7所述的成像系统，其中，所述处理电路被进一步配置为：
基于所述照度和所述动态范围均在第一参考范围内，确定所述操作模式为所述第二模式；
基于所述照度或所述动态范围在小于所述第一参考范围的第二参考范围内，确定所述操作模式为所述第三模式；以及
基于所述照度或所述动态范围小于所述第二参考范围，确定所述操作模式为所述第一模式。
9.根据权利要求6所述的成像系统，其中，所述处理电路被进一步配置为：
将所述第三图像数据划分为与所述第一曝光时间相对应的第一值、与所述第二曝光时间相对应的第二值以及与所述第三曝光时间相对应的第三值；
基于所述第三图像数据被划分为的所述第一值，获得第一子图像；
基于所述第三图像数据被划分为的所述第二值，获得第二子图像；
基于所述第三图像数据被划分为的所述第三值，获得第三子图像；以及
基于所获得的第一子图像、所获得的第二子图像以及所获得的第三子图像，获得高动态范围图像。
10.根据权利要求1所述的成像系统，其中，所述处理电路还被配置为在所述第一模式、所述第二模式和第三模式之中确定所述操作模式，
其中，所述第一子像素和所述第二子像素均还被配置为：在所述第三模式下，将在所述第一曝光时间期间感测到的所述目标光转换为第五信号，
其中，所述转换电路还被配置为：基于在所述第三模式下所述目标光被转换为的所述第五信号，获得第四图像数据，以及
其中，所述处理电路还被配置为：
在所述第一模式下，基于在所述第一模式下所获得的第二图像数据，获得高动态范围图像，
在所述第二模式下，基于所获得的第三图像数据，获得高动态范围图像；以及
在所述第三模式下，避免获得基于所述第四图像数据的高动态范围图像。
11.根据权利要求10所述的成像系统，其中，所述处理电路被进一步配置为：
基于所述照度和所述动态范围均在第一参考范围内，确定所述操作模式为所述第二模式；
基于所述照度或所述动态范围在小于所述第一参考范围的第二参考范围内，确定所述操作模式为所述第一模式；以及
基于所述照度或所述动态范围小于所述第二参考范围，确定所述操作模式为所述第三模式。
12.一种成像系统，所述成像系统包括设置在第一衬底上的图像传感器以及设置在与所述第一衬底不同的第二衬底上的处理电路，
所述图像传感器包括：
像素阵列，所述像素阵列包括多个子像素，所述多个子像素中的每个子像素基于接收到的光生成电信号，以及
转换电路，所述转换电路被配置为基于由所述多个子像素中的每一个子像素生成的所述电信号获得图像数据；
所述处理电路被配置为：
基于所获得的图像数据，获得照度和动态范围，
基于所获得的照度和所获得的动态范围，改变所述多个子像素中的任一个子像素或任意子像素组合的曝光时间，并且
对所获得的图像数据执行高动态范围处理。
13.根据权利要求12所述的成像系统，其中，所述处理电路被进一步配置为：基于所获得的照度大于第一阈值并且所获得的动态范围大于第二阈值，增加所述多个子像素之中的第一子像素的所述曝光时间并且保持所述多个子像素之中的第二子像素的所述曝光时间，
其中，所述图像传感器被进一步配置为：基于所述多个子像素之中的所述第一子像素的所增加的曝光时间和所述多个子像素之中的所述第二子像素的所保持的曝光时间，来获得转换图像数据，
其中，所述处理电路被进一步配置为对所获得的转换图像数据执行所述高动态范围处理。
14.根据权利要求12所述的成像系统，其中，所述多个子像素包括：
所述多个子像素之中的第一子像素，所述第一子像素被配置为基于在第一持续时间期间接收到的光来生成所述电信号的第一部分；以及
所述多个子像素之中的第二子像素，所述第二子像素被配置为基于在与所述第一持续时间不同的第二持续时间期间接收到的光来生成所述电信号的第二部分，
其中，所述处理电路被进一步配置为：基于所获得的照度小于或等于第一阈值或者所获得的动态范围小于或等于第二阈值，将所述多个子像素之中的所述第一子像素的所述曝光时间从所述第一持续时间改变为所述第二持续时间，
其中，所述图像传感器被进一步配置为基于所述第二持续时间来获得转换图像数据。
15.根据权利要求14所述的成像系统，其中，所述处理电路被进一步配置为对所获得的转换图像数据执行色调映射。
16.根据权利要求14所述的成像系统，其中，所述处理电路被进一步配置为：基于所获得的照度和所获得的动态范围，避免对所获得的转换图像数据执行所述高动态范围处理。
17.根据权利要求12所述的成像系统，其中，所述处理电路被进一步配置为基于所获得的照度大于第一阈值并且所获得的动态范围大于第二阈值：
控制所述多个子像素之中的第一子像素的所述曝光时间被设置为第一持续时间；
控制所述多个子像素之中的第二子像素的所述曝光时间被设置为比所述第一持续时间短的第二持续时间；并且
控制所述多个子像素之中的第三子像素的所述曝光时间被设置为比所述第二持续时间短的第三持续时间，
其中，所述图像传感器被进一步配置为基于所述第一持续时间、所述第二持续时间和所述第三持续时间来获得转换图像数据，
其中，所述处理电路被进一步配置为对所获得的转换图像数据执行所述高动态范围处理。
18.一种成像系统，所述成像系统包括设置在第一衬底上的图像传感器以及设置在与所述第一衬底不同的第二衬底上的处理电路，
所述图像传感器包括像素阵列和转换电路，
所述像素阵列包括：
多个第一子像素，所述多个第一子像素共享与第一颜色相对应的第一浮置扩散区域，
多个第二子像素，所述多个第二子像素共享与第二颜色相对应的第二浮置扩散区域，以及
多个第三子像素，所述多个第三子像素共享与第三颜色相对应的第三浮置扩散区域；
所述转换电路被配置为基于从所述多个第一子像素、所述多个第二子像素和所述多个第三子像素输出的信号获得当前图像数据；
所述处理电路被配置为：
获得与所获得的当前图像数据相对应的照度和动态范围，
基于所获得的照度和所获得的动态范围，对在所获得的当前图像数据之后获得的下一图像数据进行高动态范围处理，
基于所获得的照度和所获得的动态范围，在第一模式和第二模式之中确定所述图像传感器的操作模式，
在所述第一模式下，控制所述多个第一子像素之中的第一第一子像素、所述多个第二子像素之中的第一第二子像素和所述多个第三子像素之中的第一第三子像素的第一曝光时间被设置为第一持续时间，
在所述第一模式下，控制所述多个第一子像素之中的第二第一子像素、所述多个第二子像素之中的第二第二子像素和所述多个第三子像素之中的第二第三子像素的第二曝光时间被设置为第二持续时间，并且
在所述第二模式下，控制所述多个第一子像素、所述多个第二子像素和所述多个第三子像素的第三曝光时间被设置为所述第一持续时间。
19.根据权利要求18所述的成像系统，其中，所述处理电路进一步被配置为在所述第一模式、所述第二模式和第三模式中确定所述图像传感器的所述操作模式，
其中，所述处理电路还配置为在所述第三模式下：
控制所述多个第一子像素之中的至少一个第一子像素、所述多个第二子像素之中的至少一个第二子像素和所述多个第三子像素之中的至少一个第三子像素的第四曝光时间被设置为所述第一持续时间；
控制所述多个第一子像素之中的一个或更多个第一子像素、所述多个第二子像素之中的一个或更多个第二子像素以及所述多个第三子像素之中的一个或更多个第三子像素的第五曝光时间被设置为所述第二持续时间；并且
控制所述多个第一子像素中的其余第一子像素、所述多个第二子像素中的其余第二子像素和所述多个第三子像素中的其余第三子像素的第六曝光时间被设置第三持续时间。
20.根据权利要求18所述的成像系统，其中，所述处理电路进一步被配置为在所述第一模式、所述第二模式和第三模式中确定所述图像传感器的所述操作模式，
其中，所述处理电路还配置为：在所述第三模式下，控制所述多个第一子像素、所述多个第二子像素和所述多个第三子像素的第四曝光时间被设置为所述第一持续时间，并且避免对所获得的下一图像数据执行所述高动态范围处理。
CN202010288453.4A 2019-05-17 2020-04-14 用于生成高动态范围图像的成像系统 Pending CN111953908A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2019-0058397 2019-05-17
KR20190058397 2019-05-17
KR1020190108760A KR20200133167A (ko) 2019-05-17 2019-09-03 Hdr 이미지를 생성하기 위한 이미지 시스템
KR10-2019-0108760 2019-09-03

Publications (1)

Publication Number Publication Date
CN111953908A true CN111953908A (zh) 2020-11-17

Family

ID=73245363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010288453.4A Pending CN111953908A (zh) 2019-05-17 2020-04-14 用于生成高动态范围图像的成像系统

Country Status (2)

Country Link
US (2) US11653101B2 (zh)
CN (1) CN111953908A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024045670A1 (zh) * 2022-08-29 2024-03-07 荣耀终端有限公司 生成高动态范围视频的方法和电子设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113114926B (zh) * 2021-03-10 2022-11-25 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及摄像机
CN117082340A (zh) * 2023-10-16 2023-11-17 荣耀终端有限公司 一种高动态范围模式的选择方法、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150312461A1 (en) * 2014-04-28 2015-10-29 Tae Chan Kim Image sensor including a pixel having photoelectric conversion elements and image processing device having the image sensor
US20150312463A1 (en) * 2012-12-17 2015-10-29 The Trustees Of Columbia University In The City Of New York Methods, systems, and media for high dynamic range imaging
CN105120247A (zh) * 2015-09-10 2015-12-02 联想(北京)有限公司 一种白平衡调整方法及电子设备
CN105580351A (zh) * 2013-10-21 2016-05-11 索尼公司 固态摄像元件和电子装置
US20170024868A1 (en) * 2015-07-22 2017-01-26 Semiconductor Components Industries, Llc High dynamic range imaging pixels with logarithmic response

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8059174B2 (en) 2006-05-31 2011-11-15 Ess Technology, Inc. CMOS imager system with interleaved readout for providing an image with increased dynamic range
US8724921B2 (en) 2008-05-05 2014-05-13 Aptina Imaging Corporation Method of capturing high dynamic range images with objects in the scene
US9492886B2 (en) 2008-11-21 2016-11-15 Precitec Kg Method and device for monitoring a laser processing operation to be performed on a workpiece and laser processing head having such a device
US8625012B2 (en) 2009-02-05 2014-01-07 The Hong Kong University Of Science And Technology Apparatus and method for improving dynamic range and linearity of CMOS image sensor
EP2456592B1 (de) 2009-07-20 2013-04-03 Precitec KG Laserbearbeitungskopf und verfahren zur kompensation der fokuslagenänderung bei einem laserbearbeitungskopf
DE102009055269B4 (de) 2009-12-23 2012-12-06 Robert Bosch Gmbh Verfahren zur Bestimmung der Relativbewegung mittels einer HDR-Kamera
JP2012105225A (ja) 2010-11-12 2012-05-31 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
US8810663B2 (en) 2011-01-27 2014-08-19 Aptina Imaging Corporation Methods for motion correction for high-dynamic-range imaging systems
US8928792B1 (en) 2011-01-31 2015-01-06 Aptina Imaging Corporation CMOS image sensor with global shutter, rolling shutter, and a variable conversion gain, having pixels employing several BCMD transistors coupled to a single photodiode and dual gate BCMD transistors for charge storage and sensing
JP5655667B2 (ja) 2011-03-31 2015-01-21 カシオ計算機株式会社 撮像装置及び撮像制御方法、画像処理装置及び画像処理方法、並びにプログラム
KR101241466B1 (ko) 2011-04-13 2013-03-11 엘지이노텍 주식회사 픽셀 어레이, 이를 포함하는 이미지센서 및 그 구동 방법
KR101843450B1 (ko) 2011-08-23 2018-03-29 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
JP2013066140A (ja) * 2011-08-31 2013-04-11 Sony Corp 撮像装置、および信号処理方法、並びにプログラム
JP2013055500A (ja) * 2011-09-02 2013-03-21 Sony Corp 固体撮像素子およびカメラシステム
JP2013121093A (ja) 2011-12-08 2013-06-17 Konica Minolta Advanced Layers Inc 撮像装置
EP2810429B1 (en) 2012-01-30 2020-02-19 SeeScan, Inc. Adjustable variable resolution inspection systems and methods
JP6137792B2 (ja) 2012-07-10 2017-05-31 キヤノン株式会社 撮像装置、該撮像装置の制御方法、プログラム、記憶媒体
US9406028B2 (en) 2012-08-31 2016-08-02 Christian Humann Expert system for prediction of changes to local environment
US9160936B1 (en) 2014-11-07 2015-10-13 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
JP5855035B2 (ja) 2013-02-28 2016-02-09 株式会社東芝 固体撮像装置
US9917998B2 (en) * 2013-03-08 2018-03-13 Fotonation Cayman Limited Systems and methods for measuring scene information while capturing images using array cameras
ITRM20130274A1 (it) 2013-05-08 2014-11-09 Smart I S R L Sistema di sensori ottici distribuiti ed intelligenti per il controllo adattivo, predittivo ed on-demand dell'illuminazione pubblica
DE102013012810A1 (de) 2013-08-01 2015-02-05 Connaught Electronics Ltd. Verfahren zum Aktivieren und Deaktivieren einer Bildkorrekturfunktion, Kamerasystem und Kraftfahrzeug
US9996488B2 (en) 2013-09-09 2018-06-12 Qualcomm Incorporated I3C high data rate (HDR) always-on image sensor 8-bit operation indicator and buffer over threshold indicator
US10134788B2 (en) 2013-09-17 2018-11-20 Omnivision Technologies, Inc. Dual VPIN HDR image sensor pixel
JP6350538B2 (ja) 2013-10-29 2018-07-04 リコーイメージング株式会社 撮影装置及びその制御方法
EP2873314B1 (en) 2013-11-19 2017-05-24 Honda Research Institute Europe GmbH Control system for an autonomous garden tool, method and apparatus
JP6325815B2 (ja) 2013-12-27 2018-05-16 株式会社キーエンス 拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体
KR102149187B1 (ko) 2014-02-21 2020-08-28 삼성전자주식회사 전자 장치와, 그의 제어 방법
US9544505B2 (en) 2014-04-11 2017-01-10 Hanwha Techwin Co., Ltd. Image processing apparatus for synthesizing images based on a plurality of exposure time periods and image processing method thereof
US9380218B2 (en) 2014-05-30 2016-06-28 Apple Inc. Highlight exposure metric and its applications
US9888198B2 (en) * 2014-06-03 2018-02-06 Semiconductor Components Industries, Llc Imaging systems having image sensor pixel arrays with sub-pixel resolution capabilities
EP3046319A1 (en) 2015-01-19 2016-07-20 Thomson Licensing Method for generating an HDR image of a scene based on a tradeoff between brightness distribution and motion
US10109228B2 (en) 2015-04-10 2018-10-23 Samsung Display Co., Ltd. Method and apparatus for HDR on-demand attenuation control
TWI576653B (zh) 2015-07-31 2017-04-01 廣達電腦股份有限公司 曝光控制系統及其方法
US9813635B2 (en) 2015-08-24 2017-11-07 Motorola Mobility Llc Method and apparatus for auto exposure value detection for high dynamic range imaging
CN106990646A (zh) 2016-01-20 2017-07-28 深圳富泰宏精密工业有限公司 多镜头系统、其工作方法及便携式电子装置
US9871965B2 (en) 2016-02-03 2018-01-16 Texas Instruments Incorporated Image processing for wide dynamic range (WDR) sensor data
EP3214600B1 (en) 2016-03-04 2019-02-06 Aptiv Technologies Limited Method for processing high dynamic range (hdr) data from a nonlinear camera
EP3220349A1 (en) 2016-03-16 2017-09-20 Thomson Licensing Methods, apparatus, and systems for extended high dynamic range ("hdr") hdr to hdr tone mapping
CN109076177B (zh) 2016-05-30 2021-06-15 索尼公司 图像拾取装置、固态图像拾取元件和图像拾取装置的控制方法
US10180615B2 (en) 2016-10-31 2019-01-15 Google Llc Electrochromic filtering in a camera
US10021313B1 (en) 2017-02-28 2018-07-10 Motorola Mobility Llc Image adjustment techniques for multiple-frame images
US10136084B1 (en) 2017-10-06 2018-11-20 Omnivision Technologies, Inc. HDR skimming photodiode with true LED flicker mitigation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150312463A1 (en) * 2012-12-17 2015-10-29 The Trustees Of Columbia University In The City Of New York Methods, systems, and media for high dynamic range imaging
CN105580351A (zh) * 2013-10-21 2016-05-11 索尼公司 固态摄像元件和电子装置
US20160269659A1 (en) * 2013-10-21 2016-09-15 Sony Corporation Solid-state image-capturing element and electronic device
US20150312461A1 (en) * 2014-04-28 2015-10-29 Tae Chan Kim Image sensor including a pixel having photoelectric conversion elements and image processing device having the image sensor
CN105049755A (zh) * 2014-04-28 2015-11-11 三星电子株式会社 图像传感器和具有该图像传感器的图像处理装置
US20170024868A1 (en) * 2015-07-22 2017-01-26 Semiconductor Components Industries, Llc High dynamic range imaging pixels with logarithmic response
CN105120247A (zh) * 2015-09-10 2015-12-02 联想(北京)有限公司 一种白平衡调整方法及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024045670A1 (zh) * 2022-08-29 2024-03-07 荣耀终端有限公司 生成高动态范围视频的方法和电子设备

Also Published As

Publication number Publication date
US11653101B2 (en) 2023-05-16
US20230262345A1 (en) 2023-08-17
US20200366827A1 (en) 2020-11-19

Similar Documents

Publication Publication Date Title
US20190052788A1 (en) Varying exposure time of pixels in photo sensor using motion prediction
US7978240B2 (en) Enhancing image quality imaging unit and image sensor
US10529756B2 (en) Imaging element and imaging apparatus
CN111953908A (zh) 用于生成高动态范围图像的成像系统
KR20170008978A (ko) 오토 포커싱 픽셀을 포함하는 이미지 센서, 및 이를 포함하는 이미지 처리 시스템
US7508434B2 (en) Image sensor architecture employing one or more floating gate devices
CN101262553A (zh) 具有温度传感器的图像传感器及其驱动方法
US11323638B2 (en) Method of correcting dynamic vision sensor (DVS) events and image sensor performing the same
US11622081B2 (en) Imaging systems for generating HDR images and operating methods thereof
CN112449130A (zh) 具有闪烁分析电路的事件传感器
KR20200145654A (ko) 이미지 센서, 픽셀 어레이 및 그 동작 방법
US20210021751A1 (en) Image sensor and image processing system comprising the same
JP2009089087A (ja) 固体撮像装置及び撮像装置
US11240442B2 (en) Signal processing apparatus and signal processing method
JP2009206709A (ja) 固体撮像装置、固体撮像装置の駆動方法および電子機器
KR20150068740A (ko) 오버샘플링 회수를 조절할 수 있는 이미지 센서와 이를 포함하는 이미지 데이터 처리 시스템
JPWO2016147887A1 (ja) 固体撮像装置およびその制御方法、並びに電子機器
KR20200133167A (ko) Hdr 이미지를 생성하기 위한 이미지 시스템
US20210185259A1 (en) Image sensor, imaging device including image sensor, and method of operating imaging device
EP3445037B1 (en) Varying exposure time of pixels in photo sensor using motion prediction
KR20200141813A (ko) 이미지 신호 프로세서, 및 상기 이미지 신호 프로세서를 포함하는 이미지 센서
EP4344243A1 (en) Image sensor comprising pixels usable in both rolling shutter and global shutter mode and image processing device including the same
KR20230000673A (ko) 듀얼 컨버전 게인을 이용한 노이즈 감소를 위한 이미지 처리 장치 및 그 동작 방법
CN118018853A (zh) 使用图像传感器的环境光感测
KR20240066632A (ko) 이미지 센서를 이용한 주변 광 감지

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination