CN103748868A - 成像设备、信号处理方法及程序 - Google Patents

成像设备、信号处理方法及程序 Download PDF

Info

Publication number
CN103748868A
CN103748868A CN201280040981.1A CN201280040981A CN103748868A CN 103748868 A CN103748868 A CN 103748868A CN 201280040981 A CN201280040981 A CN 201280040981A CN 103748868 A CN103748868 A CN 103748868A
Authority
CN
China
Prior art keywords
pixels
pixel
block
pixel value
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280040981.1A
Other languages
English (en)
Inventor
光永知生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103748868A publication Critical patent/CN103748868A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

提供了用于将来自不同曝光时间设定的像素值进行合成以产生高动态范围图像的装置和方法。针对构成像素块的相同颜色的像素来控制不同的曝光时间，并且产生将像素块中的相同颜色像素的输出加到一起的相加像素值。例如通过包括用于将像素块中的相同颜色像素的输出加到一起的相加单元的计算单元来产生相加像素值。或者，通过执行设置给像素块单位的浮置扩散（FD）来产生相加像素值。在浮置扩散（FD）中，累积并输出从构成像素块的相同颜色像素中的每一个输出的电荷。

Description

成像设备、信号处理方法及程序
技术领域
本公开涉及成像设备、信号处理方法及程序。具体来说，本公开涉及能够产生宽动态范围的图像的成像设备、信号处理方法及程序。 
背景技术
在摄像机或者数字静态照相机中使用的固态成像装置（如CCD图像传感器或者互补金属氧化物半导体（CMOS）图像传感器）进行光电转换，以根据入射光的量累积电荷，并且输出与所累积的电荷相应的电信号。然而，光电转换元件中的电荷累积量存在上限。如果接收到一定量以上的光，则可能产生所谓的曝光过度，其中累积电荷量达到饱和水平并且一定亮度以上的被摄体区域的亮度水平被设定为饱和亮度水平。 
为了防止这种现象，执行以下处理：根据外部光的变化控制光电转换元件中的电荷累积周期，调节曝光时间以及将敏感度控制为最佳值。例如，对于亮的被摄体，快门被快速释放以减小曝光时间并减小光电转换元件中的电荷累积周期，并且在累积电荷量达到饱和水平之前输出电信号。通过该处理，能够输出下述图像：在该图像中，精确地再现了根据被摄体的灰度级。 
然而，如果在对亮区域与暗区域混合的被摄体成像时快门快速释放，则在暗部分中未获得足够的曝光时间。因此，S/N恶化并且图像质量下降。因此，在通过对亮区域与暗区域混合的被摄体成像而获得的图像中，对亮部分和暗部分的亮度水平的精确再现需要下述处理：该处理用于在图像传感器上入射光少的像素中增加曝光时间并实现高S/N，并且在入射光多的像素中避免饱和。 
作为用于实现这种处理的方法，已知一种连续地成像具有不同曝光时间的多个图像并且结合这多个图像的方法。也就是说，该方法是下述方法：其连续地并且分别地成像了长时间曝光的图像和短时间曝光的图像，通过将长时间曝光的图像用于暗图像区域并且将短时间曝光的图像用于在长时间曝光的图像中可能产生曝光过度的亮图像区域来执行结合处理，并且 生成一个图像。这样，多个不同曝光的图像被结合，从而可以获得没有曝光过度的宽动态范围的图像，即，宽动态范围图像（HDR图像）。 
例如，专利文献1（JP2000-50151A）公开一种配置，其中对被设定了多个不同曝光时间的两个图像进行成像，将这些图像结合，并且获得宽动态范围的图像。将参照图1描述该处理。例如，当对运动图像成像时，成像装置以视频速率（30至60fps）输出两个不同曝光时间的图像数据。另外，当对静态图像成像时，该成像装置产生两个不同曝光时间的图像数据并且输出该图像数据。图1是示出由该成像装置产生的并且具有两个不同曝光时间的图像（长时间曝光的图像和短时间曝光的图像）的特征的图。横轴示出时间（t），而纵轴示出光接收光电二极管（PD）中的累积电荷量（e），该光接收光电二极管构成与固态成像元件的一个像素相对应的光电转换元件。 
例如，在光接收光电二极管（PD）的光接收量大的情况下，即，对应于亮被摄体的情况，如图1中所示的高亮度区域11中示出的那样，电荷累积量随着时间迅速增加。同时，在光接收光电二极管（PD）的光接收量小的情况下，即，对应于暗被摄体的情况，如图1中所示的低亮度区域12中所示出的那样，电荷累积量随着时间缓慢增加。 
时间t0至t3对应于用于获取长时间曝光图像的曝光时间TL。即使当时间是长时间的曝光时间TL时，在低亮度区域12中所示的线中，电荷累积量在时间t3也达不到饱和水平（不饱和点Py），并且，可以通过使用基于电荷累积量（Sa）获得的电信号而确定的像素的灰度水平来获得精确的灰度表现。 
然而，在高亮度区域11中所示的线中，很明显在到达时间t3之前电荷累积量已经达到饱和水平（饱和点Px）。因此，在高亮度区域11中，从长时间曝光图像只获得与饱和水平的电信号相对应的像素值。结果，像素可成为过曝光像素。 
因此，在高亮度区域11中，在到达时间t3之前的时间，例如，该图中所示的时间t1（电荷扫描开始点P1），扫描一次光接收光电二极管（PD）的累积电荷。该电荷扫描进行到在光电二极管（PD）中控制的中间电压保持水平，而不针对在光接收光电二极管（PD）中累积的全部电荷。在电荷扫描处理之后，在曝光时间TS（t2至t3）再次进行短时间曝光。也就是说，进行从该图中的短时间曝光开始点P2到短时间曝光结束点P3的时段的短时间曝光。通过该短时间曝光获得电荷累积量（Sb），并且根 据基于电荷累积量（Sb）获得的电信号来确定像素的灰度级。 
当根据基于在低亮度区域12通过长时间曝光而获得的电荷累积量（Sa）的电信号和基于在高亮度区域251中通过短时间曝光而获得的电荷累积量（Sb）的电信号来确定出像素值时，计算进行相同时间曝光时的估计电荷累积量以及与该估计电荷累积量相对应的电信号输出值，并且根据计算结果确定像素值水平。 
这样，将短时间曝光图像与长时间曝光图像结合，从而可以获得没有过曝光的宽动态范围的图像。 
然而，在专利文献1中描述的所有配置中，都必需执行用于分别地成像长时间曝光图像和短时间曝光图像并将长时间曝光图像和短时间曝光图像结合的处理。 
这样，通过使用曝光时间变化的多个图像可以产生宽动态范围图像（HDR图像）。然而，在基于多个图像的该处理中会出现以下问题。 
问题1：需要数次进行成像并且需要提供存储图像的存储器。 
问题2：因为将成像定时不同的多个图像结合或者使用长时间曝光的成像数据，所以容易产生照相机抖动。 
此外，有人提议了下述处理：该处理用于在一个成像图像中设定长时间曝光像素和短时间曝光像素而不使用多个图像，将不同曝光时间的像素结合，并且产生宽动态范围图像。 
例如，在专利文献2（JP11-29880A）和专利文献3（JP2000-69491A）中描述了该处理。 
在该处理中，进行用于在成像元件（图像传感器）中布置相同颜色的多个像素（如2×2像素的R像素、2×2像素的G像素和2×2像素的B像素）的设定，对相同颜色的2×2像素的构成像素设定不同曝光时间，并执行成像。将该图像传感器所成像的不同曝光时间的相同颜色的像素值进行结合，并且获得宽动态范围图像。 
然而，在上述配置中，由于元件或滤色器的加工差异而可能产生噪声，并且难以获取高质量图像。 
引用文献列表 
专利文献 
专利文献1：JP2000-50151A 
专利文献2：JP11-29880A 
专利文献3：JP2000-69491A 
发明内容
本发明要解决的问题
本公开是鉴于上述情况而作出的，并且本公开的目的是提供一种能够基于一次成像的图像而产生高质量的宽动态范围图像的成像设备、信号处理方法和程序。 
此外，本公开的目的是提供一种能够基于具有与拜耳阵列不同的阵列的成像图像来产生宽动态范围图像的成像设备、信号处理方法和程序。 
问题的解决方案
本公开的第一方面是一种成像设备，包括：像素单元，其中布置有各自包括多个相同颜色的像素的像素块；控制单元，其对构成所述像素块的多个相同颜色的像素中的每一个进行不同曝光时间的控制；以及相加像素值产生单元，其产生通过将所述像素块的多个相同颜色的像素的输出相加而获得的相加像素值。 
在根据本公开的成像设备的一个实施例中，所述相加像素值产生单元由具有用于将所述像素块的多个相同颜色的像素的输出相加的相加单元的相加电路构成。 
在根据本公开的成像设备的一个实施例中，所述像素块由包括多行×多列的多个像素的相同颜色的像素构成，并且所述相加电路具有用于存储设定给所述像素块的在先读取行的多个像素的像素值的寄存器，以及用于将设定给所述像素块的在后读取行的多个像素的读取像素值与所述寄存器的存储像素值相加的相加单元。 
在根据本公开的成像设备的一个实施例中，所述像素块由包括2行×2列的四个像素的相同颜色的像素构成，并且所述相加电路具有用于存储设定给所述像素块的在先读取行的两个像素的像素值的寄存器，以及用于将设定给所述像素块的在后读取行的两个像素的读取像素值与所述寄存器的存储像素值相加的相加单元。 
在根据本公开的成像设备的一个实施例中，所述相加像素值产生单元由以所述像素块为单位设置的浮置扩散（FD）构成，并且所述浮置扩散（FD）具有下述配置：在该配置中，累积从构成所述像素块的多个相同颜色的像素中的每一个输出的电荷。 
在根据本公开的成像设备的一个实施例中，所述像素单元具有四分区拜耳型RGB阵列，并且具有以R、G、和B每个颜色为单位的包括四个像素的像素块的阵列配置。 
在根据本公开的成像设备的一个实施例中，所述像素单元具有四分区WRB阵列，在所述四分区WRB阵列中用全可见光波长透射型的W像素代替四分区拜耳型RGB阵列中的G像素，并且所述像素单元具有以W、R、和B每个颜色为单位的包括四个像素的像素块的阵列配置。 
此外，本公开的第二方面是一种在成像设备中执行的信号处理方法。所述成像设备具有：像素单元，其中布置有各自包括多个相同颜色的像素的像素块；控制单元，其执行用于对构成所述像素块的多个相同颜色的像素中的每一个进行不同曝光时间的控制的曝光控制处理；以及相加像素值产生单元，其执行用于产生通过将所述像素块的多个相同颜色的像素的输出相加而获得的相加像素值的相加像素值产生处理。 
此外，本公开的第三方面是一种用于使得在成像设备中执行信号处理的程序。所述成像设备具有像素单元，所述像素单元中布置有各自包括多个相同颜色的像素的像素块，所述程序使控制单元执行用于对构成所述像素块的多个相同颜色的像素中的每一个进行不同曝光时间的控制的曝光控制处理，并且所述程序使相加像素值产生单元执行用于产生通过将所述像素块的多个相同颜色的像素的输出相加而获得的相加像素值的相加像素值产生处理。 
根据本公开的该程序是一种能够通过以计算机可读格式提供的存储介质和通信介质提供给能执行各种程序/代码的信息处理设备或计算机/系统的程序。以计算机可读格式提供该程序，从而在该信息处理设备或计算机/系统上实现根据该程序的处理。 
通过基于稍后要描述的本公开的实施例和附图的以下详细描述，本公开的其他目的、特征和优点将变得明显。在本说明书中，系统意味着多个设备的逻辑集成结构，并且不局限于各配置的设备在同一外壳内的结构。 
本发明的效果
根据本公开的一个实施例的配置，实现了用于通过执行长时间曝光像素和短时间曝光像素的像素值结合处理来产生宽动态范围图像的设备和方法。 
具体来说，针对构成像素块的多个相同颜色的像素中的每一个进行不同曝光时间的控制，并且产生通过将像素块的多个相同颜色的像素的输出相加而获得的相加像素值。在具有将像素块的多个相同颜色的像素的输出相加的相加单元的操作单元中，执行相加像素值的产生。或者，通过在像素块单位中设置的浮置扩散（FD）来执行相加像素值的产生，并且在浮置扩散（FD）中累积并输出从构成像素块的多个相同颜色的像素中的每一个输出的电荷。 
通过该配置，可以产生宽动态范围图像。 
附图说明
图1是示出通过多次图像成像而产生宽动态范围图像的成像处理示例的图。 
图2是示出成像元件的配置示例的图。 
图3是示出成像设备的配置示例的图。 
图4是示出成像装置的配置示例的图。 
图5是示出曝光控制和输出图像的产生示例的图。 
图6是示出成像装置的配置示例的图。 
图7是示出成像装置的配置示例的图。 
图8是示出曝光控制序列的图。 
图9是示出成像装置的配置示例的图。 
图10是示出成像装置的配置示例的图。 
图11是示出曝光控制序列的图。 
图12是示出成像元件的配置和处理示例的图。 
具体实施方式
在下文中将参照附图详细描述根据本公开的成像设备、信号处理方法 和程序。按照以下条目进行描述。 
1、关于成像装置的像素单元的配置示例 
2、关于成像设备的配置示例 
3、关于成像装置的配置示例 
4、关于像素单元的曝光时间控制配置和输出像素值的计算处理示例 
5、关于成像装置的专用电路配置示例 
6、浮置扩散（FD）相加配置示例 
7、关于其他实施例 
8、根据本公开的配置的总结 
[1、关于成像装置的像素单元的配置示例] 
将参照图2描述根据本公开的作为成像设备的部件的成像装置的像素单元的配置示例。图2示出成像装置的像素单元的以下三个配置示例。 
（1）拜耳阵列 
（2）四分区拜耳型RGB阵列 
（3）四分区WRB型阵列 
（1）拜耳阵列是许多照相机中采用的阵列，并且差不多建立了具有关于这种拜耳阵列的滤色器的成像图像的信号处理。 
然而，对于（2）四分区拜耳型RGB阵列和（3）四分区WRB型阵列，还不能说关于针对由具有滤色器的成像元件成像的图像的信号处理已经进行了充分研究。 
此外，（2）四分区拜耳型RGB阵列对应于（1）中所示的拜耳阵列的每个R、G、和B像素被设置为四个像素的阵列。 
（3）四分区WRB阵列是（1）中所示的拜耳阵列的每个R、G、和B像素被设置为四个像素并且代替G像素而设置W（白）像素的阵列。 
在下面的实施例中，将描述这样的成像设备，该成像设备针对由包括具有图2中所示的（2）四分区拜耳型RGB型阵列的滤色器的成像元件所成像的图像来执行信号处理。 
[2、关于成像设备的配置示例] 
图3是示出根据本公开的成像设备100的配置示例的框图。穿过光学镜头101入射的光入射到由成像单元（例如，CMOS图像传感器）构成的成像装置102上，并且输出通过光电转换获得的图像数据。输出的图像数据被输入到信号处理单元103。信号处理单元103执行一般照相机中的信号处理，如白平衡（WB）调节和伽玛校正，并且产生输出图像120。输出图像120被存储在附图中未示出的存储单元中。或者，输出图像120被输出到显示单元。 
控制单元105根据附图中未示出的存储器中存储的程序而向每个单元输出控制信号，并且控制各种处理。 
[3、关于成像装置的配置示例] 
接下来，将参照图4描述成像装置102的配置示例。 
图4是示出根据本公开的实施例的成像装置102的配置的图。 
如图4中所示，成像装置102具有像素单元151和充当相加像素值产生单元的操作单元160。 
操作单元160具有A/D转换器161、像素信息结合单元162和输出单元163。 
操作单元160可以与像素单元151具有在同一芯片上的配置，即，设置在片上的配置，或者设置在不同于像素单元151的芯片或装置中的配置。 
像素单元151基于多个像素的每个像素中的被摄体的光而累积电荷，并且输出高像素数目的图像数据，以作为高分辨率图像。 
另外，尽管以下参照图5和后续的附图进行详细描述，但是像素单元151被配置为在以2×2像素为单位的相同颜色像素块单位中输出四种不同曝光时间的像素信息。也就是说，输出图4中所示的多个不同曝光时间像素信息181。 
多个不同曝光时间像素信息181被从像素单元151输入到充当相加像素值产生单元的操作单元160。 
操作单元160的A/D转换器161执行用于对输入信号进行A/D转换的处理，即，将模拟信号转换为数字信号，并且将转换后的数字值输入到像素信息结合单元162。 
在像素信息结合单元162中，通过对多个不同曝光时间像素信息181 的相加处理来计算输出像素值。例如，像素信息结合单元162基于四个像素信号来计算输出图像的一个像素值。像素信息结合单元162执行像素值结合处理，产生像素数目减少的宽动态范围图像，并且通过输出单元163输出该宽动态范围图像。 
[4、关于像素单元的曝光时间控制配置和输出像素值的计算处理示例] 
接下来，将描述像素单元151的曝光时间控制配置以及在操作单元160的像素信息结合单元162中执行的输出像素值的计算处理示例。 
图5示出以下各图。 
（1）曝光控制处理 
（2）输出像素值计算处理 
在该处理示例中，如图5(2)的(a)中所示，像素单元151具有上文参照图2(2)描述的四分区拜耳型RGB阵列。四分区拜耳型RGB阵列对应于图2(1)中所示的拜耳阵列的每个R、G、和B像素被设置为四个像素的阵列。 
像素单元的配置具有图5(2)的(a)中所示的四分区拜耳型RGB阵列。也就是说，像素单元的配置变为将2×2四个像素的块设置到相同颜色（R、G或B）的每个像素的配置。 
如图5(1)中所示，在四个曝光时间的设定下，对每个相同颜色块的四个像素中的每一个进行成像。 
图5(1)示出Φ1、Φ2、Φ3和Φ4四个不同曝光时间的控制序列，作为曝光时间控制序列。 
曝光时间的长度被设定为Φ1>Φ3>Φ4>Φ2。 
如图5(2)的(b)中所示，在R、G和B每一个的四像素块单位中，在四个不同曝光时间的设定下，进行成像。 
在该曝光控制下成像的图像中，如图5(2)的(c)中所示，在R、G和B每一个的四像素块单位中获取四个不同曝光像素值。 
例如，在图5(2)的(c)的左上部分的四个G像素中，获得四个曝光时间对应像素值G1=根据曝光控制参数Φ1的最长曝光时间对应像素值、G3=根据曝光控制参数Φ3的第二长曝光时间对应像素值、G4=根据曝光 控制参数Φ4的第三长曝光时间对应像素值、以及G2=根据曝光控制参数Φ2的第四长曝光时间对应像素值。 
这在所有R、G和B像素块中是相同的，并且获得四个曝光时间对应像素值。 
这样，在以不同的曝光时间对四分区拜耳型阵列的四个相同颜色的像素中的每一个进行曝光之后，操作单元160的像素信息结合单元162产生四个相同颜色的像素的像素值的相加信号，并且输出该相加信号。 
如图5(2)的(d)中所示，设定并输出与包括四个像素的块相对应的一个输出像素值。通过该处理，产生并输出宽动态范围图像。 
通过该配置，实现了固定模式噪声的增加被抑制并且动态范围可被电子调节的配置。 
[5、关于成像装置的专用电路配置示例] 
接下来，将描述成像装置的专用电路配置示例。 
图6示出CMOS图像传感器的一个像素结构。 
PD：光电二极管 
FD：浮置扩散 
M1至M4：晶体管（MOSFET） 
RS：复位信号线 
TR：传输信号线 
SL：行选择信号线 
SIG：列信号线 
如果光入射到该像素，则在光电二极管（PD）中通过光电转换产生与光的量相对应的电荷。光电二极管（PD）中累积的电荷通过晶体管（M1）传送到浮置扩散（FD）。通过传输信号线（TR）的控制信号来控制晶体管（M1）。晶体管（M2）被供电，并且对累积在浮置扩散（FD）中的电荷执行复位操作。通过复位信号线（RS）的控制信号来控制晶体管（M2）。浮置扩散（FD）中累积的电荷被晶体管（M3）放大，并且通过晶体管（M4）从列信号线（SIG）输出。通过行选择信号线的控制信号来控制晶体管（M4）。 
图7示出根据本公开的包括操作单元的电路配置示例，该操作单元输 出在相同颜色的四像素块201中获取的与不同曝光时间相对应的像素值的相加信号。 
图7示出包括四个相同颜色的像素的像素块以及用于这些像素的输出的操作处理配置，其中，这四个相同颜色的像素例如是如图2(2)中所示的四分区拜耳型RGB阵列中由R、G、和B中的任一个颜色的像素所构成的2×2像素。 
在相同颜色的2×2像素单位中，存在具有图6中所示的内部配置并且在其中进行不同曝光时间控制的四个像素。 
下文中将这四个像素描述为(Φ1,Φ2,Φ3和Φ4)。 
从行选择器202提供像素控制信号。在相同行中的像素Φ1和Φ2以及像素Φ3和Φ4共享复位信号线RS和行选择信号线SL。 
在像素Φ1,Φ2,Φ3和Φ4中的每一个中提供传输信号线TR并且不共享传输信号线TR。 
从每个像素读取的像素信号通过列信号线SIG在A/D转换器203中转换为数字值。在从像素进行读取时，以1H（横向）周期，将与一行相对应的像素同步化，并且进行读取。 
在A/D转换器203中转换为数字值的像素信号在相加电路204中以相同颜色的2×2像素为单位相加，并且成为一个像素信号。 
当来自A/D转换器203的输出是四像素块201的上侧的行（行2i）的像素的输出信号行（2i）时，相加电路204的开关（SW）205对寄存器（Reg）206侧断开，并且行（2i）的像素信号一度保持在寄存器（Reg）206中。 
同时，当来自A/D转换器203的输出是四像素块201的下侧的行（行2i+1）的像素的输出信号行（2i+1）时，相加电路204的开关（SW）205对相加单元（ADD）207侧断开，并且相加单元（ADD）207将行（2i+1）的像素信号与即刻之前保持在寄存器（Reg）206中的行（2i）的像素信号相加。然后，后面步骤的相加单元（ADD）208将像素信号与相邻列的相加的像素信号相加，并且获得四像素相加信号。 
根据来自定时发生器（TG）210的选择控制信号，从列选择器209顺序选择相加的像素信号，并且将该相加的像素信号传送到输出信号线。 
图8是示出下述的像素控制信号的时序图的图：其用于对图7中所示 的包括四个像素的像素块201中所包括的四个像素中的每个像素设定不同的曝光时间。 
通过将以1V（竖向）周期传送并且用“实线圆”围绕的读取控制信号301与根据曝光长度适当传送到每个像素并且用“虚线圆”围绕的PD复位控制信号302相结合，实现了不同曝光时间控制。 
读取控制信号301（实线圆）是用于使一行（1行）的像素将像素信号彼此同步地传送到A/D转换器203的控制信号。 
为此，图7中所示的包括四个像素的像素块201的上侧的行的像素的输出信号行（2i）和下侧的行的输出信号行（2i+1）的定时相差1H。 
图7中所示的包括四个像素的像素块201的四个像素的配置与上面参照图6描述的配置相同。将参照图6描述每个像素中像素信号的产生处理。 
首先，对晶体管M2施加复位信号RS，并且在浮置扩散FD中累积的电荷被复位。当电荷水平充分达到复位水平时，对晶体管M4施加行选择信号SL，并且对应于FD的复位水平的晶体管M3的源极电流流到列信号线（SIG）并作为复位水平被传送到图7中所示的A/D转换器203。 
接下来，复位信号RS和行选择信号SL一度成为“断开”，传输信号TS被施加到晶体管M1，并且光电二极管PD产生的电荷被传送到浮置扩散FD。当该传送充分完成时，对晶体管M4施加列选择信号SL，并且对应于浮置扩散FD的电荷量的晶体管M3的源极电流流到列信号线并作为像素信号水平被传送到图7中所示的A/D转换器203。在A/D转换器203中，通过检测复位水平和像素信号水平的差，获得准确的像素信号。 
读取控制和1V之后的下一个读取控制之间的周期是曝光周期。复位控制信号（虚线圆）302是这样的控制：其用于在曝光周期期间通过适当地提供传输信号TS而将光电二极管PD累积的电荷传送到浮置扩散FD。因为通过该复位控制而传送的电荷可在读取控制中被首先复位，所以该电荷不被读取作为像素信号。为此，从复位控制的传输信号到读取控制的传输信号的周期成为实质曝光周期。在根据本发明的该配置中，因为传输信号TS可以被独立施加到2×2像素单位中的四个像素，所以所需的四个像素的曝光时间可以被结合。 
在图8中所示的时序图中，示出了如下情况的示例：不对像素Φ1进行复位控制，在不同的定时对其他像素Φ2、Φ3和Φ4施加复位控制信号302以进行不同的复位控制，并且实现了Φ1的曝光
Figure BDA0000468437950000121
长时间，Φ2
Figure BDA0000468437950000122
短时 间，Φ3
Figure BDA0000468437950000131
中等短时间，以及Φ4
Figure BDA0000468437950000132
中等长时间。在图8中所示的CHGΦ1至CHGΦ4中，实线的周期示出曝光周期。 
曝光周期被设定为Φ1>Φ4>Φ3>Φ2。 
[6、浮置扩散（FD）相加配置示例] 
在上述实施例中，构成像素块的四个像素中的每个像素具有图6中所示的配置，在具有相加电路的操作单元中将每个像素的输出相加，并且产生输出像素值。 
每个像素具有如图6中所示的像素单位中的单独浮置扩散（FD），并且在图7中所示的相加电路204中将每个FD的输出相加。 
接下来，如图9中所示，将描述如下配置示例：每个像素单位中的浮置扩散（FD）被省去，以构成像素块的四个像素为单位设置一个共享浮置扩散（FD），并且在该共享浮置扩散（FD）中执行像素块的像素值的相加处理。也就是说，该共享浮置扩散（FD）充当相加像素值产生单元。 
在该实施例中，如图9中所示，四个相同颜色的像素的各个像素Φ1,401至Φ4,404接收来自不同传输信号线（TR1至TR4）的传输信号，并且共享共享浮置扩散（FD）412和复位信号线（RS）。 
在各个像素Φ1,401至Φ4,404中以不同的曝光时间产生的全部电荷累积在一个共享浮置扩散（FD）412中。 
通过该配置，不同曝光时间的四个像素Φ1,401至Φ4,404的像素信号可以在一个共享浮置扩散（FD）412中相加。 
在该配置中，不必分别读取四个像素的像素值，并且可以对一个共享浮置扩散（FD）412中的相加结果进行读取。因为必要的读取次数变为1/4，所以能够实现高速驱动。 
将参照图9描述进行浮置扩散（FD）相加的成像装置的配置和处理。 
图9示出相同颜色的2×2像素单位的像素单元的电路配置。被四个实线矩形围绕的区域对应于像素（Φ1,401,Φ2,402,Φ3,403和Φ4,404）。 
这些像素分别具有光电二极管PD1至PD4和传输晶体管M1至M4。 
像素（Φ1,401,Φ2,402,Φ3,403和Φ4,404）外部的配置是由2×2像素的像素块共享的部分，并且复位晶体管M5,411、浮置扩散FD412、放大晶体管M6,413和行选择晶体管M7,417被设置为该像素块单位的共 享元件。 
这样，复位信号线RS和行选择信号线被2×2像素共享，并且传输信号线TS（TS1,TS2,TS3和TS4）被分别提供给每个像素。 
图10是示出具有图9中所示的浮置扩散（FD）相加配置的像素单元和操作单元的配置示例的图。 
图10示出相同颜色的2×2像素的像素块501和输出控制单元502的各自配置。 
在2×2像素单位的像素块501中，包括具有参照图9描述的内部配置的四个像素（Φ1,Φ2,Φ3和Φ4）。 
从行选择器511提供像素控制信号。 
以设置有每个像素块的两行（2行）为单位，在行方向上从行选择器511延伸出复位信号线RS、行选择信号线SL和四个传输信号线TS。复位信号线RS、行选择信号线SL和四个传输信号线TS以在行方向上布置的2×2像素为单位提供控制信号。 
通过在内部共享浮置扩散（FD）中将每个像素块中的2×2=4个像素的像素值相加而获得的像素信号从每个2×2像素单位的像素块501经由列信号线SIG输入到A/D转换器521，并且在A/D转换器521中转换为数字值。在该配置中，因为对以每个2×2像素的像素块501为单位相加的像素值来执行读取处理，所以以2H周期从像素进行像素值读取。 
根据通过定时发生器（TG）522输出的控制信号，从列选择器523顺序选择在A/D转换器521中转换为数字值的像素信号，并且将该像素信号传送到输出信号线。 
图11是示出下述配置中的像素控制信号的时序图的图：在该配置中，执行参照图9和图10描述的浮置扩散（FD）相加处理。 
通过结合以1V周期传送并且被“实线圆”围绕的读取控制信号601与根据曝光长度适当传送到每个像素并且被“虚线圆”围绕的PD复位控制信号602，进行曝光时间控制。 
读取控制信号601是用于使2行的像素将像素信号彼此同步地传送到图10中所示的A/D转换器521的控制。 
因为针对包括2×2=4个像素的每个像素块的上侧的行的像素信号行（2i）和下侧的行的像素信号行（2i+1）来执行在设置给每个像素块的一 个浮置扩散（FD）中的相加处理，所以读取控制信号601变为四像素单位的一个相同定时。 
首先，向图9中所示的晶体管M5,411施加复位信号RS，并且在作为该像素块单位的共享FD的FD412中累积的电荷被复位。当电荷水平充分达到复位水平时，行选择信号SL被施加给晶体管M7,414，并且对应于FD412的复位水平的晶体管M6，413的源极电流流到列信号线并被作为复位水平传送到图10中所示的A/D转换器521。 
接下来，复位信号RS和行选择信号SL一度变为“断开”，对包括2×2像素的像素块进行配置并且对应于各个像素的四个传输信号TR1,TR2,TR3和TR4被施加给图9中所示的各个像素Φ1,401至Φ4,404的各个晶体管M1,M2,M3和M4，四个像素Φ1,401至Φ4,404的各光电二极管PD产生的电荷被传送到该像素块单位的浮置扩散FD412，并且总电荷量累积在FD412中。当该传送充分完成时，列选择信号SL被施加给晶体管M7,414，并且对应于FD412的电荷量的晶体管M6,413的源极电流流到列信号线，并作为像素信号水平被传送到图10中所示的A/D转换器521。在图10中所示的A/D转换器521中，通过检测复位水平和像素信号水平的差，获得准确的像素信号。 
在图11中所示的时序图中，读取控制信号601a和1V之后的下一个读取控制信号601b之间的周期是曝光周期。复位控制信号602是用于在该曝光周期中通过适当地提供传输信号TS而将每个像素的光电二极管PD累积的电荷传送到共享FD412的控制信号。因为通过该复位控制传送的电荷可能在读取控制中被首先复位，所以该电荷不被读取作为像素信号。因此，从复位控制的传输信号到读取控制的传输信号的周期成为实质曝光周期。在根据本公开的该配置中，因为传输信号TS可被独立地施加给2×2像素单位中的四个像素，所以所需的四个像素的曝光周期可以被结合。 
图11中所示的控制是如下情况的示例：不对像素Φ1进行复位控制，对像素Φ2、Φ3和Φ4执行不同定时的复位控制信号602的复位处理，并且实现了Φ1的曝光
Figure BDA0000468437950000151
长时间，Φ2
Figure BDA0000468437950000152
短时间，Φ3中等短时间，以及Φ4 
Figure BDA0000468437950000154
中等长时间。在CHGΦ1至CHGΦ4中，实线的周期示出曝光周期。 
在该示例中，曝光周期被设定为Φ1>Φ4>Φ3>Φ2。 
[7、关于其他实施例] 
在上述实施例中，描述了具有图1(2)中所示的四分区拜耳型RGB阵列的成像元件的处理示例。然而，根据本公开的该配置可应用于其他像素配置。 
也就是说，如果像素阵列是以2×2像素单位设置相同颜色的像素阵列，则2×2像素的颜色的阵列没有具体限制。为了在像素相加并输出之后通过信号处理获得颜色图像，布置如拜耳阵列的RGB的2×2像素是有效的。然而，如果可以准备适当的信号处理（去马赛克处理、色彩校正或者颜色矩阵处理），则本发明可应用于RGB的拜耳阵列以外的阵列。 
例如，本公开可应用于上文参照图2(3)描述的四分区WRB型阵列。 
也就是说，如图12(2)中所示，可以对WRB型的2×2像素的拜耳阵列执行相同的处理，在该WRB型的2×2像素的拜耳阵列中，用全可见光波长透射型的W像素代替四分区RGB型阵列中的G像素（例如，使用透射全可见光波长的片上滤色器）。 
另外，上述实施例中描述的曝光时间控制或者操作处理可以作为对应于在控制单元中执行的程序的处理来执行。 
[8、根据本公开的配置的总结] 
已经参照特定实施例描述了本公开的实施例。然而，本领域的技术人员显然可以在不偏离本公开的范围的情况下获得上述实施例的变形和替换。也就是说，以示例的形式公开了本发明，因此，应当指出，不应将本发明分析为限制性的。要确定本公开的范围，必需考虑权利要求。 
另外，本说明书中公开的技术可以采用如下配置。 
（1）一种成像设备，包括： 
像素单元，其中布置有各自包括多个相同颜色的像素的像素块； 
控制单元，其对构成所述像素块的多个相同颜色的像素中的每一个进行不同曝光时间的控制；以及 
相加像素值产生单元，其产生通过将所述像素块的多个相同颜色的像素的输出相加而获得的相加像素值。 
（2）根据（1）所述的成像设备， 
其中，所述相加像素值产生单元由具有用于将所述像素块的多个相同颜色的像素的输出相加的相加单元的相加电路构成。 
（3）根据（1）或（2）所述的成像设备， 
其中，所述像素块由包括多行×多列的多个像素的相同颜色的像素构成，以及 
所述相加电路具有用于存储设定给所述像素块的在先读取行的多个像素的像素值的寄存器，以及用于将设定给所述像素块的在后读取行的多个像素的读取像素值与所述寄存器的存储像素值相加的相加单元。 
（4）根据（1）至（3）中任一项所述的成像设备， 
其中，所述像素块由包括2行×2列的四个像素的相同颜色的像素构成，以及 
所述相加电路具有用于存储设定给所述像素块的在先读取行的两个像素的像素值的寄存器，以及用于将设定给所述像素块的在后读取行的两个像素的读取像素值与所述寄存器的存储像素值相加的相加单元。 
（5）根据（1）所述的成像设备， 
其中，所述相加像素值产生单元由以所述像素块为单位设置的浮置扩散（FD）构成，以及 
所述浮置扩散（FD）具有下述配置：在该配置中，累积从构成所述像素块的多个相同颜色的像素中的每一个输出的电荷。 
（6）根据（1）至（5）中任一项所述的成像设备， 
其中，所述像素单元具有四分区拜耳型RGB阵列，并且具有以R、G、和B每个颜色为单位的包括四个像素的像素块的阵列配置。 
（7）根据（1）至（5）中任一项所述的成像设备， 
其中，所述像素单元具有四分区WRB阵列，在所述四分区WRB阵列中用全可见光波长透射型的W像素代替四分区拜耳型RGB阵列中的G像素，并且所述像素单元具有以W、R、和B每个颜色为单位的包括四个像素的像素块的阵列配置。 
根据本公开的配置中还包括在设备和系统中执行的处理方法、用于使该处理被执行的程序以及记录有该程序的记录介质。 
另外，本说明书中描述的处理序列可以由硬件、软件或者硬件与软件两者的复合配置来执行。当该处理由软件执行时，记录有处理序列的程序可以安装在专用硬件中内置的计算机中的存储器中并且可以被执行，或者 该程序可以安装在可以执行各种处理的通用计算机中并且被执行。例如，该程序可以被预先记录在记录介质上。除了从记录介质将该程序安装到计算机之外，还可以通过诸如局域网（LAN）和因特网的网络接收该程序，并且该程序可以被安装在记录介质（如内置硬盘）中。 
本说明书中描述的各种处理不局限于只根据该描述的时间顺序执行，并且可以根据执行该处理的设备的处理能力或者根据需要而并行地或单独地执行。另外，本说明书中的系统意味着多个设备的逻辑集成结构，并且不局限于各配置的设备在同一外壳内的结构。 
工业应用性
如上所述，根据本公开的一个实施例的配置，实现了用于通过执行长时间曝光像素和短时间曝光像素的像素值结合处理来产生宽动态范围图像的设备和方法。 
具体来说，针对构成像素块的多个相同颜色的像素中的每一个来进行不同曝光时间的控制，并且产生通过将像素块的多个相同颜色的像素的输出相加而获得的相加像素值。在具有将像素块的多个相同颜色的像素的输出相加的相加单元的操作单元中执行相加像素值的产生。或者，通过在像素块单位中设置的浮置扩散（FD）来执行相加像素值的产生，并且从构成像素块的多个相同颜色的像素中的每一个输出的电荷在浮置扩散（FD）中被累积并被输出。 
通过该配置，可以产生宽动态范围图像。 
附图标记列表
10     亮阈值水平 
11     高亮度区域 
12     低亮度区域 
100     成像设备 
101     光学镜头 
102     成像装置 
103     信号处理单元 
105     控制单元 
120     输出图像 
151     像素单元 
160     操作单元 
161     A/D转换器 
162     像素信息结合单元 
163     输出单元 
181     多个不同曝光时间像素信息 
201     像素块 
202     行选择器 
203     A/D转换器 
204     相加电路 
205     开关 
206     寄存器 
207、208     相加单元 
209     列选择器 
210     定时发生器（TG） 
401至404     像素 
411、413、414     晶体管 
412     浮置扩散（FD） 
501     像素块 
502     输出控制单元 
511     行选择器 
521     A/D转换器 
522     定时发生器（TG） 
523     列选择器 。

Claims (9)

1.一种成像设备，包括：
像素单元，其中布置有各自包括多个相同颜色的像素的像素块；
控制单元，其对构成所述像素块的多个相同颜色的像素中的每一个进行不同曝光时间的控制；以及
相加像素值产生单元，其产生通过将所述像素块的多个相同颜色的像素的输出相加而获得的相加像素值。
2.根据权利要求1所述的成像设备，
其中，所述相加像素值产生单元由具有用于将所述像素块的多个相同颜色的像素的输出相加的相加单元的相加电路构成。
3.根据权利要求2所述的成像设备，
其中，所述像素块由包括多行×多列的多个像素的相同颜色的像素构成，以及
所述相加电路具有用于存储设定给所述像素块的在先读取行的多个像素的像素值的寄存器，以及用于将设定给所述像素块的在后读取行的多个像素的读取像素值与所述寄存器的存储像素值相加的相加单元。
4.根据权利要求2所述的成像设备，
其中，所述像素块由包括2行×2列的四个像素的相同颜色的像素构成，以及
所述相加电路具有用于存储设定给所述像素块的在先读取行的两个像素的像素值的寄存器，以及用于将设定给所述像素块的在后读取行的两个像素的读取像素值与所述寄存器的存储像素值相加的相加单元。
5.根据权利要求1所述的成像设备，
其中，所述相加像素值产生单元由以所述像素块为单位设置的浮置扩散（FD）构成，以及
所述浮置扩散（FD）具有下述配置：在该配置中，累积从构成所述像素块的多个相同颜色的像素中的每一个输出的电荷。
6.根据权利要求1所述的成像设备，
其中，所述像素单元具有四分区拜耳型RGB阵列，并且具有以R、G、和B每个颜色为单位的包括四个像素的像素块的阵列配置。
7.根据权利要求1所述的成像设备，
其中，所述像素单元具有四分区WRB阵列，在所述四分区WRB阵列中用全可见光波长透射型的W像素代替四分区拜耳型RGB阵列中的G像素，并且所述像素单元具有以W、R、和B每个颜色为单位的包括四个像素的像素块的阵列配置。
8.一种在成像设备中执行的信号处理方法，
其中，所述成像设备具有：像素单元，其中布置有各自包括多个相同颜色的像素的像素块；
控制单元，其执行用于对构成所述像素块的多个相同颜色的像素中的每一个进行不同曝光时间的控制的曝光控制处理；以及
相加像素值产生单元，其执行用于产生通过将所述像素块的多个相同颜色的像素的输出相加而获得的相加像素值的相加像素值产生处理。
9.一种用于使得在成像设备中执行信号处理的程序，
其中，所述成像设备具有像素单元，所述像素单元中布置有各自包括多个相同颜色的像素的像素块，
所述程序使控制单元执行用于对构成所述像素块的多个相同颜色的像素中的每一个进行不同曝光时间的控制的曝光控制处理，以及
所述程序使相加像素值产生单元执行用于产生通过将所述像素块的多个相同颜色的像素的输出相加而获得的相加像素值的相加像素值产生处理。
CN201280040981.1A 2011-08-31 2012-06-29 成像设备、信号处理方法及程序 Pending CN103748868A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2011190054 2011-08-31
JP2011-190054 2011-08-31
JP2011273426A JP2013066140A (ja) 2011-08-31 2011-12-14 撮像装置、および信号処理方法、並びにプログラム
JP2011-273426 2011-12-14
PCT/JP2012/066671 WO2013031368A1 (ja) 2011-08-31 2012-06-29 撮像装置、および信号処理方法、並びにプログラム

Publications (1)

Publication Number Publication Date
CN103748868A true CN103748868A (zh) 2014-04-23

Family

ID=47755878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280040981.1A Pending CN103748868A (zh) 2011-08-31 2012-06-29 成像设备、信号处理方法及程序

Country Status (10)

Country Link
US (2) US9357137B2 (zh)
EP (1) EP2753073A1 (zh)
JP (1) JP2013066140A (zh)
CN (1) CN103748868A (zh)
AU (1) AU2012303230A1 (zh)
BR (1) BR112014004189A2 (zh)
CA (1) CA2844889A1 (zh)
MX (1) MX2014002064A (zh)
RU (1) RU2014106535A (zh)
WO (1) WO2013031368A1 (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105516696A (zh) * 2015-12-18 2016-04-20 广东欧珀移动通信有限公司 图像传感器、成像方法、成像装置和电子装置
CN105516695A (zh) * 2015-12-18 2016-04-20 广东欧珀移动通信有限公司 图像传感器和具有其的终端
CN105554419A (zh) * 2015-12-18 2016-05-04 广东欧珀移动通信有限公司 图像传感器及具有其的终端
CN105578074A (zh) * 2015-12-18 2016-05-11 广东欧珀移动通信有限公司 图像传感器及具有其的终端
CN105578065A (zh) * 2015-12-18 2016-05-11 广东欧珀移动通信有限公司 高动态范围图像的生成方法、拍照装置和终端
CN105578076A (zh) * 2015-12-18 2016-05-11 广东欧珀移动通信有限公司 成像方法、成像装置及电子装置
CN105578075A (zh) * 2015-12-18 2016-05-11 广东欧珀移动通信有限公司 高动态范围图像的生成方法、拍照装置和终端
CN105611198A (zh) * 2015-12-18 2016-05-25 广东欧珀移动通信有限公司 图像传感器及具有其的终端
CN105611122A (zh) * 2015-12-18 2016-05-25 广东欧珀移动通信有限公司 图像传感器及输出方法、相位对焦方法、成像装置和终端
CN105635532A (zh) * 2015-12-18 2016-06-01 广东欧珀移动通信有限公司 成像方法、图像传感器、成像装置及电子装置
CN107409180A (zh) * 2015-03-09 2017-11-28 三星电子株式会社 具有相机模块的电子装置和用于电子装置的图像处理方法
WO2018099010A1 (zh) * 2016-11-29 2018-06-07 广东欧珀移动通信有限公司 控制方法、控制装置和电子装置
WO2018099031A1 (zh) * 2016-11-29 2018-06-07 广东欧珀移动通信有限公司 控制方法和电子装置
CN108322669A (zh) * 2018-03-06 2018-07-24 广东欧珀移动通信有限公司 图像的获取方法及装置、成像装置、计算机可读存储介质和计算机设备
CN109479104A (zh) * 2016-07-15 2019-03-15 索尼半导体解决方案公司 固体摄像器件、固体摄像器件操作方法、摄像装置和电子设备
US10313612B2 (en) 2015-12-18 2019-06-04 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image sensor, control method, and electronic device
CN110225269A (zh) * 2015-08-26 2019-09-10 意法半导体国际有限公司 具有宏像素处理的图像传感器装置以及相关装置和方法
CN110782429A (zh) * 2019-09-26 2020-02-11 长沙天仪空间科技研究院有限公司 一种基于星载遥感相机的成像质量评估方法
CN113132692A (zh) * 2019-12-30 2021-07-16 Oppo广东移动通信有限公司 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法
CN114208158A (zh) * 2019-08-13 2022-03-18 索尼半导体解决方案公司 信息处理装置、信息处理方法和信息处理程序

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011053678A1 (en) 2009-10-28 2011-05-05 The Trustees Of Columbia University In The City Of New York Methods and systems for coded rolling shutter
EP2678740B1 (en) 2011-02-25 2020-12-23 Sony Corporation Systems, methods, and media for reconstructing a space-time volume from a coded image
JP2013066140A (ja) 2011-08-31 2013-04-11 Sony Corp 撮像装置、および信号処理方法、並びにプログラム
WO2014099320A1 (en) 2012-12-17 2014-06-26 The Trustees Of Columbia University In The City Of New York Methods, systems, and media for high dynamic range imaging
TWI644568B (zh) 2013-07-23 2018-12-11 新力股份有限公司 攝像元件、攝像方法及攝像程式
JP6239975B2 (ja) 2013-12-27 2017-11-29 キヤノン株式会社 固体撮像装置及びそれを用いた撮像システム
US9571763B2 (en) * 2014-01-10 2017-02-14 Omnivision Technologies, Inc. Split pixel high dynamic range sensor
KR20150118213A (ko) * 2014-04-11 2015-10-22 에스케이하이닉스 주식회사 이미지 센싱 장치
KR102184714B1 (ko) * 2014-04-11 2020-12-02 에스케이하이닉스 주식회사 이미지 센싱 장치
US10070067B2 (en) 2014-04-15 2018-09-04 Sony Corporation Systems, methods, and media for extracting information and a display image from two captured images
KR102632643B1 (ko) * 2015-07-24 2024-02-02 소니 세미컨덕터 솔루션즈 가부시키가이샤 이미지 센서 및 전자 기기
US9521351B1 (en) * 2015-09-21 2016-12-13 Rambus Inc. Fractional-readout oversampled image sensor
US9848137B2 (en) * 2015-11-24 2017-12-19 Samsung Electronics Co., Ltd. CMOS image sensors having grid array exposure control
CN105578005B (zh) 2015-12-18 2018-01-19 广东欧珀移动通信有限公司 图像传感器的成像方法、成像装置和电子装置
CN105472266A (zh) * 2015-12-18 2016-04-06 广东欧珀移动通信有限公司 高动态范围图像的生成方法、拍照装置和终端
EP3424403B1 (en) * 2016-03-03 2024-04-24 Sony Group Corporation Medical image processing device, system, method, and program
CN106791477B (zh) * 2016-11-29 2019-07-19 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、成像装置及制造方法
CN106507068B (zh) 2016-11-29 2018-05-04 广东欧珀移动通信有限公司 图像处理方法及装置、控制方法及装置、成像及电子装置
CN106454054B (zh) 2016-11-29 2019-03-19 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN106604001B (zh) * 2016-11-29 2018-06-29 广东欧珀移动通信有限公司 图像处理方法、图像处理装置、成像装置及电子装置
CN106504218B (zh) 2016-11-29 2019-03-12 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN106341670B (zh) 2016-11-29 2017-09-22 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
JP6718831B2 (ja) * 2017-02-27 2020-07-08 アルパイン株式会社 表示制御装置、表示システム及び表示制御方法
CN107135340A (zh) * 2017-04-28 2017-09-05 广东欧珀移动通信有限公司 图像传感器、对焦控制方法、成像装置和移动终端
KR102354991B1 (ko) * 2017-05-24 2022-01-24 삼성전자주식회사 픽셀 회로 및 이를 포함하는 이미지 센서
WO2020170565A1 (ja) * 2019-02-19 2020-08-27 ソニーセミコンダクタソリューションズ株式会社 信号処理方法および撮像装置
US11405535B2 (en) * 2019-02-28 2022-08-02 Qualcomm Incorporated Quad color filter array camera sensor configurations
KR102684722B1 (ko) 2019-03-25 2024-07-12 삼성전자주식회사 이미지 센서 및 그 동작 방법
US11653101B2 (en) * 2019-05-17 2023-05-16 Samsung Electronics Co., Ltd. Imaging system for generating high dynamic range image
KR20210054628A (ko) 2019-11-05 2021-05-14 삼성전자주식회사 이미지 센서
US10855931B1 (en) * 2019-11-07 2020-12-01 Novatek Microelectronics Corp. High dynamic range image sensing method for image sensing device
KR20210135380A (ko) 2020-05-04 2021-11-15 삼성전자주식회사 이미지 센서
JP7497216B2 (ja) 2020-05-29 2024-06-10 キヤノン株式会社 画像処理装置及び方法、撮像装置、プログラム、記憶媒体
US11381789B2 (en) 2020-06-28 2022-07-05 Shenzhen GOODIX Technology Co., Ltd. Partial pixel binning for CIS
US11350047B2 (en) 2020-06-28 2022-05-31 Shenzhen GOODIX Technology Co., Ltd. Pixel binning for hexa-deca RGBW color filter arrays
US11842684B2 (en) * 2020-12-09 2023-12-12 Boe Technology Group Co., Ltd. Display panel and method for driving the same, and display apparatus
KR20220131054A (ko) * 2021-03-19 2022-09-27 에스케이하이닉스 주식회사 이미지 처리 장치 및 그 동작 방법
US11350048B1 (en) 2021-07-25 2022-05-31 Shenzhen GOODIX Technology Co., Ltd. Luminance-adaptive processing of hexa-deca RGBW color filter arrays in CMOS image sensors

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6999119B1 (en) * 1998-04-10 2006-02-14 Nikon Corporation Image-capturing element, image-capturing circuit for processing signal from image-capturing element, image-capturing device, driving method of image-capturing element
JP2007124137A (ja) * 2005-10-26 2007-05-17 Sony Corp 撮像装置
US20090200451A1 (en) * 2008-02-08 2009-08-13 Micron Technology, Inc. Color pixel arrays having common color filters for multiple adjacent pixels for use in cmos imagers
US20090290052A1 (en) * 2008-05-23 2009-11-26 Panavision Imaging, Llc Color Pixel Pattern Scheme for High Dynamic Range Optical Sensor
CN102282838A (zh) * 2009-01-19 2011-12-14 夏普株式会社 针对多次曝光的增强动态范围图像和视频的方法和系统

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1129880A (ja) 1997-07-09 1999-02-02 Yoshiaki Tatsumi ダミーウェハー
JP2000069491A (ja) 1998-08-19 2000-03-03 Nikon Corp 撮像素子およびこれを用いた撮像装置
JP2000050151A (ja) 1998-07-28 2000-02-18 Olympus Optical Co Ltd 撮像装置
EP1237363B1 (en) * 1999-11-22 2006-01-18 Matsushita Electric Industrial Co., Ltd. Solid-state imaging device
JP2005072966A (ja) * 2003-08-25 2005-03-17 Fuji Film Microdevices Co Ltd 固体撮像素子及び撮像装置
JP2006311240A (ja) 2005-04-28 2006-11-09 Olympus Corp 撮像装置
US20070177048A1 (en) * 2006-01-31 2007-08-02 Phil Van Dyke Long exposure images using electronic or rolling shutter
JP2008099073A (ja) 2006-10-13 2008-04-24 Sony Corp 固体撮像装置および撮像装置
JP2009004845A (ja) * 2007-06-19 2009-01-08 Panasonic Corp 撮像装置、撮像方法、プログラム、および集積回路
JP4317587B2 (ja) * 2007-08-07 2009-08-19 パナソニック株式会社 撮像処理装置および撮像装置、画像処理方法およびコンピュータプログラム
KR101424717B1 (ko) * 2007-09-13 2014-08-01 삼성전자주식회사 노출 시간 설정 장치 및 방법
JP5153378B2 (ja) * 2008-02-15 2013-02-27 キヤノン株式会社 固体撮像装置及びその駆動方法
JP4661912B2 (ja) * 2008-07-18 2011-03-30 ソニー株式会社 固体撮像素子およびカメラシステム
JP4683121B2 (ja) 2008-12-08 2011-05-11 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
TWI422020B (zh) 2008-12-08 2014-01-01 Sony Corp 固態成像裝置
JP2010279016A (ja) * 2009-04-30 2010-12-09 Sony Corp 固体撮像素子とその駆動方法および撮像装置
JP2011061684A (ja) * 2009-09-14 2011-03-24 Fujifilm Corp 固体撮像素子及びその駆動方法並びに撮像装置
JP5124549B2 (ja) * 2009-09-15 2013-01-23 富士フイルム株式会社 固体撮像素子の動画像信号読出方法及び撮像装置
WO2011053678A1 (en) 2009-10-28 2011-05-05 The Trustees Of Columbia University In The City Of New York Methods and systems for coded rolling shutter
KR101229600B1 (ko) * 2010-05-14 2013-02-04 가시오게산키 가부시키가이샤 촬상 장치, 손떨림 보정 방법 및 기록 매체
WO2012042963A1 (ja) * 2010-09-29 2012-04-05 富士フイルム株式会社 固体撮像素子及び撮像装置
EP2442556A1 (en) * 2010-10-15 2012-04-18 ST-Ericsson SA Apparatus and method for capturing images with high dynamic range
JP2012175234A (ja) 2011-02-18 2012-09-10 Sony Corp 撮像装置、撮像素子、および撮像制御方法、並びにプログラム
JP5655626B2 (ja) 2011-02-24 2015-01-21 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2012175600A (ja) * 2011-02-24 2012-09-10 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム
EP2678740B1 (en) 2011-02-25 2020-12-23 Sony Corporation Systems, methods, and media for reconstructing a space-time volume from a coded image
JP2012182657A (ja) 2011-03-01 2012-09-20 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム
JP2012234393A (ja) 2011-05-02 2012-11-29 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2012257193A (ja) 2011-05-13 2012-12-27 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2013005017A (ja) 2011-06-13 2013-01-07 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム
JP2013021660A (ja) 2011-07-14 2013-01-31 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2013038504A (ja) 2011-08-04 2013-02-21 Sony Corp 撮像装置、および画像処理方法、並びにプログラム
JP2013050538A (ja) 2011-08-30 2013-03-14 Sony Corp 表示装置および電子機器
JP2013050537A (ja) 2011-08-30 2013-03-14 Sony Corp 表示装置および電子機器
JP2013066140A (ja) 2011-08-31 2013-04-11 Sony Corp 撮像装置、および信号処理方法、並びにプログラム
JP2013066145A (ja) 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2013066142A (ja) 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
WO2014099320A1 (en) 2012-12-17 2014-06-26 The Trustees Of Columbia University In The City Of New York Methods, systems, and media for high dynamic range imaging
TWI644568B (zh) 2013-07-23 2018-12-11 新力股份有限公司 攝像元件、攝像方法及攝像程式
US10070067B2 (en) 2014-04-15 2018-09-04 Sony Corporation Systems, methods, and media for extracting information and a display image from two captured images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6999119B1 (en) * 1998-04-10 2006-02-14 Nikon Corporation Image-capturing element, image-capturing circuit for processing signal from image-capturing element, image-capturing device, driving method of image-capturing element
JP2007124137A (ja) * 2005-10-26 2007-05-17 Sony Corp 撮像装置
US20090200451A1 (en) * 2008-02-08 2009-08-13 Micron Technology, Inc. Color pixel arrays having common color filters for multiple adjacent pixels for use in cmos imagers
US20090290052A1 (en) * 2008-05-23 2009-11-26 Panavision Imaging, Llc Color Pixel Pattern Scheme for High Dynamic Range Optical Sensor
CN102282838A (zh) * 2009-01-19 2011-12-14 夏普株式会社 针对多次曝光的增强动态范围图像和视频的方法和系统

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107409180B (zh) * 2015-03-09 2020-08-28 三星电子株式会社 具有相机模块的电子装置和用于电子装置的图像处理方法
CN107409180A (zh) * 2015-03-09 2017-11-28 三星电子株式会社 具有相机模块的电子装置和用于电子装置的图像处理方法
CN110225269A (zh) * 2015-08-26 2019-09-10 意法半导体国际有限公司 具有宏像素处理的图像传感器装置以及相关装置和方法
CN110225269B (zh) * 2015-08-26 2022-03-25 意法半导体国际有限公司 具有宏像素处理的图像传感器装置以及相关装置和方法
CN105578075A (zh) * 2015-12-18 2016-05-11 广东欧珀移动通信有限公司 高动态范围图像的生成方法、拍照装置和终端
TWI615029B (zh) * 2015-12-18 2018-02-11 廣東歐珀移動通信有限公司 圖像感測器及終端與成像方法
CN105578065A (zh) * 2015-12-18 2016-05-11 广东欧珀移动通信有限公司 高动态范围图像的生成方法、拍照装置和终端
CN105611198A (zh) * 2015-12-18 2016-05-25 广东欧珀移动通信有限公司 图像传感器及具有其的终端
CN105611122A (zh) * 2015-12-18 2016-05-25 广东欧珀移动通信有限公司 图像传感器及输出方法、相位对焦方法、成像装置和终端
CN105635532A (zh) * 2015-12-18 2016-06-01 广东欧珀移动通信有限公司 成像方法、图像传感器、成像装置及电子装置
CN105635532B (zh) * 2015-12-18 2017-05-24 广东欧珀移动通信有限公司 成像方法、图像传感器、成像装置及电子装置
CN105578074B (zh) * 2015-12-18 2017-11-10 广东欧珀移动通信有限公司 图像传感器及具有其的终端
CN105578074A (zh) * 2015-12-18 2016-05-11 广东欧珀移动通信有限公司 图像传感器及具有其的终端
CN105578076A (zh) * 2015-12-18 2016-05-11 广东欧珀移动通信有限公司 成像方法、成像装置及电子装置
CN105554419B (zh) * 2015-12-18 2018-04-10 广东欧珀移动通信有限公司 图像传感器及具有其的终端
CN105554419A (zh) * 2015-12-18 2016-05-04 广东欧珀移动通信有限公司 图像传感器及具有其的终端
CN105516696A (zh) * 2015-12-18 2016-04-20 广东欧珀移动通信有限公司 图像传感器、成像方法、成像装置和电子装置
US10764522B2 (en) 2015-12-18 2020-09-01 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image sensor, output method, phase focusing method, imaging device, and terminal
CN105611122B (zh) * 2015-12-18 2019-03-01 Oppo广东移动通信有限公司 图像传感器及输出方法、相位对焦方法、成像装置和终端
US10880501B2 (en) 2015-12-18 2020-12-29 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image sensor, output method, phase focusing method, imaging device, and terminal
US10313612B2 (en) 2015-12-18 2019-06-04 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image sensor, control method, and electronic device
CN105516695A (zh) * 2015-12-18 2016-04-20 广东欧珀移动通信有限公司 图像传感器和具有其的终端
CN109479104A (zh) * 2016-07-15 2019-03-15 索尼半导体解决方案公司 固体摄像器件、固体摄像器件操作方法、摄像装置和电子设备
CN109479104B (zh) * 2016-07-15 2022-02-18 索尼半导体解决方案公司 固体摄像器件、固体摄像器件操作方法、摄像装置和电子设备
WO2018099031A1 (zh) * 2016-11-29 2018-06-07 广东欧珀移动通信有限公司 控制方法和电子装置
US10559070B2 (en) 2016-11-29 2020-02-11 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image processing method and apparatus, and electronic device
US10559069B2 (en) 2016-11-29 2020-02-11 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image processing method and apparatus, and electronic device
US10531019B2 (en) 2016-11-29 2020-01-07 Guangdong Oppo Mobile Telecommunications Corp, Ltd. Image processing method and apparatus, and electronic device
WO2018099010A1 (zh) * 2016-11-29 2018-06-07 广东欧珀移动通信有限公司 控制方法、控制装置和电子装置
CN108322669B (zh) * 2018-03-06 2021-03-23 Oppo广东移动通信有限公司 图像获取方法及装置、成像装置和可读存储介质
CN108322669A (zh) * 2018-03-06 2018-07-24 广东欧珀移动通信有限公司 图像的获取方法及装置、成像装置、计算机可读存储介质和计算机设备
CN114208158A (zh) * 2019-08-13 2022-03-18 索尼半导体解决方案公司 信息处理装置、信息处理方法和信息处理程序
CN110782429A (zh) * 2019-09-26 2020-02-11 长沙天仪空间科技研究院有限公司 一种基于星载遥感相机的成像质量评估方法
CN110782429B (zh) * 2019-09-26 2022-04-15 长沙天仪空间科技研究院有限公司 一种基于星载遥感相机的成像质量评估方法
CN113132692A (zh) * 2019-12-30 2021-07-16 Oppo广东移动通信有限公司 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法

Also Published As

Publication number Publication date
WO2013031368A1 (ja) 2013-03-07
MX2014002064A (es) 2014-05-30
US20140192250A1 (en) 2014-07-10
JP2013066140A (ja) 2013-04-11
US20160248956A1 (en) 2016-08-25
US9357137B2 (en) 2016-05-31
EP2753073A1 (en) 2014-07-09
CA2844889A1 (en) 2013-03-07
RU2014106535A (ru) 2015-08-27
US10110827B2 (en) 2018-10-23
AU2012303230A1 (en) 2014-02-20
BR112014004189A2 (pt) 2017-03-07

Similar Documents

Publication Publication Date Title
CN103748868A (zh) 成像设备、信号处理方法及程序
US9942482B2 (en) Image sensor with transfer gate control signal lines
JP5045380B2 (ja) 撮像装置および撮像データ補正方法並びにプログラム
JP5163935B2 (ja) イメージセンサ
JP4208904B2 (ja) 撮像装置及びその制御方法並びに撮像システム
US8908064B2 (en) Imaging apparatus and imaging method
CN103650480A (zh) 图像处理设备、摄像设备、图像处理方法和程序
JP4692196B2 (ja) 固体撮像装置、固体撮像装置の駆動方法および撮像装置
JP2006333035A (ja) 固体撮像装置、固体撮像装置の駆動方法および撮像装置
CN103209309A (zh) 图像传感器、成像装置、电子设备和成像方法
JP4600315B2 (ja) カメラ装置の制御方法及びこれを用いたカメラ装置
JP2015201736A (ja) 固体撮像素子、撮像装置及びその制御方法、プログラム、記憶媒体
JP4634953B2 (ja) 固体撮像装置および駆動方法
JP6967173B1 (ja) 撮像素子及び撮像装置
JP2018088721A (ja) 固体撮像素子、撮像装置及びその制御方法、プログラム、記憶媒体
JP7020463B2 (ja) 撮像装置
JP6590055B2 (ja) 撮像装置
JP2011109386A (ja) 固体撮像素子およびその駆動方法、カメラシステム、プログラム
JP2013183439A (ja) 固体撮像装置及びカメラシステム
JP2013211780A (ja) 固体撮像素子、及び撮像装置
JP2011114786A (ja) 固体撮像装置およびカメラシステム
JP2017201817A (ja) 固体撮像素子、及び撮像装置
JP2008289172A (ja) 固体電子撮像装置およびその制御方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140423

WD01 Invention patent application deemed withdrawn after publication