CN105049754A - 图像处理装置和具有该图像处理装置的移动计算装置 - Google Patents

图像处理装置和具有该图像处理装置的移动计算装置 Download PDF

Info

Publication number
CN105049754A
CN105049754A CN201510209510.4A CN201510209510A CN105049754A CN 105049754 A CN105049754 A CN 105049754A CN 201510209510 A CN201510209510 A CN 201510209510A CN 105049754 A CN105049754 A CN 105049754A
Authority
CN
China
Prior art keywords
pixel
data
image processing
color data
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510209510.4A
Other languages
English (en)
Other versions
CN105049754B (zh
Inventor
金泰瓒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020150021547A external-priority patent/KR102288164B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to CN201910602494.3A priority Critical patent/CN110266976B/zh
Publication of CN105049754A publication Critical patent/CN105049754A/zh
Application granted granted Critical
Publication of CN105049754B publication Critical patent/CN105049754B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

提供了图像处理装置和具有该图像处理装置的移动计算装置。在示例实施例中，一种图像处理装置包括：像素阵列，包括二维布置的像素并被配置成捕获图像，所述像素中的每个像素包括多个光电转换元件；以及图像数据处理电路，被配置成由从所述像素输出的像素信号来产生图像数据。所述图像处理装置还包括：颜色数据处理电路，被配置成从所述图像数据提取颜色数据并输出提取的颜色数据。所述图像处理装置还包括：深度数据提取电路，被配置成从所述图像数据提取深度数据并输出提取的深度数据。所述图像处理装置还包括：输出控制电路，被配置成控制所述颜色数据和所述深度数据的输出。<pb pnum="1" />

Description

图像处理装置和具有该图像处理装置的移动计算装置
本申请要求于2014年4月28日提交的第61/985,019号美国临时专利申请的优先权和2015年2月12日提交的第10-2015-0021547号韩国专利申请的优先权，所述专利申请中的每件的全部内容通过引用包含于此。
技术领域
本发明构思的实施例涉及一种图像处理装置，尤其涉及一种能够把从全PAF像素阵列输出的数据中提取的颜色数据和深度数据以并行方式和/或串行方式输出的图像处理装置和一种包括该图像处理装置的移动计算装置。
背景技术
PAF代表相位检测自动对焦或相位差自动对焦。在摄影领域中，动态范围是最大可测量光强度与最小可测量光强度之间的范围。光强度的变化程度取决于用作图像捕获装置的装置，其中，该图像捕获装置决定图像传感器的动态范围方面的总体性能。
宽动态范围(WDR)也称作高动态范围(HDR)。WDR技术通过以数字方式对每个像素应用多次曝光，物理地提高了像素性能或者增大了图像传感器的动态范围。
理想的WDR传感器是满阱容量(FWC)高的传感器。FWC定义为入射信号在读出期间所能容纳而不饱和的最大电子数。随着FWC增大，图像传感器的动态范围增大。
在数字信号透镜反射(DSLR)相机中，相机传感器包括能够直接检测相位差的像素，以减少被相位差自动对焦模块占据的空间。因此，DSLR相机可以执行自动对焦。这种技术被应用到无反射镜DSLR。
相关技术的相位差检测像素采用金属等遮蔽光电二极管的一部分，并仅检测入射到光电二极管的未遮蔽部分上的光。在相关技术中，使用遮蔽部分和未遮蔽部分(即，两个像素)来检测相位差的方法具有以下问题：彩色图像的图像质量由于不规则地工作的两个像素而劣化。
发明内容
在示例实施例中，一种图像处理装置包括：像素阵列，包括二维布置的像素并被配置成捕获图像，所述像素中的每个像素包括多个光电转换元件；以及图像数据处理电路，被配置成由从所述像素输出的像素信号来产生图像数据。所述图像处理装置还包括：颜色数据处理电路，被配置成从所述图像数据提取颜色数据并输出提取的颜色数据。所述图像处理装置还包括：深度数据提取电路，被配置成从所述图像数据提取深度数据并输出提取的深度数据。所述图像处理装置还包括：输出控制电路，被配置成控制所述颜色数据和所述深度数据的输出。
在一个示例实施例中，所述图像处理装置被实现在一个CMOS图像传感器芯片中。
在一个示例实施例中，所述像素阵列和所述图像数据处理电路被集成到第一芯片中，所述颜色数据处理电路、所述深度数据提取电路和所述输出控制电路被集成到第二芯片中。
在一个示例实施例中，所述图像处理装置还包括：应用处理器，被配置成控制所述颜色数据处理电路、所述深度数据提取电路和所述输出控制电路的操作。
在一个示例实施例中，所述图像数据包括长曝光图像数据和短曝光图像数据。
在一个示例实施例中，所述输出控制电路被配置成以并行方式基于线来输出颜色数据和深度数据。
在一个示例实施例中，所述输出控制电路被配置成确定颜色数据和深度数据的输出顺序。
在一个示例实施例中，所述输出控制电路被配置成以串行方式输出颜色数据和深度数据。
在一个示例实施例中，所述输出控制电路被配置成在一个水平时间段期间以串行方式输出大小彼此不同的颜色数据和深度数据。
在一个示例实施例中，所述输出控制电路被配置成以串行方式输出对应于第一线数的颜色数据和对应于第二线数的深度数据，所述第一线数和所述第二线数中的每个为自然数，所述第一线数等于或大于所述第二线数。
在一个示例实施例中，所述输出控制电路被配置成以串行方式输出对应于第一像素数的颜色数据和对应于第二像素数的深度数据，所述第一像素数和所述第二像素数中的每个为自然数，所述第一像素数等于或大于所述第二像素数。
在示例实施例中，所述移动计算装置包括被配置成产生图像数据的图像传感器，所述图像传感器包括：像素阵列，包括二维布置的像素并被构造成捕获图像，所述像素中的每个像素包括多个光电转换元件；以及图像数据处理电路，被配置成由从所述像素输出的像素信号产生图像数据。所述移动计算装置还包括被配置成处理所述图像数据的处理电路，所述处理电路包括被配置成从所述图像数据提取颜色数据并输出提取的颜色数据的颜色数据处理电路。所述处理电路还包括被配置成从所述图像数据提取深度数据并输出提取的深度数据的深度数据提取电路。所述处理电路还包括被配置成控制所述颜色数据和所述深度数据的输出的输出控制电路。
在一个示例实施例中，所述图像数据包括长曝光图像数据和短曝光图像数据，所述长曝光图像数据与从包括在所述多个像素中的每个像素中的第一光电转换元件输出的第一像素信号对应，所述短曝光图像数据与从包括在所述多个像素中的每个像素中的第二光电转换元件输出的第二像素信号对应。
在一个示例实施例中，所述输出控制电路被配置成以并行方式基于线来输出颜色数据和深度数据。
在一个示例实施例中，所述输出控制电路被配置成确定颜色数据和深度数据的输出顺序。
在一个示例实施例中，所述输出控制电路被配置成以串行方式输出颜色数据和深度数据。
在一个示例实施例中，所述输出控制电路被配置成在一个水平时间期间以串行方式输出大小不同的颜色数据和深度数据。
在一个示例实施例中，所述输出控制电路被配置成以串行方式输出对应于第一线数的颜色数据和对应于第二线数的深度数据，所述第一线数和所述第二线数中的每个为自然数，所述第一线数等于或大于所述第二线数。
在一个示例实施例中，所述输出控制电路被配置成输出对应于第一像素数的颜色数据和对应于第二像素数的深度数据，所述第一像素数和所述第二像素数中的每个为自然数，所述第一像素数等于或大于所述第二像素数。
在一个示例实施例中，所述移动计算装置还包括应用处理器，所述应用处理器具有被配置成处理从输出控制电路输出的颜色数据和深度数据的另一个处理电路，并且所述另一个处理电路集成在图像传感器和应用处理器中的至少一个中。
在示例实施例中，一种图像处理装置包括：存储器，被配置成存储计算机可读指令；以及处理器，被配置成执行所述计算机可读指令，从而由与具有多个光电转换元件的像素阵列的像素关联的像素信号产生图像数据，从所述图像数据提取颜色数据和深度数据，并且输出所述颜色数据和所述深度数据。
在一个示例实施例中，所述像素阵列为相位差自动对焦像素阵列。
在一个示例实施例中，所述图像数据包括长曝光图像数据和短曝光图像数据，相比于与所述短曝光图像数据关联的像素信号，所述长曝光图像数据对应于与曝光时间较长的像素关联的像素信号。
在一个示例实施例中，所述多个光电转换元件中的至少一个第一光电转换元件被构造成产生长曝光图像数据，并且所述多个光电转换元件中的至少一个第二光电转换元件被构造成产生短曝光图像数据。
在一个示例实施例中，所述处理器还被配置成在利用长曝光图像数据和短曝光图像数据提取颜色数据之前，对图像数据进行处理，所述处理包括降噪处理、边缘锐化处理、颜色校正处理和伽玛处理中的至少一种。
在一个示例实施例中，所述处理器还被配置成在利用长曝光图像数据和短曝光图像数据提取深度数据之前处理图像数据。
在一个示例实施例中，所述处理器还被配置成通过提取每对长曝光图像数据和短曝光图像数据之间的差值数据来处理所述图像数据。
附图说明
本发明构思的这些和/或其他方面及优点将根据下面结合附图对实施例的描述而变得明了和更易于理解，在附图中：
图1示出根据本发明构思的示例实施例的包括多个像素的图像传感器的像素阵列。
图2示出根据示例实施例的在图1中示出的像素阵列的一部分。
图3示出根据示例实施例的在图1中示出的像素阵列的一部分。
图4示出根据示例实施例的在图1中示出的像素阵列的一部分。
图5示出根据示例实施例的在图1中示出的像素阵列的一部分。
图6示出根据示例实施例的在图1中示出的像素阵列的一部分。
图7示出根据示例实施例的包括两个光电二极管的像素的剖视图。
图8示出根据示例实施例的包括四个光电二极管的像素的剖视图。
图9示出根据示例实施例的包括两个光电二极管的像素(例如，PAF像素)的电路图。
图10是根据示例实施例描述在图9中示出的像素的操作的时序图。
图11示出根据示例实施例的包括四个光电二极管的像素(例如，PAF像素)的电路图。
图12是根据示例实施例描述在图11中示出的像素的操作的时序图。
图13是根据另一示例实施例描述在图11中示出的像素的操作的时序图。
图14是根据示例实施例的包括图1的像素阵列的图像传感器的框图。
图15是根据示例实施例的包括图1的像素阵列的图像传感器的另一框图。
图16是根据包括图1中示出的像素阵列的数据处理系统的一个示例实施例的框图。
图17是根据示例实施例的图16的图像信号处理器(ISP)的示意性框图。
图18A和图18B示出根据示例实施例的在图16中示出的CMOS图像传感器中一个扫描场期间的曝光时间和积累曝光量。
图19示出根据示例实施例的长曝光图像信号的输入/输出亮度特性和短曝光图像信号的输入/输出亮度特性以描述长曝光图像信号和短曝光图像信号的组合处理。
图20是根据本发明构思的示例实施例的数据处理装置的框图。
图21是根据示例实施例的描述根据像素的位置的差值的概念图。
图22至图27是根据示例实施例的从图20中示出的处理电路输出颜色数据和深度数据的时序图。
图28是示出包括在图20中示出的处理电路的数据处理装置的示例实施例的框图。
图29是示出包括在图20中示出的处理电路的数据处理装置的示例实施例的框图。
图30是示出包括在图20中示出的处理电路的数据处理装置的示例实施例的框图。
图31是根据本发明构思的示例实施例的用于提高分辨率的概念图。
图32是根据本发明构思的示例实施例的用于提高分辨率的概念图。
具体实施方式
现在，将在下文中参照附图更充分地描述本发明构思，附图中示出了本发明的实施例。然而，发明构思可以以不同形式体现，并且不应被理解为受限于在此阐述的实施例。而是，提供这些实施例使得本公开将是彻底的和完整的，并将把本发明构思的范围充分传达给本领域技术人员。在附图中，为了清楚起见，可能夸大层和区域的尺寸和相对尺寸。同样的附图标记始终指定同样的元件。
将理解的是，当元件被称为“连接到”或“结合到”另一元件时，该元件可直接连接到或结合到另一元件，或者可存在中间元件。相反，当元件被称为“直接连接到”或“直接结合到”另一元件时，不存在中间元件。如在这里使用的，术语“和/或”包括相关列出项中的一个或更多个的任意和全部组合，并且可以被缩写为“/”。
将理解的是，虽然在这里可以使用术语第一、第二等来描述各元件，但是这些元件不应该被这些术语限制。这些术语仅用于将一个元件与另一个元件区分开。例如，在不脱离公开内容的教导的情况下，第一信号可以被称为第二信号，类似地，第二信号可以被称为第一信号。
在这里使用的术语仅出于描述具体实施例的目的，并且不意图限制本发明。如在这里使用的，单数形式“一”、“一个”和“该(所述)”也意图包括复数形式，除非上下文清楚地另行指示。还将理解的是，当本说明书中使用术语“包括”或“包含”和/或它们的变型时，指存在陈述的特征、区域、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或更多个其他特征、区域、整体、步骤、操作、元件、组件和/或它们的组。
除非另行定义，否则在此使用的术语(包括技术术语和科学术语)具有与本发明所属技术领域的普通技术人员所通常理解的意思相同的意思。还将理解的是，诸如在常用辞典中定义的术语将被解释为具有与它们在相关领域和/或本申请的语境中的意思一致的意思，并且将不以理想化或过于形式化的含义来解释它们，除非这里明确地如此定义。
图1示出根据本发明构思的示例实施例的包括多个像素的图像传感器的像素阵列。包括在像素阵列100中的多个像素R、G和B中的每个像素可以包括多个光电二极管。
像素阵列100可以包括在便携式电子装置中。所述便携式电子装置可以在膝上型计算机、蜂窝电话(或移动电话)、智能手机、平板PC、数字相机、摄像机、移动互联装置(MID)、可穿戴计算机、物联网(IoT)装置和万物联网(IoE)装置等中使用。
包括在像素阵列100中的多个光电二极管中的每个光电二极管可以是任何光电转换元件，并可由作为光电转换元件的示例的光电晶体管、光电栅或钳位光电二极管(pinned-photodiode)来代替。包括在每个像素中的多个光电二极管可以独立地捕获光或者图像。
在图1中，R表示红像素，G表示绿像素，B表示蓝像素。对应的微透镜可以形成在各个R像素、G像素和B像素上方。像素阵列100可以在不损失分辨率的情况下实现WDR或HDR。将参照图7和图8描述R像素、G像素和B像素中的每个像素的结构。
图2示出根据示例实施例的在图1中示出的像素阵列的一部分。图2示出像素阵列100的一部分110A。R像素、G像素和B像素中的每个像素可以包括彼此独立操作的两个光电二极管L和S。
在图2中，L表示第一光电二极管，S表示第二光电二极管。例如，L可以是能够产生长曝光图像信号的光电二极管，S可以是能够产生短曝光图像信号的光电二极管。
设置在相应行Row1和Row3中的G像素和R像素中的每个像素包括两个光电二极管L和S。设置在相应行Row2和Row4中的B像素和G像素中的每个像素包括两个光电二极管L和S。
包括在R像素、G像素和B像素之一中的光电二极管L和S中的每个光电二极管的曝光时间或积分时间可以通过行驱动器以独立的方式被控制为彼此不同。
在图2中，为了便于描述，示出R像素、G像素和B像素中的每个像素包括左右设置的两个光电二极管L和S；然而，与其相反，根据示例实施例的R像素、G像素和B像素中的每个像素可以包括上下设置的两个光电二极管L和S。例如，与设置在行Row1至Row4中各行的R像素、G像素和B像素中各像素的每个光电二极管L连接的传输晶体管的栅极连接到第一对应传输线(或第一金属线；LINE1)，与设置在行Row1至Row4中各行的R像素、G像素和B像素中各像素的每个光电二极管S连接的传输晶体管的栅极连接到第二对应传输线(或第二金属线；LINE2)。
图3示出根据示例实施例的在图1中示出的像素阵列的一部分。图3示出像素阵列100的一部分110B。R像素、G像素和B像素中的每个像素包括彼此独立操作的两个光电二极管L和S。
包括在图3的行Row3和Row4中的两个光电二极管L和S的位置与包括在图2的行Row3和Row4中的两个光电二极管L和S的位置彼此相反。
在图2和图3中示出的示例实施例中，包括在各R像素、G像素和B像素中的光电二极管L和S的位置可以根据设计规格做出多种改变。
例如，与设置在行Row1至Row4中各行的R像素、G像素和B像素中各像素的每个光电二极管L连接的传输晶体管的栅极连接到第一对应传输线(或第一金属线；LINE1)，而与设置在行Row1至Row4中各行的R像素、G像素和B像素中各像素的每个光电二极管S连接的传输晶体管的栅极连接到第二对应传输线(或第二金属线；LINE2)。
图4示出根据示例实施例的在图1中示出的像素阵列的一部分。图4示出像素阵列100的一部分120A。R像素、G像素和B像素中的每个像素包括彼此独立地操作的四个光电二极管L1、L2、S1和S2。
根据示例实施例，包括在R像素、G像素和B像素的每个像素中的各光电二极管L1、L2、S1和S2的曝光时间或积分时间可以通过行驱动器以独立的方式控制为彼此不同。
根据另一示例实施例，包括在R像素、G像素和B像素的每个像素中的各光电二极管L1和L2的曝光时间或积分时间可以通过行驱动器控制为彼此相同，而包括在R像素、G像素和B像素的每个像素中的各光电二极管S1和S2的曝光时间或积分时间可以通过行驱动器控制为彼此相同。
光电二极管L1和L2中的每个的曝光时间或积分时间可以被设定成比光电二极管S1和S2中的每个的曝光时间或积分时间长。
各光电二极管L1和L2的物理特性可以彼此相同或不同。另外，各光电二极管S1和S2的物理特性可以彼此相同或不同。
L1指第一光电二极管，S1指第二光电二极管，L2指第三光电二极管且S2指第四光电二极管。
例如，L1和L2中的每个光电二极管可以是能够产生长曝光图像信号的光电二极管，S1和S2中的每个光电二极管可以是能够产生短曝光图像信号的光电二极管。
设置在行Row1中的G像素和R像素中的每个像素包括四个光电二极管L1、L2、S1和S2。设置在行Row2中的B像素和G像素中的每个像素包括四个光电二极管L1、L2、S1和S2。
R像素、G像素和B像素中的每个像素包括能够产生长曝光图像信号的两个光电二极管L1和L2，并包括能够产生短曝光图像信号的两个光电二极管S1和S2。根据一个或另一个示例实施例，各光电二极管L1、L2、S1和S2的位置可以根据设计规格做出多种改变。
例如，如图4所示，与设置在行Row1和Row2中各行的R像素、G像素和B像素中各像素的光电二极管L1和L2中的每个连接的各个传输晶体管的栅极连接到第一对应传输线(或第一金属线；LINE1)，而与R像素、G像素和B像素中各像素的光电二极管S1和S2中的每个连接的各个传输晶体管的栅极连接到第二对应传输线(或第二金属线；LINE2)。
图5示出根据示例实施例在图1中示出的像素阵列的一部分。图5示出像素阵列100的一部分120B。R像素、G像素和B像素中的每个像素包括彼此独立地操作的四个光电二极管L1、L2、L3和S1。
即，R像素、G像素和B像素中的每个像素包括能够产生长曝光图像信号的三个光电二极管L1、L2和L3，并包括能够产生短曝光图像信号的一个光电二极管S1。根据一个或更多个示例实施例，各光电二极管L1、L2、L3和S1的位置可以根据设计规格做出多种改变。
根据示例实施例，包括在R像素、G像素和B像素之一中的光电二极管L1、L2、L3和S1中的每个光电二极管的曝光时间或积分时间可以通过行驱动器以独立的方式被控制为彼此不同。
根据另一示例实施例，包括在R像素、G像素和B像素之一中的光电二极管L1、L2和L3中的每个的曝光时间或积分时间可以通过行驱动器被控制为彼此相同。光电二极管L1、L2和L3中的每个的曝光时间或积分时间可以被设定成比光电二极管S1的曝光时间或积分时间长。
光电二极管L1、L2和L3中的每个光电二极管的物理特性可以被实现为彼此相同或不同。
L1表示第一光电二极管，L2表示第二光电二极管，L3表示第三光电二极管且S1表示第四光电二极管。例如，光电二极管L1、L2和L3中的每个光电二极管可以是能够产生长曝光图像信号的光电二极管，而光电二极管S1可以是能够产生短曝光图像信号的光电二极管。
设置在行Row1中的G像素和R像素中的每个像素包括四个光电二极管L1、L2、L3和S1。设置在行Row2中的B像素和G像素中的每个像素包括四个光电二极管L1、L2、L3和S1。
例如，如图5所示，与设置在行Row1和Row2中各行的R像素、G像素和B像素中各像素的光电二极管L1、L2和L3中的每个连接的各个传输晶体管的栅极连接到第一对应传输线(或第一金属线；LINE1)，而与R像素、G像素和B像素中各像素的光电二极管S1连接的传输晶体管的栅极连接到第二对应传输线(或第二金属线；LINE2)。
图6示出在图1中示出的像素阵列100的一部分120C。R像素、G像素和B像素中的每个像素包括彼此独立地操作的四个光电二极管S1、S2、S3和L1。
即，R像素、G像素和B像素中的每个像素包括能够产生长曝光图像信号的一个光电二极管L1，并包括能够分别产生短曝光图像信号的三个光电二极管S1、S2和S3。根据一个或更多个实施例，各光电二极管S1、S2、S3和L1的位置可以根据设计规格做出多种改变。
根据示例实施例，包括在R像素、G像素和B像素的每个像素中的各光电二极管S1、S2、S3和L1的曝光时间或积分时间可以通过行驱动器以独立的方式被控制为彼此不同。
根据另一示例实施例，包括在R像素、G像素和B像素的每个像素中的各光电二极管S1、S2和S3的曝光时间或积分时间可以通过行驱动器被控制为彼此相同。
光电二极管S1、S2和S3中的每个光电二极管的物理特性可以设置为彼此相同或不同。
S1指第一光电二极管，S2指第二光电二极管，S3指第三光电二极管且S4指第四光电二极管。
例如，光电二极管L1可以是能产生长曝光图像信号的光电二极管，光电二极管S1、S2和S3可以是能产生短曝光图像信号的光电二极管。
设置在行Row1中的G像素和R像素中的每个像素包括四个光电二极管S1、S2、S3和L1。设置在行Row2中的B像素和G像素中的每个像素包括四个光电二极管S1、S2、S3和L1。
例如，如图6所示，与设置在行Row1和Row2中各行的R像素、G像素和B像素中各像素的光电二极管S1、S2和S3中的每个连接的各个传输晶体管的栅极连接到第一对应传输线(或第一金属线；LINE1)，而与R像素、G像素和B像素中各像素的光电二极管L1连接的传输晶体管的栅极连接到第二对应传输线(或第二金属线；LINE2)。
图7示出根据示例实施例的包括两个光电二极管的像素的剖视图。如图7中所示，所述两个光电二极管是PD1和PD2。该像素可以是图1的R、G或B。
光电二极管PD1可以是能够产生长曝光图像信号的光电二极管和能够产生短曝光图像信号的光电二极管中的一者，而光电二极管PD2可以是所述能够产生长曝光图像信号的光电二极管和能够产生短曝光图像信号的光电二极管中的另一者。
两个光电二极管PD1和PD2可形成在硅基底中，深沟槽隔离(DTI)可以形成在光电二极管PD1与PD2之间。例如，像素内DTI可以形成在两个光电二极管PD1和PD2之间，像素间DTI可以形成在两个像素之间。
金属布线、多层金属布线或布线层可以被形成在两个光电二极管PD1和PD2与滤色器之间形成的电路区域中。
透镜缓冲器或平坦化层可以形成在微透镜和滤色器之间。
图8示出根据示例实施例的包括四个光电二极管的像素的剖视图。如图8中所示，所述四个光电二极管是PD1至PD4。该像素可以是图1的R、G或B。
参照图4和图8，光电二极管PD1是光电二极管L1、S1、L2和S2中的一个，光电二极管PD2是光电二极管L1、S1、L2和S2中的另一个，光电二极管PD3是光电二极管L1、S1、L2和S2中的又一个，光电二极管PD4是光电二极管L1、S1、L2和S2中的余下的一个。
参照图5和图8，光电二极管PD1是光电二极管L1、L2、L3和S1中的一个，光电二极管PD2是光电二极管L1、L2、L3和S1中的另一个，光电二极管PD3是光电二极管L1、L2、L3和S1中的又一个，光电二极管PD4是光电二极管L1、L2、L3和S1中的余下的一个。
参照图6和图8，光电二极管PD1为光电二极管S1、S2、S3和L1中的一个，光电二极管PD2为光电二极管S1、S2、S3和L1中的另一个，光电二极管PD3为光电二极管S1、S2、S3和L1中的又一个，光电二极管PD4为光电二极管S1、S2、S3和L1中的余下的一个。
四个光电二极管PD1至PD4形成在硅基底中，对应的DTI(例如，像素内DTI)可以形成在两个光电二极管PD1和PD2之间、两个光电二极管PD2和PD3之间以及两个光电二极管PD3和PD4之间。像素间DTI可以形成在像素之间。
金属布线、多层金属布线或布线层可以形成在四个光电二极管PD1至PD4与滤色器之间形成的电路区域中。
透镜缓冲器或平坦化层可以形成在微透镜和滤色器之间。
图9示出根据示例实施例的包括两个光电二极管的像素(例如，PAF像素)的电路图。如图9中所示，所述两个光电二极管是PD1和PD2。参照图2、图3、图7和图9，该像素包括两个光电二极管PD1和PD2、两个传输晶体管TX1和TX2、重置晶体管RX、源极跟随器SF以及选择晶体管SX。
能够控制各晶体管TX1、TX2、RX和SX的各控制信号TG1、TG2、RST和SEL可以从行驱动器输出。选择晶体管SX的输出信号被供应到列线。
在图9中，为了便于描述，示出具有共用浮置扩散区(FD)的像素；然而，根据设计者的意图将长曝光和短曝光区别开来的像素可以不由各光电二极管PD1和PD2来共用一个浮置扩散区(FD)。
图10是根据示例实施例描述图9中示出的像素的操作的时序图。
参照图9和图10，当重置信号RS供应到重置晶体管RX的栅极时，浮置扩散区(FD)被重置晶体管RX重置。
当光电二极管PD1是能够产生长曝光图像信号的光电二极管，光电二极管PD2是能够产生短曝光图像信号的光电二极管时，由第一传输控制信号TG1确定的曝光时间或积分时间Tint1比由第二传输控制信号TG2确定的曝光时间或积分时间Tint2长。
图11是根据示例实施例的包括四个光电二极管的像素(例如，PAF像素)的电路图。如图11中所示，所述四个光电二极管是PD1至PD4。参照图4、图5、图6、图8和图11，该像素包括四个光电二极管PD1至PD4、四个传输晶体管TX1至TX4、重置晶体管RX、源极跟随器SF以及选择晶体管SX。
能控制各晶体管TX1至TX2、RX和SX的各控制信号TG1至TG4、RS和SEL可以从行驱动器输出。选择晶体管SX的输出信号被供应到列线。
在图11中，为了便于描述，示出具有共用的浮置扩散区(FD)的像素；然而，根据设计者的意图将长曝光和短曝光区别开来的像素可以不由各光电二极管PD1至PD4来共用一个浮置扩散区(FD)。
图12是根据示例实施例的描述在图11中示出的像素的操作的时序图。
参照图4、图11和图12，当将重置信号RS供应到重置晶体管RX的栅极时，浮置扩散区FD被重置晶体管RX重置。
当光电二极管PD1和PD3都是能产生长曝光图像信号的光电二极管(例如，L1和L2)，光电二极管PD2和PD4都是能产生短曝光图像信号的光电二极管(例如，S1和S2)时，由各第一传输信号TG1和TG3确定的曝光时间或积分时间Tint1比由各第二传输信号TG2和TG4确定的曝光时间或积分时间Tint2长。
图13是根据示例实施例的描述在图11中示出的像素的操作的另一时序图。参照图4至图6、图11以及图13，当将重置信号RX供应到重置晶体管RX的栅极时，浮置扩散区(FD)被重置晶体管RX重置。
由通过传输线传输的各个传输控制信号TG1至TG4确定的曝光时间或积分时间Tint11至Tint14可以彼此不同。
图14是根据示例实施例的包括图1的像素阵列的图像传感器的框图。
包括在像素阵列中的每个PAF像素P的结构与参照图2至图8描述的像素的结构基本相同。PAF像素P表示R像素、G像素或B像素。
布置在奇数行Row1、Row3……中的每个PAF像素P的输出信号被传输到底部模拟-数字转换器。从底部模拟-数字转换器输出的数字信号可以存储在对应的存储器或缓冲器中。
布置在偶数行Row2、Row4……中的每个PAF像素P的输出信号被传输到顶部模拟-数字转换器。从顶部模拟-数字转换器输出的数字信号可以存储在对应的存储器或缓冲器中。
如图14中所示，当每个像素P包括多个光电二极管时，可以设置能够传输N个控制信号的N条传输线，其中，所述N个控制信号控制包括在每个像素P中的所述多个光电二极管的曝光时间或积分时间。
图15是根据示例实施例的包括图1的像素阵列的图像传感器的另一框图。包括在像素阵列中的每个PAF像素P的结构与参照图2至图8描述的像素的结构基本相同。PAF像素P表示R像素、G像素或B像素。
布置在奇数行Row1、Row3……中的每个PAF像素P的输出信号被传输到第一模拟-数字转换器。从第一模拟-数字转换器输出的数字信号可以存储在对应的存储器或缓冲器中。存储器或缓冲器可以输出图像数据。
布置在偶数行Row2、Row4……中的每个PAF像素P的输出信号被传输到第二模拟-数字转换器。从第二模拟-数字转换器输出的数字信号可以存储在对应的存储器或缓冲器中。存储器或缓冲器可以输出图像数据。
如图15中所示，当每个像素P包括多个光电二极管时，可以设置能够传输N个控制信号的N条传输线，其中，所述N个控制信号控制包括在每个像素P中的所述多个光电二极管的曝光时间或积分时间。
图16是包括根据图1中示出的像素阵列的数据处理系统的示例实施例的框图。参照图1至图13以及图16，数据处理系统500可以被设置为以上描述的便携式电子装置。
数据处理系统500包括光学透镜503、CMOS图像传感器505、数据信号处理器(DSP)600和显示器640。
CMOS图像传感器505可以产生透过光学透镜503入射的目标501的图像数据IDATA。图像数据IDATA是与从多个光电二极管P输出的像素信号对应的数据。
CMOS图像传感器505包括像素阵列100、行驱动器520、读出电路525、时序产生器530、控制寄存块550、基准信号产生器560和缓冲器570。
像素阵列100包括多个像素P。可以利用CMOS制造工艺来制造CMOS图像传感器505的像素P。如参照图1至图13描述的，多个像素P中的每个像素P可以包括一个或更多个光电二极管。
像素阵列100包括以矩阵形状布置的像素P。像素P将像素信号传输到列线。
行驱动器520根据时序产生器530的控制，将用于控制每个像素P的操作的控制信号驱动到像素阵列100。
行驱动器520可以用作能够产生控制信号的控制信号产生器。例如，控制信号可以包括图9和图10中示出的控制信号RS、TG1、TG2和SEL，或者可以包括图11至图13中示出的控制信号RS、TG1至TG4以及SEL。
时序产生器530根据控制寄存块550的控制来控制行驱动器520、读出电路525和基准信号产生器560的操作。
读出电路525包括基于列的模拟-数字转换器526和基于列的存储器527。根据示例实施例，模拟-数字转换器526可以执行相关双采样(CDS)的功能。
读出电路525输出与从每个像素P输出的像素信号对应的数字图像信号。
控制寄存块550根据DSP600的控制而控制时序产生器530、基准信号产生器560和缓冲器570的操作。
缓冲器570将与从读出电路525输出的多个数字图像信号对应的图像数据IDATA传输到DSP600。
图像数据IDATA包括对应于长曝光图像信号的第一图像数据和对应于短曝光图像信号的第二图像数据。
DSP600包括图像信号处理器(ISP)610、传感器控制器620和接口630。ISP610对控制寄存块550和接口630的传感器控制器620进行控制。
根据示例实施例，CMOS图像传感器505和DSP600可以设置在一个封装件中，例如，多芯片封装件(MCP)。
CMOS图像传感器505和ISP610在图16中彼此分开；然而，ISP610可以被设置为CMOS图像传感器505的一部分。
ISP610对从缓冲器570传输的图像数据IDATA进行处理，并将处理后的图像数据传输到接口630。例如，ISP610可以对与从像素P输出的像素信号对应的图像数据IDATA进行插值，并产生插值后的图像数据。
传感器控制器620可以根据ISP610的控制来产生用于控制控制寄存块550的各种控制信号。
接口630可以将被ISP610处理过的图像数据(例如，插值后的图像数据)传输到显示器640。
显示器640可以显示从接口630输出的插值后的图像数据。显示器640可以被实现为薄膜晶体管-液晶显示器(TFT-LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器、有源矩阵OLED(AMOLED)显示器或柔性显示器。
图17是根据示例实施例的图16的图像信号处理器(ISP)的示意性框图。图18示出根据示例实施例的在图16中示出的CMOS图像传感器中一个扫描场期间的曝光时间和积累曝光量。图19示出根据示例实施例的长曝光图像信号的输入/输出亮度特性和短曝光图像信号的输入/输出亮度特性以描述对长曝光图像信号和短曝光图像信号的组合处理。
参照图17，图16的ISP610可以包括重构电路200和动态范围压缩电路220。
将参照图18A、图18B和图19描述操作重构电路200的方法。
参照图18A，执行根据T1秒(例如，1/60秒)的扫描场时间段而形成的T2秒长曝光和T3秒短曝光。根据示例实施例，可以改变长曝光时间和短曝光时间。
为了执行长曝光和短曝光，根据一个扫描场时间段内的行数来获得长曝光图像信号和短曝光图像信号。为了将长曝光信号和短曝光信号组合，根据一个扫描场时间段内的行数来产生被捕获的图像数据。
可以借助图17的重构电路200来执行长曝光图像信号和短曝光图像信号的组合。将参照图19来描述通过重构电路200的组合处理。
根据示例实施例，输入图像数据INPUT可以包括对应于第一图像数据的长曝光图像信号和对应于第二图像数据的短曝光图像信号。
在通过重构电路200进行组合处理时，可以由虚线表示的亮度阈值所指示的开关点处的开关信号或图像来产生组合信号或组合图像。
例如，将对应的长曝光图像信号施加到亮度电平比开关点的亮度电平低的像素信号，并将对应的短曝光图像信号施加到亮度电平比开关点的亮度电平高的像素信号。
通过将短曝光信号与曝光系数或增益相乘，来执行两个图像之间的电平匹配。例如，可以根据长曝光图像信号和短曝光图像信号之间的比例来确定曝光系数或增益。
当长曝光图像信号和短曝光图像信号之间的曝光比例为K:1时，短曝光图像信号的曝光是长曝光图像信号的曝光的1/K。长曝光图像信号的亮度电平是短曝光图像信号的亮度电平的K倍大。因此，可以通过将短曝光图像信号与增益K相乘来使两个电平匹配。
以这种方式，短曝光图像信号放大了K倍。结果，产生具有长曝光特性和组合信号特性的组合图像。
即，如参照图19所述的那样，重构电路200将输入图像数据INPUT组合，并输出组合图像OUTPUT1。重构电路200可以执行把通过短曝光获得的短曝光图像信号(即，短曝光图像)与通过长曝光获得的长曝光图像信号(即，长曝光图像)进行线性组合的功能。
重构电路200将短曝光图像与曝光系数相乘，然后将长曝光图像和由相乘产生的图像进行线性组合而产生线性图像OUTPUT1。例如，当对应于长曝光图像信号的第一图像数据为M比特(例如，14比特)，对应于短曝光图像信号的第二图像数据为M比特(例如，14比特)时，第一图像数据和第二图像数据在某个部分中相互叠置，叠置后的组合图像OUTPUT1变成小于2M比特。例如，叠置后的组合图像OUTPUT1可以为14比特。这里，每个比特数指与从每个像素输出的每个像素信号对应的图像数据的比特数。
动态范围压缩电路220将叠置后的组合图像OUTPUT1的比特数(例如14比特)降低到用于显示标准或输出标准的比特数(例如，10比特)，并输出具有低比特数的图像OUTPUT2。例如，动态范围压缩电路220利用诸如公知的伽玛连接(例如，以本地法或全局法来实现)的曲线来减少组合图像OUTPUT1的比特数，并输出比特数减少的输出图像OUTPUT2。例如，动态范围压缩电路220可以执行压缩组合图像OUTPUT1的动态范围的作用。
图18B描述卷帘快门(rollingshutter)法，在图18B中可以彼此叠置地进行长曝光和短曝光。T2和T3可以取决于行的数量。
图20是根据本发明构思的示例实施例的数据处理装置的框图。参照图20，数据处理装置400可以包括图像传感器300和处理电路305。
数据处理装置400可以是移动计算装置。移动计算装置可以是膝上型计算机、移动电话、智能手机、平板PC、个人数字助理(PDA)、企业数字助理(EDA)、数字静物照相机、数字视频摄录机、便携式多媒体播放器(PMP)、个人导航设备或便携式导航设备(PND)、掌上游戏机、移动互联网设备(MID)、可穿戴计算机、物联网(IoT)设备、万物联网(IoE)设备、电子书或者无人飞行器(drone)。
图像传感器300可以是图像传感器芯片或图像传感器封装件。例如，图像传感器芯片可以利用CMOS工艺来制造。图像传感器300可以包括像素阵列301和图像数据处理电路302。像素阵列301的结构可以与图16的像素阵列100的结构基本相同或相似。图像传感器300可以是图16的CMOS图像传感器505。
像素阵列301可以包括二维阵列的像素P以捕获图像。包括在像素阵列301中的多个像素P中的每个像素P可以包括多个光电转换元件。每个像素P可以包括如图7中示出的第一光电转换元件PD1和第二光电转换元件PD2。如图20中所示，当包括在像素阵列301中的多个像素P中的每个像素P包括多个光电转换元件时，像素阵列301可称作全PAF像素阵列。
第一光电转换元件PD1和第二光电转换元件PD2中的一个可以产生长曝光图像信号，第一光电转换元件PD1和第二光电转换元件PD2中的另一个可以产生短曝光图像信号。包括在像素阵列301中的各包括两个光电转换元件PD1和PD2的每个像素P示出在图20中；然而，如图8中所示，包括在像素阵列301中的各像素P可以包括四个光电转换元件PD1至PD4。
图像传感器300还可以包括行驱动器(例如，图16的520)，行驱动器能够独立地控制包括在每个像素P中的各个光电转换元件PD1和PD2的曝光时间。
图像传感器300可以是多光电二极管PAF传感器，并且该多光电二极管PAF传感器的输出信号(即，从包括在每个像素P中的多个光电转换元件(例如，光电二极管)输出的信号)可以是相位差信号。如参照图1至图10所描述的，每个像素P可以包括彼此独立地操作且具有不同曝光时间或积分时间的多个光电二极管。
图像数据处理电路302可以根据从像素P输出的像素信号产生图像数据。例如，图像数据处理电路302可以包括图16中示出的元件520、525、530、550、560和570。
处理电路305可以包括颜色数据处理电路310、深度数据处理电路320和输出控制电路321。
颜色数据处理电路310可以从图像数据处理电路302输出的图像数据中提取颜色数据CDATA，并输出提取的颜色数据CDATA。所述图像数据可以包括从像素P输出的对应于长曝光图像信号的长曝光图像数据LDATA和从像素P输出的对应于短曝光图像信号的短曝光图像数据SDATA。例如，当应用WDR时，图像传感器300可以输出长曝光图像数据LDATA和短曝光图像数据SDATA。
深度数据处理电路320可以从图像数据处理电路302输出的图像数据中提取深度数据DDATA，并输出提取的深度数据DDATA。
颜色数据处理电路310可以使用图像数据LDATA和SDATA中的每个图像数据基于像素来执行用于图像数据优化的处理(例如，预处理和/或主颜色数据处理)。预处理可以在处理主颜色数据(例如，RGB数据)之前校正在CMOS图像传感器的制造过程中产生的问题。所述校正可以包括透镜阴影校正和/或坏像素校正。主颜色数据处理可以包括插值、降噪、边缘锐化、色彩校正和/或伽玛处理。
深度数据处理电路320可以称作PAF数据处理电路320。深度数据处理电路320可以使用图像数据LDATA和SDATA中的每个图像数据基于像素来执行深度数据优化的处理。深度数据处理电路320可以进行相位差自动对焦处理，并执行从图像数据LDATA和SDATA中的每个图像数据中提取差值数据的功能。所述差值数据可以是深度数据。例如，差值数据可以是通过包括在像素P中的光电转换元件获取的一个点的图像数据。深度数据处理电路320可以执行一系列处理(例如，降噪)，从而得到差值数据。
图21是根据示例实施例的描述根据像素的位置的差值数据的概念图。参照图21，可以基于长曝光图像数据LDATA和短曝光图像数据SDATA来确定针对第一像素位置PT1的第一差值数据D1。另外，可以基于长曝光图像数据LDATA和短曝光图像数据SDATA来确定针对第二像素位置PT2的第二差值数据D2。
例如，可由S比特表示图像数据D1和D2中的每个图像数据。此时，S是大于或等于2的自然数。例如，当由8比特表示图像数据D1和D2中的每个图像数据时，可以通过长曝光图像数据LDATA的第一数据值与短曝光图像数据SDATA的第二数据值之间的差来确定差值。
可以以流水线结构实现处理电路310和320中的每个处理电路。
输出控制电路321可以响应于控制信号CTRL而控制颜色数据CDATA和深度数据DDATA的输出方法和输出时序。输出方法可以是并行输出法或串行输出法。输出时序可以指颜色数据CDATA和深度数据DDATA中的哪一个首先输出。将参照图22至图27详细描述输出方法和输出时序。
图22至图27是根据示例实施例的从图20中示出的处理电路输出的颜色数据和深度数据的时序图。参照图20和图22，输出控制电路321可以响应于控制信号CTRL以并行方式输出与同步信号Hsync同步的颜色数据CDATA和深度数据DDATA。例如，输出控制电路321可以在第一节(或间隔)中以并行方式输出与同步信号Hsync同步的第一颜色数据L1-COLORDATA和第一深度数据L1-DEPTHDATA。
另外，输出控制电路321可以在第二节中以并行方式输出与同步信号Hsync同步的第二颜色数据L2-COLORDATA和第二深度数据L2-DEPTHDATA。另外，输出控制电路321可以在第三节中以并行方式输出与同步信号Hsync同步的第三颜色数据L3-COLORDATA和第三深度数据L3-DEPTHDATA。每节可以是一个水平时间1H，同步信号Hsync可以是水平同步信号。例如，所述一个水平时间1H可以定义为用于输出对应于一条线的线数据的时间。
参照图20和图23，输出控制电路321可以响应于控制信号CTRL利用同步信号Hsync以串行方式输出颜色数据CDATA和深度数据DDATA。例如，输出控制电路321可以在第一节中输出第一颜色数据L1-COLORDATA和第一深度数据L1-DEPTHDATA。输出控制电路321可以在第二节中输出第二颜色数据L2-COLORDATA和第二深度数据L2-DEPTHDATA。输出控制电路321可以在第三节中输出第三颜色数据L3-COLORDATA和第三深度数据L3-DEPTHDATA。此时，颜色数据的大小可以大于深度数据的大小。
参照图20和图24，输出控制电路321可以响应于控制信号CTRL利用同步信号Hsync以串行方式输出深度数据DDATA和颜色数据CDATA。例如，输出控制电路321可以在第一节中先于第一颜色数据L1-COLORDATA输出第一深度数据L1-DEPTHDATA。输出控制电路321可以在第二节中先于第二颜色数据L2-COLORDATA输出第二深度数据L2-DEPTHDATA。输出控制电路321可以在第三节中先于第三颜色数据L3-COLORDATA输出第三深度数据L3-DEPTHDATA。即，输出控制电路321可以响应于控制信号CTRL确定深度数据DDATA和颜色数据CDATA的输出顺序。
参照图20和图25，输出控制电路321可以响应于控制信号CTRL利用同步信号Hsync输出对应于与A条线对应的每个颜色数据L1-COLORDATA和L2-COLORDATA的与B条线对应的深度数据。此时，A和B中的每个可以是等于或大于2的自然数，A和B可以是同一自然数或不同的自然数。其中，A可以等于或大于B。
参照图20和图26，输出控制电路321可以响应于控制信号CTRL以串行方式基于像素输出颜色数据PC1和PC2与深度数据PD1和PD2。即，输出控制电路321可以基于像素交替地输出颜色数据和深度数据。
参照图20和图27，输出控制电路321可以响应于控制信号CTRL以串行方式输出对应于与C个像素对应的每个颜色数据PC1和PC2的与D个像素对应的深度数据DD1。此时，C和D中的每个可以是大于或等于2的自然数，C和D可以是同一自然数或不同的自然数。其中，C可以等于或大于D。
输出控制电路321可以基于线或像素来交替地输出颜色数据CDATA和深度数据DDATA。另外，输出控制电路321可以将颜色数据CDATA和深度数据DDATA混合并输出。如参照图22至图27描述的，输出控制电路321可以响应于控制信号CTRL控制输出方法和/或输出时序。
图28是示出包括图20中示出的处理电路的数据处理装置的示例实施例的框图。数据处理装置400A可以包括图像传感器300、处理电路305和应用处理器410。图像传感器300可以是第一半导体芯片，处理电路305可以是第二半导体芯片，应用处理器410可以是第三半导体芯片。应用处理器410可以处理从处理电路305输出的颜色数据CDATA和深度数据DDATA。
图29是示出包括图20中示出的处理电路的数据处理装置的另一示例实施例的框图。数据处理装置400B可以包括具有图像传感器300和处理电路305的成像装置300A和应用处理器410。例如，图像传感器300和处理电路305可以集成到同一半导体芯片中。例如，图像传感器300是第一半导体芯片，处理电路305是第二半导体芯片，图像传感器300和处理电路305可以封装到一个半导体封装件中。应用处理器410可以处理从处理电路305输出的颜色数据CDATA和深度数据DDATA。
图30是示出包括图20中示出的处理电路的数据处理装置的示例实施例的框图。数据处理装置400C可以包括图像传感器300和具有处理电路305的应用处理器410A。当处理电路305是第一半导体芯片，第二处理电路420是第二半导体芯片时，应用处理器410A可以是芯片上系统(SoC)。
另外，处理电路305和第二处理电路420可以作为应用处理器410A的元件而共用一个半导体基底。第二处理电路420可以是图像信号处理器或多媒体处理电路(例如，编码解码器)；然而，第二处理电路420不限于此。
图31是根据本发明构思的示例实施例的用于提高分辨率的概念图。设置在图31中的各像素R1、G1、R2、G2、G3、B1、G4或B2可以对应于图1中示出的各像素R、G、B和G。
在图31中示出的像素R1、G1、R2、G2、G3、B1、G4和B2中的每个像素可以包括彼此独立地操作的两个光电二极管L和S。
在图31中，L可以是能够产生长曝光图像信号的光电二极管，S可以是能够产生短曝光图像信号的光电二极管。
当各像素R1、G1、R2、G2、G3、B1、G4和B2在CMOS图像传感器505的像素阵列100中时，读出电路525输出与从像素R1、G1、R2、G2、G3、B1、G4和B2中的每个像素输出的像素信号对应的数字图像信号。像素R1、G1、R2、G2、G3、B1、G4和B2中的每个像素对应于像素P。
缓冲器570将与从读出电路525输出的多个数字图像信号对应的图像数据IDATA传输到ISP610。图像数据IDATA包括对应于长曝光图像信号的第一图像数据和对应于短曝光图像信号的第二图像数据。
ISP610可以利用与各像素R1、G1、R2、G2、G3、B1、G4和B2的像素信号对应的图像数据IDATA来产生插值后的图像数据。
根据示例实施例，图像数据IDATA可以是图17的动态范围压缩电路220的输出信号OUTPUT2。根据另一示例实施例，图像数据IDATA可以是包括图20的颜色数据处理电路310的输出数据(颜色数据)和PAF数据处理电路320的输出数据(深度数据)的数据。
例如，ISP610可以产生与红像素R1对应的红色信号或红色数据，通过对与从至少一个周围的绿像素输出的像素信号对应的图像数据进行插值来产生对应于该红像素R1的绿色信号或绿色数据，并通过对与从至少一个蓝像素B1输出的像素信号对应的图像数据进行插值来产生对应于该红像素R1的蓝色信号或蓝色数据。
根据示例实施例，用于插值的像素的数量可以有多种变化。
例如，ISP610可以产生与绿像素G1对应的绿色信号或绿色数据，通过对与从至少一个周围的红像素输出的像素信号对应的图像数据进行插值来产生对应于该绿像素G1的红色信号或红色数据，并通过对与从至少一个周围的蓝像素B1输出的像素信号对应的图像数据进行插值来产生对应于该绿像素G1的蓝色信号或蓝色数据。
另外，ISP610可以利用与周围的像素R1、G1、G3和B1的像素信号对应的图像数据对组合像素CB1执行插值。这里，组合像素CB1可以是包括红像素R1的S和绿像素G1的L的虚拟像素。
例如，ISP610可以通过对与从红像素R1的S输出的像素信号对应的图像数据进行插值来产生组合像素CB1的红色信号，通过对与从绿像素G1的L输出的像素信号对应的图像数据进行插值来产生组合像素CB1的绿色信号，并通过对与从蓝像素B1输出的像素信号对应的图像数据进行插值来产生组合像素CB1的蓝色信号。
例如，ISP610可以通过对与从绿像素G4的S输出的像素信号对应的图像数据进行插值来产生组合像素CB6的绿色信号，通过对与从蓝像素B2的L输出的像素信号对应的图像数据进行插值来产生组合像素CB6的蓝色信号，并通过对与从红像素R2输出的像素信号对应的图像数据进行插值来产生组合像素CB6的红色信号。
上述示例实施例仅描述了对组合像素CB1和CB6的插值，但是本发明构思的技术思想不限于所描述的示例实施例。
与已知的插值法相比，没有执行针对组合像素CB1至CB6中的每个组合像素的插值。然而，在本发明构思的示例实施例中，能够通过针对与从各组合像素CB1至CB6的周围像素输出的像素信号对应的图像数据进行插值来产生对各组合像素CB1至CB6插值后的红色信号、绿色信号和蓝色信号。
按照与上述方式相同的方式，由于执行了针对组合像素的插值，因此能够提高CMOS图像传感器的分辨率。
用于针对组合像素的插值的像素数量和插值方法可以根据示例实施例作出各种改变。
图32是根据本发明构思的另一示例实施例的用于提高分辨率的概念图。设置在图32中的各像素G1、R1、B1或G2可以对应于图1中示出的各像素R、G、B和G。
在图32中示出的像素G1、R1、B1和G2中的每个像素可以包括彼此独立地操作的四个光电二极管L1、L2、S1和S2。
在图32中，L1和L2中的每个可以是能够产生长曝光图像信号的光电二极管，S1和S2中的每个可以是能够产生短曝光图像信号的光电二极管。
当像素G1、R1、B1和G2中的每个像素位于图16的CMOS图像传感器505的像素阵列100中时，读出电路525输出与从各像素G1、R1、B1和G2输出的像素信号对应的数字图像信号。像素G1、R1、B1和G2中的每个像素对应于像素P。
缓冲器570将与从读出电路525输出的多个数字图像信号对应的图像数据IDATA传输到ISP610。图像数据IDATA包括对应于长曝光图像信号的第一图像数据和对应于短曝光图像信号的第二图像数据。
ISP610可以利用与各像素G1、R1、B1和G2的像素信号对应的图像数据IDATA来产生插值后的图像数据。
根据示例实施例，图像数据IDATA可以是图17的动态范围压缩电路220的输出信号OUTPUT2。根据另一示例实施例，图像数据IDATA可以是包括图20的颜色数据处理电路310的输出数据(颜色数据)和PAF数据处理电路320的输出数据(深度数据)。
例如，ISP610可以根据绿像素G1产生绿色信号，通过对与从至少一个周围的红像素R1输出的像素信号对应的图像数据进行插值来产生对应于该绿像素G1的红色信号，并通过对与从至少一个周围的蓝像素B1输出的像素信号对应的图像数据进行插值来产生对应于该绿像素G1的蓝色信号。
根据示例实施例，用于插值所必需的像素数量可以做出各种改变。
另外，ISP610可以利用与像素G1、R1、B1和G2的像素信号对应的图像数据来执行对组合像素CB11的插值。这里，组合像素CB11可以是包括绿像素G1的S1和S2与红像素R1的L1和L2的虚拟像素。
例如，ISP610可以通过针对与从绿像素G1的S1和S2输出的像素信号对应的图像数据进行插值来产生组合像素CB11的绿色信号，通过针对与从红像素R1的L1和L2输出的像素信号对应的图像数据进行插值来产生组合像素CB11的红色信号，并通过针对与从蓝像素B1输出的像素信号对应的图像数据进行插值来产生组合像素CB11的蓝色信号。
例如，ISP610可以通过针对与从绿像素G1的L2和S2输出的像素信号对应的图像数据进行插值来产生组合像素CB13的绿色信号，通过针对与从蓝像素B1的L1和S1输出的像素信号对应的图像数据进行插值来产生组合像素CB13的蓝色信号，并通过针对与从红像素R1输出的像素信号对应的图像数据进行插值来产生组合像素CB13的红色信号。
上述示例实施例仅描述了对组合像素CB11和CB13的插值，但是本发明构思的技术思想不限于所描述的示例实施例。
在相关技术的插值法中，要执行对组合像素CB11至CB14中的每个组合像素的插值。然而，在本发明构思的示例实施例中，能够通过针对与从各组合像素CB11至CB14的周围像素输出的像素信号对应的图像数据进行插值来产生对各组合像素CB11至CB14插值后的红色信号、绿色信号和蓝色信号。
按照与上述方式相同的方式，由于执行了针对组合像素的插值，因此能够提高CMOS图像传感器的分辨率。
对组合像素进行插值所必需的像素数量和插值方法可以根据示例实施例作出各种改变。
图21和图22仅为示例实施例。然而，可以根据如何限定组合像素来确定对组合像素的插值方法。
虽然已经示出和描述了本发明构思的若干示例实施例，但本领域技术人员将领会的是，在不脱离总体发明构思的原理和精神的情况下，可以在这些示例实施例中作出变化，发明构思的范围由权利要求及其等同物限定。

Claims (25)

1.一种图像处理装置，所述图像处理装置包括：
像素阵列，包括二维布置的像素并被配置成捕获图像，所述像素中的每个像素包括多个光电转换元件；
图像数据处理电路，被配置成由从所述像素输出的像素信号来产生图像数据；
颜色数据处理电路，被配置成从所述图像数据提取颜色数据并输出提取的颜色数据；
深度数据提取电路，被配置成从所述图像数据提取深度数据并输出提取的深度数据；以及
输出控制电路，被配置成控制所述颜色数据和所述深度数据的输出。
2.根据权利要求1所述的图像处理装置，其中，图像处理装置被实现在一个CMOS图像传感器芯片中。
3.根据权利要求1所述的图像处理装置，其中，所述像素阵列和所述图像数据处理电路被集成到第一芯片中，所述颜色数据处理电路、所述深度数据提取电路和所述输出控制电路被集成到第二芯片中。
4.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：
应用处理器，被配置成控制所述颜色数据处理电路、所述深度数据提取电路和所述输出控制电路的操作。
5.根据权利要求1所述的图像处理装置，其中，所述图像数据包括长曝光图像数据和短曝光图像数据。
6.根据权利要求1所述的图像处理装置，其中，所述输出控制电路被配置成以并行方式基于线来输出颜色数据和深度数据。
7.根据权利要求1所述的图像处理装置，其中，所述输出控制电路被配置成确定颜色数据和深度数据的输出顺序。
8.根据权利要求1所述的图像处理装置，其中，所述输出控制电路被配置成以串行方式输出颜色数据和深度数据。
9.根据权利要求8所述的图像处理装置，其中，所述输出控制电路被配置成在一个水平时间段期间以串行方式输出大小彼此不同的颜色数据和深度数据。
10.根据权利要求8所述的图像处理装置，其中，
所述输出控制电路被配置成以串行方式输出对应于第一线数的颜色数据和对应于第二线数的深度数据，
所述第一线数和所述第二线数中的每个为自然数，并且
所述第一线数等于或大于所述第二线数。
11.根据权利要求8所述的图像处理装置，其中，
所述输出控制电路被配置成以串行方式输出对应于第一像素数的颜色数据和对应于第二像素数的深度数据，
所述第一像素数和所述第二像素数中的每个为自然数，并且
所述第一像素数等于或大于所述第二像素数。
12.一种移动计算装置，所述移动计算装置包括：
图像传感器，被构造成产生图像数据，所述图像传感器包括像素阵列和图像数据处理电路，所述像素阵列包括二维布置的像素并被构造成捕获图像，所述像素中的每个像素包括多个光电转换元件，所述图像数据处理电路被配置成由从所述像素输出的像素信号产生图像数据；以及
处理电路，被配置成处理所述图像数据，所述处理电路包括颜色数据处理电路、深度数据提取电路和输出控制电路，所述颜色数据处理电路被配置成从所述图像数据提取颜色数据并输出提取的颜色数据，所述深度数据提取电路被配置成从所述图像数据提取深度数据并输出提取的深度数据，所述输出控制电路被配置成控制所述颜色数据和所述深度数据的输出。
13.根据权利要求12所述的移动计算装置，其中，所述图像数据包括长曝光图像数据和短曝光图像数据，所述长曝光图像数据与从包括在所述多个像素中的每个像素中的第一光电转换元件输出的第一像素信号对应，所述短曝光图像数据与从包括在所述多个像素中的每个像素中的第二光电转换元件输出的第二像素信号对应。
14.根据权利要求12所述的移动计算装置，其中，所述输出控制电路被配置成以并行方式基于线来输出颜色数据和深度数据。
15.根据权利要求12所述的移动计算装置，其中，所述输出控制电路被配置成确定颜色数据和深度数据的输出顺序。
16.根据权利要求12所述的移动计算装置，其中，所述输出控制电路被配置成以串行方式输出颜色数据和深度数据。
17.根据权利要求16所述的移动计算装置，其中，所述输出控制电路被配置成在一个水平时间期间以串行方式输出大小不同的颜色数据和深度数据。
18.根据权利要求16所述的移动计算装置，其中，
所述输出控制电路被配置成以串行方式输出对应于第一线数的颜色数据和对应于第二线数的深度数据，
所述第一线数和所述第二线数中的每个为自然数，并且
所述第一线数等于或大于所述第二线数。
19.根据权利要求16所述的移动计算装置，其中，
所述输出控制电路被配置成输出对应于第一像素数的颜色数据和对应于第二像素数的深度数据，
所述第一像素数和所述第二像素数中的每个为自然数，并且
所述第一像素数等于或大于所述第二像素数。
20.根据权利要求12所述的移动计算装置，其中，所述移动计算装置还包括应用处理器，所述应用处理器具有被配置成处理从输出控制电路输出的颜色数据和深度数据的另一个处理电路，并且
所述另一个处理电路集成在图像传感器和应用处理器中的至少一个中。
21.一种图像处理装置，所述图像处理装置包括：
存储器，被配置成存储计算机可读指令；以及
处理器，被配置成执行所述计算机可读指令，从而
由与具有多个光电转换元件的像素阵列的像素关联的像素信号产生图像数据，
从所述图像数据提取颜色数据和深度数据，并且
输出所述颜色数据和所述深度数据。
22.根据权利要求21所述的图像处理装置，其中，所述像素阵列为相位差自动对焦像素阵列。
23.根据权利要求21所述的图像处理装置，其中，所述图像数据包括长曝光图像数据和短曝光图像数据，相比于与所述短曝光图像数据关联的像素信号，所述长曝光图像数据对应于与曝光时间较长的像素关联的像素信号。
24.根据权利要求23所述的图像处理装置，其中，
所述多个光电转换元件中的至少一个第一光电转换元件被构造成产生长曝光图像数据，并且
所述多个光电转换元件中的至少一个第二光电转换元件被构造成产生短曝光图像数据。
25.根据权利要求23所述的图像处理装置，其中，所述处理器还被配置成在利用长曝光图像数据和短曝光图像数据提取颜色数据之前，对图像数据进行处理，所述处理包括降噪处理、边缘锐化处理、颜色校正处理和伽玛处理中的至少一种。
CN201510209510.4A 2014-04-28 2015-04-28 图像处理装置和具有该图像处理装置的移动计算装置 Active CN105049754B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910602494.3A CN110266976B (zh) 2014-04-28 2015-04-28 图像处理装置和具有该图像处理装置的移动计算装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201461985019P 2014-04-28 2014-04-28
US61/985,019 2014-04-28
KR10-2015-0021547 2015-02-12
KR1020150021547A KR102288164B1 (ko) 2014-04-28 2015-02-12 이미지 처리 장치와 이를 포함하는 모바일 컴퓨팅 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910602494.3A Division CN110266976B (zh) 2014-04-28 2015-04-28 图像处理装置和具有该图像处理装置的移动计算装置

Publications (2)

Publication Number Publication Date
CN105049754A true CN105049754A (zh) 2015-11-11
CN105049754B CN105049754B (zh) 2020-02-18

Family

ID=54336005

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910602494.3A Active CN110266976B (zh) 2014-04-28 2015-04-28 图像处理装置和具有该图像处理装置的移动计算装置
CN201510209510.4A Active CN105049754B (zh) 2014-04-28 2015-04-28 图像处理装置和具有该图像处理装置的移动计算装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910602494.3A Active CN110266976B (zh) 2014-04-28 2015-04-28 图像处理装置和具有该图像处理装置的移动计算装置

Country Status (2)

Country Link
US (5) US9491442B2 (zh)
CN (2) CN110266976B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109672876A (zh) * 2017-10-17 2019-04-23 福州瑞芯微电子股份有限公司 深度图处理装置及深度图处理单元

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9711553B2 (en) * 2014-04-28 2017-07-18 Samsung Electronics Co., Ltd. Image sensor including a pixel having photoelectric conversion elements and image processing device having the image sensor
CN104104886B (zh) * 2014-07-24 2016-07-06 努比亚技术有限公司 过曝拍摄方法及装置
US9729806B2 (en) * 2015-01-06 2017-08-08 Semiconductor Components Industries, Llc Imaging systems with phase detection pixels
KR20160123757A (ko) * 2015-04-17 2016-10-26 삼성전자주식회사 이미지 촬영 장치 및 이미지 촬영 방법
US10827139B2 (en) 2015-08-18 2020-11-03 Sri International Multiple window, multiple mode image sensor
US10257448B1 (en) * 2015-08-18 2019-04-09 Sri International Extended dynamic range imaging sensor and operating mode of the same
KR102536083B1 (ko) * 2015-12-24 2023-05-24 삼성전자주식회사 이미징 장치, 전자 장치 및 그의 이미지 획득 방법
JP6937736B2 (ja) * 2016-02-15 2021-09-22 ヌヴォトンテクノロジージャパン株式会社 固体撮像装置および撮像装置
JP6688165B2 (ja) * 2016-06-10 2020-04-28 キヤノン株式会社 撮像装置及び撮像システム
CN110024377B (zh) * 2016-11-24 2022-03-18 索尼半导体解决方案公司 固态成像元件、固态成像装置和固态成像元件的控制方法
JP6960745B2 (ja) * 2017-02-16 2021-11-05 キヤノン株式会社 焦点検出装置及びその制御方法、プログラム、記憶媒体
US20180301484A1 (en) * 2017-04-17 2018-10-18 Semiconductor Components Industries, Llc Image sensors with high dynamic range and autofocusing hexagonal pixels
KR102354991B1 (ko) 2017-05-24 2022-01-24 삼성전자주식회사 픽셀 회로 및 이를 포함하는 이미지 센서
US10686996B2 (en) 2017-06-26 2020-06-16 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10598546B2 (en) 2017-08-17 2020-03-24 Facebook Technologies, Llc Detecting high intensity light in photo sensor
JP2019140528A (ja) 2018-02-09 2019-08-22 ソニーセミコンダクタソリューションズ株式会社 撮像装置、及び電子機器
US11889214B2 (en) * 2018-03-30 2024-01-30 Nikon Corporation Image sensor and imaging device
US11906353B2 (en) 2018-06-11 2024-02-20 Meta Platforms Technologies, Llc Digital pixel with extended dynamic range
US11463636B2 (en) 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US10897586B2 (en) 2018-06-28 2021-01-19 Facebook Technologies, Llc Global shutter image sensor
US10931884B2 (en) 2018-08-20 2021-02-23 Facebook Technologies, Llc Pixel sensor having adaptive exposure time
US11956413B2 (en) 2018-08-27 2024-04-09 Meta Platforms Technologies, Llc Pixel sensor having multiple photodiodes and shared comparator
US11595602B2 (en) 2018-11-05 2023-02-28 Meta Platforms Technologies, Llc Image sensor post processing
JPWO2020170565A1 (ja) * 2019-02-19 2021-12-16 ソニーセミコンダクタソリューションズ株式会社 信号処理方法および撮像装置
US11218660B1 (en) 2019-03-26 2022-01-04 Facebook Technologies, Llc Pixel sensor having shared readout structure
US11943561B2 (en) 2019-06-13 2024-03-26 Meta Platforms Technologies, Llc Non-linear quantization at pixel sensor
US11936998B1 (en) 2019-10-17 2024-03-19 Meta Platforms Technologies, Llc Digital pixel sensor having extended dynamic range
KR20210047738A (ko) 2019-10-22 2021-04-30 삼성전자주식회사 복수의 af 픽셀 그룹들을 포함하는 이미지 센서
US11356626B2 (en) * 2020-04-22 2022-06-07 Omnivision Technologies, Inc. Flexible exposure control for image sensors with phase detection auto focus pixels
US11902685B1 (en) 2020-04-28 2024-02-13 Meta Platforms Technologies, Llc Pixel sensor having hierarchical memory
US11910114B2 (en) 2020-07-17 2024-02-20 Meta Platforms Technologies, Llc Multi-mode image sensor
US11956560B2 (en) 2020-10-09 2024-04-09 Meta Platforms Technologies, Llc Digital pixel sensor having reduced quantization operation
WO2022109802A1 (en) * 2020-11-24 2022-06-02 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Color imaging system
KR20220144087A (ko) * 2021-04-19 2022-10-26 삼성전자주식회사 이미지 센서 및 이미지 센싱 시스템
US11375150B1 (en) * 2021-06-08 2022-06-28 Omnivision Technologies, Inc. Image sensor with three readout approach for phase detection auto focus and image sensing photodiodes
US11818465B2 (en) * 2022-01-10 2023-11-14 Gopro, Inc. Systems, apparatus, and methods for stabilization and blending of exposures

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1085751A2 (en) * 1999-09-13 2001-03-21 Canon Kabushiki Kaisha Image pickup apparatus
US20040096124A1 (en) * 2002-11-15 2004-05-20 Junichi Nakamura Wide dynamic range pinned photodiode active pixel sensor (aps)
CN101365069A (zh) * 2007-06-29 2009-02-11 豪威科技有限公司 具有图像浮散漏极的、高动态范围的传感器
CN101635860A (zh) * 2008-07-25 2010-01-27 三星电子株式会社 成像方法和设备
US20130123015A1 (en) * 2011-11-15 2013-05-16 Samsung Electronics Co., Ltd. Image sensor, operation method thereof and apparatuses incuding the same
CN103297723A (zh) * 2012-03-01 2013-09-11 佳能株式会社 成像设备、成像系统及其驱动方法
US20130258098A1 (en) * 2012-03-29 2013-10-03 Canon Kabushiki Kaisha Imaging apparatus and camera system

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2817581B2 (ja) * 1993-08-02 1998-10-30 日本電気株式会社 固体撮像装置
JPH08172635A (ja) * 1994-12-16 1996-07-02 Minolta Co Ltd 撮像装置
CA2390072C (en) 2002-06-28 2018-02-27 Adrian Gh Podoleanu Optical mapping apparatus with adjustable depth resolution and multiple functionality
TW201101476A (en) * 2005-06-02 2011-01-01 Sony Corp Semiconductor image sensor module and method of manufacturing the same
JP4357471B2 (ja) * 2005-09-30 2009-11-04 三洋電機株式会社 画像取得装置及びプログラム
US8488868B2 (en) * 2007-04-03 2013-07-16 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
JP5050928B2 (ja) 2008-02-28 2012-10-17 ソニー株式会社 撮像装置および撮像素子
JP5230388B2 (ja) 2008-12-10 2013-07-10 キヤノン株式会社 焦点検出装置及びその制御方法
JP2010169709A (ja) 2009-01-20 2010-08-05 Sony Corp 撮像素子および撮像装置
US8570427B2 (en) 2009-01-28 2013-10-29 Nikon Corporation Image-capturing device having focus adjustment function, image creation method including focus adjustment function, and program product for image-capturing device having focus adjustment function
JP2010252277A (ja) 2009-04-20 2010-11-04 Panasonic Corp 固体撮像装置及び電子カメラ
JP2011221253A (ja) 2010-04-08 2011-11-04 Sony Corp 撮像装置、固体撮像素子、撮像方法およびプログラム
CN102823236B (zh) * 2010-06-09 2016-01-20 富士胶片株式会社 成像装置以及图像处理方法
JP5697433B2 (ja) 2010-12-22 2015-04-08 キヤノン株式会社 画像処理装置及び画像処理方法
JP5742313B2 (ja) 2011-03-10 2015-07-01 株式会社ニコン 撮像装置
JP5927570B2 (ja) * 2011-04-22 2016-06-01 パナソニックＩｐマネジメント株式会社 ３次元撮像装置、光透過部、画像処理装置、およびプログラム
KR101777351B1 (ko) 2011-05-16 2017-09-11 삼성전자주식회사 촬상 소자, 이를 이용한 디지털 촬영 장치, 오토 포커싱 방법, 및 상기 방법을 수행하기 위한 컴퓨터 판독가능 저장매체
JP5406889B2 (ja) * 2011-07-01 2014-02-05 キヤノン株式会社 撮像装置及びその制御方法
KR101680186B1 (ko) * 2011-08-30 2016-11-28 삼성전자주식회사 영상 촬영 장치 및 그 제어 방법
JP5784426B2 (ja) * 2011-09-06 2015-09-24 オリンパス株式会社 撮像装置
US8916873B2 (en) * 2011-09-14 2014-12-23 Infineon Technologies Ag Photodetector with controllable spectral response
KR20130038035A (ko) * 2011-10-07 2013-04-17 삼성전자주식회사 촬상소자
US9167228B2 (en) 2012-01-03 2015-10-20 Lawrence Maxwell Monari Instrumented sports paraphernalia system
JP6172888B2 (ja) * 2012-01-18 2017-08-02 キヤノン株式会社 撮像装置および撮像システム
US9554115B2 (en) * 2012-02-27 2017-01-24 Semiconductor Components Industries, Llc Imaging pixels with depth sensing capabilities
JP5943655B2 (ja) 2012-03-12 2016-07-05 キヤノン株式会社 画像処理装置、焦点検出装置、および、画像処理プログラム
JP2013222016A (ja) 2012-04-16 2013-10-28 Nikon Corp 焦点検出装置および撮像装置
JP6013039B2 (ja) * 2012-06-25 2016-10-25 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置およびその制御方法、並びに、電子機器
KR101896666B1 (ko) * 2012-07-05 2018-09-07 삼성전자주식회사 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템
KR20150102209A (ko) * 2014-02-28 2015-09-07 삼성전자주식회사 이미지 처리 장치 및 이미지 처리 방법
JP6516429B2 (ja) * 2014-09-16 2019-05-22 キヤノン株式会社 距離計測装置、撮像装置、および距離計測方法
US20170126966A1 (en) * 2015-10-29 2017-05-04 Mediatek Inc. Photography method using gaze detection

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1085751A2 (en) * 1999-09-13 2001-03-21 Canon Kabushiki Kaisha Image pickup apparatus
US20040096124A1 (en) * 2002-11-15 2004-05-20 Junichi Nakamura Wide dynamic range pinned photodiode active pixel sensor (aps)
CN101365069A (zh) * 2007-06-29 2009-02-11 豪威科技有限公司 具有图像浮散漏极的、高动态范围的传感器
CN101635860A (zh) * 2008-07-25 2010-01-27 三星电子株式会社 成像方法和设备
CN103369339A (zh) * 2008-07-25 2013-10-23 三星电子株式会社 成像方法和设备
US20130123015A1 (en) * 2011-11-15 2013-05-16 Samsung Electronics Co., Ltd. Image sensor, operation method thereof and apparatuses incuding the same
CN103297723A (zh) * 2012-03-01 2013-09-11 佳能株式会社 成像设备、成像系统及其驱动方法
US20130258098A1 (en) * 2012-03-29 2013-10-03 Canon Kabushiki Kaisha Imaging apparatus and camera system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109672876A (zh) * 2017-10-17 2019-04-23 福州瑞芯微电子股份有限公司 深度图处理装置及深度图处理单元

Also Published As

Publication number Publication date
US11159758B2 (en) 2021-10-26
US11477409B2 (en) 2022-10-18
US10291872B2 (en) 2019-05-14
US9848153B2 (en) 2017-12-19
CN110266976B (zh) 2021-11-23
US20150312557A1 (en) 2015-10-29
US20210337153A1 (en) 2021-10-28
US20190238776A1 (en) 2019-08-01
CN105049754B (zh) 2020-02-18
CN110266976A (zh) 2019-09-20
US9491442B2 (en) 2016-11-08
US20180091755A1 (en) 2018-03-29
US20170026602A1 (en) 2017-01-26

Similar Documents

Publication Publication Date Title
CN105049754A (zh) 图像处理装置和具有该图像处理装置的移动计算装置
CN105049755B (zh) 图像传感器和具有该图像传感器的图像处理装置
KR102288164B1 (ko) 이미지 처리 장치와 이를 포함하는 모바일 컴퓨팅 장치
US11956411B2 (en) Image signal processor, image processing system and method of binning pixels in image sensor
US9948849B2 (en) Image signal processor and devices including the same
US10225495B2 (en) Crosstalk processing module, method of processing crosstalk and image processing system
US9277146B2 (en) Image sensor, method of operating the same, and system including the image sensor
KR102441363B1 (ko) 이미지 신호 프로세서, 이미지 처리 시스템 및 이미지 센서의 비닝 방법
CN106454141A (zh) 实施堆叠芯片高动态范围图像传感器的方法及系统
US20210136303A1 (en) Image sensor including pixels mirror symmetric with each other
CN106960853A (zh) 图像传感器
US20230336890A1 (en) Image sensing system for converting an image signal to have a specific pattern
US20160269658A1 (en) Image Sensors and Image Processing Systems Including the Image Sensors
KR20220000761A (ko) 이미지 센서 및 이미지 센서의 비닝 방법
KR102632474B1 (ko) 이미지 센서의 픽셀 어레이 및 이를 포함하는 이미지 센서
US20220165765A1 (en) Image sensor and image sensing system
US20210227185A1 (en) Calibration module of image sensor, image sensor and method of calibrating crosstalk in image sensor
US9716867B2 (en) Color filter array and image sensor having the same
KR102081466B1 (ko) 고체 촬상 소자, 고체 촬상 장치 및 카메라 장치
CN118138896A (zh) 图像感测装置和图像信号处理方法
KR20220077735A (ko) 이미지 센서 및 이미지 센서의 픽셀 어레이

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant