CN115767292A - 信号处理方法和成像装置 - Google Patents

信号处理方法和成像装置 Download PDF

Info

Publication number
CN115767292A
CN115767292A CN202211396691.2A CN202211396691A CN115767292A CN 115767292 A CN115767292 A CN 115767292A CN 202211396691 A CN202211396691 A CN 202211396691A CN 115767292 A CN115767292 A CN 115767292A
Authority
CN
China
Prior art keywords
pixel
sensor pixel
data
pixel group
exposure time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211396691.2A
Other languages
English (en)
Inventor
永田拓磨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN115767292A publication Critical patent/CN115767292A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

根据本发明的光检测装置，包括：第一像素组，包括第一至第四像素，第一至第四像素分别包括第一至第四传输晶体管；第二像素组，包括第五至第八像素，第五至第八像素分别包括第五至第八传输晶体管；第一像素驱动线，与第一传输晶体管的栅极和第五传输晶体管的栅极电连接；第二像素驱动线，与第二传输晶体管的栅极和第六传输晶体管的栅极电连接；第三像素驱动线，与第三传输晶体管的栅极和第七传输晶体管的栅极电连接；第四像素驱动线，与第四传输晶体管的栅极和第八传输晶体管的栅极电连接；第一像素组紧邻第二像素组；其中，沿水平方向依次设置第一、第二、第五和第六像素；沿水平方向依次设置第三、第四、第七和第八像素。

Description

信号处理方法和成像装置
本申请是申请日为2019年12月11日、发明名称为“信号处理方法和成像装置”、申请号为201980088889.4的专利申请的分案申请。
技术领域
本公开涉及一种信号处理方法和成像装置。
背景技术
已知一种生成具有比通过校正曝光获得的图像的动态范围更宽的动态范围的高动态范围(HDR，High Dynamic Range)图像的成像装置(例如，参见专利文献1)。
引用列表
专利文献
专利文献1：日本未审查专利申请公开第2015-201834号
发明内容
此外，在某些情况下，HDR图像可能遭受诸如消色、染色和重影等图像质量劣化。因此，期望提供一种可以抑制HDR图像的图像质量劣化的信号处理方法和成像装置。
根据本公开的第一方面的成像装置包括：多个像素，其分别包括光电转换元件，并且以矩阵状布置在光接收表面上；多个光接收透镜，其在所述多个像素中针对所述多个像素中的每个像素一对一设置；和控制部，其控制所述多个像素的曝光时间。所述控制部控制所述多个像素的曝光时间，以使与所述光接收透镜的每个相对应的所述多个像素中的至少两个所述像素的曝光时间相同，并且与所述光接收透镜的每个相对应的所述多个像素中的至少两个所述像素的曝光时间彼此不同。
在根据本公开的第一方面的成像装置中，控制所述多个像素的曝光时间，以使与所述光接收透镜的每个相对应的所述多个像素中的至少两个所述像素的曝光时间相同，并且与所述光接收透镜的每个相对应的所述多个像素中的至少两个所述像素的曝光时间彼此不同。例如，这使得能够根据通过所述控制部的曝光控制获得的图像数据，针对每个曝光时间生成相位差数据，并且根据具有不同的曝光时间的多个所述相位差数据和具有不同的曝光时间的多个图像数据生成HDR(高动态范围)图像。
根据本公开的第二方面的信号处理方法是在成像装置中的信号处理方法，所述成像装置包括：多个像素，其分别包括光电转换元件，并且以矩阵状布置在光接收表面上；以及多个光接收透镜，其在所述多个像素中针对所述多个像素中的每个一对一设置。所述信号处理方法包括：
(1)控制所述多个像素的曝光时间，以使得与所述光接收透镜的每个相对应的所述多个像素中的至少两个所述像素的曝光时间相同，并且与所述光接收透镜的每个相对应的所述多个像素中的至少两个所述像素的曝光时间彼此不同；和
(2)根据通过控制所述曝光时间获得的图像数据针对每个曝光时间生成相位差数据，并且根据具有不同的曝光时间的多个所述相位差数据和具有不同的曝光时间的多个图像数据生成HDR图像。
在根据本公开的第二方面的信号处理方法中，控制所述多个像素的曝光时间，以使得与所述光接收透镜的每个相对应的所述多个像素中的至少两个所述像素的曝光时间相同，并且与所述光接收透镜的每个相对应的所述多个像素中的至少两个所述像素的曝光时间彼此不同。这使得能够根据通过控制所述曝光时间获得的图像数据针对每个曝光时间生成相位差数据，并且根据具有不同的曝光时间的多个所述相位差数据和具有不同的曝光时间的多个图像数据生成HDR图像。
附图说明
图1示出根据本公开的实施例的成像装置的示意性构成的示例。
图2示出图1的成像元件的示意性构成的示例。
图3示出图1的传感器像素的电路构成例的示例。
图4示出图2的像素阵列部的构成例。
图5示出图2的像素阵列部的构成例。
图6示出图2的像素阵列部的构成例。
图7示出图2的像素阵列部的构成例。
图8示出图1的成像装置中的HDR图像的生成过程的示例。
图9示出图1的成像装置中的成像过程的示例。
图10示出图2的像素阵列部的构成的变形例。
图11示出图2的像素阵列部的构成的变形例。
图12示出图2的像素阵列部的构成的变形例。
图13示出图12的像素阵列部的配线布局的示例。
图14示出在图12的像素阵列部中可检测到的相位差的方向的示例。
图15示出设置有图12的像素阵列部的成像装置中的HDR图像的生成过程的示例。
图16示出图2的像素阵列部的构成的变形例。
图17示出设置有图16的像素阵列部的成像装置中的HDR图像的生成过程的示例。
图18示出图2的像素阵列部的构成的变形例。
图19示出设置有图18的像素阵列部的成像装置中的HDR图像的生成过程的示例。
图20示出图2的像素阵列部的构成的变形例。
图21示出设置有图20的像素阵列部的成像装置中的HDR图像的生成过程的示例。
图22示出图2的像素阵列部的构成的变形例。
图23示出设置有图22的像素阵列部的成像装置中的HDR图像的生成过程的示例。
图24示出图2的像素阵列部的构成的变形例。
图25示出图24的像素阵列部的配线布局的示例。
图26示出在图24的像素阵列部中可检测到的相位差的方向的示例。
图27示出图2的像素阵列部的构成的变形例。
图28示出图27的像素阵列部的配线布局的示例。
图29示出设置有图24～图28的像素阵列部中的任一个的成像装置中的HDR图像的生成过程的示例。
图30示出图2的像素阵列部的构成的变形例。
图31示出图30的像素阵列部的配线布局的示例。
图32示出在图30的像素阵列部中可检测到的相位差的方向的示例。
图33示出设置有图30的像素阵列部的成像装置中的HDR图像的生成过程的示例。
图34示出了图2的像素阵列部的构成的变形例。
图35示出图34的像素阵列部的配线布局的示例。
图36示出在图34的像素阵列部中可检测到的相位差的方向的示例。
图37示出设置有图34的像素阵列部的成像装置中的HDR图像的生成过程的示例。
图38示出图2的像素阵列部的构成的变形例。
图39示出图38的像素阵列部的配线布局的示例。
图40示出在图38的像素阵列部中可检测到的相位差的方向的示例。
图41示出设置有图38的像素阵列部的成像装置中的HDR图像的生成过程的示例。
图42示出图2的像素阵列部的构成的变形例。
图43示出图42的像素阵列部的配线布局的示例。
图44示出在图42的像素阵列部中可检测到的相位差的方向的示例。
图45示出设置有图42的像素阵列部的成像装置中的HDR图像的生成过程的示例。
图46示出图2的像素阵列部的构成的变形例。
图47示出图46的像素阵列部的配线布局的示例。
图48示出在图46的像素阵列部中可检测到的相位差的方向的示例。
图49示出设置有图46的像素阵列部的成像装置中的HDR图像的生成过程的示例。
图50是示出车辆控制系统的示意性构成的示例的框图。
图51是辅助说明车外信息检测部和成像部的设置位置的示例的图。
图52是示出内窥镜手术系统的示意性构成的示例的图。
图53是示出摄像头和相机控制单元(CCU)的功能构成的示例的框图。
具体实施方式
在下文中，参照附图给出本公开的实施例的详细说明。要注意的是，按以下顺序给出说明。
1.实施例(成像装置)……图1～图9
2.变形例(成像装置)……图10～图49
3.应用例
移动体的应用例……图50和图51
内窥镜手术系统的应用例……图52和图53
<1.实施例>
[构成]
给出根据本公开的实施例的成像装置1的说明。图1示出了成像装置1的示意性构成的示例。例如，成像装置1是诸如数码相机、摄像机、智能电话或平板型终端等电子设备。成像装置1包括成像元件10、运算单元20、帧存储器30、显示单元40、存储单元50、操作单元60、电源单元70和光学系统80。成像元件10、运算单元20、帧存储器30、显示单元40、存储单元50、操作单元60和电源单元70经由总线L彼此连接。
光学系统80包括一个或多个透镜，并且将来自被摄体的光(入射光)引导至成像元件10，以在成像元件10的光接收表面上形成图像。成像元件10输出与经由光学系统80将要形成在光接收表面上的光相对应的像素信号(图像数据)。例如，成像元件10是互补金属氧化物半导体(CMOS，Complementary Metal Oxide Semiconductor)图像传感器。稍后将详细说明成像元件10的内部构成。运算单元20是处理从成像元件10输出的像素信号(图像数据)的信号处理电路。运算单元20基于像素信号(图像数据)生成HDR图像。稍后将详细说明运算单元20中的信号处理过程。
帧存储器30逐帧地临时保持通过运算单元20的信号处理获得的图像数据(例如，HDR图像数据)。例如，显示单元40由诸如液晶面板或有机电致发光(EL，ElectroLuminescence)面板等面板型显示装置构成，并且显示由成像元件10捕获的运动图像或静止图像。存储单元50将由成像元件10捕获的运动图像或静止图像的图像数据记录在诸如半导体存储器或硬盘等记录介质中。操作单元60根据用户的操作发布针对成像装置1的各种功能的操作命令。例如，根据用户的成像指令，操作单元60输出用于控制成像元件10的传送操作的驱动信号，以驱动成像元件10。电源单元70适当地提供用于作为供应目标的成像元件10、运算单元20、帧存储器30、显示单元40、存储单元50和操作单元60的操作的各种类型的电源。
接下来，给出成像元件10的说明。图2示出了成像元件10的示意性构成的示例。成像元件10包括像素阵列部110，在像素阵列部110中以矩阵状(矩阵形状)二维地布置有分别包括光电转换元件的多个传感器像素111。如图3所示，例如，传感器像素111由执行光电转换的像素电路112和基于从像素电路112输出的电荷输出像素信号的读出电路113构成。
例如，像素电路112包括光电二极管PD、电连接到光电二极管PD的传输晶体管TR以及临时保持从光电二极管PD经由传输晶体管TR输出的电荷的浮动扩散部FD。光电二极管PD执行光电转换，以产生与光接收量相对应的电荷。光电二极管PD的阴极连接到传输晶体管TR的源极，并且光电二极管PD的阳极连接到基准电位线(例如，地线)。传输晶体管TR的漏极连接到浮动扩散部FD，并且传输晶体管TR的栅极连接到像素驱动线ctl1。
在各像素电路112中，浮动扩散部FD连接到对应的读出电路113的输入端。例如，读出电路113包括复位晶体管RST、选择晶体管SEL和放大晶体管AMP。复位晶体管RST的源极(读出电路113的输入端)连接到浮动扩散部FD，并且复位晶体管RST的漏极连接到电源线VDD和放大晶体管AMP的漏极。复位晶体管RST的栅极连接到像素驱动线ctl2。放大晶体管AMP的源极连接到选择晶体管SEL的漏极，并且放大晶体管AMP的栅极连接到复位晶体管RST的源极。选择晶体管SEL的源极(读出电路113的输出端)连接到垂直信号线vsl，并且选择晶体管SEL的栅极连接到像素驱动线ctl3。
当传输晶体管TR处于导通状态时，传输晶体管TR将光电二极管PD的电荷传输到浮动扩散部FD。复位晶体管RST将浮动扩散部FD的电位复位为预定电位。当复位晶体管RST处于导通状态时，浮动扩散部FD的电位被复位为电源线VDD的电位。选择晶体管SEL控制来自读出电路113的像素信号的输出时序。放大晶体管AMP产生与浮动扩散部FD中保持的电荷的电平相对应的电压的信号作为像素信号。即，放大晶体管AMP产生与传感器像素111中的光接收量相对应的电压的信号作为像素信号。放大晶体管AMP构成源极跟随器型放大器，并且输出与光电二极管PD中产生的电荷的电平相对应的电压的像素信号。当选择晶体管SEL处于导通状态时，放大晶体管AMP放大浮动扩散部FD的电位，并且经由垂直信号线vsl将与电位相对应的电压输出到列信号处理电路122(稍后所述的)。
要注意的是，选择晶体管SEL可以设置在电源线VDD和放大晶体管AMP之间。在这种情况下，复位晶体管RST的漏极连接到电源线VDD和选择晶体管SEL的漏极。选择晶体管SEL的源极连接到放大晶体管AMP的漏极，并且选择晶体管SEL的栅极连接到像素驱动线ctl3。放大晶体管AMP的源极(读出电路113的输出端)连接到垂直信号线vsl，并且放大晶体管AMP的栅极连接到复位晶体管RST的源极。
成像元件10还包括处理像素信号的逻辑电路120。例如，逻辑电路120包括垂直驱动电路121、列信号处理电路122、水平驱动电路123和系统控制电路124。逻辑电路120将针对各传感器像素111的数字值输出到外部。
系统控制电路124基于主时钟产生将要作为垂直驱动电路121、列信号处理电路122、水平驱动电路121等的操作的标准的时钟信号、控制信号等，并且将所产生的信号提供给垂直驱动电路121、列信号处理电路122、水平驱动电路123等。例如，垂直驱动电路121由移位寄存器等构成，并且经由多条像素驱动线ctl(例如，ctl1、ctl2、ctl3、ctlM(稍后所述的)、ctlL(稍后所述的)和ctlS(稍后所述的))控制多个传感器像素111的行扫描。
例如，列信号处理电路122对从由垂直驱动电路121选择的行的各传感器像素111输出的像素信号执行相关双采样(Correlated Double Sampling，CDS)处理。例如，列信号处理电路122执行CDS处理，从而提取像素信号的信号电平并保持与各传感器像素111的光接收量相对应的像素数据。例如，列信号处理电路122包括针对各垂直信号线vsl逐一设置的多个ADC(模数转换电路)。例如，ADC将从各传感器像素111针对各列输出的模拟像素信号转换为用于输出的数字信号。例如，斜坡波形的电压(斜坡电压)和计数值一一对应的变化使ADC将垂直信号线vsl的电位(模拟信号)转换为数字信号。例如，ADC将斜坡电压的变化转换为时间的变化，并且以特定周期(时钟)对时间进行计数，从而转换为数字值。
水平驱动电路123由移位寄存器等构成，并且控制列信号处理电路122中的ADC的列地址和列扫描。在水平驱动电路123的控制下，在各个ADC中已经进行AD转换的N位数字信号被依次读出到水平输出线，并且经由水平输出线作为成像数据输出。
接下来，给出像素阵列部110的说明。
图4示出了像素阵列部110的构成例。像素阵列部110在光接收表面110A上包括多个滤色器CF和多个光接收透镜OCL。针对两行×两列(即，四个)中的每个传感器像素111(光电二极管PD)逐一设置有多个滤色器CF。针对各个滤色器CF逐一设置有多个光接收透镜OCL。即，针对两行×两列(即，四个)中的每个传感器像素111也逐一设置有多个光接收透镜OCL。因此，入射到各光接收透镜OCL上的光由光接收透镜OCL会聚，并且透过相应的滤色器CF，然后入射到两行×两列中的相应的传感器像素111上。要注意的是，在下文中，将与光接收透镜OCL相对应的两行×两列的传感器像素111称为单色传感器像素组P1。
多个滤色器CF由透射红色波长范围内的光的多个滤色器CFr、透射绿色波长范围内的光的多个滤色器CFg和透射蓝色波长范围内的光多个滤色器CFb构成。多个滤色器CF在光接收表面上呈拜耳排列。多个滤色器CF在光接收表面上的拜耳排列能够在行方向和列方向上循环获取相位差数据。滤色器CFr、滤色器CFg和滤色器CFb以1：2：1的比例布置在光接收表面110A上。要注意的是，在下文中，将拜耳排列的两行×两列的单色传感器像素组P1称为三色传感器像素组P2。
各传感器像素111(光电二极管PD)的曝光时间由系统控制电路124控制。图4示出了在由系统控制电路124控制时各传感器像素111的曝光时间的示例。根据图4，在单色传感器像素组P1中，两个传感器像素111(光电二极管PD)的曝光时间被设定为“中(Middle)”，剩余的两个传感器像素111(光电二极管PD)中的一个的曝光时间被设定为“短(Short)”，并且剩余的另一个的曝光时间被设定为“长(Long)”。即，单色传感器像素组P1包括曝光时间彼此不同的三种类型的传感器像素111(光电二极管PD)，并且还包括具有相同的曝光时间的两个传感器像素111(光电二极管PD)。换句话说，系统控制电路124控制多个传感器像素111(光电二极管PD)的曝光时间，以允许单色传感器像素组P1的三个传感器像素111(光电二极管PD)的曝光时间彼此不同，并且其两个传感器像素111(光电二极管PD)的曝光时间彼此相同。
如图4所示，在各单色传感器像素组P1中，布置在右上方的两个传感器像素111(光电二极管PD)被设定为“中(Middle)”。即，在各单色传感器像素组P1中，布置在右上方的两个传感器像素111(光电二极管PD)的曝光时间被设定为彼此相等。另外，如图4所示，在各单色传感器像素组P1中，右下传感器像素111(光电二极管PD)的曝光时间被设定为“短(Short)”。另外，如图4所示，在各单色传感器像素组P1中，左上传感器像素111(光电二极管PD)的曝光时间被设定为“长(Long)”。
另外，例如，如图4所示，像素驱动线ctlM连接到其曝光时间被设定为“中(Middle)”的传感器像素111。即，分配给单色传感器像素组P1的两条像素驱动线ctlM中的一条像素驱动线ctlM连接到单色传感器像素组P1的右上传感器像素111，并且其另一条像素驱动线ctlM连接到单色传感器像素组P1的左下传感器像素111。像素驱动线ctlS连接到其曝光时间被设定为“短(Short)”的各传感器像素111。即，像素驱动线ctlS连接到单色传感器像素组P1的右下传感器像素111。像素驱动线ctlL连接到其曝光时间被设定为“长(Long)”的传感器像素111。即，像素驱动线ctlL连接到单色传感器像素组P1的左上传感器像素111。像素阵列部110在与各单色传感器像素组P1的上排相对应的位置处包括像素驱动线ctlL和像素驱动线ctlM。另外，像素阵列部110在与各单色传感器像素组P1的下排相对应的位置处包括像素驱动线ctlM和像素驱动线ctlS。
系统控制电路124将控制信号输出到像素驱动线ctlM，以使曝光时间为“中(Middle)”，从而控制连接到像素驱动线ctlM的各传感器像素111的曝光时间为“中(Middle)”。系统控制电路124向像素驱动线ctlS输出控制信号，以使曝光时间为“短(Short)”，从而控制连接到像素驱动线ctlS的各传感器像素111的曝光时间为“短(Short)”。系统控制电路124向像素驱动线ctlL输出控制信号，以使曝光时间为“长(Long)”，从而控制连接到像素驱动线ctlL的各传感器像素111的曝光时间为“长(Long)”。以这种方式，系统控制电路124控制各传感器像素111的曝光时间。成像元件10输出在这种控制下获得的图像数据Ia。
图像数据Ia包括与像素阵列部110中的X行×Y列的传感器像素111相对应的X行×Y列的像素数据Sig。X行×Y列的像素数据Sig中的与各单色传感器像素组P1相对应的两行×两列的像素数据Sig包括与其曝光时间被设定为“中(Middle)”的两个传感器像素111相对应的两个像素数据Sig1、与其曝光时间被设定为“短(Short)”的传感器像素111相对应的一个像素数据Sig2、以及与其曝光时间被设定为“长(Long)”的传感器像素111相对应的一个像素数据Sig3。
因此，X行×Y列的像素数据Sig中的与各单色传感器像素组P1相对应的两行×两列的像素数据Sig包括其曝光时间彼此相同的两个像素数据Sig1。另外，在X行×Y列的像素数据Sig中的与各单色传感器像素组P1相对应的两行×两列的像素数据Sig中，可以通过取其曝光时间彼此相同的两个像素数据Sig1之间的差来获得光接收表面110A上的右上方的相位差。综上所述，应当理解，像素阵列部110被构造成从各单色传感器像素组P1中获得在一个方向(右上方)上的相位差数据。
要注意的是，在各单色传感器像素组P1中，如图5所示，布置在右下方的两个传感器像素111(光电二极管PD)的曝光时间可以被设定为“中(Middle)”。即，在各单色传感器像素组P1中，布置在右下方的两个传感器像素111(光电二极管PD)的曝光时间可以被设定为彼此相等。
此时，例如，如图5所示，像素驱动线ctlM连接到其曝光时间被设定为“中(Middle)”的传感器像素111。即，分配给单色传感器像素组P1的两条像素驱动线ctlM中的一条像素驱动线ctlM连接到单色传感器像素组P1的左上传感器像素111，并且其另一条像素驱动线ctlM连接到单色传感器像素组P1的右下传感器像素111。像素驱动线ctlS连接到其曝光时间被设定为“短(Short)”的各传感器像素111。即，像素驱动线ctlS连接到单色传感器像素组P1的左下传感器像素111。像素驱动线ctlL连接到其曝光时间被设定为“长(Long)”的传感器像素111。即，像素驱动线ctlL连接到单色传感器像素组P1的右上传感器像素111。像素阵列部110在与各单色传感器像素组P1的上排相对应的位置处包括像素驱动线ctlM和像素驱动线ctlL。另外，像素阵列部110在与各单色传感器像素组P1的下排相对应的位置处包括像素驱动线ctlS和像素驱动线ctlM。
在这种情况下，在X行×Y列的像素数据Sig中的与各单色传感器像素组Pl相对应的两行×两列的像素数据Sig中，可以通过取其曝光时间彼此相同的两个像素数据Sig1之间的差来获得光接收表面110A上的右下方的相位差。在这种情况下，应当理解，像素阵列部110被构造成从各单色传感器像素组P1中获得在一个方向(右下方)上的相位差数据。
另外，在各单色传感器像素组Pl中，如图6所示，布置在水平方向上的两个传感器像素111(光电二极管PD)的曝光时间可以被设定为“中(Middle)”。即，在各单色传感器像素组P1中，布置在水平方向上的两个传感器像素111(光电二极管PD)的曝光时间可以被设定为彼此相等。图6例示了这样的情况：在各单色传感器像素组P1中，上排中的两个传感器像素111(光电二极管PD)的曝光时间被设定为“中(Middle)”，下排中的两个传感器像素111(光电二极管PD)中的一个的曝光时间被设定为“短(Short)”，并且另一个的曝光时间被设定为“长(Long)”。
此时，例如，如图6所示，像素驱动线ctlM连接到其曝光时间被设定为“中(Middle)”的传感器像素111。即，分配给各单色传感器像素组P1的两条像素驱动线ctlM中的一条像素驱动线ctlM连接到单色传感器像素组P1的左上传感器像素111，并且其另一条像素驱动线ctlM连接到单色传感器像素组P1的右上传感器像素111。像素驱动线ctlS连接到其曝光时间被设定为“短(Short)”的各传感器像素111。即，像素驱动线ctlS连接到单色传感器像素组P1的右下传感器像素111。像素驱动线ctlL连接到其曝光时间被设定为“长(Long)”的传感器像素111。即，像素驱动线ctlL连接到单色传感器像素组P1的左下传感器像素111。像素阵列部110在与各单色传感器像素组P1的上排相对应的位置处包括两条像素驱动线ctlM。另外，像素阵列部110在与各单色传感器像素组P1的下排相对应的位置处包括像素驱动线ctlL和像素驱动线ctlS。
在这种情况下，在X行×Y列的像素数据Sig中的与各单色传感器像素组P1相对应的两行×两列的像素数据Sig中，可以通过取其曝光时间彼此相同的两个像素数据Sig1之间的差来获得光接收表面110A上的水平方向上的相位差。在这种情况下，应当理解，像素阵列部110被构造成从各单色传感器像素组P1中获得在一个方向(水平方向)上的相位差数据。
要注意的是，在单色传感器像素组Pl中，下排中的两个传感器像素111(光电二极管PD)的曝光时间可以被设定为“中(Middle)”。在这种情况下，在单色传感器像素组P1中，上排中的两个传感器像素111(光电二极管PD)中的一个的曝光时间被设定为“短(Short)”，并且另一个的曝光时间被设定为“长(Long)”。此时，像素阵列部110在与各单色传感器像素组P1的下排相对应的位置处包括两条像素驱动线ctlM。另外，像素阵列部110在与各单色传感器像素组P1的上排相对应的位置处包括像素驱动线ctlL和像素驱动线ctlS。
同样地，在这种情况下，在X行×Y列的像素数据Sig中的与各单色传感器像素组P1相对应的两行×两列的像素数据Sig中，可以通过取其曝光时间彼此相同的两个像素数据Sig1之间的差来获得光接收表面110A上的水平方向上的相位差。在这种情况下，应当理解，像素阵列部110被构造成从各单色传感器像素组P1中获得在一个方向(水平方向)上的相位差数据。
另外，如图7所示，在各单色传感器像素组Pl中，布置在垂直方向上的两个传感器像素111(光电二极管PD)的曝光时间可以被设定为“中(Middle)”。即，在各单色传感器像素组P1中，布置在垂直方向上的两个传感器像素111(光电二极管PD)的曝光时间可以被设定为彼此相等。图7例示了这样的情况：在各单色传感器像素组P1中，左侧的两个光电二极管PD的曝光时间被设定为“中(Middle)”，右侧的两个传感器像素111(光电二极管PD)中的一个的曝光时间被设定为“短(Short)”，并且另一个的曝光时间被设定为“长(Long)”。
假设在各单色传感器像素组Pl中，右侧的两个传感器像素111(光电二极管PD)中的上排中的一个的曝光时间被设定为“长(Long)”，并且在其下排中的另一个的曝光时间被设定为“短(Short)”。在这种情况下，分配给单色传感器像素组P1的两条像素驱动线ctlM中的一条像素驱动线ctlM连接到单色传感器像素组P1的左上传感器像素111，并且其另一条像素驱动线ctlM连接到单色传感器像素组P1的左下传感器像素111。像素驱动线ctlS连接到单色传感器像素组P1的右下传感器像素111。像素驱动线ctlL连接到单色传感器像素组P1的右上传感器像素111。像素阵列部110在与各单色传感器像素组P1的上排相对应的位置处包括像素驱动线ctlM和像素驱动线ctlL。另外，像素阵列部110在与各单色传感器像素组P1的下排相对应的位置处包括像素驱动线ctlM和像素驱动线ctlS。
另外，假设在各单色传感器像素组P1中，右侧的两个传感器像素111(光电二极管PD)中的上排中的一个的曝光时间被设定为“短(Short)”，并且其下排中的另一个的曝光时间被设定为“长(Long)”。在这种情况下，分配给单色传感器像素组P1的两条像素驱动线ctlM中的一条像素驱动线ctlM连接到单色传感器像素组P1的左上传感器像素111，并且其另一条像素驱动线ctlM连接到单色传感器像素组P1的左下传感器像素111。像素驱动线ctlS连接到单色传感器像素组P1的右上传感器像素111。像素驱动线ctlL连接到单色传感器像素组P1的右下传感器像素111。像素阵列部110在与各单色传感器像素组P1的上排相对应的位置处包括像素驱动线ctlM和像素驱动线ctlS，并且在与各单色传感器像素组P1的下排相对应的位置处包括像素驱动线ctlM和像素驱动线ctlL。
在这种情况下，在X行×Y列的像素数据Sig中的与各单色传感器像素组P1相对应的两行×两列的像素数据Sig中，可以通过取其曝光时间彼此相同的两个像素数据Sig1之间的差来获得光接收表面110A上的垂直方向上的相位差。在这种情况下，应当理解，像素阵列部110被构造成从各单色传感器像素组P1中获得在一个方向(垂直方向)上的相位差数据。
要注意的是，在单色传感器像素组Pl中，右侧的两个传感器像素111(光电二极管PD)的曝光时间可以被设定为“中(Middle)”。在这种情况下，在单色传感器像素组P1中，左侧的两个传感器像素111(光电二极管PD)中的一个的曝光时间被设定为“短(Short)”，并且另一个的曝光时间被设定为“长(Long)”。同样地，在这种情况下，在X行×Y列的像素数据Sig中的与各单色传感器像素组P1相对应的两行×两列的像素数据Sig中，可以通过取其曝光时间彼此相同的两个像素数据Sig1之间的差来获得光接收表面110A上的在垂直方向上的相位差。同样地，在这种情况下，应当理解，像素阵列部110被构造成从各单色传感器像素组P1中获得在一个方向(垂直方向)上的相位差数据。
接下来，给出运算电路20的说明。
图8示出了运算电路20中的信号处理过程的示例。运算电路20基于由成像元件10获得的图像数据Ia生成HDR图像数据Ib。首先，运算电路20针对各曝光时间分解图像数据Ia(步骤S101)。具体地，运算电路20将图像数据Ia分解为其曝光时间为“中(Middle)”的数据(图像数据Im)、其曝光时间为“长(Long)”的数据(图像数据Il)、以及其曝光时间为“短(Short)”的数据(图像数据Is)。
接下来，运算电路20基于图像数据Im生成相位差数据Pdl(步骤S102)。具体地，运算电路20在图像数据Im中导出与各单色传感器像素组P1相对应的两个像素数据Sig1之间的差值，并且根据所导出的差值生成相位差数据Pd1。另外，运算电路20基于图像数据Il和Im生成相位差数据Pd2(步骤S102)。具体地，运算电路20导出图像数据Il与图像数据Im’之间的差值，图像数据Im’是通过将图像数据Im乘以曝光时间“长(Long)”与曝光时间“中(Middle)”的曝光时间比而获得的，并且根据所导出的差值生成相位差数据Pd2。另外，运算电路20基于图像数据Im和Is生成相位差数据Pd3(步骤S102)。具体地，运算电路20导出图像数据Im与图像数据Is’之间的差值，图像数据Is’是通过将图像数据Is乘以曝光时间“中(Middle)”与曝光时间“短(Short)”的曝光时间比而获得的，并且根据所导出的差值生成相位差数据Pd3。
接下来，运算电路20将相位差数据Pd1转换为用于相位差的电平数据Da(步骤S103)。例如，电平数据Da是由在从下限值(例如，零位)到上限值(例如，128位)的范围内的值表示的数据。例如，在相位差数据Pd1中，运算电路20将落入预定范围以下的数值转换为下限值(例如，零位)。例如，在相位差数据Pd1中，运算电路20将超出预定范围的数值转换为上限值(例如，128位)。例如，在相位差数据Pd1中，运算电路20根据数值的大小将预定范围内的数值转换为从1位到127位的范围内的值。
接下来，运算电路20将相位差数据Pd2和Pd3转换为关于移动体的电平数据Db(步骤S104)。例如，电平数据Db是由在从下限值(例如，零位)到上限值(例如，128位)的范围内的值表示的数据。具体地，运算电路20基于成像元件10的噪声电平的数据(噪声数据)以及相位差数据Pd2和Pd3生成电平数据Db。
接下来，运算电路20根据所获得的电平数据Da检测具有较大的相位差的位置(步骤S105)。此外，运算电路20根据所获得的电平数据Db检测是否存在移动体(步骤S106)。最后，运算电路20根据图像数据Im、Il和Is、是否存在相位差以及是否存在移动体生成HDR图像数据Ib(步骤S107)。以这种方式，生成了HDR图像数据Ib。
接下来，给出成像装置1中的成像过程的说明。
图9示出了成像装置1中的成像操作的流程图的示例。用户通过操作操作单元60来指示成像装置1开始成像(步骤S201)。然后，操作单元60将成像命令发送到成像元件10(步骤S202)。在接收到成像命令时，成像元件10(具体地，系统控制电路124)以预定的成像方法执行成像(步骤S203)。
例如，系统控制电路124对连接到像素驱动线ctlM的各传感器像素111进行曝光控制，以使曝光时间为“中(Middle)”。例如，系统控制电路124还对连接到像素驱动线ctlS的各传感器像素111进行曝光控制，以使曝光时间为“短(Short)”。例如，系统控制电路124还对连接到像素驱动线ctlL的各传感器像素111进行曝光控制，以使曝光时间为“长(Long)”。以这种方式，系统控制电路124针对各传感器像素111控制曝光时间。成像元件10将在这种控制下获得的具有X行×Y列的像素个数的图像数据Ia输出到运算电路20。
运算电路20基于从成像元件10输入的图像数据Ia进行预定的信号处理(例如，HDR图像数据Ib的生成等)(步骤S204)。运算电路20将通过预定的信号处理获得的图像数据(例如，HDR图像数据Ib)保持在帧存储器30中，并且帧存储器30将所保持的图像数据(例如，HDR图像数据Ib)记录在存储单元50中(步骤S205)。以这种方式，执行了成像装置1中的成像。
[效果]
接下来，给出根据本实施例的成像装置1的效果的说明。
在本实施例中，成像元件10被构造成获得在一个方向(右上方向、右下方向、水平方向或垂直方向)上的相位差数据。这使得能够确定在一个方向上是否存在相位差以及是否存在移动体。
<2.变形例>
在下文中，给出了根据前述实施例的成像元件1的变形例的说明。
[[变形例A]]
在前述实施例中，像素阵列部110被构造成从各单色传感器像素组Pl中获得在一个方向上的相位差数据。然而，在前述实施例中，像素阵列部110可以被构造成从各三色传感器像素组P2中获得在两个方向上的相位差数据。
图10示出了根据本变形例的像素阵列部110的构成例。在本变形例中，像素阵列部110被构造成从各三色传感器像素组P2中获得在右上方和右下方的相位差数据。此时，在各三色传感器像素组P2中，与滤色器CFr和CFb相对应的单色传感器像素组P1具有与根据前述实施例的单色传感器像素组P1相同的构成。在各三色传感器像素组P2中，与滤色器CFg中的一个相对应的单色传感器像素组P1(在下文中，称为“单色传感器像素组Pa”)也具有与根据前述实施例的单色传感器像素组P1相同的构成。同时，在各三色传感器像素组P2中，与另一个滤色器CFg相对应的单色传感器像素组P1(在下文中，称为“单色传感器像素组Pb”)具有与根据前述实施例的单色传感器像素组P1不同的构成。
具体地，如图10所示，在各单色传感器像素组Pa中，布置在右上方的两个传感器像素111(光电二极管PD)的曝光时间被设定为“中(Middle)”。即，在各单色传感器像素组Pa中，布置在右上方的两个传感器像素111(光电二极管PD)的曝光时间被设定为彼此相等。另外，如图10所示，在各单色传感器像素组Pa中，右下传感器像素111(光电二极管PD)的曝光时间被设定为“短(Short)”。另外，如图10所示，在各单色传感器像素组Pa中，左上传感器像素111(光电二极管PD)的曝光时间被设定为“长(Long)”。
具体地，如图10所示，在各单色传感器像素组Pb中，布置在右下方的两个传感器像素111(光电二极管PD)的曝光时间被设定为“中(Middle)”。即，在各单色传感器像素组Pb中，布置在右下方的两个传感器像素111(光电二极管PD)的曝光时间被设定为彼此相等。另外，如图10所示，在各单色传感器像素组Pb中，左下传感器像素111(光电二极管PD)的曝光时间被设定为“短(Short)”。另外，如图10所示，在各单色传感器像素组Pb中，右上传感器像素111(光电二极管PD)的曝光时间被设定为“长(Long)”。换句话说，系统控制电路124控制多个传感器像素111(光电二极管PD)的曝光时间，以允许各单色传感器像素组Pb中的三个传感器像素111(光电二极管PD)的曝光时间彼此不同，并且其两个传感器像素111(光电二极管PD)的曝光时间彼此相同。
分配给单色传感器像素组Pa的两条像素驱动线ctlM中的一条像素驱动线ctlM连接到单色传感器像素组Pa的右上传感器像素111，并且其另一条像素驱动线ctlM连接到单色传感器像素组Pa的左下传感器像素111。像素驱动线ctlS连接到单色传感器像素组Pa的右下传感器像素111。像素驱动线ctlL连接到单色传感器像素组Pa的左上传感器像素111。
分配给单色传感器像素组Pb的两条像素驱动线ctlM中的一条像素驱动线ctlM连接到单色传感器像素组Pb的左上传感器像素111，并且另一条像素驱动线ctlM连接到单色传感器像素组Pb的右下传感器像素111。像素驱动线ctlS连接到单色传感器像素组Pb的左下传感器像素111。像素驱动线ctlL连接到单色传感器像素组Pb的右上传感器像素111。
这里，像素阵列部110在与各单色传感器像素组Pl的上排相对应的位置处包括像素驱动线ctlL和像素驱动线ctlM。另外，像素阵列部110在与各单色传感器像素组P1的下排相对应的位置处包括像素驱动线ctlM和像素驱动线ctlS。这使得能够确定在两个方向(右上方向和右下方向)上是否存在相位差以及是否存在移动体。
要注意的是，在各三色传感器像素组P2中，单色传感器像素组Pa可以布置在右上方，并且单色传感器像素组Pb可以布置在左下方。另外，在各三色传感器像素组P2中，单色传感器像素组Pa可以布置在左下方，并且单色传感器像素组Pb可以布置在右上方。另外，多个单色传感器像素组Pa和多个单色传感器像素组Pb可以在光接收表面110A内的两个方向(右上方向和右下方向)上交替地布置。
在本变形例中，例如，如图11所示，像素阵列部110可以被构造成从各三色传感器像素组P2中获得在水平方向和垂直方向上的相位差数据。此时，在各三色传感器像素组P2中，像素阵列部110可以被构造成从与滤色器CFg中的一个相对应的单色传感器像素组P1(在下文中，称为“单色传感器像素组Pc”)中获得在水平方向上的相位差数据。此外，在各三色传感器像素组P2中，像素阵列部110可以被构造成从与另一个滤色器CFg相对应的单色传感器像素组P1(在下文中，称为“单色传感器像素组Pd”)中获得在垂直方向上的相位差数据。
这里，如图11所示，在各单色传感器像素组Pc中，布置在上排的两个传感器像素111(光电二极管PD)的曝光时间被设定为中(Middle)。即，在各单色传感器像素组Pc中，布置在上排的两个传感器像素111(光电二极管PD)的曝光时间被设定为彼此相等。另外，在各单色传感器像素组Pc中，如图11所示，布置在下排中的两个传感器像素111(光电二极管PD)中的一个传感器像素111(光电二极管PD)的曝光时间被设定为“短(Short)”，并且其另一个传感器像素111(光电二极管PD)的曝光时间被设定为“长(Long)”。
另外，如图11所示，在各单色传感器像素组Pd中，布置在左侧的两个传感器像素111(光电二极管PD)的曝光时间被设定为“中(Middle)”。即，在各单色传感器像素组Pd中，布置在左侧的两个传感器像素111(光电二极管PD)的曝光时间被设定为彼此相等。另外，在各单色传感器像素组Pd中，如图11所示，布置在右上方的传感器像素111(光电二极管PD)的曝光时间被设定为“长(Long)”，并且右下传感器像素111(光电二极管PD)的曝光时间被设定为“短(Short)”。
分配给单色传感器像素组Pc的两条像素驱动线ctlM中的一条像素驱动线ctlM连接到单色传感器像素组Pc的左上传感器像素111，并且另一条像素驱动线ctlM连接到单色传感器像素组Pc的右上传感器像素111。像素驱动线ctlS连接到单色传感器像素组Pc的右下传感器像素111。像素驱动线ctlL连接到单色传感器像素组Pc的左下传感器像素111。
分配给单色传感器像素组Pd的两条像素驱动线ctlM中的一条像素驱动线ctlM连接到单色传感器像素组Pd的左上传感器像素111，并且另一条像素驱动线ctlM连接到单色传感器像素组Pd的左下传感器像素111。像素驱动线ctlS连接到单色传感器像素组Pd的右下传感器像素111。像素驱动线ctlL连接到单色传感器像素组Pd的右上传感器像素111。
要注意的是，在各单色传感器像素组Pc中，布置在下排的两个传感器像素111(光电二极管PD)的曝光时间可以被设定为“中(Middle)”。即，在各单色传感器像素组Pc中，布置在下排的两个传感器像素111(光电二极管PD)的曝光时间可以被设定为彼此相等。另外，在各单色传感器像素组Pd中，布置在右侧的两个传感器像素111(光电二极管PD)的曝光时间可以被设定为“中(Middle)”。即，在各单色传感器像素组Pd中，布置在右侧的两个传感器像素111(光电二极管PD)的曝光时间可以被设定为彼此相等。
在各单色传感器像素组Pc中，在布置在上排的两个传感器像素111(光电二极管PD)的曝光时间被设定为“中(Middle)”的情况下，像素阵列部110在与各单色传感器像素组Pc的上排相对应的位置处包括两条像素驱动线ctlM，并且在与各单色传感器像素组Pc的下排相对应的位置处包括像素驱动线ctlS和像素驱动线ctlL。同时，在各单色传感器像素组Pc中，在布置在下排的两个传感器像素111(光电二极管PD)的曝光时间被设定为“中(Middle)”的情况下，像素阵列部110在与各单色传感器像素组Pc的下排相对应的位置处包括两条像素驱动线ctlM，并且在与各单色传感器像素组Pc的上排相对应的位置处包括像素驱动线ctlS和像素驱动线ctlL。
在各单色传感器像素组Pd中，在布置在左侧的两个传感器像素111(光电二极管PD)的曝光时间被设定为“中(Middle)”的情况下，像素阵列部110在与各单色传感器像素组Pd的上排相对应的位置处包括一条像素驱动线ctlM，并且在与各单色传感器像素组Pd的下排相对应的位置处包括一条像素驱动线ctlM。在各单色传感器像素组Pd中，在布置在右侧的两个传感器像素111(光电二极管PD)的曝光时间被设定为“中(Middle)”的情况下，像素阵列部110在与各单色传感器像素组Pd的上排相对应的位置处包括一条像素驱动线ctlM，并且在与各单色传感器像素组Pd的下排相对应的位置处包括一条像素驱动线ctlM。
以这种方式，在本变形例中，成像元件10被构造成获得在两个方向(水平方向和垂直方向)上的相位差数据。这使得能够确定在两个方向上是否存在相位差以及是否存在移动体。
[[变形例B]]
在前述变形例A中，像素阵列部110被构造成从各三色传感器像素组P2中获得在两个方向上的相位差数据。然而，在前述变形例A中，像素阵列部110可以被构造成从两行×两列的三色传感器像素组P2(在下文中，称为“三色传感器像素组P3”)中获得在三个方向上的相位差数据。
图12示出了根据本变形例的像素阵列部110的构成例。图13示出了图12的像素阵列部110的配线布局的示例。图14示出了在图12的像素阵列部110中可检测到的相位差的方向的示例。
在本变形例中，像素阵列部110被构造成从各三色传感器像素组P3中获得在右上方、垂直方向和水平方向上的相位差数据。此时，在各三色传感器像素组P3中，与滤色器CFr和CFb相对应的单色传感器像素组P1(在下文中，称为“单色传感器像素组Ph”)具有与根据前述实施例的单色传感器像素组P1相同的构成。在各三色传感器像素组P3中所包括的左上和右下三色传感器像素组P2中，与各滤色器CFg相对应的单色传感器像素组P1(在下文中，称为“单色传感器像素组Pe”)也具有与根据前述实施例的单色传感器像素组P1相同的构成。同时，在各三色传感器像素组P3中所包括的左下三色传感器像素组P2中，与各滤色器CFg相对应的单色传感器像素组P1(在下文中，称为“单色传感器像素组Pf”)具有与根据前述实施例的单色传感器像素组P1不同的构成。此外，在各三色传感器像素组P3中所包括的右上三色传感器像素组P2中，与各滤色器CFg相对应的单色传感器像素组P1(在下文中，称为“单色传感器像素组Pg”)具有与根据前述实施例的单色传感器像素组P1不同的构成。
具体地，在单色传感器像素组Pf中，两个传感器像素111(光电二极管PD)的曝光时间被设定为“短(Short)”，剩余的两个传感器像素111(光电二极管PD)中的一个的曝光时间被设定为“中(Middle)”，并且剩余另一个的曝光时间被设定为“长(Long)”。即，单色传感器像素组Pf包括其曝光时间彼此不同的三种类型的传感器像素111(光电二极管PD)，并且还包括其曝光时间彼此相同的两个传感器像素111(光电二极管PD)。换句话说，系统控制电路124控制多个传感器像素111(光电二极管PD)的曝光时间，以允许单色传感器像素组Pf的三个传感器像素111(光电二极管PD)的曝光时间彼此不同，并且其两个传感器像素111(光电二极管PD)的曝光时间彼此相同。
在各单色传感器像素组Pf中，如图12所示，在下排的水平方向上排列的两个传感器像素111(光电二极管PD)的曝光时间被设定为“短(Short)”。即，在各单色传感器像素组Pf中，在下排的水平方向上排列的两个传感器像素111(光电二极管PD)的曝光时间被设定为彼此相等。另外，如图12所示，在各单色传感器像素组Pf中，右上传感器像素111(光电二极管PD)的曝光时间被设定为“中(Middle)”。另外，如图12所示，在各单色传感器像素组Pf中，左上传感器像素111(光电二极管PD)的曝光时间被设定为“长(Long)”。
分配给单色传感器像素组Pf的两条像素驱动线ctlS中的一条像素驱动线ctlS连接到单色传感器像素组Pf的左下传感器像素111，并且其另一条像素驱动线ctlS连接到单色传感器像素组Pf的右下传感器像素111。像素驱动线ctlM连接到单色传感器像素组Pf的右上传感器像素111。像素驱动线ctlL连接到单色传感器像素组Pf的左上传感器像素111。此时，像素阵列部110在与各单色传感器像素组Pf的上排相对应的位置处包括像素驱动线ctlL和像素驱动线ctlM。另外，像素阵列部110在与各单色传感器像素组Pf的下排相对应的位置处包括两条像素驱动线ctlS。
要注意的是，在各单色传感器像素组Pf中，其曝光时间被设定为“中(Middle)”的一个传感器像素111(光电二极管PD)可以布置在左上方，并且其曝光时间被设定为“长(Long)”的一个传感器像素111(光电二极管PD)可以布置在右上方。另外，在各单色传感器像素组Pf中，其曝光时间被设定为“短(Short)”的两个传感器像素111(光电二极管PD)可以布置在上排，并且可以排列在水平方向上。在这种情况下，在单色传感器像素组Pf中，下排的两个传感器像素111(光电二极管PD)中的一个的曝光时间被设定为“中(Middle)”，并且其另一个的曝光时间被设定为“长(Long)”。此时，像素阵列部110在与各单色传感器像素组Pf的上排相对应的位置处包括两条像素驱动线ctlS。另外，像素阵列部110在与各单色传感器像素组Pf的下排相对应的位置处包括像素驱动线ctlL和像素驱动线ctlM。
另外，在单色传感器像素组Pg中，两个传感器像素111(光电二极管PD)的曝光时间被设定为“长(Long)”，剩余的两个传感器像素111(光电二极管PD)中的一个的曝光时间被设定为“中(Middle)”，并且剩余另一个的曝光时间被设定为“短(Short)”。即，单色传感器像素组Pg包括其曝光时间彼此不同的三种类型的传感器像素111(光电二极管PD)，并且还包括其曝光时间彼此相同的两个传感器像素111(光电二极管PD)。换句话说，系统控制电路124控制多个传感器像素111(光电二极管PD)的曝光时间，以允许单色传感器像素组Pg的三个传感器像素111(光电二极管PD)的曝光时间彼此不同，并且其两个传感器像素111(光电二极管PD)的曝光时间彼此相同。
在各单色传感器像素组Pg中，例如，如图12所示，其曝光时间被设定为“长(Long)”的两个传感器像素111(光电二极管PD)布置在左侧，并且排列在垂直方向上。即，在各单色传感器像素组Pg中，例如，如图12所示，其曝光时间彼此相同的两个传感器像素111(光电二极管PD)布置在左侧，并且排列在垂直方向上。另外，例如，如图12所示，在各单色传感器像素组Pg中，其曝光时间被设定为“中(Middle)”的一个传感器像素111(光电二极管PD)布置在右上方。另外，例如，如图12所示，在各单色传感器像素组Pg中，其曝光时间被设定为“短(Short)”的一个传感器像素111(光电二极管PD)布置在右下方。
分配给单色传感器像素组Pg的两条像素驱动线ctlL中的一条像素驱动线ctlL连接到单色传感器像素组Pg的左上传感器像素111，并且其另一条像素驱动线ctlL连接到单色传感器像素组Pg的左下传感器像素111。像素驱动线ctlM连接到单色传感器像素组Pg的右上传感器像素111。像素驱动线ctlS连接到单色传感器像素组Pg的右下传感器像素111。此时，像素阵列部110在与各单色传感器像素组Pg的上排相对应的位置处包括像素驱动线ctlL和像素驱动线ctlM。另外，像素阵列部110在与各单色传感器像素组Pf的下排相对应的位置处包括像素驱动线ctlL和像素驱动线ctlS。
要注意的是，在各单色传感器像素组Pg中，其曝光时间被设定为“中(Middle)”的一个传感器像素111(光电二极管PD)可以布置在右下方，并且其曝光时间被设定为“短(Short)”的一个传感器像素111(光电二极管PD)可以布置在右上方。此时，像素阵列部110在与各单色传感器像素组Pg的上排相对应的位置处包括像素驱动线ctlL和像素驱动线ctlS。另外，像素阵列部110在与各单色传感器像素组Pf的下排相对应的位置处包括像素驱动线ctlL和像素驱动线ctlM。另外，在各单色传感器像素组Pg中，其曝光时间被设定为“长(Long)”的两个传感器像素111(光电二极管PD)可以布置在右侧，并且可以排列在垂直方向上。在这种情况下，在单色传感器像素组Pg中，左侧的两个传感器像素111(光电二极管PD)中的一个的曝光时间被设定为“中(Middle)”，并且其另一个的曝光时间被设定为“短(Short)”。
在本变形例中，图像数据Ia包括与像素阵列部110中的X行×Y列的传感器像素111相对应的X行×Y列的像素数据Sig。X行×Y列的像素数据Sig中的与单色传感器像素组Ph相对应的两行×两列的像素数据Sig包括与其曝光时间被设定为“中(Middle)”的两个传感器像素111相对应的两个像素数据Sig1、与其曝光时间被设定为“短(Short)”的传感器像素111相对应的一个像素数据Sig2、以及与其曝光时间被设定为“长(Long)”的传感器像素111相对应的一个像素数据Sig3。另外，X行×Y列的像素数据Sig中的与单色传感器像素组Pe相对应的两行×两列的像素数据Sig包括与其曝光时间被设定为“中(Middle)”的两个传感器像素111相对应的两个像素数据Sig1、与其曝光时间被设定为“短(Short)”的传感器像素111相对应的一个像素数据Sig2、以及与其曝光时间被设定为“长(Long)”的传感器像素111相对应的一个像素数据Sig3。
另外，X行×Y列的像素数据Sig中的与单色传感器像素组Pf相对应的两行×两列的像素数据Sig包括与其曝光时间被设定为“短(Short)”的两个传感器像素111相对应的两个像素数据Sig2、与其曝光时间被设定为“中(Middle)”的传感器像素111相对应的一个像素数据Sig1、以及与其曝光时间被设定为“长(Long)”的传感器像素111相对应的一个像素数据Sig3。另外，X行×Y列的像素数据Sig中的与单色传感器像素组Pg相对应的两行×两列的像素数据Sig包括与其曝光时间被设定为“长(Long)”的两个传感器像素111相对应的两个像素数据Sig3、与其曝光时间被设定为“中(Middle)”的传感器像素111相对应的一个像素数据Sig1、以及与其曝光时间被设定为“短(Short)”的传感器像素111相对应的一个像素数据Sig2。
接下来，给出本变形例的运算电路20的说明。
图15示出了本变形例的运算电路20中的信号处理过程的示例。运算电路20基于由成像元件10获得的图像数据Ia生成HDR图像数据Ib。首先，运算电路20针对各曝光时间分解图像数据Ia(步骤S301)。具体地，运算电路20将图像数据Ia分解为其曝光时间为“中(Middle)”的数据(图像数据Im)、其曝光时间为“长(Long)”的数据(图像数据Il)、以及其曝光时间为“短(Short)”的数据(图像数据Is)。
接下来，运算电路20基于图像数据Im生成相位差数据Pd11(步骤S302)。具体地，运算电路20在图像数据Im中导出与各单色传感器像素组Pe相对应的两个像素数据Sig1之间的差值，并且根据所导出的差值生成光接收表面110A上的第一方向(右上方)上的相位差数据Pd11。另外，基于图像数据Is生成相位差数据Pd12(步骤S302)。具体地，运算电路20在图像数据Is中导出与各单色传感器像素组Pf相对应的两个像素数据Sig2之间的差值，并且根据所导出的差值生成光接收表面110A上的第二方向(水平方向)上的相位差数据Pd12。另外，基于图像数据Il生成相位差数据Pd13(步骤S302)。具体地，运算电路20在图像数据Il中导出与各单色传感器像素组Pg相对应的两个像素数据Sig3之间的差值，并且根据所导出的差值生成光接收表面110A上的第三方向(水平方向)上的相位差数据Pd13。
另外，运算电路20基于图像数据Il和Im生成相位差数据Pd14(步骤S302)。具体地，运算电路20导出图像数据Il和图像数据Im’之间的差值，图像数据Im’是通过将图像数据Im乘以曝光时间“长(Long)”和曝光时间“中(Middle)”的曝光时间比而获得的，并且根据所导出的差值生成相位差数据Pd14。另外，运算电路20基于图像数据Im和Is生成相位差数据Pd15(步骤S302)。具体地，运算电路20导出图像数据Im与图像数据Is’之间的差值，图像数据Is’是通过将图像数据Is乘以曝光时间“中(Middle)”和曝光时间“短(Short)”的曝光时间比而获得的，并且根据所导出的差值生成相位差数据Pd15。
接下来，运算电路20基于相位差数据Pd11、Pd12和Pd13生成用于相位差的电平数据Da(步骤S303)。例如，电平数据Da是由在从下限值(例如，零位)到上限值(例如，128位)的范围内的值表示的数据。例如，在相位差数据Pd11、Pd12和Pd13中，运算电路20将落入预定范围以下的数值转换为下限值(例如，零位)。例如，在相位差数据Pd11、Pd12和Pd13中，运算电路20将超出预定范围的数值转换为上限值(例如，128位)。例如，在相位差数据Pd11、Pd12和Pd13中，运算电路20根据数值的大小将预定范围内的数值转换为从1位到127位的范围内的值。
接下来，运算电路20将相位差数据Pd14和Pd15转换为关于移动体的电平数据Db(步骤S104)。例如，电平数据Db是由在从下限值(例如，零位)到上限值(例如，128位)的范围内的值表示的数据。具体地，运算电路20基于成像元件10的噪声电平的数据(噪声数据)以及相位差数据Pd14和Pd15生成电平数据Db。
接下来，运算电路20根据所获得的电平数据Da检测具有较大的相位差的位置(步骤S305)。此外，运算电路20根据所获得的电平数据Db检测是否存在移动体(步骤S306)。最后，运算电路20根据图像数据Im、Il和Is、是否存在相位差、以及是否存在移动体生成HDR图像数据Ib(步骤S307)。以这种方式，生成了HDR图像数据Ib。
以这种方式，在本变形例中，成像元件10被构造成从两行×两列的三色传感器像素组P2(在下文中，称为“三色传感器像素组P3”)中获得在三个方向上的相位差数据。这使得能够确定在三个方向上是否存在相位差以及是否存在移动体。
[[变形例C]]
在前述实施例及其变形例中，像素阵列部110被构造成从与单色传感器像素组Pl相对应的两行×两列的像素数据Sig中获得在一个方向上的相位差数据。然而，在前述实施例及其变形例中，像素阵列部110可以被构造成从与单色传感器像素组P1相对应的两行×两列的像素数据Sig中获得在两个方向上的相位差数据。
图16示出了根据本变形例的像素阵列部110的构成例。在本变形例中，像素阵列部110被构造成从各三色传感器像素组P2中获得在右上方和右下方的相位差数据。此时，在各三色传感器像素组P2中，与每个滤色器CFr和CFb相对应的单色传感器像素组P1(单色传感器像素组Ph)具有与根据前述实施例的单色传感器像素组P1相同的构成。在各三色传感器像素组P2中，与每个滤色器CFg相对应的单色传感器像素组P1(单色传感器像素组Pa和Pb)具有与根据前述实施例的单色传感器像素组P1不同的构成。
具体地，在各单色传感器像素组Pb中，两个传感器像素111(光电二极管PD)的曝光时间被设定为“短(Short)”，并且剩余的两个传感器像素111(光电二极管PD)的曝光时间被设定为“中(Middle)”。换句话说，系统控制电路124控制多个传感器像素111(光电二极管PD)的曝光时间，以允许单色传感器像素组Pb的两个传感器像素111(光电二极管PD)的曝光时间彼此不同，并且其两个传感器像素111(光电二极管PD)的曝光时间彼此相同。另外，在各单色传感器像素组Pb中，例如，如图16所示，其曝光时间被设定为短(Short)的两个传感器像素111(光电二极管PD)排列在右下方。即，例如，如图16所示，在各单色传感器像素组Pb中，其曝光时间彼此相同的两个传感器像素111(光电二极管PD)排列在右下方。另外，在各单色传感器像素组Pb中，例如，如图16所示，其曝光时间被设定为“中(Middle)”的两个传感器像素111(光电二极管PD)排列在右上方。即，例如，如图16所示，在各单色传感器像素组Pb中，其曝光时间彼此相同的两个传感器像素111(光电二极管PD)也排列在右上方。
分配给单色传感器像素组Pb的两条像素驱动线ctlS中的一条像素驱动线ctlS连接到单色传感器像素组Pb的左上传感器像素111，并且其另一条像素驱动线ctlS连接到单色传感器像素组Pb的右下传感器像素111。分配给单色传感器像素组Pb的两条像素驱动线ctlM中的一条像素驱动线ctlM连接到单色传感器像素组Pb的左下传感器像素111，并且其另一条像素驱动线ctlM连接到单色传感器像素组Pb的右上传感器像素111。
此时，像素阵列部110在与各单色传感器像素组Pb的上排相对应的位置处包括像素驱动线ctlM和像素驱动线ctlS。另外，像素阵列部110在与各单色传感器像素组Pb的下排相对应的位置处包括像素驱动线ctlM和像素驱动线ctlS。这里，在布置在与单色传感器像素组Pb右相邻或左相邻的单色传感器像素组Ph的上排中所包括的一个传感器像素111(光电二极管PD)的曝光时间被设定为“长(Long)”的情况下，像素阵列部110在与各单色传感器像素组Pb的上排相对应的位置处还包括像素驱动线ctlL。另外，在布置在与单色传感器像素组Pb右相邻或左相邻的单色传感器像素组Ph的下排中所包括的一个传感器像素111(光电二极管PD)的曝光时间被设定为“长(Long)”的情况下，像素阵列部110在与各单色传感器像素组Pb的下排相对应的位置处还包括像素驱动线ctlL。
另外，在各单色传感器像素组Pa中，两个传感器像素111(光电二极管PD)的曝光时间被设定为“长(Long)”，并且剩余的两个传感器像素111(光电二极管PD)的曝光时间被设定为“中(Middle)”。换句话说，系统控制电路124控制多个传感器像素111(光电二极管PD)的曝光时间，以允许单色传感器像素组Pa中的两个传感器像素111(光电二极管PD)的曝光时间彼此不同，并且其两个传感器像素111(光电二极管PD)的曝光时间彼此相同。另外，在各单色传感器像素组Pa中，例如，如图16所示，其曝光时间被设定为长(Long)的两个传感器像素111(光电二极管PD)排列在右下方。即，例如，如图16所示，在各单色传感器像素组Pa中，其曝光时间彼此相同的两个传感器像素111(光电二极管PD)排列在右下方。另外，在各单色传感器像素组Pa中，例如，如图16所示，其曝光时间被设定为“中(Middle)”的两个传感器像素111(光电二极管PD)排列在右上方。即，例如，如图16所示，在各单色传感器像素组Pa中，其曝光时间彼此相同的两个传感器像素111(光电二极管PD)也排列在右上方。
分配给单色传感器像素组Pa的两条像素驱动线ctlL中的一条像素驱动线ctlL连接到单色传感器像素组Pa的左上传感器像素111，并且另一条像素驱动线ctlL连接到单色传感器像素组Pa的右下传感器像素111。分配给单色传感器像素组Pa的两条像素驱动线ctlM中的一条像素驱动线ctlM连接到单色传感器像素组Pa的左下方传感器像素111，并且其另一条像素驱动线ctlM连接到单色传感器像素组Pa的右上传感器像素111。
此时，像素阵列部110在与各单色传感器像素组Pa的上排相对应的位置处包括像素驱动线ctlL和像素驱动线ctlM。另外，像素阵列部110在与各单色传感器像素组Pa的下排相对应的位置处包括像素驱动线ctlL和像素驱动线ctlM。这里，在布置在与单色传感器像素组Pa右相邻或左相邻的单色传感器像素组Ph的下排中所包括的一个传感器像素111(光电二极管PD)的曝光时间被设定为“短(Short)”的情况下，像素阵列部110在与各单色传感器像素组Pa的下排相对应的位置处还包括像素驱动线ctlS。另外，在布置在与单色传感器像素组Pa右相邻或左相邻的单色传感器像素组Ph的上排中所包括的一个传感器像素111(光电二极管PD)的曝光时间被设定为“短(Short)”的情况下，像素阵列部110在与各单色传感器像素组Pa的上排相对应的位置处还包括像素驱动线ctlS。
在本变形例中，图像数据Ia包括与像素阵列部110中的X行×Y列的传感器像素111相对应的X行×Y列的像素数据Sig。X行×Y列的像素数据Sig中的与单色传感器像素组Ph相对应的两行×两列的像素数据Sig包括与其曝光时间被设定为“中(Middle)”的两个传感器像素111相对应的两个像素数据Sig1、与其曝光时间被设定为“短(Short)”的传感器像素111相对应的一个像素数据Sig2、以及与其曝光时间被设定为“长(Long)”的传感器像素111相对应的一个像素数据Sig3。另外，X行×Y列的像素数据Sig中的与单色传感器像素组Pa相对应的两行×两列的像素数据Sig包括与其曝光时间被设定为“中(Middle)”的两个传感器像素111相对应的两个像素数据Sig1、以及与其曝光时间被设定为“短(Short)”的两个传感器像素111相对应的两个像素数据Sig2。另外，X行×Y列的像素数据Sig中的与单色传感器像素组Pb相对应的两行×两列的像素数据Sig包括与其曝光时间被设定为“中(Middle)”的两个传感器像素111相对应的两个像素数据Sig1、以及与其曝光时间被设定为“长(Long)”的两个传感器像素111相对应的两个像素数据Sig3。
接下来，给出本变形例的运算电路20的说明。
图17示出了本变形例的运算电路20中的信号处理过程的示例。运算电路20基于由成像元件10获得的图像数据Ia生成HDR图像数据Ib。首先，运算电路20针对各曝光时间分解图像数据Ia(步骤S401)。具体地，运算电路20将图像数据Ia分解为其曝光时间为“中(Middle)”的数据(图像数据Im)、其曝光时间为“长(Long)”的数据(图像数据Il)、以及其曝光时间为“短(Short)”的数据(图像数据Is)。
接下来，运算电路20基于图像数据Im生成相位差数据Pd21(步骤S402)。具体地，运算电路20在图像数据Im中导出与每个单色传感器像素组Pa和Pb相对应的两个像素数据Sig1之间的差值，并且根据所导出的差值生成光接收表面110A上的第一方向(右上方)上的相位差数据Pd21。另外，基于图像数据Is生成相位差数据Pd22(步骤S402)。具体地，运算电路20在图像数据Is中导出与各单色传感器像素组Pa相对应的两个像素数据Sig2之间的差值，并且根据所导出的差值生成光接收表面110A上的第二方向(右下方)上的相位差数据Pd22。另外，基于图像数据Il生成相位差数据Pd23(步骤S402)。具体地，运算电路20在图像数据Il中导出与各单色传感器像素组Pb相对应的两个像素数据Sig3之间的差值，并且根据所导出的差值生成光接收表面110A上的第二方向(右下方)上的相位差数据Pd23。
另外，运算电路20基于图像数据Il和Im生成相位差数据Pd24(步骤S402)。具体地，运算电路20导出图像数据Il与图像数据Im’之间的差值，图像数据Im’是通过将图像数据Im乘以曝光时间“长(Long)”和曝光时间“中(Middle)”的曝光时间比而获得的，并且根据所导出的差值生成相位差数据Pd24。另外，运算电路20基于图像数据Im和Is生成相位差数据Pd25(步骤S402)。具体地，运算电路20导出图像数据Im与图像数据Is’之间的差值，图像数据Is’是通过将图像数据Im乘以曝光时间“中(Middle)”和曝光时间“短(Short)”的曝光时间比而获得的，并且根据所导出的差值生成相位差数据Pd25。
接下来，运算电路20基于相位差数据Pd21、Pd22和Pd23生成用于相位差的电平数据Da(步骤S403)。例如，电平数据Da是由在从下限值(例如，零位)到上限值(例如，128位)的范围内的值表示的数据。例如，在相位差数据Pd21、Pd22和Pd23中，运算电路20将落入预定范围以下的数值转换为下限值(例如，零位)。例如，在相位差数据Pd21、Pd22和Pd23中，运算电路20将超出预定范围的数值转换为上限值(例如，128位)。例如，在相位差数据Pd21、Pd22和Pd23中，运算电路20根据数值的大小将预定范围内的数值转换为从1位到127位的范围内的值。
接下来，运算电路20将相位差数据Pd24和Pd25转换为关于移动体的电平数据Db(步骤S404)。例如，电平数据Db是由在从下限值(例如，零位)到上限值(例如，128位)的范围内的值表示的数据。具体地，运算电路20基于成像元件10的噪声电平的数据(噪声数据)以及相位差数据Pd24和Pd25生成电平数据Db。
接下来，运算电路20根据所获得的电平数据Da检测具有较大的相位差的位置(步骤S405)。此外，运算电路20根据所获得的电平数据Db检测是否存在移动体(步骤S406)。最后，运算电路20根据图像数据Im、Il和Is、是否存在相位差以及是否存在移动体生成HDR图像数据Ib(步骤S407)。以这种方式，生成了HDR图像数据Ib。
在本变形例中，成像元件10被构造成从与单色传感器像素组P1相对应的两行×两列的像素数据Sig中获得在两个方向上的相位差数据。这使得能够确定在两个方向上是否存在相位差以及是否存在移动体。
[[变形例D]]
在前述实施例及其变形例中，像素阵列部110被构造成从与单色传感器像素组Pl相对应的两行×两列的像素数据Sig中获得在一个方向上的一个相位差数据。然而，在前述实施例及其变形例中，像素阵列部110可以被构造成从与单色传感器像素组Pl相对应的两行×两列的像素数据Sig中获得在一个方向上的两个相位差数据。
图18示出了根据本变形例的像素阵列部110的构成例。在本变形例中，像素阵列部110被构造成从各三色传感器像素组P2中获得在垂直方向和水平方向上的相位差数据。此时，在各三色传感器像素组P2中，与每个滤色器CFr和CFb相对应的单色传感器像素组P1(单色传感器像素组Ph)具有与根据前述实施例的单色传感器像素组P1相同的构成。在各三色传感器像素组P2中，与每个滤色器CFg相对应的单色传感器像素组P1(单色传感器像素组Pa和Pb)具有与根据前述实施例的单色传感器像素组P1不同的构成。
具体地，在各单色传感器像素组Pb中，两个传感器像素111(光电二极管PD)的曝光时间被设定为“短(Short)”，并且剩余的两个传感器像素111(光电二极管PD)的曝光时间被设定为“中(Middle)”。换句话说，系统控制电路124控制多个传感器像素111(光电二极管PD)的曝光时间，以允许单色传感器像素组Pb的两个传感器像素111(光电二极管PD)的曝光时间彼此不同，并且其两个传感器像素111(光电二极管PD)的曝光时间彼此相同。另外，在各单色传感器像素组Pb中，例如，如图18所示，其曝光时间被设定为短(Short)的两个传感器像素111(光电二极管PD)布置在上排，并且排列在水平方向上。即，在各单色传感器像素组Pb中，例如，如图18所示，其曝光时间彼此相同的两个传感器像素111(光电二极管PD)布置在上排，并且排列在水平方向上。另外，在各单色传感器像素组Pb中，例如，如图18所示，其曝光时间被设定为“中(Middle)”的两个传感器像素111(光电二极管PD)布置在下排，并且排列在水平方向上。即，在各单色传感器像素组Pb中，例如，如图18所示，其曝光时间彼此相同的两个传感器像素111(光电二极管PD)布置在下排并且排列在水平方向上。
分配给单色传感器像素组Pb的两条像素驱动线ctlS中的一条像素驱动线ctlS连接到单色传感器像素组Pb的左上传感器像素111，并且另一条像素驱动线ctlS连接到单色传感器像素组Pb的右上传感器像素111。分配给单色传感器像素组Pb的两条像素驱动线ctlM中的一条像素驱动线ctlM连接到单色传感器像素组Pb的左下传感器像素111，并且其另一条像素驱动线ctlM连接到单色传感器像素组Pb的右下传感器像素111。
此时，像素阵列部110在与各单色传感器像素组Pb的上排相对应的位置处包括两条像素驱动线ctlS，并且在与各单色传感器像素组Pb的下排相对应的位置处包括两条像素驱动线ctlM。这里，在布置在与单色传感器像素组Pb右相邻或左相邻的单色传感器像素组Ph的上排中所包括的一个传感器像素111(光电二极管PD)的曝光时间被设定为“长(Long)”的情况下，像素阵列部110在与各单色传感器像素组Pb的上排相对应的位置处还包括像素驱动线ctlL。另外，在布置在与单色传感器像素组Pb右相邻或左相邻的单色传感器像素组Ph的下排中所包括的一个传感器像素111(光电二极管PD)的曝光时间被设定为“长(Long)”的情况下，像素阵列部110在与各单色传感器像素组Pb的下排相对应的位置处还包括像素驱动线ctlL。
要注意的是，在各单色传感器像素组Pb中，下排的两个传感器像素111(光电二极管PD)的曝光时间可以被设定为“短(Short)”，并且上排的两个传感器像素111(光电二极管PD)的曝光时间可以被设定为“中(Middle)”。
另外，在各单色传感器像素组Pa中，两个传感器像素111(光电二极管PD)的曝光时间被设定为“长(Long)”，并且剩余的两个传感器像素111(光电二极管PD)的曝光时间被设定为“中(Middle)”。换句话说，系统控制电路124控制多个传感器像素111(光电二极管PD)的曝光时间，以允许单色传感器像素组Pa的两个传感器像素111(光电二极管PD)的曝光时间彼此不同，并且其两个传感器像素111(光电二极管PD)的曝光时间彼此相同。另外，例如，如图18所示，在各单色传感器像素组Pa中，其曝光时间被设定为长(Long)的两个传感器像素111(光电二极管PD)布置在左侧，并且排列在垂直方向上。即，在各单色传感器像素组Pa中，例如，如图18所示，其曝光时间彼此相同的两个传感器像素111(光电二极管PD)布置在左侧，并且排列在垂直方向上。另外，在各单色传感器像素组Pa中，例如，如图18所示，其曝光时间被设定为“中(Middle)”的两个传感器像素111(光电二极管PD)布置在右侧，并且排列在垂直方向上。即，例如，如图18所示，在各单色传感器像素组Pa中，其曝光时间彼此相同的两个传感器像素111(光电二极管PD)布置在右侧，并且排列在垂直方向上。
此时，像素阵列部110在与各单色传感器像素组Pa的上排相对应的位置处包括像素驱动线ctlL和像素驱动线ctlM。另外，像素阵列部110与各单色传感器像素组Pa的下排相对应的位置处包括像素驱动线ctlL和像素驱动线ctlM。这里，在布置在与单色传感器像素组Pa右相邻或左相邻的单色传感器像素组Ph的下排中所包括的一个传感器像素111(光电二极管PD)的曝光时间被设定为“短(Short)”的情况下，像素阵列部110在与各像素传感器部Pa的下排相对应的位置处还包括像素驱动线ctlS。另外，在布置在与单色传感器像素组Pa右相邻或左相邻的单色传感器像素组Ph的上排中所包括的一个传感器像素111(光电二极管PD)的曝光时间被设定为“短(Short)”的情况下，像素阵列部110在与各单色传感器像素组Pa的上排相对应的位置处还包括像素驱动线ctlS。
要注意的是，在各单色传感器像素组Pa中，右侧的两个传感器像素111(光电二极管PD)的曝光时间可以被设定为“长(Long)”，并且左侧的两个传感器像素111(光电二极管PD)的曝光时间可以被设定为“中(Middle)”。
在本变形例中，图像数据Ia包括与像素阵列部110中的X行×Y列的传感器像素111相对应的X行×Y列的像素数据Sig。X行×Y列的像素数据Sig中的与单色传感器像素组Ph相对应的两行×两列的像素数据Sig包括与其曝光时间被设定为“中(Middle)”的两个传感器像素111相对应的两个像素数据Sig1、与其曝光时间被设定为“短(Short)”的传感器像素111相对应的一个像素数据Sig2、以及与其曝光时间被设定为“长(Long)”的传感器像素111相对应的一个像素数据Sig3。另外，X行×Y列的像素数据Sig中的与单色传感器像素组Pa相对应的两行×两列的像素数据Sig包括与其曝光时间被设定为“中(Middle)”的两个传感器像素111相对应的两个像素数据Sig1、以及与其曝光时间被设定为“短(Short)”的两个传感器像素111相对应的一个像素数据Sig2。另外，X行×Y列的像素数据Sig中的与单色传感器像素组Pb相对应的两行×两列的像素数据Sig包括与其曝光时间被设定为“中(Middle)”的两个传感器像素111相对应的两个像素数据Sig1、以及与其曝光时间被设定为“长(Long)”的两个传感器像素111相对应的一个像素数据Sig3。
接下来，给出本变形例的运算电路20的说明。
图19示出了本变形例的运算电路20中的信号处理过程的示例。运算电路20基于由成像元件10获得的图像数据Ia生成HDR图像数据Ib。首先，运算电路20针对各曝光时间分解图像数据Ia(步骤S501)。具体地，运算电路20将图像数据Ia分解为曝光时间为“中(Middle)”的数据(图像数据Im)、曝光时间为“长(Long)”的数据(图像数据Il)、以及曝光时间为“短(Short)”的数据(图像数据Is)。
接下来，运算电路20基于图像数据Im生成相位差数据Pd31和Pd32(步骤S502)。具体地，运算电路20在图像数据Im中导出与各单色传感器像素组Pa相对应的两个像素数据Sig1之间的差值，并且根据所导出的差值生成光接收表面110A上的第一方向(水平方向)上的相位差数据Pd31。另外，运算电路20在图像数据Im中导出与各单色传感器像素组Pb相对应的两个像素数据Sig1之间的差值，并且根据所导出的差值生成光接收表面110A上的第二方向(垂直方向)上的相位差数据Pd32。
另外，运算电路20基于图像数据Is生成相位差数据Pd33(步骤S502)。具体地，运算电路20在图像数据Is中导出与各单色传感器像素组Pa相对应的两个像素数据Sig2之间的差值，并且根据所导出的差值生成光接收表面110A上的第一方向(水平方向)上的相位差数据Pd33。另外，基于图像数据Il生成了相位差数据Pd34(步骤S502)。具体地，运算电路20在图像数据Il中导出与各单色传感器像素组Pb相对应的两个像素数据Sig3之间的差值，并且根据所导出的差值生成光接收表面110A上的第二方向(垂直方向)上的相位差数据Pd34。
另外，运算电路20基于图像数据Il和Im生成相位差数据Pd35(步骤S502)。具体地，运算电路20导出图像数据Il和图像数据Im’之间的差值，图像数据Im’是通过将图像数据Im乘以曝光时间“长(Long)”和曝光时间“中(Middle)”的曝光时间比而获得的，并且根据所导出的差值生成相位差数据Pd35。另外，运算电路20基于图像数据Im和Is生成相位差数据Pd36(步骤S502)。具体地，运算电路20导出图像数据Im与图像数据Is’之间的差值，图像数据Is’是通过将图像数据Is乘以曝光时间“中(Middle)”和曝光时间“短(Short)”的曝光时间比而获得的，并且根据所导出的差值生成相位差数据Pd36。
接下来，运算电路20基于相位差数据Pd31、Pd32、Pd33和Pd34生成用于相位差的电平数据Da(步骤S503)。例如，电平数据Da是由在从下限值(例如，零位)到上限值(例如，128位)的范围内的值表示的数据。例如，在相位差数据Pd31、Pd32、Pd33和Pd34中，运算电路20将落入预定范围以下的数值转换为下限值(例如，零位)。例如，在相位差数据Pd31、Pd32、Pd33和Pd34中，运算电路20将超出预定范围的数值转换为上限值(例如，128位)。例如，在相位差数据Pd31、Pd32、Pd33和Pd34中，运算电路20根据数值的大小将预定范围内的数值转换为从1位到127位的范围内的值。
接下来，运算电路20将相位差数据Pd35和Pd36转换为关于移动体的电平数据Db(步骤S504)。例如，电平数据Db是由在从下限值(例如，零位)到上限值(例如，128位)的范围内的值表示的数据。具体地，运算电路20基于成像元件10的噪声电平的数据(噪声数据)以及相位差数据Pd35和Pd36生成电平数据Db。
接下来，运算电路20根据所获得的电平数据Da检测具有较大的相位差的位置(步骤S505)。此外，运算电路20根据所获得的电平数据Db检测是否存在移动体(步骤S506)。最后，运算电路20根据图像数据Im、Il和Is、是否存在相位差以及是否存在移动体生成HDR图像数据Ib(步骤S507)。以这种方式，生成了HDR图像数据Ib。
在本变形例中，像素阵列部110被构造成从与单色传感器像素组Pa相对应的两行×两列的像素数据Sig中获得在第一方向上的两个相位差数据，并且被构造成从与单色传感器像素组Pb相对应的两行×两列的像素数据Sig中获得在第二方向上的两个相位差数据。这使得能够确定在两个方向上是否存在相位差以及是否存在移动体。
[[变形例E]]
在前述变形例B中，像素阵列部110被构造成从与各三色传感器像素组P3的八行×八列的像素数据Sig中获得在四个方向上的相位差数据。然而，在前述实施例中，像素阵列部110可以被构造成从与各三色传感器像素组P3的一个单色传感器像素组Pa相对应的两行×两列的像素数据Sig中获得在四个方向上的相位差数据。
图20示出了根据本变形例的像素阵列部110的构成例。在本变形例中，像素阵列部110被构造成从与各三色传感器像素组P3的一个单色传感器像素组P1(在下文中，“单色传感器像素组Pi”)相对应的两行×两列的像素数据Sig中获得在右上方、右下方、水平方向以及垂直方向上的相位差数据。单色传感器像素组Pi是与滤色器CFg相对应的单色传感器像素组P1。此时，在各三色传感器像素组P3中，除了单色传感器像素组Pi以外，各单色传感器像素组P1具有与根据前述实施例的单色传感器像素组P1相同的构成。同时，各单色传感器像素组Pi具有与根据前述实施例的单色传感器像素组P1不同的构成。具体地，在各单色传感器像素组Pi中，四个传感器像素111(光电二极管PD)的曝光时间被设定为“中(Middle)”。换句话说，系统控制电路124控制多个传感器像素111(光电二极管PD)的曝光时间，以允许在各三色传感器像素组P3中所包括的单色传感器像素组Pi中的各个传感器像素111(光电二极管PD)的曝光时间彼此相同。
分配给单色传感器像素组Pi的两条像素驱动线ctlM中的一条像素驱动线ctlM连接到单色传感器像素组Pi的上排中的两个传感器像素111，并且其另一条像素驱动线ctlM连接到单色传感器像素组Pi的下排中的两个传感器像素111。
这里，在布置在与单色传感器像素组Pi右相邻或左相邻的单色传感器像素组P1的上排中所包括的一个传感器像素111(光电二极管PD)的曝光时间被设定为“长(Long)”的情况下，像素阵列部110在与各单色传感器像素组Pi的上排相对应的位置处还包括像素驱动线ctlL。另外，在布置在与单色传感器像素组Pi右相邻或左相邻的单色传感器像素组P1的上排中所包括的一个传感器像素111(光电二极管PD)的曝光时间被设定为“短(Short)”的情况下，像素阵列部110在与各单色传感器像素组Pi的上排相对应的位置处还包括像素驱动线ctlS。另外，在布置在与单色传感器像素组Pi右相邻或左相邻的单色传感器像素组P1的下排中所包括的一个传感器像素111(光电二极管PD)的曝光时间被设定为“短(Short)”的情况下，像素阵列部110在与各单色传感器像素组Pi的下排相对应的位置处还包括像素驱动线ctlS。另外，在布置在与单色传感器像素组Pi右相邻或左相邻的单色传感器像素组P1的下排中所包括的一个传感器像素111(光电二极管PD)的曝光时间被设定为“长(Long)”的情况下，像素阵列部110在与各单色传感器像素组Pi的下排相对应的位置处还包括像素驱动线ctlL。
在本变形例中，图像数据Ia包括与像素阵列部110中的X行×Y列的传感器像素111相对应的X行×Y列的像素数据Sig。X行×Y列的像素数据Sig中的与除了单色传感器像素组Pd以外的各单色传感器像素组P1相对应的两行×两列的像素数据Sig包括与其曝光时间被设定为“中(Middle)”的两个传感器像素111相对应的两个像素数据Sig1、与其曝光时间被设定为“短(Short)”的传感器像素111相对应的一个像素数据Sig2、以及与其曝光时间被设定为“长(Long)”的传感器像素111相对应的一个像素数据Sig3。另外，X行×Y列的像素数据Sig中的与单色传感器像素组Pd相对应的两行×两列的像素数据Sig包括与其曝光时间被设定为“中(Middle)”的四个传感器像素111相对应的四个像素数据Sig1。
接下来，给出本变形例的运算电路20的说明。
图21示出了本变形例的运算电路20中的信号处理过程的示例。运算电路20基于由成像元件10获得的图像数据Ia生成HDR图像数据Ib。首先，运算电路20针对各曝光时间分解图像数据Ia(步骤S601)。具体地，运算电路20将图像数据Ia分解为其曝光时间为“中(Middle)”的数据(图像数据Im)、其曝光时间为“长(Long)”的数据(图像数据Il)、以及其曝光时间为“短(Short)”的数据(图像数据Is)。
接下来，运算电路20基于图像数据Im生成相位差数据Pd41、Pd42、Pd43和Pd44(步骤S602)。具体地，运算电路20在图像数据Im中导出作为与各单色传感器像素组Pi相对应并且排列在右上方的两个像素数据Sig1的两个像素数据Sig1之间的差值，并且根据所导出的差值生成光接收表面110A上的第一方向(右上方)上的相位差数据Pd41。另外，运算电路20在图像数据Im中导出作为与各单色传感器像素组Pi相对应并且排列在右下方的两个像素数据Sig1的两个像素数据Sig1之间的差值，并且根据所导出的差值生成光接收表面110A上的第二方向(右下方)上的相位差数据Pd42。
运算电路20在图像数据Im中导出作为与各单色传感器像素组Pi相对应并且排列在水平方向上的两个像素数据Sig1的上排中的两个像素数据Sig1之间的差值、以及排列在水平方向上的下排中的两个像素数据Sig1之间的差值，并且根据所导出的差值生成光接收表面110A上的第三方向(水平方向)上的相位差数据Pd43。另外，运算电路20在图像数据Im中导出作为与各单色传感器像素组Pi相对应并且排列在垂直方向上的两个像素数据Sig1的左侧的两个像素数据Sig1之间的差值、以及排列在垂直方向上的右侧的两个像素数据Sig1之间的差值，并且根据所导出的差值生成光接收表面110A上的第四方向(垂直方向)上的相位差数据Pd44。
另外，运算电路20基于图像数据Il和Im生成相位差数据Pd45(步骤S602)。具体地，运算电路20导出图像数据Il和图像数据Im’之间的差值，图像数据Im’是通过将图像数据Im乘以曝光时间“长(Long)”和曝光时间“中(Middle)”的曝光时间比而获得的，并且根据所导出的差值生成相位差数据Pd45。另外，运算电路20基于图像数据Im和Is生成相位差数据Pd46(步骤S602)。具体地，运算电路20导出图像数据Im与图像数据Is’之间的差值，图像数据Is’是通过将图像数据Is乘以曝光时间“中(Middle)”和曝光时间“短(Short)”的曝光时间比而获得的，并且根据所导出的差值生成相位差数据Pd46。
接下来，运算电路20基于相位差数据Pd41、Pd42、Pd43和Pd44生成用于相位差的电平数据Da(步骤S603)。例如，电平数据Da是由在从下限值(例如，零位)到上限值(例如，128位)的范围内的值表示的数据。例如，在相位差数据Pd41、Pd42、Pd43和Pd44中，运算电路20将落入预定范围以下的数值转换为下限值(例如，零位)。例如，在相位差数据Pd41、Pd42、Pd43和Pd44中，运算电路20将超出预定范围的数值转换为上限值(例如，128位)。例如，在相位差数据Pd41、Pd42、Pd43和Pd44中，运算电路20根据数值的大小将预定范围内的数值转换为从1位到127位的范围内的值。
接下来，运算电路20将相位差数据Pd45和Pd46转换为关于移动体的电平数据Db(步骤S604)。例如，电平数据Db是由在从下限值(例如，零位)到上限值(例如，128位)的范围内的值表示的数据。具体地，运算电路20基于成像元件10的噪声电平的数据(噪声数据)以及相位差数据Pd45和Pd46生成电平数据Db。
接下来，运算电路20根据所获得的电平数据Da检测具有较大的相位差的位置(步骤S605)。此外，运算电路20根据所获得的电平数据Db检测是否存在移动体(步骤S606)。最后，运算电路20根据图像数据Im、Il和Is、是否存在相位差以及是否存在移动体生成HDR图像数据Ib(步骤S607)。以这种方式，生成了HDR图像数据Ib。
在本变形例中，像素阵列部110被构造成从与各三色传感器像素组P3的一个单色传感器像素组Pa相对应的两行×两列的像素数据Sig中获得在四个方向上的相位差数据。这使得能够确定在四个方向上是否存在相位差以及是否存在移动体。
[[变形例F]]
在前述变形例E中，像素阵列部110被构造成从与各三色传感器像素组P3的一个单色传感器像素组Pa相对应的两行×两列的像素数据Sig中获得在四个方向上的相位差数据。然而，在前述变形例E中，像素阵列部110可以被构造成从与各三色传感器像素组P3的一个三色传感器像素组P2相对应的四行×四列的像素数据Sig中获得在四个方向上的相位差数据。
图22示出了根据本变形例的像素阵列部110的构成例。在本变形例中，像素阵列部110被构造成从与各三色传感器像素组P3中的一个三色传感器像素组P2(在下文中，称为“三色传感器像素组Pj”)相对应的四行×四列的像素数据Sig中获得在右上方、右下方、水平方向以及垂直方向上的相位差数据。在各三色传感器像素组P3中，除了三色传感器像素组Pj以外，各三色传感器像素组P2中所包括的各单色传感器像素组P1具有与根据前述实施例的单色传感器像素组P1相同的构成。同时，各三色传感器像素组Pj具有与根据前述实施例的三色传感器像素组P2不同的构成。具体地，在各三色传感器像素组Pj的各单色传感器像素组P1中，四个传感器像素111(光电二极管PD)的曝光时间被设定为“中(Middle)”。换句话说，系统控制电路124控制多个传感器像素111(光电二极管PD)的曝光时间，以允许在各三色传感器像素组P3中所包括的三色传感器像素组Pj的各单色传感器像素组P1中的各个传感器像素111(光电二极管PD)的曝光时间彼此相同。
分配给三色传感器像素组Pj的上排中的单色传感器像素组Pl的两条像素驱动线ctlM中的一条像素驱动线ctlM连接到单色传感器像素组P1的上排中的两个传感器像素111，并且其另一条像素驱动线ctlM连接到单色传感器像素组P1的下排中的两个传感器像素111。
这里，在布置在与三色传感器像素组Pj的上排右相邻或左相邻的单色传感器像素组P1的上排中所包括的一个传感器像素111(光电二极管PD)的曝光时间被设定为“长(Long)”的情况下，像素阵列部110在与各三色传感器像素组Pj的上排中的单色传感器像素组P1的上排中的传感器像素111(光电二极管PD)相对应的位置处还包括像素驱动线ctlL。另外，在布置在与三色传感器像素组Pj的上排右相邻或左相邻的单色传感器像素组P1的上排中所包括的一个传感器像素111(光电二极管PD)的曝光时间被设定为“短(Short)”的情况下，像素阵列部110在与各三色传感器像素组Pj的上排中的单色传感器像素组P1的上排中的传感器像素111(光电二极管PD)相对应的位置处还包括像素驱动线ctlS。
另外，在布置在与三色传感器像素组Pj的上排右相邻或左相邻的单色传感器像素组Pl的下排中所包括的一个传感器像素111(光电二极管PD)的曝光时间被设定为“长(Long)”的情况下，像素阵列部110在与各三色传感器像素组Pj的上排中的单色传感器像素组P1的下排中的传感器像素111(光电二极管PD)相对应的位置处还包括像素驱动线ctlL。另外，在布置在与三色传感器像素组Pj的上排右相邻或左相邻的单色传感器像素组P1的下排中所包括的一个传感器像素111(光电二极管PD)的曝光时间被设定为“短(Short)”的情况下，像素阵列部110在与各三色传感器像素组Pj的上排中的单色传感器像素P1的下排中的传感器像素111(光电二极管PD)相对应的位置处还包括像素驱动线ctlS。
另外，在布置在与三色传感器像素组Pj的下排右相邻或左相邻的单色传感器像素组P1的上排中所包括的一个传感器像素111(光电二极管PD)的曝光时间被设定为的情况下“长(Long)”的情况下，像素阵列部110在与各三色传感器像素组Pj的下排中的单色传感器像素组P1的上排中的传感器像素111(光电二极管PD)相对应的位置处还包括像素驱动线ctlL。另外，在布置在与三色传感器像素组Pj的下排右相邻或左相邻的的单色传感器像素组P1的上排中所包括的一个传感器像素111(光电二极管PD)的曝光时间被设定为“短(Short)”的情况下，像素阵列部110在与各三色传感器像素组Pj的下排中的单色传感器像素组P1的上排中的传感器像素111(光电二极管PD)相对应的位置处还包括像素驱动线ctlS。
另外，在布置在与三色传感器像素组Pj的下排右相邻或左相邻的单色传感器像素组Pl的下排中所包括的一个传感器像素111(光电二极管PD)的曝光时间被设定为“长(Long)”的情况下，像素阵列部110在与各三色传感器像素组Pj的下排中的单色传感器像素组P1的下排中的传感器像素111(光电二极管PD)相对应的位置处还包括像素驱动线ctlL。另外，在布置在与三色传感器像素组Pj的下排右相邻或左相邻的单色传感器像素组P1的下排中所包括的一个传感器像素111(光电二极管PD)的曝光时间被设定为“短(Short)”的情况下，像素阵列部110在与各三色传感器像素组Pj的上排中的单色传感器像素组P1的下排中的传感器像素111(光电二极管PD)相对应的位置处还包括像素驱动线ctlS。
在本变形例中，图像数据Ia包括与像素阵列部110中的X行×Y列的传感器像素111相对应的X行×Y列的像素数据Sig。与X行×Y列的像素数据Sig中的除了三色传感器像素组Pe以外的各三色传感器像素组P2中所包括的各单色传感器像素组P1相对应的四行×四列的像素数据Sig包括与曝光时间被设定为“中(Middle)”的两个传感器像素111相对应的两个像素数据Sig1、与曝光时间被设定为“短(Short)”的传感器像素111相对应的一个像素数据Sig2、以及与曝光时间被设定为“长(Long)”的传感器像素111相对应的一个像素数据Sig3。另外，与X行×Y列的像素数据Sig中的三色传感器像素组Pe中所包括的各单色传感器像素组P1相对应的两行×两列的像素数据Sig包括与曝光时间被设定为“中(Middle)”的四个传感器像素111相对应的四个像素数据Sig1。
接下来，给出本变形例的运算电路20的说明。
图23示出了本变形例的运算电路20中的信号处理过程的示例。运算电路20基于由成像元件10获得的图像数据Ia生成HDR图像数据Ib。首先，运算电路20针对各曝光时间分解图像数据Ia(步骤S701)。具体地，运算电路20将图像数据Ia分解为其曝光时间为“中(Middle)”的数据(图像数据Im)、其曝光时间为“长(Long)”的数据(图像数据Il)、以及其曝光时间为“短(Short)”的数据(图像数据Is)。
接下来，运算电路20基于图像数据Im生成相位差数据Pd51、Pd52、Pd53和Pd54(步骤S702)。具体地，运算电路20在图像数据Im中导出作为与三色传感器像素组Pe中所包括的各单色传感器像素组P1相对应并且排列在右上方的两个像素数据Sig1的两个像素数据Sig1之间的差值，并且根据所导出的差值生成光接收表面110A上的第一方向(右上方)上的相位差数据Pd51。另外，运算电路20在图像数据Im中导出作为与三色传感器像素组Pe中所包括的各单色传感器像素组P1相对应并且排列在右下方的两个像素数据Sig1的两个像素数据Sig1之间的差值，并且根据所导出的差值生成光接收表面110A上的第二方向(右下方)上的相位差数据Pd52。
另外，运算电路20在图像数据Im中导出作为与三色传感器像素组Pe中所包括的各单色传感器像素组P1相对应并且排列在水平方向上的两个像素数据Sig1的上排中的两个像素数据Sig1之间的差值、以及排列在水平方向上的下排中的两个像素数据Sig1之间的差值，并且根据所导出的差值生成光接收表面110A上的第三方向(水平方向)上的相位差数据Pd53。另外，运算电路20在图像数据Im中导出作为与三色传感器像素组Pe中所包括的各单色传感器像素组P1相对应并且排列在垂直方向上的两个像素数据Sig1的左侧的两个像素数据Sig1之间的差值、以及排列在垂直方向上的右侧的两个像素数据Sig1之间的差值，并且根据所导出的差值生成光接收表面110A上的第四方向(垂直方向)上的相位差数据Pd54。
另外，运算电路20基于图像数据Il和Im生成相位差数据Pd55(步骤S702)。具体地，运算电路20导出图像数据Il和图像数据Im’之间的差值，图像数据Im’是通过将图像数据Im乘以曝光时间“长(Long)”和曝光时间“中(Middle)”的曝光时间比而获得的，并且根据所导出的差值生成相位差数据Pd55。另外，运算电路20基于图像数据Im和Is生成相位差数据Pd56(步骤S702)。具体地，运算电路20导出图像数据Im与图像数据Is’之间的差值，图像数据Is’是通过将图像数据Is乘以曝光时间“中(Middle)”和曝光时间“短(Short)”的曝光时间比而获得的，并且根据所导出的差值生成相位差数据Pd56。
接下来，运算电路20基于相位差数据Pd51、Pd52、Pd53和Pd54生成用于相位差的电平数据Da(步骤S703)。例如，电平数据Da是由在从下限值(例如，零位)到上限值(例如，128位)的范围内的值表示的数据。例如，在相位差数据Pd51、Pd52、Pd53和Pd54中，运算电路20将落入预定范围以下的数值转换为下限值(例如，零位)。例如，在相位差数据Pd51、Pd52、Pd53和Pd54中，运算电路20将超出预定范围的数值转换为上限值(例如，128位)。例如，在相位差数据Pd51、Pd52、Pd53和Pd54中，运算电路20根据数值的大小将预定范围内的数值转换为从1位到127位的范围内的值。
接下来，运算电路20将相位差数据Pd55和Pd56转换为关于移动体的电平数据Db(步骤S704)。例如，电平数据Db是由在从下限值(例如，零位)到上限值(例如，128位)的范围内的值表示的数据。具体地，运算电路20基于成像元件10的噪声电平的数据(噪声数据)以及相位差数据Pd55和Pd56生成电平数据Db。
接下来，运算电路20根据所获得的电平数据Da检测具有较大的相位差的位置(步骤S705)。此外，运算电路20根据所获得的电平数据Db检测是否存在移动体(步骤S706)。最后，运算电路20根据图像数据Im、Il和Is、是否存在相位差以及是否存在移动体生成HDR图像数据Ib(步骤S707)。以这种方式，生成了HDR图像数据Ib。
在本变形例中，像素阵列部110被构造成从与各三色传感器像素组P3的一个三色传感器像素组P2相对应的四行×四列的像素数据Sig中获得在四个方向上的相位差数据。这使得能够确定在四个方向上是否存在相位差以及是否存在移动体。
[[变形例G]]
在前述变形例F中，像素阵列部110被构造成从与各三色传感器像素组P3的一个三色传感器像素组P2相对应的四行×四列的像素数据Sig中获得在四个方向上的相位差数据。然而，在前述变形例F中，像素阵列部110可以被构造成从与各单色传感器像素组P1相对应的两行×两列的像素数据Sig中获得在四个方向上的相位差数据。
图24示出了根据本变形例的像素阵列部110的构成例。图25示出了图24的像素阵列部110的配线布局的示例。图26示出了图24的像素阵列部110中可检测到的相位差的方向的示例。
在本变形例中，例如，像素阵列部110被构造成从各单色传感器像素组P1中获得针对各第n帧(n是2以上的整数)的在右上方、垂直方向和水平方向上的相位差数据。此时，在各单色传感器像素组P1中，四个传感器像素111(光电二极管PD)的曝光时间被设定为“中(Middle)”。换句话说，系统控制电路124控制多个传感器像素111(光电二极管PD)的曝光时间，以允许在各单色传感器像素组P1中的各个传感器像素111(光电二极管PD)的曝光时间彼此相同。
例如，在本变形例中，像素阵列部110还被构造成在除了n×k帧(n是2以上的整数，并且k是1以上的整数)的各帧中获得包括三种曝光时间的图像数据的图像数据Ia。例如，如图27所示，在除了n×k帧(n是2以上的整数，并且k是1以上的整数)的各帧中，像素阵列部110还具有与根据前述实施例的像素阵列部110相似的构成。此时，在各单色传感器像素组P1中，两个传感器像素111(光电二极管PD)的曝光时间被设定为“中(Middle)”，剩余的两个传感器像素111(光电二极管PD)中的一个的曝光时间被设定为“短(Short)”，并且剩余的另一个的曝光时间被设定为“长(Long)”。
此时，如图25和图28所示，例如，像素阵列部110在与各单色传感器像素组P1的上排相对应的位置处包括像素驱动线ctlL和像素驱动线ctlM。另外，像素阵列部110在与各单色传感器像素组P1的下排相对应的位置处包括像素驱动线ctlM和像素驱动线ctlS。
要注意的是，在本变形例中，当获得针对各第n帧的图像数据Ia时，系统控制电路124使用设置在与各单色传感器像素组P1的上排相对应的位置处的像素驱动线ctlL和像素驱动线ctlM，以便执行曝光控制，从而将各单色传感器像素组P1的上排中的传感器像素111(光电二极管PD)的曝光时间设定为“中(Middle)”。另外，在本变形例中，当获得针对各第n帧的图像数据Ia时，系统控制电路124使用与各单色传感器像素组P1的下排相对应的位置处的像素驱动线ctlM和像素驱动线ctlS，以便执行曝光控制，从而将各单色传感器像素组P1的下排中的传感器像素111(光电二极管PD)的曝光时间设定为“中(Middle)”。
在本变形例中，针对各第n帧获得的图像数据Ia1包括与像素阵列部110中的X行×Y列的传感器像素111相对应的X行×Y列的像素数据Sig。X行×Y列的像素数据Sig中的与各单色传感器像素组P1相对应的四行×四列的像素数据Sig包括与其曝光时间被设定为“中(Middle)”的四个传感器像素111相对应的四个像素数据Sig1。
此外，在本变形例中，在除了n×k帧(n是2以上的整数，并且k是1以上的整数)的各帧中获得的图像数据Ia2包括与像素阵列部110中的X行×Y列的传感器像素111相对应的X行×Y列的像素数据Sig。例如，X行×Y列的像素数据Sig中的与各单色传感器像素组P1相对应的四行×四列的像素数据Sig包括与其曝光时间被设定为“中(Middle)”的两个传感器像素111相对应的两个像素数据Sig1、与其曝光时间被设定为“短(Short)”的传感器像素111相对应的一个像素数据Sig2、以及与其曝光时间被设定为“长(Long)”的传感器像素111相对应的一个像素数据Sig3。
接下来，给出本变形例的运算电路20的说明。
图29示出了本变形例的运算电路20中的信号处理过程的示例。运算电路20基于由成像元件10获得的图像数据Ia1和Ia2生成HDR图像数据Ib。首先，运算电路20针对各曝光时间分解所获得的图像数据Ia2(步骤S801)。具体地，运算电路20将图像数据Ia2分解为其曝光时间为“中(Middle)”的数据(图像数据Im2)、其曝光时间为“长(Long)”的数据(图像数据Il2)、以及其曝光时间为“短(Short)”的数据(图像数据Is2)。随后，运算电路20针对各曝光时间分解所获得的图像数据Ia1(步骤S801)。具体地，运算电路20将图像数据Ia1分解为其曝光时间为“中(Middle)”的数据(图像数据Im1)、其曝光时间为“长(Long)”的数据(图像数据Il1)、以及其曝光时间为“短(Short)”的数据(图像数据Is1)。
接下来，运算电路20基于图像数据Iml生成相位差数据Pd61、Pd62、Pd63和Pd64(步骤S802)。具体地，运算电路20在图像数据Im1中导出作为与各单色传感器像素组P1相对应并且排列在右上方的两个像素数据Sig1的两个像素数据Sig1之间的差值，并且根据所导出的差值生成在光接收表面110A上的第一方向(右上方)上的相位差数据Pd61。另外，运算电路20在图像数据Im1中导出作为与各单色传感器像素组P1相对应并且排列在右下方的两个像素数据Sig1的两个像素数据Sig1之间的差值，并且根据所导出的差值生成光接收表面110A上的第二方向(右下方)上的相位差数据Pd62。
另外，运算电路20在图像数据Im1中导出作为与各单色传感器像素组P1相对应并且排列在水平方向上的两个像素数据Sig1的上排中的两个像素数据Sig1之间的差值、以及排列在水平方向上的下排中的两个像素数据Sig1之间的差值，并且根据所导出的差值生成光接收表面110A上的第三方向(水平方向)上的相位差数据Pd63。另外，运算电路20在图像数据Im1中导出作为与各单色传感器像素组P1相对应并且排列在垂直方向上的两个像素数据Sig1的左侧的两个像素数据Sig1之间的差值、以及排列在垂直方向上的右侧的两个像素数据Sig1之间的差值，并且根据所导出的差值生成光接收表面110A上的第四方向(垂直方向)上的相位差数据Pd64。
另外，运算电路20基于图像数据Il1和Im1生成相位差数据Pd65(步骤S802)。具体地，运算电路20导出图像数据Il1与图像数据Im1’之间的差值，图像数据Im1’是通过将图像数据Im1乘以曝光时间“长(Long)”和曝光时间“中(Middle)”的曝光时间比而获得的，并且根据所导出的差值生成相位差数据Pd65。另外，运算电路20基于图像数据Im1和Is1生成相位差数据Pd66(步骤S802)。具体地，运算电路20导出图像数据Im1与图像数据Is1’之间的差值，图像数据Is1’是通过将图像数据Is1乘以曝光时间“中(Middle)”和曝光时间“短(Short)”的曝光时间比而获得的，并且根据所导出的差值生成相位差数据Pd66。
接下来，运算电路20基于相位差数据Pd61、Pd62、Pd63和Pd64生成用于相位差的电平数据Da(步骤S803)。例如，电平数据Da是由在从下限值(例如，零位)到上限值(例如，128位)的范围内的值表示的数据。例如，在相位差数据Pd61、Pd62、Pd63和Pd64中，运算电路20将落入预定范围以下的数值转换为下限值(例如，零位)。例如，在相位差数据Pd61、Pd62、Pd63和Pd64中，运算电路20将超出预定范围的数值转换为上限值(例如，128位)。例如，在相位差数据Pd61、Pd62、Pd63和Pd64中，运算电路20根据数值的大小将预定范围内的数值转换为从1位到127位的范围内的值。
接下来，运算电路20将相位差数据Pd65和Pd66转换为关于移动体的电平数据Db(步骤S804)。例如，电平数据Db是由在从下限值(例如，零位)到上限值(例如，128位)的范围内的值表示的数据。具体地，运算电路20基于成像元件10的噪声电平的数据(噪声数据)以及相位差数据Pd65和Pd66生成电平数据Db。
接下来，运算电路20根据所获得的电平数据Da检测具有较大的相位差的位置(步骤S805)。此外，运算电路20根据所获得的电平数据Db检测是否存在移动体(步骤S806)。最后，运算电路20根据图像数据Im2、Il2和Is2、是否存在相位差以及是否存在移动体生成HDR图像数据Ib(步骤S807)。以这种方式，生成了HDR图像数据Ib。
在本变形例中，例如，像素阵列部110被构造成从各单色传感器像素组Pl中获得针对各第n帧的四个方向上的相位差数据。在本变形例中，基于针对各第n帧获得的图像数据图像Ia1和在除了n×k帧的各帧中获得的图像数据图像Ia1进一步生成了HDR图像Ib。这使得能够确定在四个方向上是否存在相位差以及是否存在移动体。
[[变形例H]]
在前述变形例A、B、C、D和E中，像素阵列部110被构造成基于单色图像数据获得相位差数据。然而，在前述实施例中，像素阵列部110可以被构造成基于全色图像数据获得针对每种颜色的相位差数据。
图30示出了根据本变形例的像素阵列部110的构成例。图31示出了图30的像素阵列部110的配线布局的示例。图32示出了在图30的像素阵列部110中可检测到的相位差的方向的示例。
在本变形例中，像素阵列部110被构造成从排列在行方向上的两个三色传感器像素组P2(在下文中，称为“三色传感器像素组P4”)中获得针对每种颜色的在两个方向上的相位差数据。具体地，像素阵列部110被构造成从三色传感器像素组P4中获得针对每种颜色的在右上方和右下方上的相位差数据。此时，在各三色传感器像素组P4中所包括的一个三色传感器像素组P2中，各单色传感器像素组P1被构造成获得在右上方上的相位差数据。在各三色传感器像素组P4中所包括的另一个三色传感器像素组P2中，各单色传感器像素组P1被构造成获得在右下方上的相位差数据。
具体地，如图30所示，在各三色传感器像素组P4中所包括的一个三色传感器像素组P2的各单色传感器像素组P1中，排列在右上方的两个传感器像素111(光电二极管PD)的曝光时间被设定为“中(Middle)”。另外，如图30所示，在各三色传感器像素组P4中所包括的一个三色传感器像素组P2的各单色传感器像素组P1中，右下的传感器像素111(光电二极管PD)的曝光时间被设定为“短(Short)”。另外，如图30所示，在各三色传感器像素组P4中所包括的一个三色传感器像素组P2的各单色传感器像素组P1中，左上的传感器像素111(光电二极管PD)的曝光时间被设定为“长(Long)”。换句话说，系统控制电路124控制多个传感器像素111(光电二极管PD)的曝光时间，以允许在各三色传感器像素组P4中所包括的一个三色传感器像素组P2的各单色传感器像素组P1中的两个传感器像素111(光电二极管PD)的曝光时间彼此不同，并且其两个传感器像素111(光电二极管PD)的曝光时间彼此相同。
在各三色传感器像素组P4中所包括的另一个三色传感器像素组P2的各单色传感器像素组P1中，如图30所示，排列在右下方的两个传感器像素111(光电二极管PD)的曝光时间被设定为“中(Middle)”。另外，如图30所示，在各三色传感器像素组P4中所包括的另一个三色传感器像素组P2的各单色传感器像素组P1中，左下的传感器像素111(光电二极管PD)的曝光时间被设定为“短(Short)”。另外，如图30所示，在各三色传感器像素组P4中所包括的另一个三色传感器像素组P2的各单色传感器像素组P1中，右上的传感器像素111(光电二极管PD)的曝光时间被设定为“长(Long)”。换句话说，系统控制电路124控制多个传感器像素111(光电二极管PD)的曝光时间，以允许在各三色传感器像素组P4中所包括的另一个三色传感器像素组P2的各单色传感器像素组P1中的两个传感器像素111(光电二极管PD)的曝光时间彼此不同，并且其两个传感器像素111(光电二极管PD)的曝光时间彼此相同。
此时，像素阵列部110在与各三色传感器像素组P4中所包括的各单色传感器像素组Pl的上排相对应的位置处包括像素驱动线ctlL和像素驱动线ctlM。另外，像素阵列部110在与各三色传感器像素组P4中所包括的各单色传感器像素组P1的下排相对应的位置处包括像素驱动线ctlM和像素驱动线ctlS。
在本变形例中，图像数据Ia包括与像素阵列部110中的X行×Y列的传感器像素111相对应的X行×Y列的像素数据Sig。X行×Y列的像素数据Sig中的与各单色传感器像素组P1相对应的四行×四列的像素数据Sig包括与其曝光时间被设定为“中(Middle)”的两个传感器像素111相对应的两个像素数据Sig1、与其曝光时间被设定为“短(Short)”的传感器像素111相对应的一个像素数据Sig2、以及与其曝光时间被设定为“长(Long)”的传感器像素111相对应的一个像素数据Sig3。
接下来，给出了本变形例的运算电路20的说明。
图33示出了本变形例的运算电路20中的信号处理过程的示例。运算电路20基于由成像元件10获得的图像数据Ia生成HDR图像数据Ib。首先，运算电路20针对各曝光时间分解图像数据Ia(步骤S901)。具体地，运算电路20将图像数据Ia分解为其曝光时间为“中(Middle)”的数据(图像数据Im)、其曝光时间为“长(Long)”的数据(图像数据Il)、以及其曝光时间为“短(Short)”的数据(图像数据Is)。
接下来，运算电路20基于图像数据Im生成相位差数据Pd71和Pd72(步骤S902)。具体地，运算电路20在图像数据Im中导出与各三色传感器像素组P4中所包括的一个三色传感器像素组P2的各单色传感器像素组P1相对应的两个像素数据Sig1之间的差值，并且根据所导出的差值生成光接收表面110A上的第一方向(右上方)上的相位差数据Pd71。另外，运算电路20在图像数据Im中导出各三色传感器像素组P4中所包括的另一个三色传感器像素组P2的单色传感器像素组P1之间的差值，并且根据所导出的差值生成光接收表面110A上的第二方向(右下方)上的相位差数据Pd72。
另外，运算电路20基于图像数据Il和Im生成相位差数据Pd73(步骤S902)。具体地，运算电路20导出图像数据Il和图像数据Im’之间的差值，图像数据Im’是通过将图像数据Im乘以曝光时间“长(Long)”和曝光时间“中(Middle)”的曝光时间比而获得的，并且根据所导出的差值生成相位差数据Pd73。另外，运算电路20基于图像数据Im和Is生成相位差数据Pd74(步骤S902)。具体地，运算电路20导出图像数据Im与图像数据Is’之间的差值，图像数据Is’是通过将图像数据Is乘以曝光时间“中(Middle)”和曝光时间“短(Short)”的曝光时间比而获得的，并且根据所导出的差值生成相位差数据Pd74。
接下来，运算电路20基于相位差数据Pd71和Pd72生成用于相位差的电平数据Da(步骤S903)。例如，电平数据Da是由在从下限值(例如，零位)到上限值(例如，128位)的范围内的值表示的数据。例如，在相位差数据Pd71和Pd72中，运算电路20将落入预定范围以下的数值转换为下限值(例如，零位)。例如，在相位差数据Pd71和Pd72中，运算电路20将超出预定范围的数值转换为上限值(例如，128位)。例如，在相位差数据Pd71和Pd72中，运算电路20根据数值的大小将预定范围内的数值转换为从1位到127位的范围内的值。
接下来，运算电路20将相位差数据Pd73和Pd74转换为关于移动体的电平数据Db(步骤S904)。例如，电平数据Db是由在从下限值(例如，零位)到上限值(例如，128位)的范围内的值表示的数据。具体地，运算电路20基于成像元件10的噪声电平的数据(噪声数据)以及相位差数据Pd73和Pd74生成电平数据Db。
接下来，运算电路20根据所获得的电平数据Da检测具有较大的相位差的位置(步骤S905)。此外，运算电路20根据所获得的电平数据Db检测是否存在移动体(步骤S906)。最后，运算电路20根据图像数据Im、Il和Is、是否存在相位差以及是否存在移动体生成HDR图像数据Ib(步骤S907)。以这种方式，生成了HDR图像数据Ib。
在本变形例中，像素阵列部110被构造成基于全色图像数据获得针对每种颜色的相位差数据。这使得能够针对每种颜色确定是否存在相位差以及是否存在移动体。
[[变形例I]]
在前述变形例H中，像素阵列部110被构造成获得针对每种颜色的在两个方向(右上方向和右下方向)上的相位差数据。然而，在前述变形例H中，像素阵列部110可以被构造成获得针对每种颜色的在两个方向(水平方向和垂直方向)上的相位差数据。
图34示出了根据本变形例的像素阵列部110的构成例。图35示出了图34的像素阵列部110的配线布局的示例。图36示出了在图34的像素阵列部110中可检测到的相位差的方向的示例。
在本变形例中，像素阵列部110被构造成从排列在列方向上的两个三色传感器像素组P2(在下文中，称为“三色传感器像素组P5”)中获得针对每种颜色的在两个方向上的相位差数据。具体地，像素阵列部110被构造成从三色传感器像素组P5中获得针对每种颜色的在水平方向和垂直方向上的相位差数据。此时，在各三色传感器像素组P5中所包括的一个三色传感器像素组P2中，各单色传感器像素组P1被构造成获得在垂直方向上的相位差数据。在各三色传感器像素组P5中所包括的另一个三色传感器像素组P2中，各单色传感器像素组P1被构造成获得在水平方向上的相位差数据。
具体地，在各三色传感器像素组P5中所包括的一个三色传感器像素组P2的各单色传感器像素组P1中，例如，如图34所示，其曝光时间被设定为“中(Middle)”的两个传感器像素111(光电二极管PD)排列在左侧和垂直方向上。另外，在各三色传感器像素组P5中所包括的一个三色传感器像素组P2的各单色传感器像素组P1中，其曝光时间被设定为“短(Short)”的一个传感器像素111(光电二极管PD)布置在单色传感器像素组P1的右下方。另外，在各三色传感器像素组P5中所包括的一个三色传感器像素组P2的各单色传感器像素组P1中，其曝光时间被设定为“长(Long)”的一个传感器像素111(光电二极管PD)布置在单色传感器像素组P1的右上方。换句话说，系统控制电路124控制多个传感器像素111(光电二极管PD)的曝光时间，以允许在各三色传感器像素组P5中所包括的一个三色传感器像素组P2的各单色传感器像素组P1中的三个传感器像素111(光电二极管PD)的曝光时间彼此不同，并且其两个传感器像素111(光电二极管PD)的曝光时间彼此相同。
在各三色传感器像素组P5中所包括的另一个三色传感器像素组P2的各单色传感器像素组P1中，如图34所示，上排中的两个传感器像素111(光电二极管PD)的曝光时间被设定为“中(Middle)”。另外，如图34所示，在各三色传感器像素组P5中所包括的另一个三色传感器像素组P2的各单色传感器像素组P1中，右下的传感器像素111(光电二极管PD)的曝光时间被设定为“短(Short)”。另外，如图34所示，在各三色传感器像素组P5中所包括的另一个三色传感器像素组P2的各单色传感器像素组P1中，左下的传感器像素111(光电二极管PD)的曝光时间被设定为“长(Long)”。换句话说，系统控制电路124控制多个传感器像素111(光电二极管PD)的曝光时间，以允许在各三色传感器像素组P5中所包括的另一个三色传感器像素组P2的各单色传感器像素组P1中的三个传感器像素111(光电二极管PD)的曝光时间彼此不同，并且两个传感器像素111(光电二极管PD)的曝光时间彼此相同。
此时，像素阵列部110在与各三色传感器像素组P5中所包括的一个三色传感器像素组P2的各单色传感器像素组P1的上排相对应的位置处包括像素驱动线ctlM和像素驱动线ctlL。另外，像素阵列部110在与各单色传感器像素组P5中所包括的一个三色传感器像素组P2的各单色传感器像素组P1的下排相对应的位置处包括像素驱动线ctlM和像素驱动线ctlS。另外，像素阵列部110在与各三色传感器像素组P5中所包括的另一个三色传感器像素组P2的各单色传感器像素组P1的上排相对应的位置处包括两条像素驱动线ctlM。另外，像素阵列部110在与各三色传感器像素组P5中所包括的另一个三色传感器像素组P2的各单色传感器像素组P1的下排相对应的位置处包括像素驱动线ctlL和像素驱动线ctlS。
此外，在本变形例中，图像数据Ia包括与像素阵列部110中的X行×Y列的传感器像素111相对应的X行×Y列的像素数据Sig。X行×Y列的像素数据Sig中的与各单色传感器像素组P1相对应的两行×两列的像素数据Sig包括与其曝光时间被设定为“中(Middle)”的两个传感器像素111相对应的两个像素数据Sig1、与其曝光时间被设定为“短(Short)”的传感器像素111相对应的一个像素数据Sig2、以及与其曝光时间被设定为“长(Long)”的传感器像素111相对应的一个像素数据Sig3。
接下来，给出本变形例的运算电路20的说明。
图37示出了本变形例的运算电路20中的信号处理过程的示例。运算电路20基于由成像元件10获得的图像数据Ia生成HDR图像数据Ib。首先，运算电路20针对各曝光时间分解图像数据Ia(步骤S1001)。具体地，运算电路20将图像数据Ia分解为其曝光时间为“中(Middle)”的数据(图像数据Im)、其曝光时间为“长(Long)”的数据(图像数据Il)、以及其曝光时间为“短(Short)”的数据(图像数据Is)。
接下来，运算电路20基于图像数据Im生成相位差数据Pd81和Pd82(步骤S1002)。具体地，运算电路20在图像数据Im中导出与各三色传感器像素组P5中所包括的一个三色传感器像素组P2的各单色传感器像素组P1相对应的两个像素数据Sig1之间的差值，并且根据所导出的差值生成光接收表面110A上的第一方向(垂直方向)上的相位差数据Pd81。另外，运算电路20在图像数据Im中导出各三色传感器像素组P5中所包括的另一个三色传感器像素组P2的单色传感器像素组P1之间的差值，并且根据所导出的差值生成光接收表面110A上的第二方向(水平方向)上的相位差数据Pd82。
另外，运算电路20基于图像数据Il和Im生成相位差数据Pd83(步骤S1002)。具体地，运算电路20导出图像数据Il和图像数据Im’之间的差值，图像数据Im’是通过将图像数据Im乘以曝光时间“长(Long)”和曝光时间“中(Middle)”的曝光时间比而获得的，并且根据所导出的差值生成相位差数据Pd83。另外，运算电路20基于图像数据Im和Is生成相位差数据Pd84(步骤S1002)。具体地，运算电路20导出图像数据Im与图像数据Is’之间的差值，图像数据Is’是通过将图像数据Is乘以曝光时间“中(Middle)”和曝光时间“短(Short)”的曝光时间比而获得的，并且根据所导出的差值生成相位差数据Pd84。
接下来，运算电路20基于相位差数据Pd81和Pd82生成用于相位差的电平数据Da(步骤S1003)。例如，电平数据Da是由在从下限值(例如，零位)到上限值(例如，128位)的范围内的值表示的数据。例如，在相位差数据Pd81和Pd82中，运算电路20将落入预定范围以下的数值转换为下限值(例如，零位)。例如，在相位差数据Pd81和Pd82中，运算电路20将超出预定范围的数值转换为上限值(例如，128位)。例如，在相位差数据Pd81和Pd82中，运算电路20根据数值的大小将预定范围内的数值转换为从1位到127位的范围内的值。
接下来，运算电路20将相位差数据Pd83和Pd84转换为关于移动体的电平数据Db(步骤S1004)。例如，电平数据Db是由在从下限值(例如，零位)到上限值(例如，128位)的范围内的值表示的数据。具体地，运算电路20基于成像元件10的噪声电平的数据(噪声数据)以及相位差数据Pd83和Pd84生成电平数据Db。
接下来，运算电路20根据所获得的电平数据Da检测具有较大的相位差的位置(步骤S1005)。此外，运算电路20根据所获得的电平数据Db检测是否存在移动体(步骤S1006)。最后，运算电路20根据图像数据Im、Il和Is、是否存在相位差以及是否存在移动体生成HDR图像数据Ib(步骤S1007)。以这种方式，生成了HDR图像数据Ib。
在本变形例中，像素阵列部110被构造成基于全色图像数据获得针对每种颜色的在两个方向(水平方向和垂直方向)上的相位差数据。这使得能够确定针对每种颜色在两个方向上是否存在相位差以及是否存在移动体。
[[变形例J]]
在前述变形例H和I中，像素阵列部110被构造成获得针对每种颜色的在两个方向上的相位差数据。然而，在前述变形例H和I中，像素阵列部110可以被构造成获得针对每种颜色的在三个方向上的相位差数据。
图38示出了根据本变形例的像素阵列部110的构成例。图39示出了图38的像素阵列部110的配线布局的示例。图40示出了在图38的像素阵列部110中可检测到的相位差的方向的示例。
在本变形例中，像素阵列部110被构造成从三色传感器像素组P3中获得针对每种颜色的在三个方向上的相位差数据。具体地，像素阵列部110被构造成从三色传感器像素组P3中获得针对每种颜色的在右下方、水平方向和垂直方向上的相位差数据。此时，在各三色传感器像素组P3中所包括的左上三色传感器像素组P2和右下三色传感器像素组P2中，各单色传感器像素组P1被构造成获得在右下方上的相位差数据。另外，在各三色传感器像素组P3中所包括的左下三色传感器像素组P2中，各单色传感器像素组P1被构造成获得在水平方向上的相位差数据。另外，在各三色传感器像素组P3中所包括的右上三色传感器像素组P2中，各单色传感器像素组P1被构造成获得在垂直方向上的相位差数据。
具体地，在各三色传感器像素组P3中所包括的左上三色传感器像素组P2和右下三色传感器像素组P2中的各单色传感器像素组P1中，如图38所示，排列在右下方的两个传感器像素111(光电二极管PD)的曝光时间被设定为“中(Middle)”。另外，如图38所示，在各三色传感器像素组P3中所包括的左上三色传感器像素组P2和右下三色传感器像素组P2中的各单色传感器像素组P1中，右下传感器像素111(光电二极管PD)的曝光时间被设定为“短(Short)”。另外，如图38所示，在各三色传感器像素组P3中所包括的左上三色传感器像素组P2和右下三色传感器像素组P2中的各单色传感器像素组P1中，左上传感器像素111(光电二极管PD)的曝光时间被设定为“长(Long)”。换句话说，系统控制电路124控制多个传感器像素111(光电二极管PD)的曝光时间，以允许在各三色传感器像素组P3中所包括的左上三色传感器像素组P2和右下三色传感器像素组P2中的各单色传感器像素组P1中的三个传感器像素111(光电二极管PD)的曝光时间彼此不同，并且其两个传感器像素111(光电二极管PD)的曝光时间彼此相同。
另外，在各三色传感器像素组P3中所包括的左下三色传感器像素组P2中的各单色传感器像素组P1中，如图38所示，下排中的排列在水平方向上的两个传感器像素111(光电二极管PD)的曝光时间被设定为“短(Short)”。此外，在各三色传感器像素组P3中所包括的左下三色传感器像素组P2中的各单色传感器像素组P1中，如图38所示，上排中的一个传感器像素111(光电二极管PD)的曝光时间被设定为“长(Long)”，并且上排中的另一个传感器像素111(光电二极管PD)的曝光时间被设定为“中(Middle)”。要注意的是，在各三色传感器像素组P3中所包括的左下三色传感器像素组P2中的各单色传感器像素组P1中，上排中的排列在水平方向上的两个传感器像素111(光电二极管PD)的曝光时间可以被设定为“短(Short)”。换句话说，系统控制电路124控制多个传感器像素111(光电二极管PD)的曝光时间，以允许在各三色传感器像素组P3中所包括的左下三色传感器像素组P2中的各单色传感器像素组P1中的三个传感器像素111(光电二极管PD)的曝光时间彼此不同，并且两个传感器像素111(光电二极管PD)的曝光时间彼此相同。
另外，在各三色传感器像素组P3中所包括的右上三色传感器像素组P2中的各单色传感器像素组P1中，如图38所示，左侧的排列在垂直方向上的两个传感器像素111(光电二极管PD)的曝光时间被设定为“长(Long)”。此外，在各三色传感器像素组P3中所包括的右上三色传感器像素组P2中的各单色传感器像素组P1中，如图38所示，右侧的一个传感器像素111(光电二极管PD)的曝光时间被设定为“中(Middle)”，并且右侧的另一个传感器像素111(光电二极管PD)的曝光时间被设定为“短(Short)”。要注意的是，在各三色传感器像素组P3中所包括的右上三色传感器像素组P2中的各单色传感器像素组P1中，右侧的排列在垂直方向上的两个传感器像素111(光电二极管PD)的曝光时间可以被设定为“长(Long)”。换句话说，控制多个传感器像素111(光电二极管PD)的曝光时间，以允许在各三色传感器像素组P3中所包括的右上三色传感器像素组P2的各单色传感器像素组P1中的三个传感器像素111(光电二极管PD)的曝光时间彼此不同，并且其两个传感器像素111(光电二极管PD)的曝光时间彼此相同。
此时，像素阵列部110在与各三色传感器像素组P3中所包括的从顶部起的最上排和第二排中的各单色传感器像素组Pl的上排相对应的位置处包括像素驱动线ctlL和像素驱动线ctlM。另外，像素阵列部110在与各三色传感器像素组P3中所包括的从顶部起的最上排和第二排中的各单色传感器像素组Pl的下排相对应的位置处包括像素驱动线ctlL、像素驱动线ctlM和像素驱动线ctlS。另外，像素阵列部110在与各三色传感器像素组P3中所包括的从顶部起的第三排和最下排中的各单色传感器像素组P1的上排相对应的位置处包括像素驱动线ctlL和像素驱动线ctlM。另外，像素阵列部110在与各三色传感器像素组P3中所包括的从顶部起的第三排和最下排中的各单色传感器像素组P1的下排相对应的位置处包括像素驱动线ctlS和像素驱动线ctlM。
在本变形例中，图像数据Ia包括与像素阵列部110中的X行×Y列的传感器像素111相对应的X行×Y列的像素数据Sig。X行×Y列的像素数据Sig中的与左上和右下三色传感器像素组P2相对应的两行×两列的像素数据Sig包括与其曝光时间被设定为“中(Middle)”的两个传感器像素111相对应的两个像素数据Sig1、与其曝光时间被设定为“短(Short)”的传感器像素111相对应的一个像素数据Sig2、以及与其曝光时间被设定为“长(Long)”的传感器像素111相对应的一个像素数据Sig3。另外，X行×Y列的像素数据Sig中的与左下三色传感器像素组P2相对应的两行×两列的像素数据Sig包括与其曝光时间被设定为“短(Short)”的两个传感器像素111相对应的两个像素数据Sig2、与其曝光时间被设定为“中(Middle)”的传感器像素111相对应的一个像素数据Sig1、以及与其曝光时间被设定为“长(Long)”的传感器像素111相对应的一个像素数据Sig3。另外，X行×Y列的像素数据Sig中的与右上三色传感器像素组P2相对应的两行×两列的像素数据Sig包括与其曝光时间被设定为“长(Long)”的两个传感器像素111相对应的两个像素数据Sig3、与其曝光时间被设定为“中(Middle)”的传感器像素111相对应的一个像素数据Sig1、以及与其曝光时间被设定为“短(Short)”的传感器像素111相对应的一个像素数据Sig2。
接下来，给出本变形例的运算电路20的说明。
图41示出了本变形例的运算电路20中的信号处理过程的示例。运算电路20基于由成像元件10获得的图像数据Ia生成HDR图像数据Ib。首先，运算电路20针对各曝光时间分解图像数据Ia(步骤S1101)。具体地，运算电路20将图像数据Ia分解为其曝光时间为“中(Middle)”的数据(图像数据Im)、其曝光时间为“长(Long)”的数据(图像数据Il)、以及其曝光时间为“短(Short)”的数据(图像数据Is)。
接下来，运算电路20基于图像数据Im生成相位差数据Pd91、Pd92和Pd93(步骤S1102)。具体地，运算电路20在图像数据Im中导出与在各三色传感器像素组P3的左上和右下三色传感器像素组P2中所包括的各单色传感器像素组P1相对应的两个像素数据Sig1之间的差值，并且根据所导出的差值生成光接收表面110A上的第一方向(右下方)上的相位差数据Pd91。另外，运算电路20在图像数据Is中导出与在各三色传感器像素组P3的左下三色传感器像素组P2中所包括的各单色传感器像素组P1相对应的两个像素数据Sig2之间的差值，并且根据所导出的差值生成光接收表面110A上的第二方向(水平方向)上的相位差数据Pd92。另外，运算电路20在图像数据Il中导出与在各三色传感器像素组P3的右上三色传感器像素组P2中所包括的各单色传感器像素组P1相对应的两个像素数据Sig3之间的差值，并且根据所导出的差值生成光接收表面110A上的第三方向(垂直方向)上的相位差数据Pd93。
另外，运算电路20基于图像数据Il和Im生成相位差数据Pd94(步骤S1102)。具体地，运算电路20导出图像数据Il与图像数据Im’之间的差值，图像数据Im’是通过将图像数据Im乘以曝光时间“长(Long)”和曝光时间“中(Middle)”的曝光时间比而获得的，并且根据所导出的差值生成相位差数据Pd94。另外，运算电路20基于图像数据Im和Is生成相位差数据Pd95(步骤S1102)。具体地，运算电路20导出图像数据Im与图像数据Is’之间的差值，图像数据Is’是通过将图像数据Is乘以曝光时间“中(Middle)”和曝光时间“短(Short)”的曝光时间比而获得的，并且根据所导出的差值生成相位差数据Pd95。
接下来，运算电路20基于相位差数据Pd91、Pd92和Pd93生成用于相位差的电平数据Da(步骤S1103)。例如，电平数据Da是由在从下限值(例如，零位)到上限值(例如，128位)的范围内的值表示的数据。例如，在相位差数据Pd91、Pd92和Pd93中，运算电路20将落入预定范围以下的数值转换为下限值(例如，零位)。例如，在相位差数据Pd91、Pd92和Pd93中，运算电路20将超出预定范围的数值转换为上限值(例如，128位)。例如，在相位差数据Pd91、Pd92和Pd93中，运算电路20根据数值的大小将预定范围内的数值转换为从1位到127位的范围内的值。
接下来，运算电路20将相位差数据Pd94和Pd95转换为关于移动体的电平数据Db(步骤S1104)。例如，电平数据Db是由在从下限值(例如，零位)到上限值(例如，128位)的范围内的值表示的数据。具体地，运算电路20基于成像元件10的噪声电平的数据(噪声数据)以及相位差数据Pd94和Pd95生成电平数据Db。
接下来，运算电路20根据所获得的电平数据Da检测具有较大的相位差的位置(步骤S1105)。此外，运算电路20根据所获得的电平数据Db检测是否存在移动体(步骤S1106)。最后，运算电路20根据图像数据Im、Il和Is、是否存在相位差以及是否存在移动体生成HDR图像数据Ib(步骤S1107)。以这种方式，生成了HDR图像数据Ib。
在本变形例中，像素阵列部110被构造成获得针对每种颜色的在三个方向上的相位差数据。这使得能够确定针对每种颜色的在三个方向上是否存在相位差以及是否存在移动体。
[[变形例K]]
在前述变形例A、B、C、D和E中，像素阵列部110被构造成基于单色图像数据获得相位差数据。然而，在前述实施例中，像素阵列部110可以被构造成基于全色图像数据获得针对每种颜色的相位差数据。
图42示出了根据本变形例的像素阵列部110的构成例。图43示出了图42的像素阵列部110的配线布局的示例。图44示出了在图42的像素阵列部110中可检测到的相位差的方向的示例。
在本变形例中，像素阵列部110被构造成从三色传感器像素组P3中获得针对每种颜色的在两个方向上的相位差数据。具体地，像素阵列部110被构造成从三色传感器像素组P3中获得针对每种颜色的在右上方和右下方上的相位差数据。此时，在各三色传感器像素组P3中所包括的左上三色传感器像素组P2和右下三色传感器像素组P2中，各单色传感器像素组P1具有与根据前述实施例的单色传感器像素组P1相似的构成。另外，在各三色传感器像素组P3中所包括的左下三色传感器像素组P2中，各单色传感器像素组P1被构造成获得在右上方和右下方上的相位差数据。另外，在各三色传感器像素组P3中所包括的右上三色传感器像素组P2中，各单色传感器像素组P1被构造成获得在右上方和右下方上的相位差数据。
具体地，在各三色传感器像素组P3中所包括的左上三色传感器像素组P2和右下三色传感器像素组P2中的各单色传感器像素组P1中，如图42所示，排列在右上方的两个传感器像素111(光电二极管PD)的曝光时间被设定为“中(Middle)”。另外，在各三色传感器像素组P3中所包括的左上三色传感器像素组P2和右下三色传感器像素组P2中的各单色传感器像素组P1中，如图42所示，右下传感器像素111(光电二极管PD)的曝光时间被设定为“短(Short)”。另外，在各三色传感器像素组P3中所包括的左上三色传感器像素组P2和右下三色传感器像素组P2中的各单色传感器像素组P1中，如图42所示，左上传感器像素111(光电二极管PD)的曝光时间被设定为“长(Long)”。
另外，在各三色传感器像素组P3中所包括的左下三色传感器像素组P2中的各单色传感器像素组P1中，如图42所示，排列在右上方的两个传感器像素111(光电二极管PD)的曝光时间被设定为“中(Middle)”。另外，在各三色传感器像素组P3中所包括的左下三色传感器像素组P2中的各单色传感器像素组P1中，如图42所示，排列在右下方的两个传感器像素111(光电二极管PD)的曝光时间被设定为“短(Short)”。换句话说，控制多个传感器像素111(光电二极管PD)的曝光时间，以允许在各三色传感器像素组P3中所包括的左下三色传感器像素组P2中的各单色传感器像素组P1中的两个传感器像素111(光电二极管PD)的曝光时间彼此不同，并且其两个传感器像素111(光电二极管PD)的曝光时间彼此相同。
另外，在各三色传感器像素组P3中所包括的右上三色传感器像素组P2中的各单色传感器像素组P1中，如图42所示，排列在右上方的两个传感器像素111(光电二极管PD)的曝光时间被设定为“中(Middle)”。另外，在各三色传感器像素组P3中所包括的右上三色传感器像素组P2中的各单色传感器像素组P1中，如图42所示，排列在右下方的两个传感器像素111(光电二极管PD)的曝光时间被设定为“长(Long)”。换句话说，控制多个传感器像素111(光电二极管PD)的曝光时间，以允许在各三色传感器像素组P3中所包括的右上三色传感器像素组P2中的各单色传感器像素组P1中的两个传感器像素111(光电二极管PD)的曝光时间彼此不同，并且其两个传感器像素111(光电二极管PD)的曝光时间彼此相同。
此时，像素阵列部110在与各三色传感器像素组P3中所包括的从顶部起的最上排和第二排中的各单色传感器像素组Pl的上排相对应的位置处包括像素驱动线ctlL和像素驱动线ctlM。另外，像素阵列部110在与各三色传感器像素组P3中所包括的从顶部起的最上排和第二排中的各单色传感器像素组Pl的下排相对应的位置处包括像素驱动线ctlL、像素驱动线ctlM和像素驱动线ctlS。另外，像素阵列部110在与各三色传感器像素组P3中所包括的从顶部起的第三排和最下排中的各单色传感器像素组P1的上排相对应的位置处包括像素驱动线ctlL、像素驱动线ctlM和像素驱动线ctlS。另外，像素阵列部110在与各三色传感器像素组P3中所包括的从顶部起的第三排和最下排中的各单色传感器像素组P1的下排相对应的位置处包括像素驱动线ctlS和像素驱动线ctlM。
在本变形例中，图像数据Ia包括与像素阵列部110中的X行×Y列的传感器像素111相对应的X行×Y列的像素数据Sig。X行×Y列的像素数据Sig中的与左上和右下三色传感器像素组P2相对应的两行×两列的像素数据Sig包括与其曝光时间被设定为“中(Middle)”的两个传感器像素111相对应的两个像素数据Sig1、与其曝光时间被设定为“短(Short)”的传感器像素111相对应的一个像素数据Sig2、以及与其曝光时间被设定为“长(Long)”的传感器像素111相对应的一个像素数据Sig3。另外，X行×Y列的像素数据Sig中的与左下三色传感器像素组P2相对应的两行×两列的像素数据Sig包括与其曝光时间被设定为“短(Short)”的两个传感器像素111相对应的两个像素数据Sig2、以及与其曝光时间被设定为“中(Middle)”的两个传感器像素111相对应的两个像素数据Sig1。另外，X行×Y列的像素数据Sig中的与右上三色传感器像素组P2相对应的两行×两列的像素数据Sig包括与其曝光时间被设定为“长(Long)”的两个传感器像素111相对应的两个像素数据Sig3、以及与其曝光时间被设定为“中(Middle)”的两个传感器像素111相对应的两个像素数据Sig1。
接下来，给出本变形例的运算电路20的说明。
图45示出了本变形例的运算电路20中的信号处理过程的示例。运算电路20基于由成像元件10获得的图像数据Ia生成HDR图像数据Ib。首先，运算电路20针对各曝光时间分解图像数据Ia(步骤S1201)。具体地，运算电路20将图像数据Ia分解为其曝光时间为“中(Middle)”的数据(图像数据Im)、其曝光时间为“长(Long)”的数据(图像数据Il)、以及其曝光时间为“短(Short)”的数据(图像数据Is)。
接下来，运算电路20基于图像数据Im生成相位差数据Pd101、Pd102和Pd103(步骤S1202)。具体地，运算电路20在图像数据Im中导出与各三色传感器像素组P3的左下和右上三色传感器像素组P2中所包括的各单色传感器像素组P1相对应的两个像素数据Sig1之间的差值，并且根据所导出的差值生成光接收表面110A上的第一方向(右上方)上的相位差数据Pd101。另外，运算电路20在图像数据Is中导出与各三色传感器像素组P3的左下三色传感器像素组P2中所包括的各单色传感器像素组P1相对应的两个像素数据Sig2之间的差值，并且根据所导出的差值生成光接收表面110A上的第二方向(右下方)上的相位差数据Pd102。另外，运算电路20在图像数据Il中导出与各三色传感器像素组P3的右上三色传感器像素组P2中所包括的各单色传感器像素组P1相对应的两个像素数据Sig3之间的差值，并且根据所导出的差值生成光接收表面110A上的第一方向(右上方)上的相位差数据Pd103。
另外，运算电路20基于图像数据Il和Im生成相位差数据Pd104(步骤S1202)。具体地，运算电路20导出图像数据Il与图像数据Im’之间的差值，图像数据Im’是通过将图像数据Im乘以曝光时间“长(Long)”和曝光时间“中(Middle)”的曝光时间比而获得的，并且根据所导出的差值生成相位差数据Pd104。另外，运算电路20基于图像数据Im和Is生成相位差数据Pd105(步骤S1202)。具体地，运算电路20导出图像数据Im与图像数据Is’之间的差值，图像数据Is’是通过将图像数据Is乘以曝光时间“中(Middle)”和曝光时间“短(Short)”的曝光时间比而获得的，并且根据所导出的差值生成相位差数据Pd105。
接下来，运算电路20基于相位差数据Pd101、Pd102和Pd103生成用于相位差的电平数据Da(步骤S1203)。例如，电平数据Da是由在从下限值(例如，零位)到上限值(例如，128位)的范围内的值表示的数据。例如，在相位差数据Pd101、Pd102和Pd103中，运算电路20将落入预定范围以下的数值转换为下限值(例如，零位)。例如，在相位差数据Pd101、Pd102和Pd103中，运算电路20将超出预定范围的数值转换为上限值(例如，128位)。例如，在相位差数据Pd101、Pd102和Pd103中，运算电路20根据数值的大小将预定范围内的数值转换为从1位到127位的范围内的值。
接下来，运算电路20将相位差数据Pd104和Pd105转换为关于移动体的电平数据Db(步骤S1204)。例如，电平数据Db是由在从下限值(例如，零位)到上限值(例如，128位)的范围内的值表示的数据。具体地，运算电路20基于成像元件10的噪声电平的数据(噪声数据)以及相位差数据Pd104和Pd105生成电平数据Db。
接下来，运算电路20根据所获得的电平数据Da检测具有较大的相位差的位置(步骤S1205)。此外，运算电路20根据所获得的电平数据Db检测是否存在移动体(步骤S1206)。最后，运算电路20根据图像数据Im、Il和Is、是否存在相位差以及是否存在移动体生成HDR图像数据Ib(步骤S1207)。以这种方式，生成了HDR图像数据Ib。
在本变形例中，像素阵列部110被构造成获得针对每种颜色的在两个方向上的相位差数据。这使得能够确定针对每种颜色在两个方向上是否存在相位差以及是否存在移动体。
[[变形例L]]
在上述变形例K中，像素阵列部110被构造成基于单色或全彩色图像数据获得针对每种颜色的在两个方向(右上方向和右下方向)上的相位差数据。然而，在前述变形例K中，像素阵列部110可以被构造成基于单色或全彩色图像数据获得针对每种颜色的在两个方向(水平方向和垂直方向)上的相位差数据。
图46示出了根据本变形例的像素阵列部110的构成例。图47示出了图46的像素阵列部110的配线布局的示例。图48示出了在图46的像素阵列部110中可检测到的相位差的方向的示例。
在本变形例中，像素阵列部110被构造成从三色传感器像素组P3中获得针对每种颜色的在两个方向上的相位差数据。具体地，像素阵列部110被构造成从三色传感器像素组P3中获得针对每种颜色的在水平方向和垂直方向上的相位差数据。此时，在各三色传感器像素组P3中所包括的左上三色传感器像素组P2和右下三色传感器像素组P2中，各单色传感器像素组P1具有与根据前述实施例的单色传感器像素组P1相似的构成。另外，在各三色传感器像素组P3中所包括的左下三色传感器像素组P2中，各单色传感器像素组P1被构造成获得在水平方向上的相位差数据。另外，在各三色传感器像素组P3中所包括的右上三色传感器像素组P2中，各单色传感器像素组P1被构造成获得在垂直方向上的相位差数据。
具体地，在各三色传感器像素组P3中所包括的左上三色传感器像素组P2和右下三色传感器像素组P2中的各单色传感器像素组P1中，如图46所示，排列在右上方的两个传感器像素111(光电二极管PD)的曝光时间被设定为“中(Middle)”。另外，在各三色传感器像素组P3中所包括的左上三色传感器像素组P2和右下三色传感器像素组P2中的各单色传感器像素组P1中，如图46所示，右下传感器像素111(光电二极管PD)的曝光时间被设定为“短(Short)”。另外，在各三色传感器像素组P3中所包括的左上三色传感器像素组P2和右下三色传感器像素组P2中的各单色传感器像素组P1中，如图46所示，左上传感器像素111(光电二极管PD)的曝光时间被设定为“长(Long)”。
另外，在各三色传感器像素组P3中所包括的左下三色传感器像素组P2中的各单色传感器像素组P1中，如图46所示，上排中的排列在水平方向上的两个传感器像素111(光电二极管PD)的曝光时间被设定为“短(Short)”。另外，在各三色传感器像素组P3中所包括的左下三色传感器像素组P2中的各单色传感器像素组P1中，如图46所示，下排中的排列在水平方向上的两个传感器像素111(光电二极管PD)的曝光时间被设定为“中(Middle)”。换句话说，控制多个传感器像素111(光电二极管PD)的曝光时间，以允许在各三色传感器像素组P3中所包括的左下三色传感器像素组P2中的各单色传感器像素组P1中的两个传感器像素111(光电二极管PD)的曝光时间彼此不同，并且其两个传感器像素111(光电二极管PD)的曝光时间彼此相同。
注意，在各三色传感器像素组P3中所包括的左下三色传感器像素组P2中的各单色传感器像素组P1中，上排中的排列在水平方向上的两个传感器像素11(光电二极管PD)的曝光时间可以被设定为“中(Middle)”。另外，在各三色传感器像素组P3中所包括的左下三色传感器像素组P2中的各单色传感器像素组P1中，下排中的排列在水平方向上的两个传感器像素111(光电二极管PD)的曝光时间可以被设定为“短(Short)”。
另外，在各三色传感器像素组P3中所包括的右上三色传感器像素组P2中的各单色传感器像素组P1中，如图46所示，左侧的排列在垂直方向上的两个传感器像素111(光电二极管PD)的曝光时间被设定为“长(Long)”。另外，在各三色传感器像素组P3中所包括的右上三色传感器像素组P2中的各单色传感器像素组P1中，如图46所示，右侧的排列在垂直方向上的两个传感器像素111(光电二极管PD)的曝光时间被设定为“中(Middle)”。换句话说，控制多个传感器像素111(光电二极管PD)的曝光时间，以允许在各三色传感器像素组P3中所包括的右上三色传感器像素组P2中的各单色传感器像素组P1中的两个传感器像素111(光电二极管PD)的曝光时间彼此不同，并且其两个传感器像素111(光电二极管PD)的曝光时间彼此相同。
要注意的是，在各三色传感器像素组P3中所包括的右上三色传感器像素组P2中的各单色传感器像素组P1中，左侧的排列在垂直方向上的两个传感器像素111(光电二极管PD)的曝光时间可以被设定为“中(Middle)”。另外，在各三色传感器像素组P3中所包括的右上三色传感器像素组P2中的各单色传感器像素组P1中，右侧的排列在垂直方向上的两个传感器像素111(光电二极管PD)的曝光时间可以被设定为“长(Long)”。
此时，像素阵列部110在与各三色传感器像素组P3中所包括的从顶部起的最上排和第二排中的各单色传感器像素组P1的上排相对应的位置处包括像素驱动线ctlL和像素驱动线ctlM。另外，像素阵列部110在与各三色传感器像素组P3中所包括的从顶部起的最上排和第二排的各单色传感器像素组P1的下排相对应的位置处包括像素驱动线ctlL、像素驱动线ctlM和像素驱动线ctlS。另外，像素阵列部110在与各三色传感器像素组P3中所包括的从顶部起的第三排和最下排中的各单色传感器像素组P1的上排相对应的位置处包括像素驱动线ctlL、像素驱动线ctlM和像素驱动线ctlS。另外，像素阵列部110在与各三色传感器像素组P3中所包括的从顶部起的第三排和最下排中的各单色传感器像素组P1的下排相对应的位置处包括像素驱动线ctlS和像素驱动线ctlM。
在本变形例中，图像数据Ia包括与像素阵列部110中的X行×Y列的传感器像素111相对应的X行×Y列的像素数据Sig。X行×Y列的像素数据Sig中的与左上和右下三色传感器像素组P2相对应的两行×两列的像素数据Sig包括与其曝光时间被设定为“中(Middle)”的两个传感器像素111相对应的两个像素数据Sig1、与其曝光时间被设定为“短(Short)”的传感器像素111相对应的一个像素数据Sig2、以及与其曝光时间被设定为“长(Long)”的传感器像素111相对应的一个像素数据Sig3。另外，X行×Y列的像素数据Sig中的与左下三色传感器像素组P2相对应的两行×两列的像素数据Sig包括与其曝光时间被设定为“短(Short)”的两个传感器像素111相对应的两个像素数据Sig2以及与其曝光时间被设定为“中(Middle)”的两个传感器像素111相对应的两个像素数据Sig1。另外，X行×Y列的像素数据Sig中的与右上三色传感器像素组P2相对应的两行×两列的像素数据Sig包括与其曝光时间被设定为“长(Long)”的两个传感器像素111相对应的两个像素数据Sig3以及与其曝光时间被设定为“中(Middle)”的两个传感器像素111相对应的两个像素数据Sig1。
接下来，给出本变形例的运算电路20的说明。
图49示出了本变形例的运算电路20中的信号处理过程的示例。运算电路20基于由成像元件10获得的图像数据Ia生成HDR图像数据Ib。首先，运算电路20针对各曝光时间分解图像数据Ia(步骤S1301)。具体地，运算电路20将图像数据Ia分解为其曝光时间为“中(Middle)”的数据(图像数据Im)、其曝光时间为“长(Long)”的数据(图像数据Il)、以及其曝光时间为“短(Short)”的数据(图像数据Is)。
接下来，运算电路20基于图像数据Im生成相位差数据Pd111、Pd112、Pd113和Pd114(步骤S1302)。具体地，运算电路20在图像数据Im中导出与各三色传感器像素组P3的左下三色传感器像素组P2中所包括的各单色传感器像素组P1相对应的两个像素数据Sig1之间的差值，并且根据所导出的差值生成光接收表面110A上的第一方向(水平方向)上的相位差数据Pd111。另外，运算电路20在图像数据Im中导出与各三色传感器像素组P3的右上三色传感器像素组P2中所包括的各单色传感器像素组P1相对应的两个像素数据Sig1之间的差值，并且根据所导出的差值生成光接收表面110A上的第二方向(垂直方向)上的相位差数据Pd112。另外，运算电路20在图像数据Is中导出与各三色传感器像素组P3的左下三色传感器像素组P2中所包括的各单色传感器像素组P1相对应的两个像素数据Sig2之间的差值，并且根据所导出的差值生成光接收表面110A上的第一方向(水平方向)上的相位差数据Pd113。另外，运算电路20在图像数据Il中导出与各三色传感器像素组P3的右上三色传感器像素组P2中所包括的各单色传感器像素组P1相对应的两个像素数据Sig3之间的差值，并且根据所导出的差值生成光接收表面110A上的第二方向(垂直方向)上的相位差数据Pd114。
另外，运算电路20基于图像数据Il和Im生成相位差数据Pd115(步骤S1302)。具体地，运算电路20导出图像数据Il与图像数据Im’之间的差值，图像数据Im’是通过将图像数据Im乘以曝光时间“长(Long)”和曝光时间“中(Middle)”的曝光时间比而获得的，并且根据所导出的差值生成相位差数据Pd115。另外，运算电路20基于图像数据Im和Is生成相位差数据Pd116(步骤S1302)。具体地，运算电路20导出图像数据Im与图像数据Is’之间的差值，图像数据Is’是通过将图像数据Is乘以曝光时间“中(Middle)”和曝光时间“短(Short)”的曝光时间比而获得的，并且根据所导出的差值生成相位差数据Pd116。
接下来，运算电路20基于相位差数据Pd111、Pd112、Pd113和Pd114生成用于相位差的电平数据Da(步骤S1303)。例如，电平数据Da是由在从下限值(例如，零位)到上限值(例如，128位)的范围内的值表示的数据。例如，在相位差数据Pd111、Pd112、Pd113和Pd114中，运算电路20将落入预定范围以下的数值转换为下限值(例如，零位)。例如，在相位差数据Pd111、Pd112、Pd113和Pd114中，运算电路20将超出预定范围的数值转换为上限值(例如，128位)。例如，在相位差数据Pd111、Pd112、Pd113和Pd114中，运算电路20根据数值的大小将预定范围内的数值转换为从1位到127位的范围内的值。
接下来，运算电路20将相位差数据Pd115和Pd116转换为关于移动体的电平数据Db(步骤S1304)。例如，电平数据Db是由在从下限值(例如，零位)到上限值(例如，128位)的范围内的值表示的数据。具体地，运算电路20基于成像元件10的噪声电平的数据(噪声数据)以及相位差数据Pd115和Pd116生成电平数据Db。
接下来，运算电路20根据所获得的电平数据Da检测具有较大的相位差的位置(步骤S1305)。此外，运算电路20根据所获得的电平数据Db检测是否存在移动体(步骤S1306)。最后，运算电路20根据图像数据Im、Il和Is、是否存在相位差以及是否存在移动体生成HDR图像数据Ib(步骤S1307)。以这种方式，生成了HDR图像数据Ib。
在本变形例中，像素阵列部110被构造成获得针对每种颜色的在两个方向上的相位差数据。这使得能够确定针对每种颜色在两个方向上是否存在相位差以及是否存在移动体。
<3.应用例>
[应用例1]
根据本公开的实施例的技术(本技术)适用于各种产品。例如，根据本公开的实施例的技术可以按安装在任何类型的移动体上的装置的形式实现。移动体的非限制性示例可以包括汽车、电动汽车、混合电动汽车、摩托车、自行车、任何个人移动装置、飞机、无人飞行器(无人机)、船舶和机器人。
图50是作为根据本公开的实施例的技术可以适用的移动体控制系统的示例的车辆控制系统的示意性构成的示例的框图。
车辆控制系统12000包括经由通信网络12001彼此连接的多个电子控制单元。在图50所示的示例中，车辆控制系统12000包括驱动系统控制单元12010、主体系统控制单元12020、车外信息检测单元12030、车内信息检测单元12040和综合控制单元12050。此外，示出了微型计算机12051、声音/图像输出部12052和车载网络接口(I/F)12053作为综合控制单元12050的功能构成。
驱动系统控制单元12010根据各种程序来控制与车辆的驱动系统有关的装置的操作。例如，驱动系统控制单元12010用作以下装置的控制装置：用于产生车辆的驱动力的诸如内燃机或驱动电机等驱动力产生装置、用于向车轮传递驱动力的驱动力传递机构、用于调整车辆的转向角的转向机构、用于产生车辆的制动力的制动装置等。
主体系统控制单元12020根据各种程序来控制设置于车体的各种装置的操作。例如，主体系统控制单元12020用作无钥匙进入系统、智能钥匙系统、电动窗装置或诸如头灯、尾灯、刹车灯、转向信号灯或雾灯等各种灯的控制装置。在这种情况下，用于代替钥匙的从移动装置发送的无线电波或各种开关的信号可以输入到主体系统控制单元12020。主体系统控制单元12020接收这些输入的无线电波或信号，并且控制车辆的门锁装置、电动窗装置、灯等。
车外信息检测单元12030检测包括车辆控制系统12000的车辆的外部的信息。例如，车外信息检测单元12030与成像部12031连接。车外信息检测单元12030使成像部12031拍摄车辆外部的图像，并且接收所拍摄的图像。车外信息检测单元12030可以基于接收到的图像进行诸如人、汽车、障碍物、标志、道路上的文字等检测物体的处理或检测距其距离的处理。
成像部12031是接收光的光学传感器，其输出与光的接收光量相对应的电气信号。成像部12031可以输出电气信号作为图像，或者可以输出电气信号作为与测量距离有关的信息。另外，由成像部12031接收的光可以是可见光，或者可以是诸如红外线等不可见光。
车内信息检测单元12040检测车辆内部的信息。例如，车内信息检测单元12040与用于检测驾驶员的状态的驾驶员状态检测部12041连接。例如，驾驶员状态检测部12041包括拍摄驾驶员的相机。基于从驾驶员状态检测部12041输入的检测信息，车内信息检测单元12040可以计算驾驶员的疲劳度或驾驶员的集中度，或者可以判断驾驶员是否在瞌睡。
例如，微型计算机12051可以基于由车外信息检测单元12030或车内信息检测单元12040获得的车辆内部或外部有关的信息来计算驱动力产生装置、转向机构或制动装置的控制目标值，并且可以向驱动系统控制单元12010输出控制指令。例如，微型计算机12051可以进行协调控制，旨在实现包括车辆的碰撞避免或碰撞缓和、基于车辆之间的距离的追踪行驶、车辆速度保持行驶、车辆碰撞警告、车辆的车道偏离警告等的高级驾驶员辅助系统(ADAS)的功能。
另外，微型计算机12051可以通过基于由车外信息检测单元12030或车内信息检测单元12040获得的关于车辆外部或内部的信息来控制驱动力产生装置、转向机构、制动装置等来进行协调控制，其旨在使车辆自主行驶而不依赖于驾驶员的操作的自动驾驶等。
另外，微型计算机12051可以基于由车外信息检测单元12030获得的车辆外部有关的信息将控制指令输出到主体系统控制单元12020。例如，微型计算机12051根据由车外信息检测单元12030检测到的前方车辆或对向车辆的位置通过控制头灯使远光灯变为近光灯，来进行协调控制，旨在防止眩光。
声音/图像输出部12052将声音和图像的至少一种的输出信号传递到能够在视觉上或听觉上将信息通知给车辆乘员或车辆外部的输出装置。在图50的示例中，示出了音频扬声器12061、显示部12062和仪表板12063作为输出装置。例如，显示部12062可以包括车载显示器和平视显示器中的至少一种。
图51是成像部12031的安装位置的示例的图。
在图51中，成像部12031包括成像部12101、12102、12103、12104和12105。
例如，成像部12101、12102、12103、12104和12105布置在车辆12100的车头、侧视镜、后保险杠和后门的位置以及车辆内部的挡风玻璃的上侧的位置处。设置于车头的成像部12101和设置于车辆内部的挡风玻璃上侧的成像部12105主要获得车辆12100的前方的图像。设置于侧视镜的成像部12102和12103主要获得车辆12100的侧方的图像。设置于后保险杠或后门的成像部12104主要获得车辆12100的后方的图像。设置于车辆内部的挡风玻璃上侧的成像部12105主要用于检测前方车辆、行人、障碍物、交通信号、交通标志、车道等。
此外，图51示出了成像部12101～12104的拍摄范围的示例。成像范围12111表示设置于车头的成像部12101的成像范围。成像范围12112和12113分别表示设置于侧视镜的成像部12102和12103的成像范围。成像范围12114表示设置于后保险杠或后门的成像部12104的成像范围。例如，通过叠加由成像部12101～12104拍摄的图像数据获得车辆12100的从上方看到的鸟瞰图像。
成像部12101～12104中的至少一个可以具有获得距离信息的功能。例如，成像部12101～12104中的至少一个可以是由多个成像元件构成的立体相机，或者可以是具有相位差检测用像素的成像元件。
例如，基于从成像部12101～12104获得的距离信息，微型计算机12051可以确定距成像范围12111～12114内的各立体物的距离和距离的时间变化(相对于车辆12100的相对速度)，从而提取特别是在车辆12100的行驶路线上的最靠近且在与车辆12100的大致相同的方向上以预定速度(例如，0km/h以上)行驶的立体物作为前方车辆。此外，微型计算机12051可以预先设定在前方车辆的前方确保的车辆之间的距离，并且可以进行自动制动控制(包括追踪停止控制)、自动加速控制(包括追踪开始控制)等。因此，可以进行旨在车辆自主行驶而不依赖于驾驶员的操作的自动驾驶等的协调控制。
例如，基于从成像部12101～12104获得的距离信息，微型计算机12051可以将立体物的立体物数据分类为两轮车辆、普通车辆、大型车辆、行人、电线杆和其他立体物的立体物数据，提取分类的立体物数据，并且利用所提取的立体物数据自动避开障碍物。例如，微型计算机12051将车辆12100周围的障碍物识别为可以由车辆12100的驾驶员在视觉上识别的障碍物和车辆12100的驾驶员难以在视觉上识别的障碍物。然后，微型计算机12051判断指示与各障碍物碰撞的危险度的碰撞风险。在碰撞风险等于或高于设定值并且存在碰撞的可能性的情况下，微型计算机12051可以经由音频扬声器12061或显示部12062向驾驶者输出警告，并且经由驱动系统控制单元12010进行强制减速或回避转向。微型计算机12051由此可以进行碰撞避免的驾驶辅助。
成像部12101～12104中的至少一个可以是检测红外线的红外相机。例如，微型计算机12051可以通过判断成像部12101～12104的拍摄图像中是否存在行人来识别行人。例如，通过提取作为红外相机的成像部12101～12104的拍摄图像中的特征点的过程以及通过对指示物体的轮廓的一系列特征点进行图案匹配处理以判断该物体是否为行人的过程，进行这种行人的识别。当微型计算机12051判断成像部12101～12104的拍摄图像中存在行人并且因此识别出行人时，声音/图像输出部12052控制显示部12062，使得显示用于强调的四边形轮廓线以叠加在所识别的行人上。声音/图像输出部12052还可以控制显示部12062，使其在期望的位置显示指示行人的图标等。
上面已经给出了根据本公开的实施例的技术适用的移动体控制系统的一个示例的说明。根据本公开的实施例的技术可以适用于上述构成的组件中的成像部12031。具体地，根据前述实施例及其变形例中的任何一个的成像元件1可适用于成像部12031。根据本公开的实施例的技术在成像部12031上的应用允许具有少噪声的高清拍摄图像，因此可以在移动体控制系统中利用所拍摄的图像进行高度精确的控制。
[应用例2]
图52是示出根据本公开的实施例的技术(本技术)可以适用的内窥镜手术系统的示意性构成的示例的图。
在图52中，示出了其中手术者(医生)11131正在使用内窥镜手术系统11000对病床11133上的患者11132进行手术的状态。如图所示，内窥镜手术系统11000包括内窥镜11100、诸如气腹管11111和能量装置11112等其他手术器械11110、其上支撑内窥镜11100的支撑臂装置11120以及其上安装有用于内窥镜手术的各种装置的推车11200。
内窥镜11100包括：透镜筒11101，其具有被插入患者11132的体腔内的距其远端预定长度的区域；和连接到透镜筒11101的近端的摄像头11102。在所示的示例中，示出了内窥镜11100，其作为具有硬性透镜筒11101的硬性内窥镜。然而，内窥镜11100也可以作为具有软性透镜筒11101的软性内窥镜。
透镜筒11101在其远端处具有其中装配有物镜的开口。光源装置11203连接到内窥镜11100，使得由光源装置11203生成的光通过延伸到透镜筒11101内部的光导引导到透镜筒11101的远端，并且经由物镜照射在患者11132的体腔内的观察对象。要注意的是，内窥镜11100可以是直视镜，或者可以是斜视镜或侧视镜。
光学系统和摄像元件设置在摄像头11102的内部，使得来自观察对象的反射光(观察光)通过光学系统会聚在摄像元件上。观察光由摄像元件进行光电转换，以生成与观察光相对应的电气信号，即，与观察图像相对应的图像信号。图像信号作为RAW数据被传输到相机控制单元(CCU)11201。
CCU 11201包括中央处理单元(CPU)、图形处理单元(GPU)等，并且综合控制内窥镜11100和显示装置11202的操作。此外，CCU 11201接收来自摄像头11102的图像信号，并且例如，针对图像信号执行诸如显像处理(去马赛克处理)等用于基于图像信号显示图像的各种图像处理。
显示装置11202在CCU 11201的控制下显示基于已经由CCU 11201对其进行了图像处理的图像信号的图像。
例如，光源装置11203包括诸如发光二极管(LED)等光源，并且当对手术区域成像时将照射光提供给内窥镜11100。
输入装置11204是用于内窥镜手术系统11000的输入接口。使用者可以经由输入装置11204向内窥镜手术系统11000输入各种类型的信息或指令。例如，使用者输入指令等，以改变内窥镜11100的摄像条件(照射光的类型、放大率、焦距等)的。
处置器械控制装置11205控制能量装置11112的驱动，用于组织的烧灼或切开、血管的密封等。气腹装置11206经由气腹管11111向患者11132的体腔内注入气体，以使体腔膨胀，以便确保内窥镜11100的视野并确保手术者的工作空间。记录器11207是能够记录与手术有关的各种类型的信息的装置。打印机11208是能够以诸如文本、图像或图形等各种形式打印与手术有关的各种类型的信息的装置。
要注意的是，对手术部位成像时将照射光提供给内窥镜11100的光源装置11203可以包括白光源，例如，白光源包括LED、激光光源或它们的组合。在白光源包括红、绿和蓝(RGB)激光光源的组合的情况下，由于可以高精度地控制针对各种颜色(各波长)的输出强度和输出时序，所以可以由光源装置11203执行所拍摄的图像的白平衡的调整。此外，在这种情况下，如果将来自各个RGB激光光源的激光束按时间分割地照射到观察对象上，并且与照射时序同步地控制摄像头11102的摄像元件的驱动。那么，也可以按时间分割地拍摄与R、G和B色相对应的图像。根据该方法，即使在摄像元件中未设置滤色器，也可以获得彩色图像。
此外，可以控制光源装置11203的驱动，使得在各预定时间改变要输出的光的强度。通过与光强度的改变的时序同步地控制摄像头11102的摄像元件的驱动以按时间分割地获取图像并合成图像，可以创建不具有曝光不足造成的暗影和曝光过度产生的亮点的高动态范围的图像。
此外，光源装置11203可以被构造为供给用于特殊光观察的预定波长带的光。在特殊光观察中，例如，通过利用身体组织中的光吸收的波长依赖性以照射与普通观察时的照射光(即，白光)相比具有窄带域的光，进行以高对比度对诸如粘膜表层的表层部的血管等预定组织进行成像的窄带域观察(窄带域成像)。或者，在特殊光观察中，可以进行通过发射激发光而产生的荧光获得图像的荧光观察。在荧光观察中，可以向身体组织照射激发光来观察来自身体组织的荧光(自体荧光观察)，或者通过将诸如吲哚菁绿(ICG)等试剂局部注射到身体组织中并在身体组织上照射与试剂的荧光波长相对应的激发光来获得荧光图像。光源装置11203可以被构造为供给适于上述特殊光观察的这种窄带域光和/或激发光。
图53是示出图52所示的摄像头11102和CCU 11201的功能构成的示例的框图。
摄像头11102包括透镜单元11401、摄像单元11402、驱动单元11403、通信单元11404和摄像头控制单元11405。CCU 11201包括通信单元11411、图像处理单元11412和控制单元11413。摄像头11102和CCU11201通过传输线缆11400连接以彼此通信。
透镜单元11401是设置在与透镜筒11101的连接位置处的光学系统。从透镜筒11101的远端接收的观察光被引导到摄像头11102并入射到透镜单元11401中。透镜单元11401包括具有变焦透镜和聚焦透镜的多个透镜的组合。
摄像单元11402包括的摄像元件的数量可以是一个(单板型)或者多个(多板型)。当摄像单元11402被构造为多板型时，例如，通过摄像元件生成与各个RGB相对应的图像信号，并且可以合成图像信号来获得彩色图像。摄像单元11402还可以被构造为具有一对摄像元件，以获取用于三维(3D)显示的右眼和左眼用的各图像信号。如果进行3D显示，则手术者11131可以更加准确地把握手术区域中的活体组织的深度。要注意的是，当摄像单元11402被构造为立体型时，设置与各个摄像元件相对应的透镜单元11401的多个系统。
此外，摄像单元11402可以不必设置在摄像头11102上。例如，摄像单元11402可以设置在透镜筒11101内部的物镜的正后方。
驱动单元11403包括致动器，并且在摄像头控制单元11405的控制下使透镜单元11401的变焦透镜和聚焦透镜沿光轴移动预定距离。结果，可以适宜地调整由摄像单元11402拍摄的图像的放大率和焦点。
通信单元11404包括用于向CCU 11201传输各种类型的信息和从CCU 11201接收各种类型的信息的通信装置。通信单元11404将从摄像单元11402获取的图像信号作为RAW数据经由传输线缆11400传输到CCU 11201。
另外，通信单元11404从CCU 11201接收用于控制摄像头11102的驱动的控制信号，并且将控制信号供给到摄像头控制单元11405。例如，控制信号包括诸如指定所拍摄的图像的帧率的信息、指定在成像时的曝光值的信息和/或指定所拍摄的图像的放大率和焦点的信息等与摄像条件有关的信息。
要注意的是，诸如帧率、曝光值、放大率或焦点等摄像条件可以由使用者指定，或者可以由CCU 11201的控制单元11413基于所获取的图像信号来自动设定。在后一种情况下，自动曝光(AE)功能、自动对焦(AF)功能和自动白平衡(AWB)功能并入内窥镜11100中。
摄像头控制单元11405基于经由通信单元11404接收的来自CCU11201的控制信号来控制摄像头11102的驱动。
通信单元11411包括用于向摄像头11102传输各种类型的信息和从摄像头11102接收各种类型的信息的通信装置。通信单元11411经由传输线缆11400接收从摄像头11102传输的图像信号。
此外，通信单元11411将用于控制摄像头11102的驱动的控制信号传输到摄像头11102。图像信号和控制信号可以通过电气通信、光通信等来传输。
图像处理单元11412对以从摄像头11102传输的RAW数据形式的图像信号进行各种类型的图像处理。
控制单元11413进行与通过内窥镜11100进行的手术区域等的成像有关以及与通过对手术区域等的成像获得的所拍摄的图像的显示有关的各种类型的控制。例如，控制单元11413创建用于控制摄像头11102的驱动的控制信号。
此外，控制单元11413基于已经由图像处理单元11412进行了图像处理的图像信号控制显示装置11202显示拍摄有手术区域等的所拍摄的图像。于是，控制单元11413可以使用各种图像识别技术来识别所拍摄的图像中的各种物体。例如，控制单元11413可以通过检测所拍摄的图像中所包括的物体的边缘的形状、颜色等，识别诸如钳子等手术器械、特定活体部位、出血、当使用能量装置11112时的雾等。当控制单元11413控制显示装置11202显示所拍摄的图像时，通过使用识别结果，控制单元11413可以使得各种类型的手术支持信息以与手术部位的图像重叠的方式显示。手术支持信息以重叠的方式显示并且呈现给手术者11131，可以减轻手术者11131的负担，并且手术者11131可以可靠地进行手术。
将摄像头11102和CCU 11201彼此连接的传输线缆11400是用于电气信号的通信的电气信号线缆、用于光通信的光纤或用于电气和光通信两者的复合线缆。
这里，在所示的示例中，尽管通过使用传输线缆11400的有线通信执行通信，但是可以通过无线通信执行摄像头11102和CCU 11201之间的通信。
上面已经给出了根据本公开的实施例的技术适用的内窥镜手术系统的一个示例的说明。例如，根据本公开的实施例的技术适当地适用于上述构成中的内窥镜11100的摄像头11102中设置的摄像单元11402。将根据本公开的实施例的技术应用于摄像单元11402能够实现摄像单元11402的小型化或更高分辨率，由此可以提供小型的或高分辨率的内窥镜11100。
尽管以上已经参考实施例及其变形例、适用例和应用例给出了本公开的说明，但是本公开不限于前述实施例等，并且可以进行各种变形。要注意的是，本文所述的效果仅是示例性的。本公开的效果不限于本文所述的那些效果。本公开可以具有除了本文所述的那些效果以外的其他效果。
另外，本公开还可以具有以下构成。
(1)
一种成像装置，其包括：
多个像素，所述多个像素分别包括光电转换元件，并且以矩阵状布置在光接收表面上；
多个光接收透镜，其在所述多个像素中针对所述多个像素中的每个像素一对一设置；和
控制部，其控制所述多个像素的曝光时间，
所述控制部控制所述多个像素的曝光时间，以使与所述光接收透镜的每个相对应的所述多个像素中的至少两个所述像素的曝光时间相同，并且与所述光接收透镜的每个相对应的所述多个像素中的至少两个所述像素的曝光时间彼此不同。
(2)
根据(1)所述的成像装置，还包括：将与所述光接收透镜的每个相对应的所述多个像素作为第一像素组时，针对各所述第一像素组设置的拜耳排列的多个滤色器。
(3)
根据(2)所述的成像装置，其中，所述控制部控制所述多个像素的曝光时间，以使得
与所述光接收透镜的每个相对应的所述多个像素中的两个所述像素的曝光时间相同，并且
与所述光接收透镜的每个相对应的所述多个像素中的三个所述像素的曝光时间不同。
(4)
根据(3)所述的成像装置，其中，所述控制部控制所述多个像素的曝光时间，以使得在与所述光接收透镜的每个相对应的所述多个像素中，所述光接收表面上的排列在右上方、右下方、左右方向或上下方向上的两个所述像素的曝光时间相同。
(5)
根据(2)所述的成像装置，其中，所述控制部控制所述多个像素的曝光时间，以使得
将两行×两列的多个所述第一像素组作为第二像素组时，在各所述第二像素组中所包括的所述第一像素组的第一组中，排列在第一方向上的两个所述像素的曝光时间相同，并且
在各所述第二像素组中所包括的所述第一像素组的第二组中，排列在第二方向上的两个所述像素的曝光时间相同。
(6)
根据(2)所述的成像装置，其中，所述控制部控制所述多个像素的曝光时间，以使得
将两行×两列的多个所述第一像素组作为第二像素组、两行×两列的所述第二像素组作为第三像素组时，在各所述第三像素组所包括的所述第二像素组的第一组中，排列在第一方向上的两个所述像素的曝光时间相同，
在各所述第三像素组中所包括的所述第二像素组的第二组中，排列在第二方向上的两个所述像素的曝光时间相同，并且
在各所述第三像素组中所包括的所述第二像素组的第三组中，排列在第三方向上的两个所述像素的曝光时间相同。
(7)
根据(2)所述的成像装置，其中，所述控制部控制所述多个像素的曝光时间，以使得
将两行×两列的多个所述第一像素组作为第二像素组时，在各所述第二像素组中所包括的所述第一像素组的第一组中，排列在第一方向上的两个所述像素的曝光时间相同，并且排列在第二方向上的两个所述像素的曝光时间相同，并且
在各所述第二像素组中所包括的所述第一像素组的第二组中，排列在所述第一方向上的两个所述像素的曝光时间相同，并且排列在所述第二方向上的两个所述像素的曝光时间相同。
(8)
根据(2)所述的成像装置，其中，所述控制部控制所述多个像素的曝光时间，以使得
将两行×两列的多个所述第一像素组作为第二像素组时，在各所述第二像素组中所包括的所述第一像素组的第一组中，排列在第一方向上的两个所述像素的曝光时间相同，并且与所述排列在第一方向上的两个所述像素不同的排列在所述第一方向上的两个所述像素的曝光时间相同，并且
在各所述第二像素组中所包括的所述第一像素组的第二组中，排列在第二方向上的两个所述像素的曝光时间相同，并且与所述排列在第二方向上的两个所述像素不同的排列在所述第二方向上的两个所述像素的曝光时间相同。
(9)
根据(2)所述的成像装置，其中，所述控制部控制所述多个像素的曝光时间，以使得将两行×两列的多个所述第一像素组作为第二像素组、两行×两列的所述第二像素组作为第三像素组时，在各所述第三像素组中所包括的一个所述第一像素组中所述像素的曝光时间彼此相同。
(10)
根据(2)所述的成像装置，其中，所述控制部控制所述多个像素的曝光时间，以使得将两行×两列的多个所述第一像素组作为第二像素组、两行×两列的所述第二像素组作为第三像素组时，在各所述第三像素组中所包括的一个所述第二像素组中所述像素的曝光时间彼此相同。
(11)
根据(2)所述的成像装置，其中，所述控制部控制所述多个像素的曝光时间，以使得将两行×两列的多个所述第一像素组作为第二像素组、两行×两列的所述第二像素组作为第三像素组时，在各所述第三像素组中所包括的各所述第二像素组中所述像素的曝光时间相同。
(12)
根据(2)所述的成像装置，其中，所述控制部控制所述多个像素的曝光时间，以使得
将两行×两列的多个所述第一像素组作为第二像素组、一行×两列的所述第二像素组作为第四像素组时，在各第四像素组中所包括的所述第二像素组的第一组中的各所述第一像素组中，排列在第一方向上的两个所述像素的曝光时间相同，并且
在各所述第四像素组中所包括的所述第二像素组的第二组中的各所述第一像素组中，排列在第二方向上的两个所述像素的曝光时间相同。
(13)
根据(2)所述的成像装置，其中，所述控制部控制所述多个像素的曝光时间，以使得
将两行×两列的多个所述第一像素组作为第二像素组、两行×一列的所述第二像素组作为第五像素组时，在各所述第五像素组中所包括的所述第二像素组的第一组中的各所述第一像素组中，排列在第一方向上的两个所述像素的曝光时间相同，并且
在各所述第五像素组中所包括的所述第二像素组的第二组中的各所述第一像素组中，排列在第二方向上的两个所述像素的曝光时间相同。
(14)
根据(2)所述的成像装置，其中，所述控制部控制所述多个像素的曝光时间，以使得
将两行×两列的多个所述第一像素组作为第二像素组、两行×两列的所述第二像素组作为第三像素组时，在各所述第三像素组中所包括的所述第二像素组的第一组中的各所述第一像素组中，排列在第一方向上的两个所述像素的曝光时间相同，
在各所述第三像素组中所包括的所述第二像素组的第二组中的各所述第一像素组中，排列在第二方向上的两个所述像素的曝光时间相同，并且
在各所述第三像素组中所包括的所述第二像素组的第三组中的各所述第一像素组中，排列在第三方向上的两个所述像素的曝光时间相同。
(15)
根据(2)所述的成像装置，其中，所述控制部控制所述多个像素的曝光时间，以使得
将两行×两列的多个所述第一像素组作为第二像素组、两行×两列的所述第二像素组作为第三像素组时，在各所述第三像素组中所包括的所述第二像素组的第一组中的各所述第一像素组中，排列在第一方向上的两个所述像素的曝光时间相同，并且排列在第二方向上的两个所述像素的曝光时间相同，并且
在各所述第三像素组中所包括的所述第二像素组的第二组中的各所述第一像素组中，排列在所述第一方向上的两个所述像素的曝光时间相同，并且排列在所述第二方向上的两个所述像素的曝光时间相同。
(16)
根据(2)所述的成像装置，其中，所述控制部控制所述多个像素的曝光时间，以使得
将两行×两列的多个所述第一像素组作为第二像素组、两行×两列的所述第二像素组作为第三像素组时，在各第三像素组中所包括的所述第二像素组的第一组中的各所述第一像素组中，排列在第一方向上的两个所述像素的曝光时间相同，与所述排列在第一方向上的两个所述像素不同的排列在所述第一方向上的两个所述像素的曝光时间相同，并且
在各所述第三像素组中所包括的所述第二像素组的第二组中的各所述第一像素组中，排列在第二方向上的两个所述像素的曝光时间相同，与所述排列在第二方向上的两个所述像素不同的排列在所述第二方向上的两个所述像素的曝光时间相同。
(17)
根据(2)所述的成像装置，其中，
根据通过所述控制部的曝光控制获得的图像数据，针对每个曝光时间生成相位差数据，并且
根据具有不同的曝光时间的多个所述相位差数据和具有不同的曝光时间的多个图像数据生成高动态范围图像。
(18)
一种在成像装置中的信号处理方法，所述成像装置包括：多个像素，所述多个像素分别包括光电转换元件，并且以矩阵状布置在光接收表面上；以及多个光接收透镜，其在所述多个像素中针对所述多个像素中的每个一对一设置，所述信号处理方法包括：
控制所述多个像素的曝光时间，以使得与所述光接收透镜的每个相对应的所述多个像素中的至少两个所述像素的曝光时间相同，并且与所述光接收透镜的每个相对应的所述多个像素中的至少两个所述像素的曝光时间彼此不同；和
根据通过控制所述曝光时间获得的图像数据针对每个曝光时间生成相位差数据，并且根据具有不同的曝光时间的多个所述相位差数据和具有不同的曝光时间的多个图像数据生成高动态范围图像。
根据本公开的第一方面的成像装置和本公开的第二方面的信号处理方法，可以根据通过控制部的曝光控制获得的图像数据针对每个曝光时间生成相位差数据，并且根据具有不同的曝光时间的多个相位差数据和具有不同的曝光时间的多个图像数据生成HDR图像，从而可以抑制诸如消色、染色、重影等图像质量劣化的发生。结果，可以抑制HDR图像的图像质量劣化。要注意的是，本技术的效果不必限于本文所述的效果，并且可以是本文所述的任何效果。
本申请要求于2019年2月19日向日本专利局提交的日本优先专利申请JP2019-027479的权益，其全部内容通过引用合入本文。
本领域技术人员应当理解，取决于设计要求和其他因素，可以进行各种变形、组合、子组合和变更，只要它们在所附权利要求或其等同物的保护范围内即可。

Claims (18)

1.一种光检测装置，其包括：
第一像素组，其包括第一像素、第二像素、第三像素和第四像素，其中，所述第一像素包括第一传输晶体管，其中，所述第二像素包括第二传输晶体管，其中，所述第三像素包括第三传输晶体管，其中，所述第四像素包括第四传输晶体管；
第二像素组，其包括第五像素、第六像素、第七像素和第八像素，其中，所述第五像素包括第五传输晶体管，其中，所述第六像素包括第六传输晶体管，其中，所述第七像素包括第七传输晶体管，其中，所述第八像素包括第八传输晶体管；
第一像素驱动线，其沿着水平方向延伸，并且与所述第一传输晶体管的栅极和所述第五传输晶体管的栅极电连接；
第二像素驱动线，其沿着所述水平方向延伸，并且与所述第二传输晶体管的栅极和所述第六传输晶体管的栅极电连接；
第三像素驱动线，其沿着所述水平方向延伸，并且与所述第三传输晶体管的栅极和所述第七传输晶体管的栅极电连接；
第四像素驱动线，其沿着所述水平方向延伸，并且与所述第四传输晶体管的栅极和所述第八传输晶体管的栅极电连接；
其中，所述第一像素组紧邻所述第二像素组；
其中，沿所述水平方向依次设置所述第一像素、所述第二像素、所述第五像素以及所述第六像素；
其中，沿所述水平方向依次设置所述第三像素、所述第四像素、所述第七像素以及所述第八像素。
2.根据权利要求1所述的光检测装置，还包括控制所述第一像素到所述第八像素的曝光时间的控制部。
3.根据权利要求2所述的光检测装置，其中，所述控制部设置成控制所述第一像素的第一曝光时间和所述第二像素的第二曝光时间，其中，所述第一曝光时间不同于所述第二曝光时间。
4.根据权利要求3所述的光检测装置，其中，所述控制部设置成控制所述第三像素的第三曝光时间和所述第四像素的第四曝光时间，其中，所述第三曝光时间不同于所述第四曝光时间。
5.根据权利要求4所述的光检测装置，其中，所述第二曝光时间与所述第三曝光时间相同。
6.根据权利要求1所述的光检测装置，还包括与所述第一像素到所述第四像素一对一设置的第一透镜。
7.根据权利要求6所述的光检测装置，还包括与所述第五像素到所述第八像素一对一设置的第二透镜。
8.根据权利要求1所述的光检测装置，还包括控制所述第一像素到所述第八像素的曝光时间的控制部。
9.根据权利要求1所述的光检测装置，其中，所述第一像素和所述三像素沿垂直方向设置。
10.根据权利要求9所述的光检测装置，其中，所述第二像素和所述第三像素设置成检测相位差。
11.根据权利要求9所述的光检测装置，其中，所述第一像素和所述第二像素设置成检测相位差。
12.根据权利要求9所述的光检测装置，其中，所述第一像素和所述第三像素设置成检测相位差。
13.根据权利要求1所述的光检测装置，其中，其中，所述第一像素输出的第一像素信号对应于第一曝光时间，其中所述第二像素输出的第二像素信号和所述第三像素输出的第三像素信号对应于第二曝光时间，所述第四像素输出的第四像素信号对应于第三曝光时间。
14.根据权利要求5所述的光检测装置，其中，所述控制部设置成控制所述第五像素的第五曝光时间和所述第六像素的第六曝光时间，其中所述第一曝光时间和所述第五曝光时间相同，其中，所述第二曝光时间和所述第六曝光时间相同。
15.根据权利要求14所述的光检测装置，其中，所述控制部设置成控制所述第七像素的第七曝光时间和所述第八像素的第八曝光时间，其中所述第三曝光时间和所述第七曝光时间相同，其中，所述第四曝光时间和所述第八曝光时间相同。
16.根据权利要求1所述的光检测装置，其中，所述第一像素组设置成产生与第一波长范围相对应的信号。
17.根据权利要求16所述的光检测装置，其中，所述第二像素组设置成产生与第二波长范围相对应的信号。
18.根据权利要求1-17中任一项所述的光检测装置，其中，所述第一像素组还包括第一滤色器，所述第二像素组还包括第二滤色器。
CN202211396691.2A 2019-02-19 2019-12-11 信号处理方法和成像装置 Pending CN115767292A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019027479 2019-02-19
JP2019-027479 2019-02-19
CN201980088889.4A CN113316929A (zh) 2019-02-19 2019-12-11 信号处理方法和成像装置
PCT/JP2019/048497 WO2020170565A1 (ja) 2019-02-19 2019-12-11 信号処理方法および撮像装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201980088889.4A Division CN113316929A (zh) 2019-02-19 2019-12-11 信号处理方法和成像装置

Publications (1)

Publication Number Publication Date
CN115767292A true CN115767292A (zh) 2023-03-07

Family

ID=72145051

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202211396691.2A Pending CN115767292A (zh) 2019-02-19 2019-12-11 信号处理方法和成像装置
CN201980088889.4A Pending CN113316929A (zh) 2019-02-19 2019-12-11 信号处理方法和成像装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201980088889.4A Pending CN113316929A (zh) 2019-02-19 2019-12-11 信号处理方法和成像装置

Country Status (6)

Country Link
US (2) US11778333B2 (zh)
EP (1) EP3930310A4 (zh)
JP (1) JPWO2020170565A1 (zh)
KR (1) KR20210128395A (zh)
CN (2) CN115767292A (zh)
WO (1) WO2020170565A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023027618A (ja) * 2021-08-17 2023-03-02 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び電子機器
WO2023105916A1 (ja) * 2021-12-08 2023-06-15 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
CN115861473B (zh) * 2022-07-19 2023-10-24 北京中关村科金技术有限公司 实时绘制分贝检测走势图的模型训练方法、装置及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090219266A1 (en) * 2008-02-13 2009-09-03 Moo-Sup Lim Pixel circuit arrays
US20170353679A1 (en) * 2016-06-01 2017-12-07 Canon Kabushiki Kaisha Imaging element, imaging apparatus, and imaging signal processing method
CN207573459U (zh) * 2016-12-01 2018-07-03 半导体元件工业有限责任公司 成像系统
CN108462841A (zh) * 2018-03-21 2018-08-28 上海晔芯电子科技有限公司 像素阵列及图像传感器

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8818127B2 (en) * 2011-04-08 2014-08-26 Panasonic Intellectual Property Corporation Of America Image processing apparatus and image processing method
FR2976121A1 (fr) * 2011-05-31 2012-12-07 St Microelectronics Sa Dispositif d'imagerie matriciel comprenant au moins un ensemble de photosites a multiples temps d'integration.
JP2013066140A (ja) * 2011-08-31 2013-04-11 Sony Corp 撮像装置、および信号処理方法、並びにプログラム
JP2013055500A (ja) * 2011-09-02 2013-03-21 Sony Corp 固体撮像素子およびカメラシステム
JP2013055499A (ja) * 2011-09-02 2013-03-21 Sony Corp 固体撮像素子およびカメラシステム
US9143708B2 (en) * 2013-12-11 2015-09-22 Himax Imaging, Inc. Dual low voltage levels for control of transfer switch device in pixel array
JP6417809B2 (ja) 2014-03-05 2018-11-07 ソニー株式会社 撮像装置
JP6408372B2 (ja) 2014-03-31 2018-10-17 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及びその駆動制御方法、並びに、電子機器
US9491442B2 (en) * 2014-04-28 2016-11-08 Samsung Electronics Co., Ltd. Image processing device and mobile computing device having the same
US9711553B2 (en) * 2014-04-28 2017-07-18 Samsung Electronics Co., Ltd. Image sensor including a pixel having photoelectric conversion elements and image processing device having the image sensor
US9749556B2 (en) * 2015-03-24 2017-08-29 Semiconductor Components Industries, Llc Imaging systems having image sensor pixel arrays with phase detection capabilities
KR102356706B1 (ko) * 2015-07-07 2022-01-27 삼성전자주식회사 넓은 다이나믹 레인지를 갖는 이미지 센서, 이미지 센서의 픽셀 회로 및 이미지 센서의 동작방법
JP6885344B2 (ja) 2016-01-20 2021-06-16 ソニーグループ株式会社 固体撮像装置およびその駆動方法、並びに電子機器
JP2018019296A (ja) * 2016-07-28 2018-02-01 キヤノン株式会社 撮像装置およびその制御方法
KR102354991B1 (ko) * 2017-05-24 2022-01-24 삼성전자주식회사 픽셀 회로 및 이를 포함하는 이미지 센서
JP6873000B2 (ja) 2017-07-27 2021-05-19 日立Astemo株式会社 緩衝器およびカバー部材
WO2019026718A1 (en) * 2017-08-03 2019-02-07 Sony Semiconductor Solutions Corporation IMAGING APPARATUS AND ELECTRONIC DEVICE
JP7171199B2 (ja) 2017-08-03 2022-11-15 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、及び電子機器
CN108632537B (zh) * 2018-05-04 2020-08-21 Oppo广东移动通信有限公司 控制方法及装置、成像设备、计算机设备及可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090219266A1 (en) * 2008-02-13 2009-09-03 Moo-Sup Lim Pixel circuit arrays
US20170353679A1 (en) * 2016-06-01 2017-12-07 Canon Kabushiki Kaisha Imaging element, imaging apparatus, and imaging signal processing method
CN207573459U (zh) * 2016-12-01 2018-07-03 半导体元件工业有限责任公司 成像系统
CN108462841A (zh) * 2018-03-21 2018-08-28 上海晔芯电子科技有限公司 像素阵列及图像传感器

Also Published As

Publication number Publication date
KR20210128395A (ko) 2021-10-26
US11778333B2 (en) 2023-10-03
TW202105994A (zh) 2021-02-01
US20220132014A1 (en) 2022-04-28
EP3930310A4 (en) 2022-04-13
CN113316929A (zh) 2021-08-27
WO2020170565A1 (ja) 2020-08-27
EP3930310A1 (en) 2021-12-29
JPWO2020170565A1 (ja) 2021-12-16
US20230421913A1 (en) 2023-12-28

Similar Documents

Publication Publication Date Title
CN110050459B (zh) 固态成像元件和电子设备
JP7284171B2 (ja) 固体撮像装置
US20230421913A1 (en) Signal processing method and imaging apparatus
US11756971B2 (en) Solid-state imaging element and imaging apparatus
US20210377469A1 (en) Imaging apparatus and electronic equipment
WO2021106732A1 (ja) 撮像装置および電子機器
CN114208154A (zh) 成像装置
WO2020179302A1 (ja) 撮像装置
CN111801935B (zh) 摄像装置和电子设备
TWI840483B (zh) 信號處理方法及攝像裝置
JP7382336B2 (ja) 記憶回路および撮像装置
WO2022102433A1 (ja) 撮像装置
WO2024057810A1 (ja) 撮像装置、撮像システム、及び、撮像装置の駆動方法
WO2023105935A1 (ja) 撮像装置
WO2022085476A1 (ja) 固体撮像装置および信号処理方法
WO2021002213A1 (ja) 固体撮像装置およびその駆動方法、並びに電子機器
JP2019022020A (ja) 固体撮像素子、固体撮像素子の駆動方法および電子機器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination