CN107852469A - 摄像元件、图像处理方法和电子装置 - Google Patents

摄像元件、图像处理方法和电子装置 Download PDF

Info

Publication number
CN107852469A
CN107852469A CN201680037522.6A CN201680037522A CN107852469A CN 107852469 A CN107852469 A CN 107852469A CN 201680037522 A CN201680037522 A CN 201680037522A CN 107852469 A CN107852469 A CN 107852469A
Authority
CN
China
Prior art keywords
pixel
unit
read
imaging sensor
mobile object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680037522.6A
Other languages
English (en)
Other versions
CN107852469B (zh
Inventor
葛谷直规
住广博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN107852469A publication Critical patent/CN107852469A/zh
Application granted granted Critical
Publication of CN107852469B publication Critical patent/CN107852469B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H01L27/14612—Pixel-elements with integrated switching, control, storage or amplification elements involving a transistor
    • H01L27/14614—Pixel-elements with integrated switching, control, storage or amplification elements involving a transistor having a special gate structure
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H01L27/14612—Pixel-elements with integrated switching, control, storage or amplification elements involving a transistor
    • H01L27/14616—Pixel-elements with integrated switching, control, storage or amplification elements involving a transistor characterised by the channel of the transistor, e.g. channel having a doping gradient
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

本公开涉及一种能够利用较少的资源执行图像处理的图像传感器、图像处理方法、和电子装置。所述图像传感器设置有像素区域，在所述像素区域中以矩阵方式布置有像素，所述像素分别包括将光转换成电荷的光电转换单元和保持所述光电转换单元中生成的所述电荷的像素内存储单元；驱动单元，所述驱动单元驱动以从所述像素读出像素信号；以及图像处理单元，所述图像处理单元根据所述驱动单元的驱动基于通过从所述像素区域中进行多次读出而读出的多个图像来执行图像处理。例如，本技术可以适用于包括逻辑电路的图像传感器。

Description

摄像元件、图像处理方法和电子装置
技术领域
本公开涉及一种图像传感器、图像处理方法和电子装置，并且特别涉及一种能够利用较少的资源执行图像处理的图像传感器、图像处理方法、和电子装置。
背景技术
通常，在设置有图像传感器(诸如，电荷耦合装置(CCD)和互补金属氧化物半导体(CMOS)图像传感器)的成像设备中，来自被摄体的光由光学系统聚集，并且图像形成在图像传感器的传感器表面上，从而捕获被摄体的图像。图像传感器具有通过组合执行光电转换的光电二极管(PD)和多个晶体管获得的像素，并且基于从在形成有被摄体的图像的图像表面上布置的多个像素输出的像素信号来构建图像。
而且，近年来，需要更高性能的图像传感器，并且正在开发能够通过包含逻辑电路来执行图像识别处理等的图像传感器。例如，假设检测在捕获到的图像中捕获的面部的面部检测处理(参照非专利文献1)，从面部图像检测人的属性(性别、年龄等)的面部属性检测处理(参照非专利文献2)，作为由图像传感器执行的图像识别处理。
当对特定图像执行图像识别处理时，通常组合了多个阶段的处理。例如，分多个阶段执行处理，以便首先读取图像以从中提取一些信息，并且再次读取该图像以从首先提取到的信息和再次读取的图像中提取另一信息。
然而，在图像传感器内部执行图像识别处理的情况下，结构是这种结构：按照光栅扫描顺序从屏幕的左上侧上的像素按顺序读出图像数据，并且该图像数据流向流水线中的后续阶段逻辑，使得结构通常如下：数据一旦读出就无法再次使用。因此，例如，通过采用包括用于将一帧的图像存储在图像传感器的逻辑电路中的帧存储器的结构，能够在多个阶段的处理中使用相同图像，但是通常，如果提供这种存储区域，则图像传感器的电路规模变大。例如，在用于存储一帧的图像的帧存储器设置在图像传感器的逻辑电路中的情况下，不仅制造成本会增加，而且功耗也会增加。
例如，专利文献1公开了一种通过将全局快门像素用作存储器来使能双通处理的成像装置。在该成像设备中，全局快门像素用于在多个垂直同步周期内进行图像读出，使得在相同的曝光定时处未进行多次处理。
引文列表
专利文献
专利文献1：日本专利申请特开2012-165193号公报
非专利文献
非专利文献1：Viola等人，2001年IEEE计算机视觉和模式识别计算机协会会议的汇编“Rapid object detection using a boosted cascade of simple features”
非专利文献2：Kumar等人，2009年IEEE第12届计算机视觉国际会议的汇编“Attribute and Simile Classifiers for Face Verification”
发明内容
本发明要解决的问题
如上所述，难以执行在图像传感器内组合多个阶段的处理的图像处理，并且需要利用较少的资源执行这种图像处理。
鉴于这种情况开发出了本公开，并且本公开的目的是使得能够利用较少的资源执行图像处理。
问题解决方案
根据本公开的一个方面的图像传感器，该图像传感器设置有像素区域，在该像素区域中以矩阵方式布置有像素，该像素分别包括将光转换成电荷的光电转换单元和保持光电转换单元中生成的电荷的像素内存储单元；驱动单元，该驱动单元驱动以从像素读出像素信号；以及图像处理单元，该图像处理单元根据驱动单元的驱动基于通过从像素区域中进行多次读出而读出的多个图像来执行图像处理。
根据本技术的一个方面的图像处理方法，该图像处理方法是图像传感器的图像处理方法，该图像传感器设置有像素区域，在该像素区域中以矩阵方式布置有像素，该像素分别包括将光转换成电荷的光电转换单元和保持光电转换单元中生成的电荷的像素内存储单元；以及驱动单元，该驱动单元驱动以从像素读出像素信号，该方法包括：根据驱动单元的驱动基于通过从像素区域中进行多次读出而读出的多个图像来执行图像处理。
根据本技术的一个方面的电子装置，该电子装置设置有图像传感器，该图像传感器包括：像素区域，在该像素区域中以矩阵方式布置有像素，该像素分别包括将光转换成电荷的光电转换单元和保持光电转换单元中生成的电荷的像素内存储单元；驱动单元，该驱动单元驱动以从像素读出像素信号；以及图像处理单元，该图像处理单元根据驱动单元的驱动基于通过从像素区域中进行多次读出而读出的多个图像来执行图像处理。
根据本公开的一个方面，图像传感器设置有像素区域，在该像素区域中以矩阵方式布置有像素，该像素分别包括将光转换成电荷的光电转换单元和保持光电转换单元中生成的电荷的像素内存储单元；以及驱动单元，该驱动单元驱动以从像素读出像素信号。然后，根据驱动单元的驱动，从像素区域多次执行读出，并且执行基于多个读取图像的图像处理。
发明效果
根据本公开的一个方面，可以利用较少的资源执行图像处理。
附图说明
图1是图示了图像传感器的第一实施例的配置示例的框图。
图2是图示了像素的第一配置示例的视图。
图3是用于图示检测面部属性的图像识别处理的流程图。
图4是图示了图像传感器的第二实施例的配置示例的框图。
图5是用于图示移动对象区域指定处理的视图。
图6是用于图示获得移动对象区域的方法的视图。
图7是用于图示周边像素的视图。
图8是用于图示移动对象追踪处理的视图。
图9是用于图示执行移动对象追踪的图像识别处理的流程图。
图10是图示了像素的第二配置示例的视图。
图11是图示了应用本技术的电子装置的一个实施例的配置示例的框图。
图12是图示了使用图像传感器的使用示例的视图。
具体实施方式
在下文中，参照附图更详细地描述了应用本技术的具体实施例。
<图像传感器的第一实施例>
图1是图示了应用本技术的图像传感器的第一实施例的配置示例的框图。
如图1所图示，图像传感器11设置有像素区域12、垂直扫描电路13、列信号处理电路14、水平扫描电路15、输出电路16、控制电路17和逻辑电路18。
像素区域12是光接收表面，该光接收表面接收由光学系统(未图示)聚集的光。在像素区域12中，多个像素21以矩阵方式布置，并且经由水平信号线22将像素21逐行连接至垂直扫描电路13，并且经由垂直信号线23将像素21逐列连接至列信号处理电路14。多个像素21中的每一个像素根据接收到的光的光量的电平输出像素信号，并且从像素信号构建要在像素区域12中形成的被摄体的图像。
垂直扫描电路13经由水平信号线22按顺序向像素21提供用于驱动(传输、选择、重置等)布置在像素区域12中的多个像素21的相应行的相应像素21的驱动信号。
列信号处理电路14经由垂直信号线23对从多个像素21输出的像素信号执行相关双采样(CDS)处理，从而对像素信号执行AD转换并且从中移除复位噪声。
水平扫描电路15按顺序将用于允许列信号处理电路14将像素信号输出至布置在像素区域12中的多个像素21的相应列的数据输出信号线24的驱动信号提供给列信号处理电路14。
输出电路16在根据水平扫描电路15的驱动信号将经由数据输出信号线24从列信号处理电路14提供的像素信号放大为预定电平进行输出。
控制电路17根据形成图像传感器11的各个块的驱动周期来生成并且提供时钟信号，从而控制各个块的驱动。
逻辑电路18形成在半导体基板上，该半导体基板堆叠在形成有像素21的半导体基板上，并且例如，逻辑电路可以对经由输出电路16提供的像素信号执行各种类型的图像处理。例如，图1图示了执行检测面部属性的图像识别处理的逻辑电路18的配置示例；如图所示，逻辑电路18包括面部检测处理单元31、识别结果保持存储器32、和面部属性检测处理单元33。
面部检测处理单元31执行检测(通过图像传感器11捕获的)捕获到的图像中捕获的面部的面部检测处理，作为检测面部属性检测处理单元33的面部属性所需的预处理。例如，面部检测处理单元31可以使用已经提出的检测面部的各种方法，并且具体地，这可以使用在上述非专利文献1中提出的方法。
识别结果保持存储器32保持面部检测信息(例如，捕获到面部的矩形区域的位置和大小)，作为由于通过面部检测处理单元31执行的面部检测处理而获得的识别结果。
面部属性检测处理单元33读出在识别结果保持存储器32中保持的识别结果并且执行检测(通过图像传感器11捕获的)捕获到的图像中捕获的面部的属性的面部属性检测处理。例如，面部属性检测处理单元33可以使用已经提出的检测面部属性的各种方法，并且具体地，这可以使用在上述非专利文献2中提出的方法。然后，面部属性检测处理单元33将由于执行面部属性检测处理而获得的面部属性信息(例如，通过面部获得的性别、年龄等)输出至后续阶段(未图示)上的块。
在本文中，在图像传感器11中，如图所示，对于一行中的像素21布置两条水平信号线22-1和22-2；例如，水平信号线22-1连接至奇数行中的像素21，并且水平信号线22-2连接至偶数行中的像素21。因此，垂直扫描电路13可以驱动像素21，以便在不同的定时从奇数行和偶数行读取像素信号。
例如，从垂直和水平地两两布置的四个像素21中，垂直扫描电路13可以驱动以从奇数列和奇数行中的像素21读取像素信号，从偶数列和奇数行中的像素21读取像素信号，从奇数列和偶数行中的像素21读取像素信号，并且从偶数列和偶数行中的像素21读取像素信号。因此，逻辑电路18可以基于奇数列和偶数行中的像素21的像素信号来对捕获到的图像、基于奇数列和偶数行中的像素21的像素信号对捕获到的图像、基于偶数列和奇数行中的像素21的像素信号对捕获到的图像、以及基于偶数列和偶数行中的像素21的像素信号对捕获到的图像执行图像识别处理。
即，在图像传感器11中，通过在垂直和水平方向上间隔剔除一个像素的同时读出像素信号，能够在垂直和水平方向上截取一半大小的四个图像，并且通过使用四个图像来执行面部检测处理和面部属性检测处理。同时，尽管这些图像并不完全相同，但熟知的是，自然图像中的大多数相邻像素的像素值具有高关联性，并且在由图像传感器11执行的图像识别处理中，可以将其视作相同的像素。
按照这种方式，图像传感器11可以根据像素21的布置位置多次读出像素信号，并且可以执行需要通过逻辑电路18进行多次处理的图像识别处理。因此，在提供给逻辑电路18的四个捕获到的图像中，面部检测处理单元31可以通过使用三个捕获到的图像对各个面部大小执行三次面部检测处理，并且面部属性检测处理单元33可以通过使用一个捕获到的图像来执行面部属性检测处理。
例如，面部检测处理单元31基于奇数列和奇数行中的像素21的像素信号通过使用捕获到的图像，来执行从捕获到的图像检测大型面部的第一面部检测处理。相似地，面部检测处理单元31基于奇数列和偶数行中的像素21的像素信号通过使用捕获到的图像，来执行从捕获到的图像检测中型面部的第二面部检测处理，并且基于奇数列和偶数行中的像素21的像素信号通过使用捕获到的图像，来执行从捕获到的图像检测小型面部的第三面部检测处理。然后，面部属性检测处理单元33基于奇数列和奇数行中的像素21的像素信号通过使用捕获到的图像来执行面部属性检测处理。
按照这种方式，图像传感器11可以将捕获到的图像多次提供给逻辑电路18，并且输出由面部属性检测处理单元33检测到的面部属性作为通过逻辑电路18多次执行处理的图像识别处理的识别结果。同时，例如，可以在仅输出通过执行图像识别处理而获得的识别结果并且不需要其本身输出图像的系统中使用图像传感器11。例如，在监测系统中使用图像传感器11的情况下，仅输出面部属性，并且不输出捕获到面部的图像，使得能够保护隐私。
<像素21的第一配置示例>
图2是图示了像素21的第一配置示例的视图。
如图2所图示，图像传感器11包括彼此堆叠的半导体基板41、布线层42、和遮光膜43。而且，像素21设置有PD 51，传输晶体管52、FD单元53、放大晶体管54、选择晶体管55、和重置晶体管56。
在半导体基板41中，例如，将杂质离子注入到P型硅基板(P阱)中以形成P型区域(P+)和N型区域(N-)，从而通过基板针对各个像素21的PN接合形成PD 51。而且，在半导体基板41中，对于各个像素21，形成经由传输晶体管52从PD 51形成FD单元53的N型区域(N)，并且形成经由重置晶体管56从FD单元53连接至漏极电源的N型区域(N)。
形成栅电极，该栅电极形成经由绝缘膜堆叠在半导体基板41上的传输晶体管52和重置晶体管56，并在布线层42中形成用于将驱动信号提供给栅电极的布线。而且，在布线层42中，形成将形成FD单元53的N型区域和形成放大晶体管54的栅电极连接的布线。
在遮光膜43上，形成供照射形成在半导体基板41中的PD 51的光进入的开口44，遮光膜43遮蔽由光照射的除了PD 51之外的区域。
按照这种方式配置图像传感器11的像素21，并且经由遮光膜43的开口44入射的光经受用作光电转换单元的PD 51进行的光电转换，并且在PD 51中累积电荷。然后，当传输晶体管52根据从垂直扫描电路13提供的传输信号TRX进行驱动，并且传输晶体管52被接通，将在PD 51中累积的电荷传输至FD单元53。
作为暂时保持从PD 51传输的电荷的浮动扩散区域的FD单元53用作保持像素21内的像素信号的像素内存储单元。而且，利用FD单元53连接至放大晶体管54的栅电极的配置，FD单元53和放大晶体管54用作将PD 51中生成的电荷以根据电荷的电平转换成像素信号的转换单元。
然后，当选择晶体管55根据从垂直扫描电路13提供的选择信号SEL进行驱动，并且选择晶体管55被接通时，放大晶体管54经由选择晶体管55进入与垂直信号线23连接的状态。而且，当重置晶体管56根据从垂直扫描电路13提供的重置信号RST进行驱动，并且重置晶体管56被接通时，将在FD单元53中累积的电荷排出至漏极电源，并且重置FD单元53。
按照这种方式配置像素21，并且在所有像素21中在相同的定时处将电荷从像素21传输至PD 51，并且如上所述，可以根据像素21的布置位置多次读出像素信号。即，通过单独地控制水平信号线22-1和22-2，可以在四个阶段中分别读出在曝光时存储在各个像素21中的FD单元53中的电荷。
例如，从在奇数列和奇数行中布置的像素21输出的像素信号用于第一面部检测处理，并且从在偶数列和奇数行中布置的像素21输出的像素信号用于第二面部检测处理。而且，从在奇数列和偶数行中布置的像素21输出的像素信号用于第三面部检测处理，并且从在偶数列和偶数行中布置的像素21输出的像素信号用于第一面部检测处理。
接着，图3是用于图示通过图像传感器11检测面部属性的图像识别处理的流程图。
在步骤S11中，在所有像素21中开始曝光。即，垂直扫描电路13以脉冲方式将传输信号TRX接通至所有像素21的传输晶体管52，使得经由传输晶体管52将在PD 51中剩余的电荷传输至FD单元53，并且开始PD 51的曝光。
在步骤S12中，在所有像素21中重置FD单元53。即，垂直扫描电路13以脉冲方式将重置信号RST接通至所有像素21的重置晶体管56，使得经由重置晶体管56将FD单元53中累积的电荷排出至漏极电源，并且FD单元53的电荷被排空。
在步骤S13中，在所有像素21中将电荷从PD 51传输至FD单元53。即，垂直扫描电路13以脉冲方式将传输信号TRX接通至所有像素21的传输晶体管，使得经由要存储在FD单元53中的传输晶体管52将在预定曝光时间内经受光电转换并且累积在PD 51中的电荷传输至FD单元53。
在步骤S14中，从像素21读出像素信号进行第一面部检测处理。即，垂直扫描电路13按顺序将选择信号SEL接通至与奇数行中的像素21的奇数列的水平信号线22-1连接的像素21的选择晶体管55。因此，选择像素21的放大晶体管54经由选择晶体管55连接至垂直信号线23，并且读出像素信号。
在步骤S15中，面部检测处理单元31通过使用从用于第一面部检测处理的像素21读出的像素信号来执行第一面部检测处理，并且将面部检测信息作为第一面部检测处理的识别结果存储在识别结果保持存储器32中。即，如上所述，面部检测处理单元31在第一面部检测处理中检测大型面部。
在步骤S16中，从像素21读出像素信号进行第二面部检测处理。即，垂直扫描电路13按顺序将选择信号SEL接通至与奇数行中的像素21的偶数列的水平信号线22-2连接的像素21的选择晶体管55。因此，选择像素21的放大晶体管54经由选择晶体管55连接至垂直信号线23，并且读出像素信号。
在步骤S17中，面部检测处理单元31通过使用从用于第二面部检测处理的像素21读出的像素信号来执行第二面部检测处理，并且将面部检测信息作为第二面部检测处理的识别结果存储在识别结果保持存储器32中。即，如上所述，面部检测处理单元31在第二面部检测处理中检测中型面部。
在步骤S18中，从像素21读出像素信号进行第三面部检测处理。即，垂直扫描电路13按顺序将选择信号SEL接通至与偶数行中的像素21的奇数列的水平信号线22-1连接的像素21的选择晶体管55。因此，选择像素21的放大晶体管54经由选择晶体管55连接至垂直信号线23，并且读出像素信号。
在步骤S19中，面部检测处理单元31通过使用从用于第三面部检测处理的像素21读出的像素信号来执行第三面部检测处理，并且将面部检测信息作为第三面部检测处理的识别结果存储在识别结果保持存储器32中。即，如上所述，面部检测处理单元31在第三面部检测处理中检测小型面部。
在步骤S20中，从像素21读出像素信号进行面部属性检测处理。即，垂直扫描电路13按顺序将选择信号SEL接通至与偶数行中的像素21的偶数列的水平信号线22-2连接的像素21的选择晶体管55。因此，选择像素21的放大晶体管54经由选择晶体管55连接至垂直信号线23，并且读出像素信号。
在步骤S21中，面部属性检测处理单元33读出存储在识别结果保持存储器32中的面部检测信息，并且利用基于面部检测信息的位置和大小，通过使用从像素21读出的像素信号进行面部的面部属性检测处理，来执行面部属性检测处理。然后，面部属性检测处理单元33输出作为面部属性检测处理的识别结果的面部属性信息。
如上所述，图像传感器11可以更高效地执行图像处理，在图像识别处理中，处理的多个阶段(诸如，第一面部检测处理、第二面部检测处理、第三面部检测处理)和面部属性检测处理通过适当地读出在各个阶段处的处理中使用的像素信号而被组合。
<图像传感器的第二实施例>
接着，图4是图示了应用本技术的图像传感器的第二实施例的配置示例的框图。同时，在图4中图示的图像传感器11A中，将相同的附图标记分配给与图1中的图像传感器相同的部件，并且省略了对其的详细描述。
如图4所图示，图像传感器11A具有与图1中的图像传感器11相同的配置，因为其设置有像素区域12、垂直扫描电路13、列信号处理电路14、水平扫描电路15、输出电路16和控制电路17。然后，图像传感器11A设置有与图像传感器11不同的逻辑电路18A。
即，包括移动对象区域指定处理单元61、中间结果保持存储器62和移动对象追踪处理单元63的图像传感器11A的逻辑电路18A可以执行追踪移动对象的图像识别处理。
移动对象区域指定处理单元61执行移动对象区域指定处理，该移动对象区域指定处理指定存在于捕获到的图像中的移动对象的区域。
中间结果保持存储器62保持移动对象区域信息(例如，捕获到移动对象的矩形区域的位置和大小)，作为由于通过移动对象区域指定处理单元61执行的移动对象区域指定处理而获得的识别结果。
移动对象追踪处理单元63读出中间结果保持存储器62中保持的识别结果，并且在时间方向上将(通过图像传感器11捕获的)捕获到的图像中捕获的移动对象相关联，从而执行获得移动对象的轨迹的移动对象追踪处理。然后，移动对象追踪处理单元63将由于执行移动对象追踪处理而获得的移动对象追踪信息(例如，指定移动对象和轮廓坐标的ID)输出到后续阶段(未图示)上的块。
在本文中，图像传感器11A可以根据像素21的布置位置多次读出像素信号，从而执行图像识别处理，该图像识别处理需要在逻辑电路18A中进行多次处理，如图1中的图像传感器11的情况那样。例如，移动对象区域指定处理单元61可以通过使用两个捕获到的图像来执行移动对象区域指定处理，并且移动对象追踪处理单元63可以通过使用提供给逻辑电路18的三个捕获到的图像中的一个捕获到的图像来执行移动对象追踪处理。
例如，移动对象区域指定处理单元61基于奇数列和偶数行中的用于过去帧存储的像素21的像素信号来使用捕获到的图像，并且基于偶数列和奇数行中的用于获得与过去帧的差分的差分处理像素21的像素信号来使用捕获到的图像。因此，移动对象区域指定处理单元61基于两个捕获到的图像之间的差分来执行指定移动对象区域的移动对象区域指定处理。然后，移动对象追踪处理单元63基于奇数列和偶数行中的像素21的像素信号通过使用捕获到的图像来执行追踪移动对象的移动对象追踪处理。同时，未读出在偶数列和偶数行中的像素21的像素信号，并且不使用像素21的像素信号。
参照图5至图7，描述了移动对象区域指定处理单元61的移动对象区域指定处理。
图5是用于图示移动对象区域指定处理的整体处理流程的视图。
首先，移动对象区域指定处理单元61为基于从用于过去帧存储的像素21读出的像素信号的过去图像与基于从用于差分处理的像素21读出的像素信号的当前图像之间的亮度值的各个像素计算差分绝对值。然后，移动对象区域指定处理单元61使具有等于或者大于阈值的计算得到的差分绝对值的像素成为移动对象像素。此外，移动对象区域指定处理单元61指定移动对象区域A，该移动对象区域A包括限制通过将相邻的移动对象像素分组而获得的集群的矩形。
图6是用于图示获得移动对象区域的方法的视图。
在图6中，用阴影线表示移动对象像素，并且移动对象区域指定处理单元61对用空心箭头指示的屏幕的左上侧的像素执行光栅扫描以检测移动对象像素。然后，当检测到移动对象像素时，移动对象区域指定处理单元61确定在移动对象像素的周边像素中是否已经检测到另一移动对象像素。在本文中，如图7所图示，由移动对象区域指定处理单元61执行的移动对象区域指定处理中的周边像素旨在表示与通过光栅扫描在左上侧、上侧、右上侧和右侧上检测到的像素相邻的像素。
例如，在检测到的移动对象像素的周边像素中尚未检测到另一移动对象像素的情况下，移动对象区域指定处理单元61在该一个像素中设置如图6的上部所图示的移动对象区域A。此后，当移动对象区域指定处理单元61继续进行光栅扫描并且以新的方式检测移动对象像素时，这确定在移动对象像素的周边像素中是否已经检测到另一移动对象像素。
例如，如图6的中心所图示，在新检测到的移动对象像素的右上侧上存在已经检测到的移动对象像素的情况下，移动对象区域指定处理单元61在限制移动对象像素的矩形区域中设置移动对象区域A。即，在新检测到的移动对象像素位于已经设置的移动对象区域A外部的情况下，移动对象区域指定处理单元61放大移动对象区域A以包括新检测到的移动对象像素。
在下文中，类似地，当移动对象区域指定处理单元61继续进行光栅扫描并且以新的方式检测移动对象像素，这重复了确定在移动对象像素的周边像素中是否已经检测到另一移动对象像素的处理。因此，如图6的下部所图示，能够设置移动对象区域A，以围住所有检测到的移动对象像素。
参照图8，描述了移动对象追踪处理单元63的移动对象追踪处理。
移动对象追踪处理单元63读出中间结果保持存储器62中保持的识别结果，并且获得移动对象区域中的颜色信息的柱状图，例如，作为通过移动对象区域指定处理单元61指定的移动对象区域中的特征量。
首先，在首次识别到移动对象区域的情况下，移动对象追踪处理单元63分配用于识别移动对象区域的识别ID，并且将识别ID与轮廓像素组的坐标以及直方图一起存储在中间结果保持存储器62中。
而且，在前一帧中已经指定了移动对象区域，并且在中间结果保持存储器62中登记了识别ID的情况下，移动对象追踪处理单元63首先从中间结果保持存储器62读出与任意的移动对象区域的识别ID相关联的直方图。然后，移动对象追踪处理单元63将从中间结果保持存储器62读出的直方图与通过当前帧的移动对象区域获得的直方图进行比较。
例如，移动对象追踪处理单元63使通过前一帧的移动对象区域获得的直方图和通过当前帧的移动对象区域获得的直方图的重叠区域称为相似度的指标，并且在相似度等于或者大于阈值的情况下，这确定移动对象区域是针对相同的移动对象的。另一方面，在相似度小于预定阈值的情况下，移动对象追踪处理单元63从中间结果保持存储器62读出另一直方图，以相似的方式按顺序执行确定相似度的处理，并且在对于相同移动对象不存在移动对象区域的情况下，将新识别ID分配为新移动对象的移动对象区域。
然后，移动对象追踪处理单元63输出移动对象区域的识别ID和轮廓像素组的坐标作为最终识别结果。
接着，图9是图示了在图像传感器11A中执行移动对象追踪的图像识别处理的流程图。
在步骤S31中，开始用于过去帧存储的像素21的曝光。即，垂直扫描电路13以脉冲方式将传输信号TRX接通至在奇数列和奇数行中布置的用于过去帧存储的像素21的传输晶体管52。因此，经由传输晶体管52将在像素21的PD 51中剩余的电荷传输至FD单元53，并且开始PD 51的曝光。
在步骤S32中，重置用于过去帧存储的像素21的FD单元53。即，垂直扫描电路13以脉冲方式将重置信号RST接通至在奇数列和奇数行中布置的用于过去帧存储的像素21的重置晶体管56。因此，经由重置晶体管56将在像素21的FD单元53中累积的电荷排出至漏极电源，并且FD单元53的电荷被排空。
在步骤S33中，在用于过去帧存储的像素21中，将电荷从PD 51传输至FD单元53。即，垂直扫描电路13以脉冲方式将传输信号TRX接通至在奇数列和奇数行中布置的用于过去帧存储的像素21的传输晶体管52。因此，在像素21中，经由要存储在FD单元53中的传输晶体管52将在预定曝光时间内经受光电转换并且在PD 51中累积的电荷传输至FD单元53。
在步骤S34中，处理在特定时间段内待命，直到下一个曝光定时为止。
在步骤S35中，开始用于差分处理和追踪处理的像素21的曝光。即，垂直扫描电路13以脉冲方式将传输信号TRX接通至在偶数列和奇数行中布置的用于差分处理的像素21和在奇数列和偶数行中布置的用于追踪处理的像素21中的传输晶体管52。因此，经由传输晶体管52将在像素21的PD 51中剩余的电荷传输至FD单元53，并且开始PD 51的曝光。
在步骤S36中，重置用于差分处理和追踪处理的像素21的FD单元53。即，垂直扫描电路13以脉冲方式将重置信号RST接通至用于偶数列和奇数行中布置的用于差分处理的像素21和奇数列和偶数行中布置的用于追踪处理的像素21的重置晶体管56。因此，经由重置晶体管56将在像素21的FD单元53中累积的电荷排出至漏极电源，并且FD单元53的电荷被排空。
在步骤S37中，在用于差分处理和追踪处理的像素21中，将电荷从PD 51传输至FD单元53。即，垂直扫描电路13以脉冲方式将传输信号TRX接通至用于偶数列和奇数行中布置的用于差分处理的像素21和奇数列和偶数行中布置的用于追踪处理的像素21的传输晶体管52。因此，在像素21中，经由要存储在FD单元53中的传输晶体管52将在预定曝光时间内经受光电转换并且在PD 51中累积的电荷传输至FD单元53。
在步骤S38中，从像素21读出像素信号进行过去帧存储和差分处理。即，垂直扫描电路13按顺序将选择信号SEL接通至与奇数行中的像素21的水平信号线22-1和22-2连接的像素21的选择晶体管55。因此，选择像素21的放大晶体管54经由选择晶体管55连接至垂直信号线23，并且读出像素信号。
在步骤S39中，移动对象区域指定处理单元61通过使用从用于过去帧存储和差分处理的像素21读出的像素信号来执行移动对象区域指定处理，并且将作为移动对象区域指定处理的识别结果的移动对象区域存储在中间结果保持存储器62中。即，如参照图5描述的，移动对象区域指定处理单元61在移动对象区域指定处理中指定移动对象区域。
在步骤S40中，从像素21读出像素信号进行追踪处理。即，垂直扫描电路13按顺序将选择信号SEL接通至与偶数列中的像素21的水平信号线22-1连接的像素21的选择晶体管55。因此，选择像素21的放大晶体管54经由选择晶体管55连接至垂直信号线23，并且读出像素信号。
在步骤S41中，移动对象追踪处理单元63通过使用从用于如参照图8描述的追踪处理的像素21读出的像素信号来执行移动对象追踪处理。然后，移动对象追踪处理单元63输出移动对象区域的识别ID和作为移动对象追踪处理的识别结果的轮廓像素组的坐标。
如上所述，图像传感器11A可以更高效地执行图像识别处理，在图像识别处理中，处理的多个阶段(诸如，移动对象区域指定处理和移动对象追踪处理)通过适当地读出在各个阶段处的处理中使用的像素信号而被组合。
<像素21的第二配置示例>
接着，图10是图示了像素21的第二配置示例的视图。同时，在图10中图示的像素21A，将相同的附图标记分配给与图2中的像素21相同的部件，并且省略了对其的详细描述。
如图10所图示，图像传感器11包括彼此堆叠的半导体基板41、布线层42、和遮光膜43。而且，像素21设置有PD 51、传输晶体管52A、FD单元53、放大晶体管54、选择晶体管55、重置晶体管56、存储单元57和读出晶体管58。
即，像素21A具有与图2中的像素21不同的配置，这种差异在于：像素21A进一步包括存储单元57和读出晶体管58，并且形成传输晶体管52A的栅电极以覆盖存储单元57。
在按照这种方法配置的像素21A中，通过驱动传输晶体管52A将电荷从PD 51传输至存储单元57，并且将电荷保存在存储单元57中，直到从像素21A读出像素信号的定时为止。然后，在从像素21A读出像素信号的定时处，通过驱动读出晶体管58将电荷从存储单元57传输至FD单元53，并且读取像素信号。
如上所述，例如，像素21A包括用作与PD 51分开的像素内存储单元的存储单元57，使得可以输出具有比像素21的噪声更低的噪声的像素信号。因此，通过使用低噪声像素信号，包括像素21A的图像传感器11可以提高图像识别处理的识别准确性。
同时，在图像传感器11中执行的图像识别处理不仅限于检测面部属性的处理和追踪移动对象的处理，而且还可以应用于任何图像识别处理，只要多次读取图像并且执行多个阶段的处理即可。
而且，虽然在图10中仅可以从存储单元57读出像素信号一次，但是在图2中可以从FD单元53多次读出像素信号，并且能够通过从同一像素21多次读出像素信号来实现更多变型的图像识别处理。然而，在从FD单元53多次读取像素信号的情况下，由于暗电流引起的噪声随着FD单元53在长时间段内保持电荷而增加，使得需要抑制画面质量的下降。此外，除了如图2和图10所图示的结构之外，只要结构是设置有保持电荷的像素内存储单元的结构，就可以采用任何结构，作为像素21的结构。
即使在用于存储一帧的图像的帧存储器未设置在逻辑电路中的结构的情况下，具有上述结构的图像传感器11也可以在具有有限资源的传感器芯片中依赖彼此实现多种类型的处理。因此，图像传感器11可以实现如下处理：在现实电路规模的成本和功率方面并非常规现实的处理。因此，仅利用图像传感器11就能够实现各种功能，这可以极大地有助于使组件小型化并且降低成本。而且，通过执行图像传感器11内的检测处理，能够仅输出检测结果而不输出图像，从而能够在图像不会泄漏到外部的系统中提供基本的安全感，诸如，监测和监视私人空间。
<电子装置的配置示例>
同时，上述各个实施例的图像传感器11可以应用于各种电子装置，诸如，例如，成像系统(诸如，数码静态相机和数码摄像机)、具有成像功能的移动电话、或者具有成像功能的另一装置。
图11是图示了安装在电子装置上的成像设备的配置示例的框图。
如图11所图示，设置有光学系统102、图像传感器103、信号处理电路104、监视器105和存储器106的成像设备101可以捕获静态图像和移动图像。
包括一个或者多个透镜的光学系统102将来自被摄体的图像光(入射光)引导到图像传感器103，以在图像传感器103的光接收表面(传感器单元)上形成图像。
作为图像传感器103，应用了上述实施例中的每一个的图像传感器11。根据经由光学系统102在光接收表面上形成的图像在特定周期内在图像传感器103中累积电子。然后，将与在图像传感器103中累积的电子对应的信号提供给信号处理电路104。
信号处理电路104对从图像传感器103输出的像素信号执行各种类型的信号处理。将通过由信号处理电路104应用的信号处理而获得的图像(图像数据)提供给监视器105以显示或者提供给存储器106进行存储(记录)。
在以这种方式配置的成像设备101中，通过应用根据上述实施例中的每一个的图像传感器11，例如，能够输出通过在图像传感器11中高效地执行图像识别处理而获得的识别结果。
<图像传感器的使用示例>
图12是图示了使用上述图像传感器的使用示例的视图。
例如，可以在光(诸如，可见光、红外光、紫外光、和X射线)被感测为如下的各种情况下使用上述图像传感器。
-拍摄要用于观看的图像的装置(诸如，数码相机)和具有相机功能的便携式装置。
-运输所用的装置，诸如，拍摄汽车的前方、后方、周围和内部等的图像的车载传感器、用于监控行驶车辆和道路的监控摄像机、和测量车辆等之间的进行安全驾驶(诸如，自动停车和识别驾驶员状况)的距离的距离传感器
-拍摄用户的手势的图像并且根据该手势来执行装置操作的家用电器装置，诸如，电视、冰箱和空调
-医疗护理用途和保健用途的装置，诸如，通过接收红外光来执行血管造影的内窥镜和装置。
-安全用途的装置，诸如，用于安全监控摄像机和个人认证相机
-美容护理用途的装置，诸如，拍摄皮肤的图像的皮肤情况测量装置和拍摄头皮的图像的显微镜
-运动用途的装置，诸如，运动用途等的运动相机和可穿戴相机
-农业用途的装置，诸如，监测土地和作物的状态的相机
同时，本技术还可以具有以下配置。
(1)
图像传感器，其包括：
像素区域，在该像素区域中以矩阵方式布置有像素，该像素分别包括将光转换成电荷的光电转换单元和保持光电转换单元中生成的电荷的像素内存储单元；
驱动单元，该驱动单元驱动以从像素读出像素信号；以及
图像处理单元，该图像处理单元根据驱动单元的驱动基于通过从像素区域中进行多次读出而读出的多个图像来执行图像处理。
(2)
根据上述(1)的图像传感器，
其中，该图像处理单元包括：
预处理单元，该预处理单元通过使用从像素区域多次读出的像素信号来执行多次预处理；
保持单元，该保持单元保持预处理单元的处理结果；以及
后处理单元，该后处理单元通过使用在保持单元中保持的处理结果和从像素区域读出的像素信号来执行后处理。
(3)
根据上述(1)或者(2)的图像传感器，
其中，像素内存储单元是用作将电荷转换成像素信号的转换单元的浮动扩散区域。
(4)
根据上述(1)或者(2)的图像传感器，
其中，像素内存储单元是设置在浮动扩散区域与光电转换单元之间的电荷保持单元。
(5)
一种图像传感器的图像处理方法，该图像传感器设置有像素区域，在该像素区域中以矩阵方式布置有像素，该像素分别包括将光转换成电荷的光电转换单元和保持光电转换单元中生成的电荷的像素内存储单元；以及驱动单元，该驱动单元驱动以从像素读出像素信号，该方法包括：
根据驱动单元的驱动基于通过从像素区域中进行多次读出而读出的多个图像来执行图像处理。
(6)
一种电子装置，其包括：
图像传感器，该图像传感器包括：
像素区域，在该像素区域中以矩阵方式布置有像素，该像素分别包括将光转换成电荷的光电转换单元和保持光电转换单元中生成的电荷的像素内存储单元；
驱动单元，该驱动单元驱动以从像素读出像素信号；以及
图像处理单元，该图像处理单元根据驱动单元的驱动基于通过从像素区域中进行多次读出而读出的多个图像来执行图像处理。
同时，该实施例不限于上述实施例，并且可以在不脱离本公开的范围的情况下进行各种改变。
附图标记列表
11 图像传感器
12 像素区域
13 垂直扫描电路
14 列信号处理电路
15 水平扫描电路
16 输出电路
17 控制电路
18 逻辑电路
21 像素
22-1和22-2 水平信号线
23 垂直信号线
24 数据输出信号线
31 面部检测处理单元
32 识别结果保持存储器
33 面部属性检测处理单元
41 半导体基板
42 布线层
43 遮光膜
44 开口
51 PD
52 传输晶体管
53 FD单元
54 放大晶体管
55 选择晶体管
56 重置晶体管
57 存储单元
58 读出晶体管。

Claims (6)

1.一种图像传感器，所述图像传感器包括：
像素区域，在所述像素区域中以矩阵方式布置有像素，所述像素分别包括将光转换成电荷的光电转换单元和保持所述光电转换单元中生成的所述电荷的像素内存储单元；
驱动单元，所述驱动单元驱动以从所述像素读出像素信号；以及
图像处理单元，所述图像处理单元根据所述驱动单元的驱动基于通过从所述像素区域中进行多次读出而读出的多个图像来执行图像处理。
2.根据权利要求1所述的图像传感器，
其中，所述图像处理单元包括：
预处理单元，所述预处理单元通过使用从所述像素区域多次读出的像素信号来执行多次预处理；
保持单元，所述保持单元保持所述预处理单元的处理结果；以及
后处理单元，所述后处理单元通过使用在所述保持单元中保持的所述处理结果和从所述像素区域读出的所述像素信号来执行后处理。
3.根据权利要求1所述的图像传感器，
其中，所述像素内存储单元是用作将所述电荷转换成所述像素信号的转换单元的浮动扩散区域。
4.根据权利要求1所述的图像传感器，
其中，所述像素内存储单元是设置在所述浮动扩散区域与所述光电转换单元之间的电荷保持单元。
5.一种图像传感器的图像处理方法，所述图像传感器设置有像素区域，在所述像素区域中以矩阵方式布置有像素，所述像素分别包括将光转换成电荷的光电转换单元和保持所述光电转换单元中生成的所述电荷的像素内存储单元；以及驱动单元，所述驱动单元驱动以从所述像素读出像素信号，所述方法包括：
根据所述驱动单元的驱动基于通过从所述像素区域中进行多次读出而读出的多个图像来执行图像处理。
6.一种电子装置，所述电子装置包括：
图像传感器，所述图像传感器包括：
像素区域，在所述像素区域中以矩阵方式布置有像素，所述像素分别包括将光转换成电荷的光电转换单元和保持所述光电转换单元中生成的所述电荷的像素内存储单元；
驱动单元，所述驱动单元驱动以从所述像素读出像素信号；以及
图像处理单元，所述图像处理单元根据所述驱动单元的驱动基于通过从所述像素区域中进行多次读出而读出的多个图像来执行图像处理。
CN201680037522.6A 2015-07-03 2016-06-17 摄像元件、图像处理方法和电子装置 Active CN107852469B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015134484A JP2017017624A (ja) 2015-07-03 2015-07-03 撮像素子、画像処理方法、および電子機器
JP2015-134484 2015-07-03
PCT/JP2016/068051 WO2017006746A1 (ja) 2015-07-03 2016-06-17 撮像素子、画像処理方法、および電子機器

Publications (2)

Publication Number Publication Date
CN107852469A true CN107852469A (zh) 2018-03-27
CN107852469B CN107852469B (zh) 2021-08-17

Family

ID=57685811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680037522.6A Active CN107852469B (zh) 2015-07-03 2016-06-17 摄像元件、图像处理方法和电子装置

Country Status (4)

Country Link
US (1) US11171164B2 (zh)
JP (1) JP2017017624A (zh)
CN (1) CN107852469B (zh)
WO (1) WO2017006746A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112929519A (zh) * 2019-12-06 2021-06-08 Oppo广东移动通信有限公司 深度相机、成像装置和电子设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109691079B (zh) 2016-09-16 2021-05-14 索尼半导体解决方案公司 成像装置和电子设备
CN109117834A (zh) * 2018-11-02 2019-01-01 广州市皓品信息科技有限公司 一种双路镜头皮肤图像采集装置
JP2022029717A (ja) * 2020-08-05 2022-02-18 株式会社SEtech 撮像装置
US11700445B2 (en) 2021-10-28 2023-07-11 Microsoft Technology Licensing, Llc Adaptive multi-scale face and body detector

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1823532A (zh) * 2003-07-15 2006-08-23 伊斯曼柯达公司 具有电荷装仓的图像传感器
CN102202189A (zh) * 2010-03-25 2011-09-28 索尼公司 固体摄像装置和电子装置
CN103813111A (zh) * 2012-11-13 2014-05-21 索尼公司 成像装置、成像设备、半导体装置和读出方法
JP2015041792A (ja) * 2013-08-20 2015-03-02 株式会社ニコン 画像処理装置および撮像装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4876300A (en) * 1987-12-30 1989-10-24 Ciba-Geigy Corporation Polyolefin compositions stabilized with long chain N,N-dialkylhydroxylamines
US6624849B1 (en) 1997-12-08 2003-09-23 Nikon Corporation Solid-state imaging apparatus for motion detection
JP2000059699A (ja) * 1998-08-10 2000-02-25 Nikon Corp 動き検出用撮像装置
US6753904B1 (en) 1997-08-12 2004-06-22 Nikon Corporation Solid-state imaging apparatus for motion detection
US7574016B2 (en) * 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US8330831B2 (en) * 2003-08-05 2012-12-11 DigitalOptics Corporation Europe Limited Method of gathering visual meta data using a reference image
KR100755970B1 (ko) * 2004-11-25 2007-09-06 삼성전자주식회사 씨모스 이미지 센서
US8514303B2 (en) * 2006-04-03 2013-08-20 Omnivision Technologies, Inc. Advanced imaging systems and methods utilizing nonlinear and/or spatially varying image processing
JP4535164B2 (ja) * 2008-04-09 2010-09-01 ソニー株式会社 撮像装置、画像処理装置、これらにおける画像解析方法およびプログラム
JP5390322B2 (ja) * 2009-09-28 2014-01-15 株式会社東芝 画像処理装置、及び画像処理方法
JP2011193063A (ja) * 2010-03-12 2011-09-29 Sanyo Electric Co Ltd 電子カメラ
JP5677869B2 (ja) 2011-02-07 2015-02-25 オリンパスイメージング株式会社 電子撮像装置
CN103988227B (zh) * 2011-12-16 2017-08-04 诺基亚技术有限公司 用于图像捕获目标锁定的方法和装置
JP2015011320A (ja) * 2013-07-02 2015-01-19 キヤノン株式会社 撮像装置及びその制御方法
US10284771B2 (en) * 2014-12-03 2019-05-07 Nikon Corporation Image-capturing apparatus, electronic device, and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1823532A (zh) * 2003-07-15 2006-08-23 伊斯曼柯达公司 具有电荷装仓的图像传感器
CN102202189A (zh) * 2010-03-25 2011-09-28 索尼公司 固体摄像装置和电子装置
CN103813111A (zh) * 2012-11-13 2014-05-21 索尼公司 成像装置、成像设备、半导体装置和读出方法
JP2015041792A (ja) * 2013-08-20 2015-03-02 株式会社ニコン 画像処理装置および撮像装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112929519A (zh) * 2019-12-06 2021-06-08 Oppo广东移动通信有限公司 深度相机、成像装置和电子设备
CN112929519B (zh) * 2019-12-06 2022-10-25 Oppo广东移动通信有限公司 深度相机、成像装置和电子设备

Also Published As

Publication number Publication date
US11171164B2 (en) 2021-11-09
JP2017017624A (ja) 2017-01-19
WO2017006746A1 (ja) 2017-01-12
US20180190687A1 (en) 2018-07-05
CN107852469B (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
US10218923B2 (en) Methods and apparatus for pixel binning and readout
US10425624B2 (en) Solid-state image capturing device and electronic device
CN205566484U (zh) 图像传感器像素和成像系统
US10498983B2 (en) Solid-state imaging device, method for driving solid-state imaging device, and electronic apparatus
CN107852469A (zh) 摄像元件、图像处理方法和电子装置
US8478123B2 (en) Imaging devices having arrays of image sensors and lenses with multiple aperture sizes
US9030528B2 (en) Multi-zone imaging sensor and lens array
US9288377B2 (en) System and method for combining focus bracket images
US10811447B2 (en) Solid-state imaging device, driving method, and electronic equipment
US10115752B2 (en) Solid-state imaging device and electronic apparatus
EP3922006A1 (en) Event-based computational pixel imagers
CN105988215B (zh) 一种多光谱模组成像系统及其制造方法和应用
TW201517257A (zh) 在多透鏡陣列模組中之緊密間隔
EP3512193B1 (en) Imaging element and driving method, and electronic apparatus
EP3203722A1 (en) Electronic apparatus and image processing method
JP6303689B2 (ja) 電子機器
US20230353905A1 (en) Solid-state imaging element and electronic device including a shared structure for pixels for sharing an ad converter
US20220353441A1 (en) Imaging device, method of driving imaging device, and electronic equipment
WO2017175802A1 (ja) 画像処理装置、電子機器、再生装置、再生プログラムおよび再生方法
US20130128083A1 (en) High dynamic range image sensing device and image sensing method and manufacturing method thereof
US10580816B2 (en) Solid-state imaging device, camera module, and electronic apparatus
KR101120568B1 (ko) 다중 스펙트럼 전자기파의 영상 촬영 시스템 및 다중 스펙트럼 전자기파의 영상 촬영 방법
JP7028279B2 (ja) 電子機器
JP2018137762A (ja) 電子機器
CN107431078B (zh) 固体摄像元件和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant