CN109792495B - 摄像系统及摄像方法 - Google Patents

摄像系统及摄像方法 Download PDF

Info

Publication number
CN109792495B
CN109792495B CN201780060941.6A CN201780060941A CN109792495B CN 109792495 B CN109792495 B CN 109792495B CN 201780060941 A CN201780060941 A CN 201780060941A CN 109792495 B CN109792495 B CN 109792495B
Authority
CN
China
Prior art keywords
sensitivity
pixel
image
setting
photoelectric conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780060941.6A
Other languages
English (en)
Other versions
CN109792495A (zh
Inventor
能泽克弥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN109792495A publication Critical patent/CN109792495A/zh
Application granted granted Critical
Publication of CN109792495B publication Critical patent/CN109792495B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/148—Charge coupled imagers
    • H01L27/14806—Structural or functional details thereof
    • H01L27/14812—Special geometry or disposition of pixel-elements, address lines or gate-electrodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/142—Energy conversion devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/48—Increasing resolution by shifting the sensor relative to the scene
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H01L27/14612—Pixel-elements with integrated switching, control, storage or amplification elements involving a transistor
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14665—Imagers using a photoconductor layer
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/50—Photovoltaic [PV] energy

Abstract

摄像系统具备成像光学系统、摄像元件、致动器和控制电路。多个像素单元分别具有可变的灵敏度。多个像素单元分别具备将被摄体的像的光变换为信号电荷的光电变换元件、和积蓄由上述光电变换元件得到的上述信号电荷的电荷积蓄区域。上述控制电路通过将相对位置设定为第1位置、并且将上述多个像素单元各自的上述灵敏度设定为第1灵敏度，在上述多个像素单元各自中，使由上述光电变换元件得到的第1信号电荷积蓄在上述电荷积蓄区域中。上述控制电路通过将上述相对位置设定为与上述第1位置不同的第2位置、并且将上述多个像素单元各自的上述灵敏度设定为与上述第1灵敏度不同的第2灵敏度，在上述多个像素单元各自中，除了上述第1信号电荷以外，还使由上述光电变换元件得到的第2信号电荷积蓄在上述电荷积蓄区域中。

Description

摄像系统及摄像方法
技术领域
本发明涉及摄像系统及摄像方法。
背景技术
对由与图像的亮度等对应的二维配置的数值群构成的数值数据进行运算处理的所谓图像处理被广泛地用于图像特征的强调或提取、不需要的噪声的除去或图像识别等。
在该图像处理中较多地被使用的是被称作“卷积”的处理。卷积是指使用原图像的数值数据和与原图像的数值数据另外地准备的被称作卷积核(filter)的系数群的运算。
另一方面，在专利文献1中，公开了通过一边使图像传感器的位置移动一边进行曝光而使图像传感器的输出分布成为希望的低通滤波特性的技术。
此外，在专利文献2中，公开了通过使固体摄像元件相对于入射光像相对地振动而有效地扩大开口面积的技术。
现有技术文献
专利文献
专利文献1：日本特开2010－87850号公报
专利文献2：日本特公平02－51316号公报
发明内容
发明要解决的课题
本发明的一技术方案提供能够减少卷积处理的运算量的摄像系统。
用来解决课题的手段
有关本发明的一技术方案的摄像系统具备：成像光学系统，使被摄体的像成像；摄像元件，包括多个像素单元；致动器，改变上述多个像素单元与上述被摄体的上述像的相对位置；以及控制电路，控制上述摄像元件及上述致动器。上述多个像素单元分别具有可变的灵敏度。上述多个像素单元分别具备：光电变换元件，将上述被摄体的上述像的光变换为信号电荷；以及电荷积蓄区域，积蓄由上述光电变换元件得到的上述信号电荷。上述控制电路通过将上述相对位置设定为第1位置、并且将上述多个像素单元各自的上述灵敏度设定为第1灵敏度，在上述多个像素单元各自中，使由上述光电变换元件得到的第1信号电荷积蓄在上述电荷积蓄区域中。上述控制电路通过将上述相对位置设定为与上述第1位置不同的第2位置、并且将上述多个像素单元各自的上述灵敏度设定为与上述第1灵敏度不同的第2灵敏度，在上述多个像素单元各自中，除了上述第1信号电荷以外，还使由上述光电变换元件得到的第2信号电荷积蓄在上述电荷积蓄区域中。
另外，本发明的包含性或具体的形态也可以通过器件、装置、系统、方法、集成电路、计算机程序、记录介质或它们的任意的组合实现。
发明效果
有关本发明的一技术方案的摄像系统能够减少卷积处理的运算量。
附图说明
图1是表示卷积处理的卷积核的一例的图。
图2是表示原图像的例子的图。
图3是表示原图像的数值数据的图。
图4是表示卷积处理后的数值数据的图。
图5是表示与卷积处理后的数值数据对应的图像的图。
图6是表示卷积处理的一例的图。
图7是表示有关实施方式1的摄像系统的一例的结构概念图。
图8是表示有关实施方式1的摄像元件的例示性的电路结构的示意图。
图9是表示有关实施方式1的层叠型的能够改变灵敏度的摄像元件的一例的结构图。
图10是表示有关实施方式1的摄像元件的灵敏度的偏压依赖性的一例的图。
图11是表示有关实施方式1的相对位置的一例的图。
图12是有关实施方式1的摄像次序的流程图。
图13是有关实施方式1的摄像次序的流程图。
图14是有关实施方式1的摄像次序的流程图。
图15是表示有关实施方式1的摄像处理的流程的一例的时间图。
图16是表示有关实施方式1的摄像处理的流程的一例的图。
图17是用来说明有关实施方式2的摄像处理的图。
图18是用来说明有关实施方式2的摄像处理的图。
图19是表示有关实施方式3的相对位置的变更的一例的图。
图20是表示有关实施方式3的相对位置的变更的一例的图。
图21是表示有关实施方式3的相对位置的变更的一例的图。
图22是表示有关实施方式4的像素结构的一例的图。
图23是有关实施方式4的摄像次序的流程图。
图24是表示有关实施方式4的摄像处理的流程的一例的图。
具体实施方式
(达成了本发明的认识)
在通过软件进行卷积处理的情况下，如果像素数增加，则与其成比例地运算量增大。此外，卷积处理在包括所谓的深度学习(deep learning)的图像识别中较多地被使用。具体而言，在深度学习等处理中，有对一个图像进行使用超过100那样的卷积核的卷积的情况。在此情况下，如果像素数增大，则计算成为庞大的量。在利用拥有高运算能力的服务器花时间来处理的情况下问题比较少，但在想要利用移动设备等运算能力受限制的装置进行卷积的情况下，被强烈要求运算量的削减。
所以，本发明提供一种能够减少卷积处理的运算量的摄像系统或摄像方法。
有关本发明的一技术方案的摄像系统具备：成像光学系统，使被摄体的像成像；摄像元件，包括多个像素单元；致动器，改变上述多个像素单元与上述被摄体的上述像的相对位置；以及控制电路，控制上述摄像元件及上述致动器。上述多个像素单元分别具有可变的灵敏度。上述多个像素单元分别具备：光电变换元件，将上述被摄体的上述像的光变换为信号电荷；以及电荷积蓄区域，积蓄由上述光电变换元件得到的上述信号电荷。上述控制电路通过将上述相对位置设定为第1位置、并且将上述多个像素单元各自的上述灵敏度设定为第1灵敏度，在上述多个像素单元各自中，使由上述光电变换元件得到的第1信号电荷积蓄在上述电荷积蓄区域中。上述控制电路通过将上述相对位置设定为与上述第1位置不同的第2位置、并且将上述多个像素单元各自的上述灵敏度设定为与上述第1灵敏度不同的第2灵敏度，在上述多个像素单元各自中，除了上述第1信号电荷以外，还使由上述光电变换元件得到的第2信号电荷积蓄在上述电荷积蓄区域中。
据此，该摄像系统能够一边变更多个像素单元与被摄体的像的相对位置和多个像素单元的灵敏度，一边得到将以不同的相对位置及不同的灵敏度得到的信号电荷相加的图像。由此，能够在摄像元件中执行卷积运算处理的至少一部分，所以能够减少卷积处理的运算量。
上述控制电路也可以使上述相对位置向上述第1位置的设定和上述多个像素单元各自的上述灵敏度向上述第1灵敏度的设定同步进行。此外，上述控制电路也可以使上述相对位置向上述第2位置的设定和上述多个像素单元各自的上述灵敏度向上述第2灵敏度的设定同步进行。
上述控制电路也可以通过以上述多个像素单元中的相邻的2个像素单元的中心间距离的整数倍的单位将上述相对位置从上述第1位置变更为上述第2位置，来进行向上述第2位置的上述设定。据此，该摄像系统能够提高卷积运算的再现性。
有关本发明的另一技术方案的摄像系统也可以是，具备：成像光学系统，使被摄体的像成像；摄像元件，包括多个像素单元；致动器，改变上述多个像素单元与上述被摄体的上述像的相对位置；以及控制电路，控制上述摄像元件及上述致动器。上述多个像素单元分别具有可变的灵敏度。上述多个像素单元分别具备：光电变换元件，将上述被摄体的上述像的光变换为信号电荷；以及电荷积蓄区域，积蓄由上述光电变换元件得到的上述信号电荷。上述控制电路在一个曝光期间中，通过将上述相对位置从第1位置变更为与上述第1位置不同的第2位置、并且将上述多个像素单元各自的上述灵敏度从第1灵敏度变更为与上述第1灵敏度不同的第2灵敏度，在上述多个像素单元各自中，使由上述光电变换元件得到的第3信号电荷积蓄在上述电荷积蓄区域中。
据此，该摄像系统能够一边变更多个像素单元与被摄体的像的相对位置和多个像素单元的灵敏度，一边得到将以不同的相对位置及灵敏度得到的信号电荷相加的图像。由此，能够在摄像元件中执行卷积运算处理的至少一部分，所以能够减少卷积处理的运算量。
上述控制电路也可以将上述相对位置从上述第1位置向上述第2位置连续地变更。
据此，该摄像系统能够容易地实现多个像素单元与被摄体的像的相对位置的变更，并且能够抑制伴随着该变更的摄影时间的增加。
上述控制电路也可以将上述多个像素单元各自的上述灵敏度从上述第1灵敏度向上述第2灵敏度连续地变更。据此，该摄像系统能够提高卷积运算的再现性。
上述控制电路也可以使上述相对位置的上述变更和上述多个像素单元各自的上述灵敏度的上述变更同步进行。
上述多个像素单元也可以在行方向及列方向二维地配置。
上述控制电路也可以将上述多个像素单元各自的上述灵敏度的上述设定或上述变更一并进行。
据此，该摄像系统能够使用来变更灵敏度的机构简略化。
上述多个像素单元各自也可以包括第1子像素和第2子像素。上述多个像素单元各自的上述第1子像素也可以包括上述光电变换元件及上述电荷积蓄区域。上述多个像素单元各自的上述灵敏度也可以是上述第1子像素的灵敏度。上述多个像素单元各自的上述第2子像素也可以包括其他光电变换元件及其他电荷积蓄区域。上述控制电路也可以在上述多个像素单元各自中，与上述第1子像素的上述灵敏度独立地设定上述第2子像素的灵敏度。
据此，该摄像系统能够同时生成通过不同的卷积运算得到的多个图像。
上述光电变换元件也可以包括：像素电极，连接于上述电荷积蓄区域；透光性的对置电极；以及光电变换层，配置在上述像素电极与上述对置电极之间。
上述摄像元件也可以还具备电压施加电路，该电压施加电路向上述多个像素单元各自的上述光电变换元件中包含的上述像素电极与上述对置电极之间施加电压。上述控制电路也可以通过变更上述电压施加电路施加的上述电压，来变更上述多个像素单元各自的上述灵敏度。
据此，该摄像系统通过变更向光电变换元件施加的电压，能够变更像素单元的灵敏度。
此外，有关本发明的一技术方案的摄像方法，是具备使被摄体的像成像的成像光学系统、包括多个像素单元的摄像元件、改变上述多个像素单元与上述被摄体的上述像的相对位置的致动器、以及控制上述摄像元件及上述致动器的控制电路的摄像系统的摄像方法。上述多个像素单元分别具有可变的灵敏度。上述多个像素单元分别具备：光电变换元件，将上述被摄体的上述像的光变换为信号电荷；以及电荷积蓄区域，积蓄由上述光电变换元件得到的上述信号电荷。上述摄像方法将上述相对位置设定为第1位置，将上述多个像素单元各自的上述灵敏度设定为第1灵敏度。上述摄像方法在上述相对位置被设定为上述第1位置、并且上述多个像素单元各自的上述灵敏度被设定为上述第1灵敏度的状态下，在上述多个像素单元各自中，使由上述光电变换元件得到的第1信号电荷积蓄在上述电荷积蓄区域中。此外，上述摄像方法将上述相对位置设定为与上述第1位置不同的第2位置，将上述多个像素单元各自的上述灵敏度设定为与上述第1灵敏度不同的第2灵敏度。上述摄像方法在上述相对位置被设定为上述第2位置、并且上述多个像素单元各自的上述灵敏度被设定为上述第2灵敏度的状态下，在上述多个像素单元各自中，除了上述第1信号电荷以外，还使由上述光电变换元件得到的第2信号电荷积蓄在上述电荷积蓄区域中。
据此，该摄像方法能够一边变更多个像素单元与被摄体的像的相对位置和多个像素单元的灵敏度，一边得到将以不同的相对位置及灵敏度得到的信号电荷相加的图像。由此，能够在摄像元件中执行卷积运算处理的至少一部分，所以能够减少卷积处理的运算量。
也可以通过以上述多个像素单元中的相邻的2个像素单元的中心间距离的整数倍的单位将上述相对位置从上述第1位置变更为上述第2位置，进行向上述第2位置的上述设定。据此，该摄像方法能够提高卷积运算的再现性。
上述摄像系统也可以还具备对上述摄像元件进行遮光的机械快门。上述摄像方法也可以通过在由上述机械快门对上述摄像元件进行了遮光的状态下将上述相对位置从上述第1位置变更为上述第2位置，进行向上述第2位置的上述设定。
据此，该摄像方法能够使得在相对位置的变更中不进行曝光，所以能够提高卷积运算的再现性。
也可以通过在将上述多个像素单元各自的上述灵敏度设定为零的状态下将上述相对位置从上述第1位置变更为上述第2位置，进行向上述第2位置的上述设定。
据此，该摄像方法能够使得在相对位置的变更中不进行曝光，所以能够提高卷积运算的再现性。
上述摄像方法也可以包括：上述相对位置的N次(N是2以上的整数)设定，包括向上述第1位置的上述设定及向上述第2位置的上述设定；上述灵敏度的N次设定，包括向上述第1灵敏度的上述设定及向上述第2灵敏度的上述设定；以及N次积蓄，包括上述第1信号电荷的上述积蓄及上述第2信号电荷的上述积蓄。也可以在上述相对位置的第i(i是1至N的整数)次设定中，将上述相对位置设定为第i位置。也可以在上述灵敏度的第i次设定中，将上述多个像素单元各自的上述灵敏度设定为第i灵敏度。也可以在第i次积蓄中，在上述相对位置被设定为上述第i位置、并且上述多个像素单元各自的上述灵敏度被设定为上述第i灵敏度的状态下，在上述多个像素单元各自中，将由上述光电变换元件得到的第i信号电荷积蓄在上述电荷积蓄区域中。在上述摄像方法中，也可以还使用通过上述N次的上述积蓄得到的1个以上的图像，取得相当于预先设定的第1卷积处理后的图像的图像。上述第i位置也可以对应于上述第1卷积处理的多个系数中的N个系数中包含的第i系数的位置。上述第i灵敏度也可以对应于上述第i系数的值。
据此，该摄像方法能够在摄像元件中执行卷积运算处理的至少一部分，所以能够减少卷积处理的运算量。
上述1个以上的图像也可以包括第1图像及第2图像。上述N也可以是3以上的整数。上述N个系数也可以由具有正值的M(M是1以上且小于N的整数)个系数及具有负值的(N－M)个系数构成。上述第1图像也可以对应于通过上述N次积蓄中的与上述M个系数对应的M次积蓄而积蓄在上述多个像素单元各自的上述电荷积蓄区域中的信号电荷的合计值。上述第2图像也可以对应于通过上述N次积蓄中的与上述(N－M)个负系数对应的(N－M)次积蓄而积蓄在上述多个像素单元各自的上述电荷积蓄区域中的信号电荷的合计值。也可以通过从上述第1图像减去上述第2图像，得到相当于上述第1卷积处理后的上述图像的上述图像。
据此，该摄像方法能够实现包含负系数的卷积运算处理。
上述摄像方法也可以包括：上述相对位置的N(N是4以上的整数)次设定，包括向上述第1位置的上述设定及向上述第2位置的上述设定；上述灵敏度的N次设定，包括向上述第1灵敏度的上述设定及向上述第2灵敏度的上述设定；以及N次积蓄，包括上述第1信号电荷的上述积蓄及上述第2信号电荷的上述积蓄。也可以在上述相对位置的第i(i是1至N的整数)次设定中，将上述相对位置设定为第i位置。也可以在上述灵敏度的第i次设定中，将上述多个像素单元各自的上述灵敏度设定为第i灵敏度。也可以在第i次积蓄中，在上述相对位置被设定为上述第i位置、并且上述多个像素单元各自的上述灵敏度被设定为上述第i灵敏度的状态下，在上述多个像素单元各自中，将通过上述光电变换元件得到的第i信号电荷积蓄在上述电荷积蓄区域中。也可以在上述灵敏度的上述N次设定中的M(M是2以上且小于N的整数)次设定各自中，进行向与如下值对应的灵敏度的设定，该值为对预先设定的第1卷积处理的多个系数中的某一个加上偏移值而得到的值。在上述灵敏度的上述N次设定中的(N－M)次设定各自中，进行向与上述偏移值对应的灵敏度的设定。通过与上述灵敏度的上述M次设定对应的M次积蓄，取得相当于如下卷积处理后的图像的第1图像，该卷积处理使用通过对上述第1卷积处理的全部的系数加上偏移值而得到的多个系数。通过与上述灵敏度的上述(N－M)次设定对应的(N－M)次积蓄，取得相当于使用上述偏移值作为全部系数的卷积处理后的图像的第2图像。通过从上述第1图像减去上述第2图像，得到相当于上述第1卷积处理后的图像的图像。
据此，该摄像方法能够实现包含负系数的卷积运算处理。此外，在得到进行了相互不同的卷积处理的多个图像的情况下，能够共同使用第2图像，所以能够缩短摄影时间。
在上述灵敏度的上述N次设定中使用的N个系数的值也可以为不是0的值。据此，该摄像方法能够缩短摄影时间。
上述多个像素单元分别也可以包括第1子像素和第2子像素。上述多个像素单元各自的上述第1子像素也可以包括上述光电变换元件及上述电荷积蓄区域。上述多个像素单元各自的上述灵敏度也可以是上述第1子像素的灵敏度。上述多个像素单元各自的上述第2子像素也可以包括其他光电变换元件及其他电荷积蓄区域。也可以在上述灵敏度的上述N次设定各自中，还设定上述多个像素单元各自的上述第2子像素的灵敏度。也可以在上述灵敏度的上述N次设定中的至少一个中，上述第1子像素的上述灵敏度的设定值与上述第2子像素的上述灵敏度的设定值不同。也可以在上述N次积蓄各自中，还在上述多个像素单元各自中，使由上述第2子像素的上述其他光电变换元件得到的信号电荷积蓄在上述其他电荷积蓄区域中。在上述摄像方法中，也可以使用通过上述N次积蓄而由上述多个第1子像素得到的上述1个以上的图像，取得相当于上述第1卷积处理后的上述图像的上述图像，使用通过上述N次积蓄步骤而由上述多个第2子像素得到的其他的1个以上的图像，取得相当于与上述第1卷积处理不同的第2卷积处理后的图像的图像。
据此，该摄像方法能够同时生成通过不同的卷积运算得到的多个图像。
上述摄像方法也可以包括：上述相对位置的N次(N是2以上的整数)设定，包括向上述第1位置的上述设定及向上述第2位置的上述设定；上述灵敏度的N次设定，包括向上述第1灵敏度的上述设定及向上述第2灵敏度的上述设定；以及N次积蓄，包括上述第1信号电荷的上述积蓄及上述第2信号电荷的上述积蓄。也可以在上述相对位置的第i(i是1至N的整数)次设定中，将上述相对位置设定为第i位置。也可以在上述灵敏度的第i次设定中，将上述多个像素单元各自的上述灵敏度设定为第i灵敏度，将曝光时间设定为第i曝光时间。也可以在第i次积蓄中，在上述相对位置被设定为上述第i位置、并且上述多个像素单元各自的上述灵敏度被设定为上述第i灵敏度的状态下，在上述多个像素单元各自中，将在上述第i曝光时间中由上述光电变换元件得到的第i信号电荷积蓄在上述电荷积蓄区域中。上述摄像方法也可以还使用通过上述N次的上述积蓄得到的1个以上的图像，取得相当于预先设定的第1卷积处理后的图像的图像。
据此，该摄像方法通过将灵敏度与曝光时间组合，能够应对更大范围的系数。
此外，有关本发明的另一技术方案的摄像方法，是具备使被摄体的像成像的成像光学系统、包括多个像素单元的摄像元件、改变上述多个像素单元与上述被摄体的上述像的相对位置的致动器、以及控制上述摄像元件及上述致动器的控制电路的摄像系统的摄像方法。上述多个像素单元分别具有可变的灵敏度。上述多个像素单元分别具备：光电变换元件，将上述被摄体的上述像的光变换为信号电荷；以及电荷积蓄区域，积蓄由上述光电变换元件得到的上述信号电荷。上述摄像方法在一个曝光期间中，将上述相对位置从第1位置变更为与上述第1位置不同的第2位置；将上述多个像素单元各自的上述灵敏度从第1灵敏度变更为与上述第1灵敏度不同的第2灵敏度；在上述多个像素单元各自中，使由上述光电变换元件得到的第3信号电荷积蓄在上述电荷积蓄区域中。
据此，该摄像方法能够一边变更多个像素单元与被摄体的像的相对位置和多个像素单元的灵敏度，一边得到将以不同的相对位置及不同的灵敏度得到的信号电荷相加的图像。由此，能够在摄像元件中执行卷积运算处理的至少一部分，所以能够减少卷积处理的运算量。
在上述摄像方法中，也可以将上述相对位置从上述第1位置向上述第2位置连续地变更。据此，该摄像方法能够容易地实现多个像素单元与被摄体的像的相对位置的变更，并且能够抑制伴随着该变更的摄影时间的增加。
在上述摄像方法中，也可以将上述多个像素单元各自的上述灵敏度从上述第1灵敏度向上述第2灵敏度连续地变更。据此，该摄像方法能够提高卷积运算的再现性。
以下参照附图对本发明的摄像系统及摄像方法进行说明。另外，以下说明的实施方式都表示包含性或具体的例子。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置及连接形态、步骤、步骤的顺序等是一例，不是限定本发明的意思。在本说明书中说明的各种形态只要不发生矛盾就能够相互组合。此外，关于以下的实施方式的构成要素中的在表示最上位概念的独立权利要求中没有记载的构成要素，设为任意的构成要素而进行说明。在以下的说明中，关于具有实质上相同的功能的构成要素，有用共同的标号表示并省略说明的情况。
(实施方式1)
首先，对卷积处理进行说明。在卷积处理中使用的卷积核具有x×y的二维地配置的系数群作为多个要素。这里，x及y分别是2以上的整数。将二维配置中的作为基准的位置称作卷积核的中心。在行数、列数都是奇数的卷积核的情况下，通常将配置的中央设为卷积核的中心。在图1中表示包括3×3的系数的卷积核的一例。
图2表示原图像的例子。图3表示将图2的原图像的亮度等进行数值化的数值数据。图4表示进行了使用图1所示的卷积核的卷积处理后的数值数据。图5表示与进行了图4的卷积处理后的数值数据对应的图像。
另外，在与像素数N的图像对应的数值数据中，关于对位于显示时的端部的像素(例如，最左列的像素等)的卷积，卷积核从图像超出。在此情况下，关于超出的部分，虚拟地设为存在数值为0的像素而进行卷积。此外，在图5的卷积处理后的图像中，将数值为负值的像素表现为黑。
卷积按照下述的流程执行。图6是表示对某个选择的一个像素的卷积处理的流程的图。
首先，从二维地配置的原图像的数值数据中还没有进行处理的像素中，选择应用卷积核的对象像素。接着，使卷积核的中心与对象像素的位置重合。接着，按重合的每个位置，计算数值数据与卷积核的系数值的乘积。接着，计算所计算出的全部乘积的和。
接着，将计算出的和作为卷积处理后的对象像素的数值来保存。并且，判定是否处理了全部的像素。如果完成了全部的像素的处理，则处理结束，如果没有完成，则选择下一个像素作为对象像素，对该对象像素进行上述一系列的处理。
这里，在对像素数N的图像的数值数据进行使用要素数M的卷积核的卷积处理的情况下，基本上需要N×M次的积运算及M次的和运算。这样，在将卷积处理全部用软件实现的情况下，有运算量大的问题。
以下，说明有关本实施方式的摄像系统100的结构。图7是表示有关本实施方式的摄像系统100的结构的概念图。在图7中仅记载了在本发明的说明中需要的要素，关于其他要素进行了省略。此外，没有考虑各要素的实际的形状、比例尺等。
如图7所示，摄像系统100具备能够电气上变更灵敏度的摄像元件101、成像光学系统(imaging optical system)102、位置设定部103、灵敏度设定电路104、位置设定电路105、同步电路106、机械快门107、运算电路108和存储区域109。
成像光学系统102使被摄体的像成像在摄像元件101上。摄像元件101如图8所示，包括在行方向及列方向二维地配置的多个像素单元10。
灵敏度设定电路104基于控制信号111(第2控制信号)设定多个像素单元10各自的灵敏度。位置设定电路105基于控制信号112(第1控制信号)设定多个像素单元10与被摄体的像的相对位置。同步电路106使控制信号111及控制信号112同步。例如，同步电路106生成相互同步的控制信号111及控制信号112。
图8表示有关本发明的实施方式的摄像元件101的例示性的电路结构。图8所示的摄像元件101具有包括二维地排列的多个像素单元10的像素阵列PA。图8示意地表示像素单元10被配置为2行2列的矩阵状的例子。当然，摄像元件101中的像素单元10的数量及配置并不限定于图8所示的例子。
各像素单元10具有光电变换元件13及信号检测电路14。如后面参照附图说明那样，光电变换元件13具备相互对置的2个电极和夹在这2个电极之间的光电变换层，接受入射的光而生成信号电荷。一个光电变换元件13不需要是其整体按每个像素单元10而独立的元件，也可以是光电变换元件13的例如一部分跨多个像素单元10。换言之，也可以是1个光电变换元件13的一部分与其他光电变换元件13的一部分构成为一体。在本实施方式的情况下，光的入射侧的电极及光电变换层跨一部分或全部的像素单元10。
信号检测电路14是检测由光电变换元件13生成的信号的电路。在该例中，信号检测电路14包括信号检测晶体管24及地址晶体管26。信号检测晶体管24及地址晶体管26典型的是场效应晶体管(FET)，这里，作为信号检测晶体管24及地址晶体管26而例示N沟道MOS(Metal Oxide Semiconductor)。
如在图8中示意地表示那样，信号检测晶体管24的控制端子(这里是栅极)具有与光电变换元件13的电连接。由光电变换元件13生成的信号电荷(空穴或电子)被积蓄到信号检测晶体管24的栅极与光电变换元件13之间的电荷积蓄区域(也称作“浮动扩散节点”)41中。光电变换元件13的构造的详细情况后述。
各像素单元10的光电变换元件13还具有与灵敏度控制线42的连接。在图8所例示的结构中，灵敏度控制线42连接于电压供给电路32。该电压供给电路32是构成为至少能够将第1电压、第2电压及第3电压这3种电压供给至光电变换元件13的电路。电压供给电路32在摄像元件101的动作时，经由灵敏度控制线42向光电变换元件13供给规定的电压。电压供给电路32并不限定于特定的电源电路，也可以是生成规定的电压的电路，也可以是将从其他电源供给的电压变换为规定的电压的电路。如后面详细说明那样，通过将从电压供给电路32向光电变换元件13供给的电压在相互不同的多个电压之间切换，控制从光电变换元件13向电荷积蓄区域41的信号电荷的积蓄的开始及结束。换言之，在本发明的实施方式中，通过将从电压供给电路32向光电变换元件13供给的电压在第3电压与其他电压之间切换，执行电子快门动作。此外，通过将从电压供给电路32向光电变换元件13供给的电压在相互不同的多个电压之间切换，能够切换光电变换元件13的灵敏度。电压供给电路32是电压施加电路的一例。摄像元件101的动作的例子后述。
各像素单元10具有与供给电源电压VDD的电源线40的连接。如图所示，在电源线40上连接着信号检测晶体管24的输入端子(典型的是漏极)。通过使电源线40作为源极跟随电源发挥功能，信号检测晶体管24将与由光电变换元件13生成的信号电荷对应的电压作为信号电压来输出。
在信号检测晶体管24的输出端子(这里是源极)上，连接着地址晶体管26的输入端子(这里是漏极)。地址晶体管26的输出端子(这里是源极)连接于按每个像素阵列PA的列配置的多个垂直信号线47中的1个。地址晶体管26的控制端子(这里栅极)连接于地址控制线46，通过控制地址控制线46的电位，能够将信号检测晶体管24的输出有选择地读出到对应的垂直信号线47中。
在图示的例子中，地址控制线46连接于垂直扫描电路(也称作“行扫描电路”)36。垂直扫描电路36通过对地址控制线46施加规定的电压，将配置在各行中的多个像素单元10以行单位选择。由此，执行所选择的像素单元10的信号的读出。
垂直信号线47是将来自像素阵列PA的像素信号向周边电路传递的主信号线。在垂直信号线47上连接着列信号处理电路(也称作“行信号积蓄电路”)37。列信号处理电路37进行以相关双采样为代表的噪声抑制信号处理及模拟－数字变换(AD变换)等。如图所示，列信号处理电路37与像素阵列PA中的像素单元10的各列对应地设置。在这些列信号处理电路37上，连接着水平信号读出电路(也称作“列扫描电路”)38。水平信号读出电路38从多个列信号处理电路37向水平共用信号线49依次读出信号。
在图8所例示的结构中，像素单元10具有复位晶体管28。复位晶体管28例如与信号检测晶体管24及地址晶体管26同样，是场效应晶体管。以下，只要没有特别说明，就说明作为复位晶体管28而应用N沟道MOS的例子。如图所示，该复位晶体管28连接在供给复位电压Vr的复位电压线44与电荷积蓄区域41之间。复位晶体管28的控制端子(这里栅极)连接于复位控制线48，通过对复位控制线48的电位进行控制，能够将电荷积蓄区域41的电位复位为复位电压Vr。在该例中，复位控制线48连接于垂直扫描电路36。因而，通过由垂直扫描电路36向复位控制线48施加规定的电压，能够将配置在各行中的多个像素单元10以行单位进行复位。
在该例中，向复位晶体管28供给复位电压Vr的复位电压线44连接于复位电压供给电路34(以下，称作“复位电压源34”)。复位电压源34只要具有在摄像元件101的动作时能够向复位电压线44供给规定的复位电压Vr的结构就可以，与上述电压供给电路32同样，并不限定于特定的电源电路。电压供给电路32及复位电压源34分别既可以是单一的电压供给电路的一部分，也可以是独立的单个电压供给电路。另外，也可以是，电压供给电路32及复位电压源34的一方或双方是垂直扫描电路36的一部分。或者，也可以将来自电压供给电路32的灵敏度控制电压及/或来自复位电压源34的复位电压Vr经由垂直扫描电路36向各像素单元10供给。
作为复位电压Vr，也可以使用信号检测电路14的电源电压VDD。在此情况下，能够使向各像素单元10供给电源电压的电压供给电路(在图8中未图示)和复位电压源34共通化。此外，由于能够使电源线40和复位电压线44共通化，所以能够使像素阵列PA中的布线简单化。但是，在复位电压Vr和信号检测电路14的电源电压VDD中使用相互不同的电压则能够进行摄像元件101的更灵活的控制。
图9示意地表示像素单元10的例示性的器件构造。在图9所例示的结构中，上述的信号检测晶体管24、地址晶体管26及复位晶体管28形成在半导体基板20上。半导体基板20并不限定于其整体是半导体的基板。半导体基板20也可以是在形成感光区域的一侧的表面设有半导体层的绝缘性基板等。这里，说明作为半导体基板20而使用P型硅(Si)基板的例子。
半导体基板20具有杂质区域(这里N型区域)26s、24s、24d、28d及28s、以及用于像素单元10间的电分离的元件分离区域20t。这里，元件分离区域20t还设置在杂质区域24d与杂质区域28d之间。元件分离区域20t例如通过在规定的注入条件下进行受主(acceptor)的离子注入而形成。
杂质区域26s、24s、24d、28d及28s典型的是在半导体基板20内形成的扩散层。如在图9中示意地表示那样，信号检测晶体管24包括杂质区域24s及24d和栅极电极24g(典型的是多晶硅电极)。杂质区域24s及24d分别作为信号检测晶体管24的例如源极区域及漏极区域发挥功能。在杂质区域24s与24d之间，形成信号检测晶体管24的沟道区域。
同样，地址晶体管26包括杂质区域26s及24s、和连接于地址控制线46(参照图8)上的栅极电极26g(典型的是多晶硅电极)。在该例中，信号检测晶体管24及地址晶体管26通过共有杂质区域24s而相互电连接。杂质区域26s作为地址晶体管26的例如源极区域而发挥功能。杂质区域26s具有与在图9中未图示的垂直信号线47(参照图8)的连接。
复位晶体管28包括杂质区域28d及28s、和连接于复位控制线48(参照图8)上的栅极电极28g(典型的是多晶硅电极)。杂质区域28s作为复位晶体管28的例如源极区域而发挥功能。杂质区域28s具有与在图9中未图示的复位电压线44(参照图8)的连接。
在半导体基板20上，以将信号检测晶体管24、地址晶体管26及复位晶体管28覆盖的方式配置有层间绝缘层50(典型的是二氧化硅层)。如图所示，在层间绝缘层50中可以配置布线层56。布线层56典型的是由铜等金属形成，例如在其一部分中可以包括上述垂直信号线47等布线。层间绝缘层50中的绝缘层的层数、以及配置在层间绝缘层50中的布线层56中包含的层数可以任意地设定，并不限定于图9所示的例子。
在层间绝缘层50上配置上述的光电变换元件13。换言之，在本发明的实施方式中，在半导体基板20上形成有构成像素阵列PA(参照图8)的多个像素单元10。二维地排列在半导体基板20上的多个像素单元10形成感光区域(即，像素区域)。相邻的2个像素单元10间的距离(即，像素间距)例如是2μm左右。
光电变换元件13包括像素电极11、对置电极12和配置在它们之间的光电变换层15。在该例中，对置电极12及光电变换层15跨多个像素单元10而配置。
另一方面，像素电极11按每个像素单元10而设置，通过与相邻的其他像素单元10的像素电极11在空间上分离，从其他像素单元10的像素电极11电分离。
对置电极12典型的是由透明的导电性材料形成的透明电极。对置电极12在光电变换层15中配置在光入射的一侧。因而，透射了对置电极12的光向光电变换层15入射。另外，由摄像元件101检测的光并不限定于可视光的波长范围(例如，380nm以上且780nm以下)内的光。本说明书中的“透明”是指使要检测的波长范围的光的至少一部分透射。在本说明书中，为了方便，将包括红外线及紫外线在内的全部电磁波表现为“光”。对置电极12中，可以使用例如ITO、IZO、AZO、FTO、SnO2、TiO2、ZnO2等透明导电性氧化物(TransparentConducting Oxide(TCO))。
光电变换层15受到入射的光而产生空穴－电子对。光电变换层15在本实施方式的情况下由有机材料形成。构成光电变换层15的材料的具体例在后面叙述。
如参照图8说明那样，对置电极12具有与连接于电压供给电路32的灵敏度控制线42的连接。此外，这里对置电极12跨多个像素单元10而形成。因而，能够经由灵敏度控制线42从电压供给电路32向多个像素单元10一并施加希望的大小的灵敏度控制电压。另外，只要能够从电压供给电路32施加希望的大小的灵敏度控制电压，则对置电极12也可以按每个像素单元10分离地设置。同样，光电变换层15也可以按每个像素单元10分离地设置。
通过控制相对于像素电极11的电位的对置电极12的电位，能够由像素电极11收集通过光电变换而在光电变换层15内产生的空穴－电子对中的空穴及电子的某一方。例如在作为信号电荷而利用空穴的情况下，通过使对置电极12的电位比像素电极11高，能够由像素电极11有选择地收集空穴。以下，例示作为信号电荷而利用空穴的情况。当然，作为信号电荷也能够利用电子。
通过在对置电极12与像素电极11之间施加适当的偏压，与对置电极12对置的像素电极11收集在光电变换层15中通过光电变换产生的正及负电荷中的一方。像素电极11由铝、铜等金属、金属氮化物、或通过掺杂杂质而被赋予导电性的多晶硅等形成。
也可以将像素电极11做成遮光性的电极。例如，通过作为像素电极11而形成厚度为101nm的TaN电极，能够实现充分的遮光性。通过将像素电极11做成遮光性的电极，能够抑制穿过了光电变换层15的光向形成在半导体基板20上的晶体管(在该例中是信号检测晶体管24、地址晶体管26及复位晶体管28中的至少某一个)的沟道区域或杂质区域入射。也可以利用上述布线层56而在层间绝缘层50内形成遮光膜。通过抑制光向形成在半导体基板20上的晶体管的沟道区域入射，能够抑制晶体管的特性的变动(例如阈值电压的变动)等。此外，通过抑制光向形成在半导体基板20上的杂质区域入射，能够抑制杂质区域中的由意外的光电变换带来的噪声的混入。这样，光向半导体基板20的入射的抑制贡献于摄像元件101的可靠性的提高。
如在图9中示意地表示那样，像素电极11经由插塞52、布线53及接触插塞54连接于信号检测晶体管24的栅极电极24g。换言之，信号检测晶体管24的栅极具有与像素电极11的电连接。插塞52、布线53例如由铜等金属形成。插塞52、布线53及接触插塞54构成信号检测晶体管24与光电变换元件13之间的电荷积蓄区域41(参照图8)的至少一部分。布线53可以是布线层56的一部分。此外，像素电极11经由插塞52、布线53及接触插塞55还连接于杂质区域28d。在图9所例示的结构中，信号检测晶体管24的栅极电极24g、插塞52、布线53、接触插塞54及55、以及作为复位晶体管28的源极区域及漏极区域中的一方的杂质区域28d作为积蓄由像素电极11收集到的信号电荷的电荷积蓄区域41而发挥功能。
通过由像素电极11收集信号电荷，与积蓄在电荷积蓄区域41中的信号电荷的量相应的电压被施加到信号检测晶体管24的栅极。信号检测晶体管24将该电压放大。由信号检测晶体管24放大后的电压作为信号电压而经由地址晶体管26被有选择地读出。
这样，摄像元件101具备在行方向及列方向二维地以一定间隔配置的多个像素单元10。另外，行方向的像素间隔和列方向的各像素的间隔也可以不相同。
各像素单元10具备至少一个光电变换元件13和电荷积蓄区域41的组。光电变换元件13具有产生与照射在该区域中的光强度成比例的量的信号电荷的功能。电荷积蓄区域41具有将对应的光电变换元件13产生的信号电荷进行积蓄的功能。
另外，各像素单元10也可以具备多个光电变换元件13和电荷积蓄区域41的组。例如在进行例如彩色摄像的情况下，各像素也可以分别具备用来将红色成分、绿色成分、蓝色成分分别进行摄像的光电变换元件13和电荷积蓄区域41的组。作为另一例，各像素也可以具备高灵敏度摄像用的光电变换元件13和电荷积蓄区域41的组、以及低灵敏度摄影用的光电变换元件13和电荷积蓄区域41的组。在此情况下，也可以由高灵敏度摄像用的光电变换元件13和电荷积蓄区域41的组进行后述的摄像处理。此外，也可以由低灵敏度摄影用的光电变换元件13和电荷积蓄区域41的组进行后述的摄像处理。
电荷积蓄区域41通常被集成在摄像元件101内，但也可以配置在外部。
电荷积蓄区域41针对一个光电变换元件13至少存在一个。但是，也可以为针对一个光电变换元件13存在多个电荷积蓄区域41、能够将积蓄信号电荷的目的地变更的结构。在此情况下，可以使用多个电荷积蓄区域41中的任一个进行后述的摄像处理。
将产生的信号电荷的量相对于照射在光电变换元件13上的光强度的比称作量子效率。此外，将积蓄在电荷积蓄区域41中的信号电荷量相对于照射在光电变换元件13上的光强度的比称作灵敏度。在由光电变换元件13产生的信号电荷全部被积蓄到电荷积蓄区域41中的情况下，量子效率与灵敏度有比例关系。但是，在具有将由光电变换元件13产生的信号电荷的一部分或全部不积蓄到电荷积蓄区域41中的机构的情况下，两者可能拥有比例以外的关系。例如，在具有将由光电变换元件13产生的信号电荷丢弃的机构的情况下，即使是有限的量子效率，灵敏度也可能为0。
将光被照射在光电变换元件13上、并且将产生的信号电荷向电荷积蓄区域41积蓄的动作称作曝光。
将以下的动作称作多重曝光：在通过第1曝光将第1信号电荷积蓄到电荷积蓄区域41中之后，在将第1信号电荷保持在电荷积蓄区域41中的状态下暂时停止曝光，将通过其后开始的第2曝光产生的第2信号电荷与已积蓄的第1信号电荷一起积蓄在电荷积蓄区域41中。曝光的停止可以通过光照射的停止或将灵敏度设为0来实现。将灵敏度设为0可以通过使量子效率为0、或将由光电变换元件13产生的信号电荷不向电荷积蓄区域41积蓄来实现。另外，多重曝光也可以包括第3曝光以后。
摄像元件101具有通过灵敏度设定电路104将灵敏度变更为规定的值的功能。对摄像元件101设定的灵敏度也可以是离散的值。此外，根据情况，对摄像元件101设定的灵敏度也可以是连续的值。要是再现以往的计算机的通过软件的卷积处理，则前者优选。后者能够进行与以往的计算机的通过软件的卷积处理类似的处理。
在再现通过软件的卷积处理的情况下，能够对摄像元件101设定的灵敏度的种类的数量需要是基础性地进行卷积的卷积核的要素的值的绝对值的种类的数量以上。
例如，在图1所示的卷积核的情况下，卷积核的要素的值的绝对值是{0，1，2}这3种。在此情况下，需要能够将摄像元件101的灵敏度设定为{灵敏度0，基准灵敏度，基准灵敏度的二倍}。这里所述的基准灵敏度，是指某一次的卷积摄像中的作为基准的灵敏度，在不同的卷积摄像中，也可以将其他灵敏度设为基准灵敏度。例如基准灵敏度也可以通过被摄体的明亮度或需要的摄像速度等来变更。
关于摄像元件101所需要的灵敏度中的灵敏度0，由于可以通过后述的快门功能来代替，所以也可以不能设定。
摄像元件101也可以拥有负灵敏度。即，在摄像元件101被设定为负灵敏度的情况下，也可以具有与照射在光电变换元件13上的光强度成比例地从电荷积蓄区域41抽取信号电荷的功能。但是，在本发明中上述负灵敏度不是必须的。
电荷积蓄区域41具有与摄像元件101的灵敏度的变更的实施无关地将信号电荷继续积蓄的功能。即，能够进行不同灵敏度下的多重曝光。或者，电荷积蓄区域41也可以具有如下功能：在不中断向摄像元件101的光照射而使灵敏度连续地变化时，连续地积蓄信号电荷。
摄像元件101的灵敏度也可以在全部的像素中变化为相同的值。或者，灵敏度也可以按每个1上述像素或按包含多个像素的每个块而变化为不同的值。或者，灵敏度也可以按各像素单元10中包含的每个光电变换元件13而变化为不同的值。
灵敏度的变更优选的是在全部的像素单元10中具有实质上的等时性。即，由灵敏度设定电路104进行的各像素的灵敏度变更优选的是实质上一齐开始及完成。
但是，等时性不是必须的，也可以按每个像素单元10而灵敏度变更的开始及完成时刻不同。在此情况下，摄像系统100优选的是具有仅在全部的像素单元10成为希望的灵敏度的期间中进行曝光的功能。即，摄像系统100优选的是具有仅在全部的像素单元10成为希望的灵敏度的情况下向摄像元件101进行光照射的功能、或仅在全部的像素单元10成为希望的灵敏度的情况下积蓄由光电变换元件13产生的信号电荷的功能。将像这样仅在希望的期间中进行曝光的功能称作快门机构。此外，将设为能够曝光的状态的情况称作打开快门，将设为不能曝光的状态的情况称作关闭快门。
此外，通过图7所示的机械快门107，实现向摄像元件101的光照射的切断。此外，将控制信号电荷的积蓄的机构称作电子快门。
作为适合于本实施方式的能够改变灵敏度的摄像元件101，如图9所示，有使用层叠有像素电极11、光电变换层15及对置电极12的层叠型的光电变换元件13的摄像元件101。在该光电变换元件13中，有对应于像素电极11与对置电极12之间的施加电压而使元件灵敏度从实质上0到有限的值连续地变化的元件。关于施加电压与灵敏度的关系，在图10中表示其特性图的一例。
通过使对置电极12在全部光电变换元件13中共用，仅通过变更对置电极12的电压，就能够将全光电变换元件13的灵敏度有等时性地一并变更。在此情况下，灵敏度设定电路104具有对置电极12的电压设定功能。灵敏度设定电路104控制电压供给电路32，使其经由灵敏度控制线42及对置电极12向光电变换元件13供给灵敏度控制电压。
对置电极12也可以具有多个划区，能够按每个该划区变更电压。如果将这样构成的摄像元件101与使被摄体的多个像成像的复眼透镜那样的成像光学系统组合，则能够一并进行对于多个卷积核的卷积摄像。
层叠型光电变换元件的灵敏度也可以不是通过控制对置电极12的电压、而是通过控制像素电极11侧或第3电极(未图示)的电压来变更。在此情况下，像素电极11由于按每个光电变换元件13独立，所以能够按每个光电变换元件13单独地变更灵敏度。通过使用配置在像素电极11附近、并且能够按每个光电变换元件13变更电压的第3电极，同样能够按每个光电变换元件13单独地变更灵敏度。
在上述摄像元件的情况下，为了使得能够按每个光电变换元件13单独地设定灵敏度，需要向各像素电极11或各第3电极供给电压的线。有在物理上难以将向全部的光电变换元件13的多个像素电极11或多个第3电极供给电压的多个线引出到摄像元件101的外部的情况。在此情况下，配置所谓的选择晶体管。并且，通过将由该选择晶体管选择的线依次切换，将多个像素电极11或多个第3电极依次连接到外部。由此，能够将连接的电极的电压设定为任意的值。
或者，也可以按由被决定设定为相同灵敏度的多个光电变换元件13构成的每个组，将该组中包含的多个光电变换元件13一起连接到相同的外部信号线上。由此，能够减少外部信号线的数量。
摄像系统100具备用来计测积蓄在各电荷积蓄区域41中的信号电荷的量的信号电荷量测定器。信号电荷量测定器既可以按每个电荷积蓄区域41设置，也可以为由多个电荷积蓄区域41共用信号电荷量计测器并切换进行计测的形式。例如，该信号电荷计测器相当于图8所示的信号检测电路14。
信号电荷量测定器也可以通过信号电荷的量的计测操作将电荷积蓄区域41的信号电荷排出。即，也可以进行破坏读出。或者，信号电荷量测定器也可以通过信号电荷的量的计测来保存电荷积蓄区域41的信号电荷。即，也可以进行非破坏读出。此外，摄像系统100根据需要具有将积蓄在电荷积蓄区域41中的信号电荷排除的功能。此外，摄像系统100根据需要具有在将来自电荷积蓄区域41的信号电荷排除后、计测残留的电荷量的功能。另外，这些结构的具体结构例如是在图8中说明的结构。
摄像系统100根据需要具有将由信号电荷量计测器计测的各电荷积蓄区域41的信号电荷的量的计测结果进行保存的存储区域109。在卷积中使用的卷积核具有正及负双方的要素、并且摄像元件101不具有负灵敏度的情况下，摄像系统100优选的是具有存储区域109。
摄像系统100根据需要具有进行基于存储区域109的值的运算的运算电路108。此外，上述存储区域109例如也可以设置在该运算电路108内或摄像元件101内。
成像光学系统102具有将被摄体的像成像在摄像元件101上的功能。成像光学系统102也可以是使用透镜等的折射光学系统，或者也可以是使用曲面镜等的反射光学系统。或者，成像光学系统102也可以是两者的混合型。成像光学系统102也可以根据需要而具有光圈及滤光器等要素。
机械快门107控制是否向摄像元件101照射光。但是，在能够将摄像元件101的灵敏度设定为0、或者虽然灵敏度不是0但能够将向电荷积蓄区域41的信号电荷的积蓄停止、即摄像元件101具有电子的快门功能且电子的快门在全部的像素单元10中具有等时性的情况下，摄像系统100也可以不具备机械快门107。
位置设定部103具有基于位置设定电路105的控制而将被摄体的像与摄像元件101的相对位置变更为规定的位置的功能。本实施方式所需要的相对位置的变化，是摄像元件101在由成像光学系统102成像的被摄体的像所在的平面上相对移动的变化。即，该变化是相对于成像光学系统102的光轴垂直的方向的变化。
相对位置以像素单元10的配置间隔为基准。即，以相邻的2个像素单元10的中心间距离的整数倍为单位而设定相对位置。在本实施方式中，将从作为被摄体的像与摄像元件101的相对位置的基准的位置使光学系统所作出的像向右移动与行方向的像素配置间隔相当的量后的位置记为(+1，0)、将向左移动后的位置记为(－1，0)，将从基准位置使像向上移动与列方向的像素配置间隔相当的量后的位置记为(0，+1)，将向下移动后的位置记为(0，－1)。
这些以外的位置也同样地记述。即，位置(+2，－1)表示从基准位置使像向右移动与行方向的像素配置间隔的2倍相当的量、并且向下移动与列方向的像素配置间隔的1倍相当的量后的位置。关于其他也是同样的。
例如，为了再现基于具有(3×3)的要素的任意的卷积核的卷积，作为位置，需要{(－1，－1)，(－1，0)，(－1，+1)，(0，－1)，(0，0)，(0，+1)，(+1，－1)，(+1，0)，(+1，+1)}这9种作为规定的位置。在图11中表示这样的相对位置的一例。
同样，为了再现基于具有(5×5)的要素的任意的卷积核的卷积，{(－2，－2)，(－2，－1)，(－2，0)，(－2，+1)，(－2，+2)，(－1，－2)，(－1，－1)，(－1，0)，(－1，+1)，(－1，+2)，(0，－2)，(0，－1)，(0，0)，(0，+1)，(0，+2)，(+1，－2)，(+1，－1)，(+1，0)，(+1，+1)，(+1，+2)，(+2，－2)，(+2，－1)，(+2，0)，(+2，+1)，(+2，+2)}这25种是需要的规定的位置。但是，在卷积核中包含值为0的要素的情况下，对应于该要素的位置也可以不包含在能够设定的规定的位置中。
位置设定部103优选的是具有在将被摄体的像与摄像元件101的相对位置变更后能够将其保持规定的时间的功能。
但是，保持功能不是必须的，也可以是例如简谐振动那样使相对位置连续地持续变化的机构。另外，关于其详细情况在实施方式3中说明。
位置设定部103是致动器。例如，位置设定部103是能够通过步进马达或压电元件等可动零件将摄像元件101的位置在物理上变更的机构。另外，位置设定部103也可以是将成像光学系统102的全体或其一部分构成要素的位置在物理上变更的机构。此外，位置设定部103也可以是配置在成像光学系统102与摄像元件101之间、使光线路径变动的机构等。
作为使光线路径变动的机构的例子，有变更镜的角度或位置的机构、或变更使穿过的光线变动的透明光学元件的位置或角度的机构。
位置设定部103可以通过与以往为了抑制手抖动而使用的、用来将被摄体的像与摄像元件101的相对位置保持为一定的机构大致同样的机械机构实现。另外，在本实施方式中，在预测到手抖动的发生的状况下，可以进行以进行了手抖动修正的位置为基准位置、从那里追加地使相对位置移动的操作。
以下，说明上述摄像系统100的、得到以比以往少的计算量进行了卷积处理的图像的摄像方法的一例。此外，以下假设灵敏度变化具有等时性。
此外，卷积核具有F_x×F_y的大小。将卷积核的要素的值记为F(i，j)。F_x及F_y分别是2以上的整数。I是从1到F_x的整数，j是从1到F_y的整数。
例如，F(1，1)是卷积核的左上角的要素的值，F(F_x，F_y)是右下角的值。就图1的例子而言，F(1，1)＝1，F(1，2)＝0，F(1，3)＝－1，...，F(3，3)＝－1。
设给出卷积核的中心的i，j分别是i＝C_x，j＝C_y。就图1的例子而言，C_x＝2，C_y＝2。
图12是表示有关本实施方式的摄像处理的概略的流程图。首先，摄像系统100拍摄与卷积核中包含的具有正值的要素对应的第1图像(S101)。
接着，摄像系统100拍摄与卷积核中包含的具有负值的要素对应的第2图像(S102)。最后，运算电路108通过从第1图像减去第2图像，得到相当于卷积处理后的图像的图像。
图13是表示步骤S101的详细情况的流程图。首先，摄像系统100将曝光停止，或确认曝光停止了的情况(S111)。这既可以由机械快门107进行，也可以由电子快门进行。即，摄像系统100既可以在物理上切断向摄像元件101上的光照射，也可以停止将由光电变换元件13产生的信号电荷向电荷积蓄区域41积蓄的动作。或者，摄像系统100也可以将摄像元件101的灵敏度设定为0。
该处理是为了防止步骤S117中的曝光的以前的曝光的结果、或没有被控制的状态的影响混入到电荷积蓄区域41中而进行。因此，如果能够保证步骤S117中的曝光的以前的曝光的结果、或没有被控制的状态的影响不混入到电荷积蓄区域41中或在实用上能够忽视，则也可以将步骤S111省略。
接着，摄像系统100将各电荷积蓄区域41复位或确认电荷积蓄区域41已被复位的情况(S112)。该处理是为了正确地计测通过步骤S113以后的曝光产生的信号电荷的量而进行。因此，复位除了将信号电荷量设为0的动作以外，也可以是能够正确地计测通过步骤S117以后的曝光产生的信号电荷的量的任意的动作。例如，作为复位，也可以进行对在步骤S117以后的曝光前已经积蓄在电荷积蓄区域41中的电荷量进行检测，并记录检测出的值等的处理。
接着，摄像系统100将卷积核的多个要素中的作为处理的对象的要素的位置(以下，记作对象位置)初始化。例如，摄像系统100设定为p＝1，q＝1。这里，p，q是为了对卷积核的要素进行计数而姑且设置的变量。此外，p＝1，q＝1表示卷积核的左上角的位置。即，选择卷积核的左上角作为对象位置。
接着，摄像系统100判定对象位置的系数的值F(p，q)是否为正(S114)。
在值F(p，q)是正的情况下(S114中是)，摄像系统100设定被摄体的像与摄像元件101的相对位置(S115)。具体而言，位置设定电路105控制位置设定部103，以使相对位置成为(C_x－p，q－C_y)。
接着，灵敏度设定电路104将摄像元件101的全部的像素单元10的灵敏度设定为|(基准灵敏度)×F(p，q)|(S116)。另外，在摄像元件101能够实现负的灵敏度的情况下，灵敏度设定电路104将全部的像素单元10的灵敏度设定为(基准灵敏度)×F(p，q)。另外，在F(p，q)与前次的步骤S116相同的情况下，设定灵敏度的处理例如通过维持灵敏度来进行。
接着，摄像系统100开始曝光(S117)。具体而言，在摄像系统100具备机械快门107的情况下，摄像系统100将机械快门107打开。此外，摄像系统100在由光电变换元件13产生的信号电荷不积蓄在电荷积蓄区域41中的状态的情况下，变更为积蓄的状态。即，摄像系统100在由步骤S115设定的相对位置、以及以由步骤S116设定的灵敏度开始曝光。即，开始向电荷积蓄区域41的信号电荷的积蓄。
接着，摄像系统100在经过规定的曝光时间后，停止曝光(S118)。具体而言，摄像系统100在检测到从曝光的开始起经过了规定的曝光时间的情况下，将摄像元件101的灵敏度设定为0。或者，摄像系统100将机械快门或电子快门关闭。
在步骤S114中，在值F(p，q)是负或零的情况下(S114中否)，或在步骤S118之后，摄像系统100选择下一个位置作为对象位置。具体而言，摄像系统100将变量p增加1。由此，选择刚刚之前的对象位置的横向右侧的位置作为对象位置。
接着，摄像系统100判定刚刚之前被选择的位置是否是列的末端(S120)。具体而言，摄像系统100判定是否是p＝F_x+1。在刚刚之前选择的位置不是列的末端的情况下，即在不是p＝F_x+1的情况下(S120中否)，摄像系统100对在步骤S119中设定的对象位置进行步骤S114以后的处理。
另一方面，在刚刚之前选择的位置是列的末端的情况下，即在p＝F_x+1的情况下(S120中是)，摄像系统100选择下一行的开头(左角)的位置作为对象位置(S121)。具体而言，摄像系统100设定为p＝1，q＝q+1。
接着，摄像系统100判定是否全部的位置的处理已结束(S122)。例如，摄像系统100判定刚刚之前选择的行是否是最终行。具体而言，摄像系统100判定是否是q＝F_y+1。
在全部的位置的处理没有结束的情况下，即在不是q＝F_y+1的情况下(S122中否)，摄像系统100对在步骤S121中设定的对象位置进行步骤S114以后的处理。
另一方面，在全部的位置的处理结束的情况下，即在q＝F_y+1的情况下(S122中是)，摄像系统100计测信号电荷量(S123)。具体而言，摄像系统100使用信号电荷量测定器计测积蓄在各电荷积蓄区域41中的电荷量，将得到的结果(第1图像)保存在存储区域中。
通过以上的处理，卷积核中的正要素的多重曝光完成，得到第1图像。
接着，对在卷积核中具有负值的要素的多重曝光的处理(S102)进行说明。图14是该处理的流程图。另外，步骤S131～S133及S135～S143的处理与图13所示的步骤S111～S113及S115～S123的处理是同样的，省略说明。
在步骤S134中，摄像系统100判定卷积核系数的值F(p，q)是否是负的(S134)。在值F(p，q)是负的情况下(S134中是)向步骤S135转移，在值F(p，q)不是负的情况下(S134中否)向步骤S139转移。
通过图14所示的处理，进行在卷积核中具有负值的要素的多重曝光，生成第2图像。此外，将所生成的第2图像保存在存储区域中。
接着，在图12所示的步骤S103中，计算保存在存储区域中的第1图像与第2图像的差分。
此外，通过上述处理，在对象位置的系数的值既不是正也不是负的情况下、即在零的情况下，不进行曝光。
图15是表示使用图1所示的卷积核的情况下的摄像处理的流程的时间图。另外，图15是示意地表示图像处理的内容的图，时间轴的标度等与实施的处理并不一定一致。
如图15所示，在复位后的时刻t1，作为对象位置而选择卷积核的左上方(p＝1，q＝1)，将相对位置设定为(1，－1)，并且将灵敏度设定为1(基准灵敏度×1)。在此状态下，从时刻t1到时刻t2的期间进行曝光。
接着，在时刻t2～t3的期间，机械快门107关闭，成为非曝光状态。在该时刻t2～t3的期间，进行相对位置及灵敏度的变更。另外，进行相对位置的变更及灵敏度变更的定时只要是在该期间中，则可以是任意的定时。
此外，在时刻t2～t3的期间，作为对象位置而选择卷积核的左方(p＝1，q＝2)，将相对位置设定为(1，0)，并且将灵敏度设定为2(基准灵敏度×2)。在此状态下，从时刻t3到时刻t4的期间进行曝光。即，在电荷积蓄区域41中，除了通过时刻t1～t2的曝光而得到的信号电荷以外，还积蓄在时刻t3～t4得到的信号电荷。
同样，在时刻t4～t5的期间，作为对象位置而选择卷积核的左下方(p＝1，q＝3)，将相对位置设定为(1，1)，并且将灵敏度设定为1(基准灵敏度×1)。在此状态下，从时刻t5到时刻t6的期间进行曝光。即，在电荷积蓄区域41中，除了通过时刻t1～t2及时刻t3～t4的曝光而得到的信号电荷以外，还积蓄在时刻t5～t6得到的信号电荷。
接着，在时刻t6，读出与该信号电荷对应的信号(第1图像)。
此外，通过同样的处理，在时刻t7～t12，生成与负要素对应的第2图像，读出该第2图像。
另外，在图15中表示了使用机械快门107的例子，但也可以如图16所示，代替将机械快门107关闭而将灵敏度设定为零。
如以上这样，有关本实施方式的摄像系统100能够得到与对以基准灵敏度拍摄的图像通过软件进行卷积后的结果基本上相同的图像。
在上述次序中，需要运算的只是与像素数相当的量的差运算。即，与以往的通过软件的卷积处理相比能够减少运算量。
此外，在卷积核的要素仅由正或负构成的卷积核的卷积中，差运算也不需要。
此外，在上述次序中，改变被摄体的像与摄像元件101的相对位置而进行多重曝光等价于将被摄体的像与摄像元件101的相对位置设为一定而拍摄的结果的多个像素的相加。此外，在多重曝光时变更灵敏度等价于乘以卷积核的系数。由此，通过上述方法能够进行卷积摄像。
如果是上述本实施方式的方法，则仅通过变更向灵敏度设定电路104及位置设定电路105的指令，就能够对任意的卷积核进行同样的摄像。还可以通过变更向灵敏度设定电路104及位置设定电路105的指令并反复进行上述次序，对于某特定的被摄体实施使用多个卷积核的卷积。
上述本实施方式的方法中，如果去掉步骤S103，则摄像所需要的时间几乎不依赖于像素数。步骤S103仅是差分运算，计算负荷小。像素数越增加、并且进行卷积的卷积核数量越增加，与以往的方法相比所需的时间越能够缩短。
此外，如果使成像光学系统102所产生的被摄体的像的大小与摄像元件101相比充分大，则即使改变被摄体的像与摄像元件101的相对位置，也能够使得被摄体的像总是将摄像元件的全体覆盖。因此，本方法能够消除在以往的对摄像的结果进行卷积的方法中产生的、在图像的周边部因为卷积核超出而不能进行正确的运算的课题。
如以上这样，有关本实施方式的摄像系统100具备使被摄体的像成像的成像光学系统102、包括在行方向及列方向二维地配置的多个像素单元10的摄像元件101、基于第1控制信号112设定多个像素单元10与被摄体的像的相对位置的位置设定电路105、基于第2控制信号111设定多个像素单元10各自的灵敏度的灵敏度设定电路104、以及使第1控制信号112及第2控制信111号同步的同步电路106。多个像素单元10分别具备将光变换为信号电荷的光电变换元件13、和积蓄由光电变换元件13得到的信号电荷的电荷积蓄区域41。
电荷积蓄区域41除了在相对位置被设定为第1相对位置且灵敏度被设定为第1灵敏度的状态下由光电变换元件13得到的信号电荷以外，还积蓄在相对位置被设定为与第1相对位置不同的第2相对位置且灵敏度被设定为与第1灵敏度不同的第2灵敏度的状态下由光电变换元件13得到的信号电荷。
据此，摄像系统100能够一边变更多个像素单元10与被摄体的像的相对位置和多个像素单元10的灵敏度，一边得到将以不同的相对位置及灵敏度得到的信号电荷相加的图像。由此，能够在摄像元件101中执行卷积运算处理的至少一部分，所以能够减少卷积处理的运算量。
此外，位置设定电路105以像素单元的整数倍的单位设定上述相对位置。由此，摄像系统100能够提高卷积运算的再现性。
此外，灵敏度设定电路104将多个像素单元的灵敏度一并设定。由此，摄像系统100能够提高卷积运算的再现性。
此外，光电变换元件13包括连接于电荷积蓄区域41的像素电极11、透光性的对置电极12、和配置在像素电极11及对置电极12之间的光电变换层15。
通过变更施加在像素电极11与对置电极12之间的电压，来变更像素单元10的灵敏度。由此，摄像系统100能够通过变更向光电变换元件13施加的电压，来变更像素单元10的灵敏度。
此外，有关本实施方式的摄像方法如图13及图15等所示，包括：第1相对位置设定步骤，将成像光学系统102与摄像元件101的相对位置设定为第1相对位置；第1灵敏度设定步骤，将多个像素单元10的灵敏度设定为第1灵敏度；第1积蓄步骤，在相对位置被设定为第1相对位置且灵敏度被设定为第1灵敏度的状态下，将由光电变换元件13得到的第1信号电荷积蓄在电荷积蓄区域41中；第2相对位置设定步骤，将成像光学系统102与摄像元件101的相对位置设定为与第1相对位置不同的第2相对位置；第2灵敏度设定步骤，将多个像素单元10的灵敏度设定为与第1灵敏度不同的第2灵敏度；以及第2积蓄步骤，在相对位置被设定为第2相对位置且灵敏度被设定为第2灵敏度的状态下，除了第1信号电荷以外，还将由光电变换元件13得到的第2信号电荷积蓄在电荷积蓄区域41中。
据此，该摄像方法能够一边变更多个像素单元10与被摄体的像的相对位置和多个像素单元10的灵敏度，一边得到将以不同的相对位置及灵敏度得到的信号电荷相加的图像。由此，能够在摄像元件101中执行卷积运算处理的至少一部分，所以能够减少卷积处理的运算量。
此外，在第2相对位置设定步骤中，通过将相对位置从第1相对位置起以像素单元的整数倍的单位错移来设定第2相对位置。由此，该摄像方法能够提高卷积运算的再现性。
此外，摄像系统100还具备对摄像元件101进行遮光的机械快门107。如图15等所示，在第2相对位置设定步骤中，在由机械快门107对摄像元件101进行了遮光的状态下，将相对位置从第1相对位置变更为第2相对位置。由此，该摄像方法能够使得在相对位置的变更中不进行曝光，所以能够提高卷积运算的再现性。
此外，如图16等所示，在第2相对位置设定步骤中，在将灵敏度设定为零的状态下将相对位置从第1相对位置变更为第2相对位置。由此，该摄像方法能够使得在相对位置的变更中不进行曝光，所以能够提高卷积运算的再现性。
此外，如图12、图13及图15等所示，摄像方法包括：包括第1相对位置设定步骤、第2相对位置设定步骤、第1灵敏度设定步骤、第2灵敏度设定步骤的N次(N是2以上的整数)设定步骤；以及包括第1积蓄步骤及第2积蓄步骤的N次积蓄步骤。在第i(i是1以上且N以下的整数)次设定步骤中，将相对位置设定为第i相对位置，将灵敏度设定为第i灵敏度。在第i次积蓄步骤中，将在第i相对位置及第i灵敏度下由光电变换元件13得到的信号电荷向电荷积蓄区域41积蓄。摄像方法还包括使用通过N次积蓄步骤得到的1个以上的图像得到相当于预先设定的卷积处理后的图像的图像的运算步骤。N次设定步骤分别对应于卷积处理的多个系数中的N个系数。在第i个设定步骤中设定的第i相对位置对应于与该第i个设定步骤对应的系数的位置。在第i个设定步骤中设定的第i灵敏度对应于与该第i个设定步骤对应的系数的值。
由此，该摄像方法由于能够在摄像元件101中执行卷积运算处理的至少一部分，所以能够减少卷积处理的运算量。
此外，如图12等所示，通过N次积蓄步骤，得到与卷积处理的系数为正的位置的信号的合计值对应的第1图像、以及与卷积处理的系数为负的位置的信号的合计值对应的第2图像，在运算步骤中，通过从第1图像减去第2图像，得到相当于卷积处理后的图像的图像。由此，该摄像方法能够实现包含负系数的卷积运算处理。
此外，如图13及图15等所示，N次设定步骤分别与卷积处理的多个系数中的值不为零的N个系数的各个系数对应。即，将值为零的系数的曝光跳过。由此，能够缩短摄影时间。
(实施方式2)
在实施方式1中，说明了生成与在卷积核中具有正值的要素对应的第1图像、以及与在卷积核中具有负值的要素对应的第2图像，并计算第1图像与第2图像的差分的例子。在本实施方式中，对得到与卷积核对应的图像的其他方法进行说明。
在本实施方式中，摄像系统100生成与对卷积核的全部的要素加上偏移值后的卷积核对应的第1图像、以及与全部的要素被设定为偏移值的卷积核对应的第2图像，并计算第1图像与第2图像的差分。
以下，说明生成与图17的(a)及(b)所示的2种卷积核对应的图像的情况下的例子。
首先，将这些卷积核中包含的负系数的绝对值的最大值设定为偏移值。在图17的例子中，由于－2是绝对值最大的负系数，所以将偏移值设定为2。另外，偏移值也可以是比负系数的绝对值的最大值大的值。
针对图17(a)所示的卷积核，生成对该卷积核的全部的要素加上作为偏移值的2后的卷积核(图17(c))、和全部的要素被设定为作为偏移值的2的卷积核(图17(d))。通过对该卷积核分别进行与实施方式1同样的处理，得到第1图像及第2图像。并且，通过从第1图像减去第2图像，得到与图17(a)所示的卷积核对应的图像。另外，在全部的要素被设定为作为偏移值的2的卷积核中，不需要变更灵敏度。在此情况下，设定灵敏度的处理例如是指将灵敏度维持为偏移值。
同样，针对图17(b)所示的卷积核，生成对该卷积核的全部的要素加上作为偏移值的2后的卷积核(图17(e))、和全部的要素被设定为作为偏移值的2的卷积核(图17(f))。这里，图17(d)及图17(f)所示的卷积核由于是相同的卷积核，所以作为在减法中使用的第2图像，可以使用相同的图像。
这样，在本实施方式的方法中，由于能够使在多个卷积核的减法中使用的第2图像共用化，所以能够减少摄影的次数。
图18是表示通过实施方式1的方法得到的卷积核的例子的图。如图18所示，在实施方式1的方法中，可知对于各卷积核((a)及(b))分别需要2张图像。
另一方面，在使用实施方式1的方法的情况下，如上述那样能够将系数为零的位置的曝光跳过。由此，在包含较多零系数的卷积核中，也有即使在使用多个卷积核的情况下也能够缩短摄影时间的情况。
此外，作为其他方法，也可以不是拍摄2张图像，而是生成包含正及负双方的要素的单一的图像。具体而言，通过对光电变换元件13施加反偏压，能够从电荷积蓄区域41中抽取与曝光量相应的信号电荷。这样，通过对光电变换元件13施加与卷积核要素的正及负对应的正及负的电压，能够生成包含正及负双方的要素的单一的图像。
如以上这样，有关本实施方式的摄像方法在N次设定步骤中，设定与对卷积处理的各系数加上偏移值而得到的值对应的灵敏度、以及与上述偏移值对应的灵敏度，在N次积蓄步骤中，得到第1图像及第2图像。该第1图像相当于使用通过对卷积处理的全部的系数加上偏移值而得到的多个系数的卷积处理后的图像。第2图像相当于作为全部的系数而使用偏移值的卷积处理前后的图像。在运算步骤中，通过从第1图像减去第2图像，得到相当于卷积处理后的图像的图像。
由此，该摄像方法能够实现包含负系数的卷积运算处理。此外，在得到被进行了相互不同的卷积处理的多个图像的情况下，能够共同使用第2图像，所以能够缩短摄影时间。
(实施方式3)
在实施方式1中，说明了以像素单元的整数倍的单位将被摄体的像与摄像元件101的相对位置错移的例子，但也可以将相对位置连续地错移。
图19及图20是表示连续性的相对位置的变化例的图。如图19及图20所示，将行方向的简谐振动的频率和列方向的间歇振动的频率设定为不同的值。由此，被摄体的像与摄像元件101的相对位置具有如下轨道：描绘所谓的利萨如(Lissajous)图形，将由行及列的振幅构成的长方形的内部填埋。在此情况下，通过同步地控制以使得当相对位置来到希望的位置时灵敏度成为希望的值，能够使位置设定部103的结构简略化。此外，由于将与相同的卷积核要素对应的划区分多次穿过，所以也有使时间偏差平均化的优点。
另外，在图20中，灵敏度阶段性地变更，但也可以如图21所示，灵敏度也联动于相对位置而连续地变更。图21及22分别表示一个曝光期间中的相对位置及灵敏度的变化。也可以将该一个曝光期间划分为多个。
这样，在有关本实施方式的摄像系统100中，位置设定电路105在曝光期间中将相对位置连续地变更，电荷积蓄区域41将在曝光期间中由光电变换元件13得到的信号电荷积蓄。由此，摄像系统100能够容易地实现多个像素单元10与被摄体的像的相对位置的变更，并且能够抑制伴随着该变更的摄影时间的增加。
此外，灵敏度设定电路104在一个曝光期间中将灵敏度连续地变更。由此，摄像系统100能够提高卷积运算的再现性。另外，在本实施方式中，摄像元件101具有正及负的灵敏度，所以不需要计算第1图像与第2图像的差分。或者，在本实施方式中，也可以如实施方式1或2那样生成第1图像及第2图像并计算这些像素的差分。即，也可以在一个曝光期间中生成第1图像，在其他曝光期间中生成第2图像。
此外，在有关本实施方式的摄像方法中，在第2相对位置设定步骤中，将相对位置从第1相对位置连续地变更到第2相对位置。在第2积蓄步骤中，在相对位置被连续地变更的期间中，除了第1信号电荷以外，还将由光电变换元件得到的第3信号电荷积蓄在电荷积蓄区域41中。由此，该摄像方法能够容易地实现多个像素单元10与被摄体的像的相对位置的变更，并且能够抑制伴随着该变更的摄影时间的增加。
此外，在第2灵敏度设定步骤中，将灵敏度从第1灵敏度向第2灵敏度连续地变更，在第2积蓄步骤中，在相对位置被连续地变更且灵敏度被连续地变更的期间中，除了第1信号电荷以外，还将由光电变换元件13得到的第3信号电荷积蓄在电荷积蓄区域41中。由此，该摄像方法能够提高卷积运算的再现性。
(实施方式4)
在本实施方式中，对使用在摄像元件101的各像素单元10中包括多个光电变换元件13、并且针对包含在一个像素单元10中的多个光电变换元件分别能够独立地设定灵敏度的摄像元件101的摄像方法进行说明。
使用针对包含在一个像素单元10中的多个光电变换元件分别能够设定单独的灵敏度的摄像元件101的优点是能够同时进行使用多个卷积核的卷积摄像这一点。或者，是能够缩短具有正负要素的卷积核的摄像时间这一点。即，如果一个像素单元10中包含的光电变换元件13存在足够的数量，则能够同时得到与多个卷积核相应的多个图像。
以下，说明将图18的(a)及(b)所示的2个卷积核的正负两成分同时拍摄的情况。关于卷积核数的扩展的方法，根据本说明书的记述，对于本领域技术人员而言是显而易见的。
图22是表示有关本实施方式的像素结构的图。如图22所示，摄像元件101包括多个像素单元10A。此外，各像素单元10A包括多个子像素120。具体而言，在图22所示的例子中，像素单元10A包括4个子像素120(子像素A～D)。另外，各子像素120的结构例如与图8所示的像素单元10是同样的。另外，子像素120至少具备光电变换元件13和将由该光电变换元件13生成的信号电荷积蓄的电荷积蓄区域41。换言之，关于图8所示的像素单元10的构成要素中的其他要素，既可以按每个子像素120设置，也可以在多个子像素120中共用地设置。
此外，在本实施方式中，子像素A～D构成为能够单独地控制灵敏度。例如，如上述那样构成为，能够向子像素A～D的各像素电极11施加不同的电压。
此外，多个像素单元10A中包含的全部的子像素A被设定为相互相同的灵敏度。同样，多个像素单元10A中包含的全部的子像素B被设定为相互相同的灵敏度。此外，多个像素单元10A中包含的全部的子像素C被设定为相互相同的灵敏度。进而，多个像素单元10A中包含的全部的子像素D被设定为相互相同的灵敏度。
此外，将各个卷积核的要素记为F1(p，q)，F2(p，q)。假设两个卷积核具有相同的要素数。此外，假设卷积核的中心都是p＝C_x，q＝C_y。
此外，以下将子像素A～D中包含的4个光电变换元件13记作光电变换元件13A、光电变换元件13B、光电变换元件13C及光电变换元件13D。此外，将子像素A～D中包含的4个电荷积蓄区域41记作电荷积蓄区域41A、电荷积蓄区域41B、电荷积蓄区域41C及电荷积蓄区域41D。
此外，假设光电变换元件13A负责与在第1卷积核(图18(a))中具有正值的要素对应的摄像，光电变换元件13B负责与在第1卷积核(图18(a))中具有负值的要素对应的摄像，光电变换元件13C负责与在第1卷积核(图18(b))中具有正值的要素对应的摄像，光电变换元件13D负责与在第1卷积核(图18(b))中具有负值的要素对应的摄像。但是，能够进行与此不同的作用的分配是显而易见的。
如前述那样，作为对一个像素单元10A中包含的多个光电变换元件13分别能够设定单独的灵敏度的摄像元件101的例子，可以举出对层叠型摄像元件的像素电极11侧或第3电极的电压进行控制的结构。另外，在能够按每个光电变换元件13设定单独的灵敏度的摄像元件中，使用选择晶体管的元件难以得到灵敏度变更的等时性。在本实施方式中，说明还能够适用于不能得到等时性的情况的方法。
图23是表示有关本实施方式的摄像系统100的摄像方法的流程图。
步骤S151～S153的处理与图13所示的步骤S111～S113的处理是同样的。但是，在灵敏度变更中不能得到等时性的情况下，希望避免通过将灵敏度设定为0来进行的曝光的停止。即，在本实施方式中，希望通过机械快门107将曝光停止。
在步骤S154中，摄像系统100判定是否卷积核系数的值F1(p，q)及F2(p，q)都是零。在值F1(p，q)及值F2(p，q)都是零的情况下(S154中是)，向步骤S159转移。
在值F1(p，q)及值F2(p，q)不是都为零的情况下(S154中否)，与步骤S115同样，摄像系统100设定被摄体的像与摄像元件101的相对位置(S155)。具体而言，位置设定电路105对位置设定部103进行控制，以使相对位置成为(C_x－p，q－C_y)。
接着，灵敏度设定电路104设定子像素A～D的灵敏度(S156)。具体而言，灵敏度设定电路104根据F1(p，q)及F2(p，q)是正、负还是0，进行灵敏度的设定。
更具体地讲，如果F1(p，q)为正，则灵敏度设定电路104将光电变换元件13A的灵敏度设定为|(基准灵敏度)×F1(p，q)|。如果F1(p，q)为负，则灵敏度设定电路104将光电变换元件13A的灵敏度设定为0。如果F1(p，q)为0，则灵敏度设定电路104将光电变换元件13A的灵敏度设定为0。
如果F1(p，q)为正，则灵敏度设定电路104将光电变换元件13B的灵敏度设定为0。如果F1(p，q)为负，则灵敏度设定电路104将光电变换元件13B的灵敏度设定为|(基准灵敏度)×F1(p，q)|。如果F1(p，q)为0，则灵敏度设定电路104将光电变换元件13B的灵敏度设定为0。
如果F2(p，q)为正，则灵敏度设定电路104将光电变换元件13C的灵敏度设定为|(基准灵敏度)×F2(p，q)|。如果F2(p，q)为负，则灵敏度设定电路104将光电变换元件13C的灵敏度设定为0。如果F2(p，q)为0，则灵敏度设定电路104将光电变换元件13C的灵敏度设定为0。
如果F2(p，q)为正，则灵敏度设定电路104将光电变换元件13D的灵敏度设定为0。如果F2(p，q)为负，则灵敏度设定电路104将光电变换元件13D的灵敏度设定为|(基准灵敏度)×F2(p，q)|。如果F2(p，q)为0，则灵敏度设定电路104将光电变换元件13D的灵敏度设定为0。
接着，摄像系统100开始曝光(S157)。另外，步骤S157～S163的处理与图13所示的步骤S117～S123的处理是同样的。
通过以上的处理，生成与在第1卷积核中具有正值的要素对应的第1图像、与在第1卷积核中具有负值的要素对应的第2图像、与在第2卷积核中具有正值的要素对应的第3图像、以及与在第2卷积核中具有负值的要素对应的第4图像。并且，将所生成的第1～第4图像保存到存储区域中。
并且，运算电路108通过从第1图像减去第2图像，生成相当于使用第1卷积核的卷积结果的图像。此外，运算电路108通过从第3图像减去第4图像，生成相当于使用第2卷积核的卷积结果的图像。
如以上这样，只要多个像素单元10A分别具备多个光电变换元件13，并能够单独地变更一个像素单元10A的各光电变换元件13的灵敏度，则能够一齐进行针对多个卷积核的卷积摄像。
图24是示意地表示有关本实施方式的摄像方法的流程的图。此外，图24是进行与图18(a)所示的第1卷积核和图18(b)所示的第2卷积核对应的卷积摄影的情况下的例子。另外，在该例中，第1卷积核的多个要素中的值不为0的要素的位置与第2卷积核的多个要素中的值不为0的要素的位置不重合，但它们的位置也可以重合。
如图24所示，首先，作为对象位置而选择卷积核的左上方(p＝1，q＝1)，将相对位置设定为(1，－1)。由于第1卷积核的左上方的系数是1，第2卷积核的左上方的系数是0，所以与在第1卷积核中具有正值的要素对应的子像素A的灵敏度被设定为1，其以外的子像素B～D的灵敏度被设定为零。并且，在此状态下进行曝光。接着，作为对象位置而选择卷积核的上方(p＝2，q＝1)，将相对位置设定为(0，－1)。由于第1卷积核的上方的系数是0，第2卷积核的上方的系数是－1，所以与在第2卷积核中具有负值的要素对应的子像素D的灵敏度被设定为1，其以外的子像素A～C的灵敏度被设定为零。并且，在此状态下进行曝光。
以后，进行同样的处理。此外，关于中央位置(p＝2，q＝2)，由于第1卷积核及第2卷积核的系数都是零，所以将曝光跳过。
如以上这样，在有关本实施方式的摄像系统100中，多个像素单元10A分别包括第1子像素和第2子像素。第1子像素及第2子像素分别包括光电变换元件13及电荷积蓄区域41。灵敏度设定电路104独立地设定多个像素单元10A中包含的多个第1子像素的灵敏度和多个第2子像素的灵敏度。由此，摄像系统100能够同时生成通过不同的卷积运算得到的多个图像。
此外，在有关本实施方式的摄像方法中，在N次设定步骤中，将多个第1子像素的灵敏度和多个第2子像素的灵敏度设定为不同的值。在运算步骤中，使用通过N次积蓄步骤由多个第1子像素得到的1个以上的图像，取得相当于预先设定的第1卷积处理后的图像的第1图像，使用通过N次积蓄步骤由多个第2子像素得到的1个以上的图像，取得相当于与第1卷积处理不同的第2卷积处理后的图像的第2图像。由此，该摄像方法能够同时生成通过不同的卷积运算得到的多个图像。
以上，对有关本实施方式的摄像装置进行了说明，但本发明并不限定于该实施方式。
例如，在上述说明中，叙述了多重曝光中的各曝光的曝光时间为一定的例子，但也可以除了灵敏度的变更以外，还变更曝光时间。这里，在电荷积蓄区域41中积蓄的信号电荷量与灵敏度和曝光时间成比例。例如，将灵敏度设定为基准灵敏度的二倍且将曝光时间设定为基准曝光时间的二倍的情况下的信号电荷量为将灵敏度设定为基准灵敏度且将曝光时间设为基准曝光时间的情况下的信号电荷量的四倍。即，在使将灵敏度设定为基准灵敏度且将曝光时间设为基准曝光时间的情况下的信号电荷量与卷积核系数的值1对应的情况下，通过将灵敏度设定为基准灵敏度的二倍且将曝光时间设定为基准曝光时间的二倍，能够实现与卷积核系数的值4对应的曝光。
这样，通过除了变更灵敏度以外还变更曝光时间，能够在抑制所使用的灵敏度的种类的增加的同时，能够应对更大范围的卷积核系数。
此外，上述实施方式中，假设各多重曝光中的各曝光的曝光时间为一定而进行了说明，但曝光时间也可以按每个曝光而变更。例如在卷积核的系数的绝对值能取的范围是0～100的范围的整数的情况下，通过将灵敏度的设定范围设为{基准灵敏度，基准灵敏度的2倍，…，基准灵敏度的10倍}，将曝光时间的设定范围设为{基准时间，基准时间的2倍，…，基准时间的10倍}，能够通过灵敏度与曝光时间的组合来实现上述卷积核的系数。即，灵敏度及曝光时间的乘积对应于卷积核系数的值。
例如如在实施方式的1中说明那样，在全部的像素中进行相同的灵敏度变更的情况下，容易应用曝光时间的变更。即使代替灵敏度的变更而将灵敏度设为一定而将曝光时间变更，也能得到同样的效果。但是，与按每个各像素变更曝光时间相比，按各像素变更灵敏度更容易。因此，在同时进行用于多个卷积核的卷积的摄像的情况下，希望有变更灵敏度的方法。
此外，作为能够改变灵敏度的摄像元件101，说明了图9所示的结构，但也可以使用其他的能够改变灵敏度的摄像元件101。例如，作为能够改变灵敏度的摄像元件101的例子，有图像增强器CCD(ICCD)。ICCD是通过入射到摄像元件中的光而产生电子，将产生的电子利用多通道板等放大，并将得到的信号利用CCD进行计测的元件。通过变更向多通道板施加的电压，能够变更灵敏度。例如如果将电压设为0，则也可以使灵敏度实质上成为0。
但是，ICCD在多通道板的驱动中需要高电压。此外，作为机构较为复杂而难以小型化。
作为其他的能够改变灵敏度的摄像元件101的例子，有集成了雪崩光电二极管的摄像元件。通过变更雪崩光电二极管的偏压，能够变更雪崩增倍率，变更灵敏度。但是，雪崩光电二极管也在驱动中需要高电压。
此外，框图中的功能块的划分是一例，也可以将多个功能块作为一个功能块实现，或将一个功能块划分为多个，或将一部分功能转移到其他功能块中。
例如，在图7中，将摄像元件101和运算电路108记载为单独的模块，但运算电路108也可以包含在包括摄像元件101的集成电路(图像传感器)中。此外，运算电路108也可以包含在通过DSP(Digital Signal Processor)等微处理器实现的信号处理电路中。此外，灵敏度设定电路104、位置设定电路105及同步电路106构成控制电路(Control Circuitry)。即，灵敏度设定电路104、位置设定电路105及同步电路106通过该控制电路(ControlCircuitry)被具体实现。该控制电路控制摄像系统100的各要素而执行使用图12～图21、图23及图24说明的处理。该控制电路既可以由一个集成电路构成，此外也可以由多个电路构成。摄像系统100也可以还具备保存着用来执行使用图12～图21、图23及图24说明的处理的程序的存储器。控制电路也可以读出存储器中保存的程序，按照所读出的程序执行处理。
此外，在有关上述实施方式的摄像装置中包含的各处理部典型地作为集成电路即LSI实现。它们既可以单独地形成1芯片，也可以包含一部分或全部形成1芯片。
此外，集成电路化并不限于LSI，也可以由专用电路或通用处理器实现。也可以利用能够在LSI制造后编程的FPGA(Field Programmable Gate Array)或能够重构LSI内部的电路单元的连接及设定的可重构处理器。
以上，基于实施方式对有关一个或多个技术方案的摄像装置进行了说明，但本发明并不限定于该实施方式。只要不脱离本发明的主旨，对本实施方式实施本领域技术人员想到的各种变形后的形态及将不同的实施方式的构成要素组合而构建的形态也可以包含在一个或多个技术方案的范围内。
产业上的可利用性
有关本发明的摄像系统及摄像方法能够取得高速地进行了卷积的图像。因此，有关本发明的摄像系统及摄像方法对于需要大量的卷积处理的深度学习处理是有用的。特别是，在自动驾驶等要求递进性深度学习处理的情况下有用性高。
标号说明
10、10A 像素单元
11 像素电极
12 对置电极
13 光电变换元件
14 信号检测电路
15 光电变换层
20 半导体基板
24 信号检测晶体管
26 地址晶体管
28 复位晶体管
32 电压供给电路
34 复位电压源
36 垂直扫描电路
37 列信号处理电路
38 水平信号读出电路
40 电源线
41 电荷积蓄区域
42 灵敏度控制线
44 复位电压线
46 地址控制线
47 垂直信号线
48 复位控制线
49 水平共用信号线
50 层间绝缘层
52 插塞
53 布线
54、55 接触插塞
56 布线层
100 摄像系统
101 摄像元件
102 成像光学系统
103 位置设定部
104 灵敏度设定电路
105 位置设定电路
106 同步电路
107 机械快门
108 运算电路
109 存储区域
120 子像素
PA 像素阵列

Claims (26)

1.一种摄像系统，其中，具备：
成像光学系统，使被摄体的像成像；
摄像元件，包括多个像素单元；
致动器，改变上述多个像素单元与上述被摄体的上述像的相对位置；以及
控制电路，控制上述摄像元件及上述致动器；
上述多个像素单元分别具有可变的灵敏度；
上述多个像素单元分别具备：
光电变换元件，将上述被摄体的上述像的光变换为信号电荷；以及
电荷积蓄区域，积蓄由上述光电变换元件得到的上述信号电荷；
上述控制电路进行如下处理：
通过将上述相对位置设定为第1位置、并且将上述多个像素单元各自的上述灵敏度设定为第1灵敏度，在上述多个像素单元各自中，使由上述光电变换元件得到的第1信号电荷积蓄在上述电荷积蓄区域中；
通过将上述相对位置设定为与上述第1位置不同的第2位置、并且将上述多个像素单元各自的上述灵敏度设定为与上述第1灵敏度不同的第2灵敏度，在上述多个像素单元各自中，除了上述第1信号电荷以外，还使由上述光电变换元件得到的第2信号电荷积蓄在上述电荷积蓄区域中。
2.如权利要求1所述的摄像系统，其中，
上述控制电路进行如下处理：
使上述相对位置向上述第1位置的设定和上述多个像素单元各自的上述灵敏度向上述第1灵敏度的设定同步进行；
使上述相对位置向上述第2位置的设定和上述多个像素单元各自的上述灵敏度向上述第2灵敏度的上述设定同步进行。
3.如权利要求1或2所述的摄像系统，其中，
上述控制电路通过以上述多个像素单元中的相邻的2个像素单元的中心间距离的整数倍的单位将上述相对位置从上述第1位置变更为上述第2位置，进行向上述第2位置的上述设定。
4.如权利要求1所述的摄像系统，其中，
上述控制电路将上述多个像素单元各自的上述灵敏度的上述设定一并进行。
5.一种摄像系统，其中，具备：
成像光学系统，使被摄体的像成像；
摄像元件，包括多个像素单元；
致动器，改变上述多个像素单元与上述被摄体的上述像的相对位置；以及
控制电路，控制上述摄像元件及上述致动器；
上述多个像素单元分别具有可变的灵敏度；
上述多个像素单元分别具备：
光电变换元件，将上述被摄体的上述像的光变换为信号电荷；以及
电荷积蓄区域，积蓄由上述光电变换元件得到的上述信号电荷；
上述控制电路在一个曝光期间中，通过将上述相对位置从第1位置变更为与上述第1位置不同的第2位置、并且将上述多个像素单元各自的上述灵敏度从第1灵敏度变更为与上述第1灵敏度不同的第2灵敏度，在上述多个像素单元各自中，使由上述光电变换元件得到的第3信号电荷积蓄在上述电荷积蓄区域中。
6.如权利要求5所述的摄像系统，其中，
上述控制电路将上述相对位置从上述第1位置向上述第2位置连续地变更。
7.如权利要求5或6所述的摄像系统，其中，
上述控制电路将上述多个像素单元各自的上述灵敏度从上述第1灵敏度向上述第2灵敏度连续地变更。
8.如权利要求5或6所述的摄像系统，其中，
上述控制电路使上述相对位置的上述变更和上述多个像素单元各自的上述灵敏度的上述变更同步进行。
9.如权利要求1或5所述的摄像系统，其中，
上述多个像素单元在行方向及列方向二维地配置。
10.如权利要求5所述的摄像系统，其中，
上述控制电路将上述多个像素单元各自的上述灵敏度的上述变更一并进行。
11.如权利要求1或5所述的摄像系统，其中，
上述多个像素单元分别包括第1子像素和第2子像素，
上述多个像素单元各自的上述第1子像素包括上述光电变换元件及上述电荷积蓄区域；
上述多个像素单元各自的上述灵敏度是上述第1子像素的灵敏度；
上述多个像素单元各自的上述第2子像素包括其他光电变换元件及其他电荷积蓄区域；
上述控制电路在上述多个像素单元各自中，与上述第1子像素的上述灵敏度独立地设定或变更上述第2子像素的灵敏度。
12.如权利要求1或5所述的摄像系统，其中，
上述光电变换元件包括：
像素电极，连接于上述电荷积蓄区域；
透光性的对置电极；以及
光电变换层，配置在上述像素电极与上述对置电极之间。
13.如权利要求12所述的摄像系统，其中，
上述摄像元件还具备电压施加电路，该电压施加电路向上述多个像素单元各自的上述光电变换元件中包含的上述像素电极与上述对置电极之间施加电压；
上述控制电路通过变更上述电压施加电路施加的上述电压，来变更上述多个像素单元各自的上述灵敏度。
14.一种摄像方法，其是具备使被摄体的像成像的成像光学系统、包括多个像素单元的摄像元件、改变上述多个像素单元与上述被摄体的上述像的相对位置的致动器、以及控制上述摄像元件及上述致动器的控制电路的摄像系统的摄像方法，其中，
上述多个像素单元分别具有可变的灵敏度；
上述多个像素单元分别具备：
光电变换元件，将上述被摄体的上述像的光变换为信号电荷；以及
电荷积蓄区域，积蓄由上述光电变换元件得到的信号电荷；
在上述摄像方法中，
将上述相对位置设定为第1位置；
将上述多个像素单元各自的上述灵敏度设定为第1灵敏度；
在上述相对位置被设定为上述第1位置、并且上述多个像素单元各自的上述灵敏度被设定为上述第1灵敏度的状态下，在上述多个像素单元各自中，使由上述光电变换元件得到的第1信号电荷积蓄在上述电荷积蓄区域中；
将上述相对位置设定为与上述第1位置不同的第2位置；
将上述多个像素单元各自的上述灵敏度设定为与上述第1灵敏度不同的第2灵敏度；
在上述相对位置被设定为上述第2位置、并且上述多个像素单元各自的上述灵敏度被设定为上述第2灵敏度的状态下，在上述多个像素单元各自中，除了上述第1信号电荷以外，还使由上述光电变换元件得到的第2信号电荷积蓄在上述电荷积蓄区域中。
15.如权利要求14所述的摄像方法，其中，
通过以上述多个像素单元中的相邻的2个像素单元的中心间距离的整数倍的单位将上述相对位置从上述第1位置变更为上述第2位置，进行向上述第2位置的上述设定。
16.如权利要求14或15所述的摄像方法，其中，
上述摄像系统还具备对上述摄像元件进行遮光的机械快门；
上述摄像方法中，通过在由上述机械快门对上述摄像元件进行了遮光的状态下将上述相对位置从上述第1位置变更为上述第2位置，进行向上述第2位置的上述设定。
17.如权利要求14或15所述的摄像方法，其中，
通过在将上述多个像素单元各自的上述灵敏度设定为零的状态下将上述相对位置从上述第1位置变更为上述第2位置，进行向上述第2位置的上述设定。
18.如权利要求14或15所述的摄像方法，其中，
上述摄像方法包括：
上述相对位置的N次设定，包括向上述第1位置的上述设定及向上述第2位置的上述设定，其中N是2以上的整数；
上述灵敏度的N次设定，包括向上述第1灵敏度的上述设定及向上述第2灵敏度的上述设定；以及
N次积蓄，包括上述第1信号电荷的上述积蓄及上述第2信号电荷的上述积蓄；
在上述相对位置的第i次设定中，将上述相对位置设定为第i位置，其中i是1至N的整数；
在上述灵敏度的第i次设定中，将上述多个像素单元各自的上述灵敏度设定为第i灵敏度；
在第i次积蓄中，在上述相对位置被设定为上述第i位置、并且上述多个像素单元各自的上述灵敏度被设定为上述第i灵敏度的状态下，在上述多个像素单元各自中，将由上述光电变换元件得到的第i信号电荷积蓄在上述电荷积蓄区域中；
在上述摄像方法中，还使用通过上述N次的上述积蓄得到的1个以上的图像，取得相当于预先设定的第1卷积处理后的图像的图像；
上述第i位置对应于上述第1卷积处理的多个系数中的N个系数中包含的第i系数的位置；
上述第i灵敏度对应于上述第i系数的值。
19.如权利要求18所述的摄像方法，其中，
上述1个以上的图像包括第1图像及第2图像；
上述N是3以上的整数；
上述N个系数由具有正值的M个系数及具有负值的(N－M)个系数构成，其中M是1以上且小于N的整数；
上述第1图像对应于通过上述N次积蓄中的与上述M个系数对应的M次积蓄而积蓄在上述多个像素单元各自的上述电荷积蓄区域中的信号电荷的合计值；
上述第2图像对应于通过上述N次积蓄中的与上述(N－M)个负系数对应的(N－M)次积蓄而积蓄在上述多个像素单元各自的上述电荷积蓄区域中的信号电荷的合计值；
通过从上述第1图像减去上述第2图像，得到相当于上述第1卷积处理后的上述图像的上述图像。
20.如权利要求14或15所述的摄像方法，其中，
上述摄像方法包括：
上述相对位置的N次设定，包括向上述第1位置的上述设定及向上述第2位置的上述设定，其中N是4以上的整数；
上述灵敏度的N次设定，包括向上述第1灵敏度的上述设定及向上述第2灵敏度的上述设定；以及
N次积蓄，包括上述第1信号电荷的上述积蓄及上述第2信号电荷的上述积蓄；
在上述相对位置的第i次设定中，将上述相对位置设定为第i位置，其中i是1至N的整数；
在上述灵敏度的第i次设定中，将上述多个像素单元各自的上述灵敏度设定为第i灵敏度；
在第i次积蓄中，在上述相对位置被设定为上述第i位置、并且上述多个像素单元各自的上述灵敏度被设定为上述第i灵敏度的状态下，在上述多个像素单元各自中，将由上述光电变换元件得到的第i信号电荷积蓄在上述电荷积蓄区域中；
在上述灵敏度的上述N次设定中的M次设定各自中，进行向与如下值对应的灵敏度的设定，该值为对预先设定的第1卷积处理的多个系数中的某一个加上偏移值而得到的值，其中M是2以上且小于N的整数；
在上述灵敏度的上述N次设定中的(N－M)次设定各自中，进行向与上述偏移值对应的灵敏度的设定；
通过与上述灵敏度的上述M次设定对应的M次积蓄，取得相当于如下卷积处理后的图像的第1图像，该卷积处理中使用通过对上述第1卷积处理的全部的系数加上偏移值而得到的多个系数；
通过与上述灵敏度的上述(N－M)次设定对应的(N－M)次积蓄，取得相当于使用上述偏移值作为全部的系数的卷积处理后的图像的第2图像；
通过从上述第1图像减去上述第2图像，得到相当于上述第1卷积处理后的图像的图像。
21.如权利要求18所述的摄像方法，其中，
在上述灵敏度的上述N次设定中使用的N个系数的值不是0。
22.如权利要求18所述的摄像方法，其中，
上述多个像素单元分别包括第1子像素和第2子像素；
上述多个像素单元各自的上述第1子像素包括上述光电变换元件及上述电荷积蓄区域；
上述多个像素单元各自的上述灵敏度是上述第1子像素的灵敏度；
上述多个像素单元各自的上述第2子像素包括其他光电变换元件及其他电荷积蓄区域，
在上述灵敏度的上述N次设定各自中，还设定上述多个像素单元各自的上述第2子像素的灵敏度；
在上述灵敏度的上述N次设定中的至少一个中，上述第1子像素的上述灵敏度的设定值与上述第2子像素的上述灵敏度的设定值不同；
在上述N次积蓄各自中，还在上述多个像素单元各自中，使由上述第2子像素的上述其他光电变换元件得到的信号电荷积蓄在上述其他电荷积蓄区域中；
在上述摄像方法中，使用通过上述N次积蓄而由多个上述第1子像素得到的上述1个以上的图像，取得相当于上述第1卷积处理后的上述图像的上述图像，使用通过上述N次积蓄步骤而由多个上述第2子像素得到的其他的1个以上的图像，取得相当于与上述第1卷积处理不同的第2卷积处理后的图像的图像。
23.如权利要求14或15所述的摄像方法，其中，
上述摄像方法包括：
上述相对位置的N次设定，包括向上述第1位置的上述设定及向上述第2位置的上述设定，其中N是2以上的整数；
上述灵敏度的N次设定，包括向上述第1灵敏度的上述设定及向上述第2灵敏度的上述设定；以及
N次积蓄，包括上述第1信号电荷的上述积蓄及上述第2信号电荷的上述积蓄；
在上述相对位置的第i次设定中，将上述相对位置设定为第i位置，其中i是1至N的整数；
在上述灵敏度的第i次设定中，将上述多个像素单元各自的上述灵敏度设定为第i灵敏度，将曝光时间设定为第i曝光时间；
在第i次积蓄中，在上述相对位置被设定为上述第i位置、并且上述多个像素单元各自的上述灵敏度被设定为上述第i灵敏度的状态下，在上述多个像素单元各自中，将在上述第i曝光时间中由上述光电变换元件得到的第i信号电荷积蓄在上述电荷积蓄区域中；
上述摄像方法还使用通过上述N次的上述积蓄得到的1个以上的图像，取得相当于预先设定的第1卷积处理后的图像的图像。
24.一种摄像方法，其是具备使被摄体的像成像的成像光学系统、包括多个像素单元的摄像元件、改变上述多个像素单元与上述被摄体的上述像的相对位置的致动器、以及控制上述摄像元件及上述致动器的控制电路的摄像系统的摄像方法，其中，
上述多个像素单元分别具有可变的灵敏度；
上述多个像素单元分别具备：
光电变换元件，将上述被摄体的上述像的光变换为信号电荷；以及
电荷积蓄区域，积蓄由上述光电变换元件得到的上述信号电荷；
上述摄像方法在一个曝光期间中，
将上述相对位置从第1位置变更为与上述第1位置不同的第2位置；
将上述多个像素单元各自的上述灵敏度从第1灵敏度变更为与上述第1灵敏度不同的第2灵敏度；
在上述多个像素单元各自中，使由上述光电变换元件得到的第3信号电荷积蓄在上述电荷积蓄区域中。
25.如权利要求24所述的摄像方法，其中，
将上述相对位置从上述第1位置向上述第2位置连续地变更。
26.如权利要求24或25所述的摄像方法，其中，
将上述多个像素单元各自的上述灵敏度从上述第1灵敏度向上述第2灵敏度连续地变更。
CN201780060941.6A 2017-02-28 2017-10-03 摄像系统及摄像方法 Active CN109792495B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017037274 2017-02-28
JP2017-037274 2017-02-28
PCT/JP2017/035898 WO2018159002A1 (ja) 2017-02-28 2017-10-03 撮像システム及び撮像方法

Publications (2)

Publication Number Publication Date
CN109792495A CN109792495A (zh) 2019-05-21
CN109792495B true CN109792495B (zh) 2022-04-01

Family

ID=63369859

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780060941.6A Active CN109792495B (zh) 2017-02-28 2017-10-03 摄像系统及摄像方法

Country Status (4)

Country Link
US (2) US10903264B2 (zh)
JP (1) JP6975908B2 (zh)
CN (1) CN109792495B (zh)
WO (1) WO2018159002A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019021439A1 (ja) * 2017-07-27 2019-01-31 マクセル株式会社 撮像素子、撮像装置、および距離画像の取得方法
US20190214427A1 (en) * 2018-01-10 2019-07-11 Panasonic Intellectual Property Management Co., Ltd. Image sensor including pixel electrodes, control electrode, photoelectric conversion film, transparent electrode, and connector
JP6943340B2 (ja) * 2018-05-29 2021-09-29 日本電気株式会社 物体検出装置、物体検出システム、物体検出方法、およびプログラム
JP2021034749A (ja) 2019-08-13 2021-03-01 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、および情報処理プログラム
JP7303703B2 (ja) 2019-08-22 2023-07-05 日本放送協会 光電変換膜積層型固体撮像素子とその駆動方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1898967A (zh) * 2003-12-22 2007-01-17 三菱电机株式会社 像素信号处理装置以及像素信号处理方法
JP2007104114A (ja) * 2005-09-30 2007-04-19 Fujifilm Corp 感度可変型撮像素子及びこれを搭載した撮像装置
JP2008283705A (ja) * 2008-06-23 2008-11-20 Nec Corp 画像読取り装置、及び該装置に用いられる画像読取り方法
CN101378461A (zh) * 2007-08-28 2009-03-04 三洋电机株式会社 摄像装置
WO2010013417A1 (ja) * 2008-07-29 2010-02-04 パナソニック株式会社 固体撮像装置および差分回路
CN101690157A (zh) * 2007-03-21 2010-03-31 伊斯曼柯达公司 使用可变灵敏度像素的扩展的动态范围
JP2010073035A (ja) * 2008-09-19 2010-04-02 Sharp Corp 画像生成装置、画像生成方法、画像生成プログラム、および該プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2011199643A (ja) * 2010-03-19 2011-10-06 Toshiba Corp 固体撮像装置
CN103209309A (zh) * 2012-01-12 2013-07-17 索尼公司 图像传感器、成像装置、电子设备和成像方法
JP2015220716A (ja) * 2014-05-21 2015-12-07 キヤノン株式会社 撮像素子、その制御方法、および制御プログラム、並びに信号処理装置
WO2017010047A1 (ja) * 2015-07-10 2017-01-19 パナソニックＩｐマネジメント株式会社 撮像装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58182265A (ja) 1982-04-19 1983-10-25 Toshiba Corp 固体撮像素子の撮像方法
US7084905B1 (en) 2000-02-23 2006-08-01 The Trustees Of Columbia University In The City Of New York Method and apparatus for obtaining high dynamic range images
JP4511441B2 (ja) * 2005-09-30 2010-07-28 富士フイルム株式会社 感度可変型撮像素子及びこれを搭載した撮像装置
US8154628B2 (en) 2006-09-14 2012-04-10 Mitsubishi Electric Corporation Image processing apparatus and imaging apparatus and method
JP4024284B1 (ja) 2007-01-12 2007-12-19 三菱電機株式会社 撮像装置及び撮像方法
JP2008277991A (ja) 2007-04-26 2008-11-13 Olympus Corp 撮像装置
JP4661912B2 (ja) 2008-07-18 2011-03-30 ソニー株式会社 固体撮像素子およびカメラシステム
JP2010087850A (ja) 2008-09-30 2010-04-15 Fujitsu Frontech Ltd 情報読取用撮像装置
JP2011008322A (ja) * 2009-06-23 2011-01-13 Univ Of Tokyo 撮像装置及び画像処理方法
JP2011101139A (ja) * 2009-11-05 2011-05-19 Panasonic Corp 撮像装置及びネットワークカメラシステム
JP6555512B2 (ja) 2014-10-23 2019-08-07 パナソニックＩｐマネジメント株式会社 撮像装置および画像取得装置
JP2016192755A (ja) 2015-03-31 2016-11-10 キヤノン株式会社 画像信号処理装置、画像信号処理方法、及びプログラム
JP6492960B2 (ja) 2015-05-19 2019-04-03 リコーイメージング株式会社 撮影装置及び撮影方法、画像処理装置及び画像処理方法、並びにプログラム

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1898967A (zh) * 2003-12-22 2007-01-17 三菱电机株式会社 像素信号处理装置以及像素信号处理方法
JP2007104114A (ja) * 2005-09-30 2007-04-19 Fujifilm Corp 感度可変型撮像素子及びこれを搭載した撮像装置
CN101690157A (zh) * 2007-03-21 2010-03-31 伊斯曼柯达公司 使用可变灵敏度像素的扩展的动态范围
CN101378461A (zh) * 2007-08-28 2009-03-04 三洋电机株式会社 摄像装置
JP2008283705A (ja) * 2008-06-23 2008-11-20 Nec Corp 画像読取り装置、及び該装置に用いられる画像読取り方法
WO2010013417A1 (ja) * 2008-07-29 2010-02-04 パナソニック株式会社 固体撮像装置および差分回路
JP2010073035A (ja) * 2008-09-19 2010-04-02 Sharp Corp 画像生成装置、画像生成方法、画像生成プログラム、および該プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2011199643A (ja) * 2010-03-19 2011-10-06 Toshiba Corp 固体撮像装置
CN103209309A (zh) * 2012-01-12 2013-07-17 索尼公司 图像传感器、成像装置、电子设备和成像方法
JP2015220716A (ja) * 2014-05-21 2015-12-07 キヤノン株式会社 撮像素子、その制御方法、および制御プログラム、並びに信号処理装置
WO2017010047A1 (ja) * 2015-07-10 2017-01-19 パナソニックＩｐマネジメント株式会社 撮像装置

Also Published As

Publication number Publication date
US11177313B2 (en) 2021-11-16
WO2018159002A1 (ja) 2018-09-07
US10903264B2 (en) 2021-01-26
JPWO2018159002A1 (ja) 2019-12-26
JP6975908B2 (ja) 2021-12-01
US20190312080A1 (en) 2019-10-10
US20210118941A1 (en) 2021-04-22
CN109792495A (zh) 2019-05-21

Similar Documents

Publication Publication Date Title
CN109792495B (zh) 摄像系统及摄像方法
JP6702388B2 (ja) 固体撮像装置および電子機器
TWI455580B (zh) 影像感測器之多重構成要素讀出
JP5562953B2 (ja) 複数のセンシング層を有するイメージセンサ
JP6369233B2 (ja) 固体撮像素子及びその信号処理方法、並びに電子機器
CN106954008B (zh) 摄像装置及摄像模块
JP7174925B2 (ja) 撮像装置およびカメラシステム
TWI455583B (zh) 影像感測器之同心曝光序列
US20100097514A1 (en) Image sensor having multiple sensing layers
JP2011216701A (ja) 固体撮像装置及び電子機器
US20110074996A1 (en) Ccd image sensors with variable output gains in an output circuit
TW201733343A (zh) 全域快門校正
JP6779038B2 (ja) 撮像素子及びその制御方法、撮像装置及びその制御方法
US11089217B2 (en) Image-pickup apparatus and control method thereof
US11546490B2 (en) Image generation method, imaging apparatus, and recording medium
TWI633790B (zh) Solid-state imaging device and driving method thereof and electronic device
WO2018124056A1 (ja) 撮像装置及びその制御方法
JP2015050604A (ja) 固体撮像装置の信号処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant