CN105230000B - 摄像元件以及摄像装置 - Google Patents

摄像元件以及摄像装置 Download PDF

Info

Publication number
CN105230000B
CN105230000B CN201480028423.2A CN201480028423A CN105230000B CN 105230000 B CN105230000 B CN 105230000B CN 201480028423 A CN201480028423 A CN 201480028423A CN 105230000 B CN105230000 B CN 105230000B
Authority
CN
China
Prior art keywords
pixel
parallax
image
parallax pixel
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480028423.2A
Other languages
English (en)
Other versions
CN105230000A (zh
Inventor
石贺健
石贺健一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of CN105230000A publication Critical patent/CN105230000A/zh
Application granted granted Critical
Publication of CN105230000B publication Critical patent/CN105230000B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/225—Image signal generators using stereoscopic image cameras using a single 2D image sensor using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Abstract

摄像元件通过一个光学系统，对全部光束中通过相互不同区域的部分光束的被摄体像进行拍摄，其由无视差像素、第一视差像素及第二视差像素的至少3种像素分别配置有多个的像素排列构成，其中，无视差像素具有产生基准方向的视点的开口掩膜，第一视差像素具有产生与基准方向不同的第一方向的视点的开口掩膜，第二视差像素具有产生与基准方向不同的第二方向的视点的开口掩膜，第一视差像素的开口掩膜和第二视差像素的开口掩膜分别在视点变化的方向上具有比半开口大的开口面积的宽度。

Description

摄像元件以及摄像装置
技术领域
本发明涉及摄像元件、摄像装置以及图像处理装置。
背景技术
已知使用单一的摄影光学系统通过一次摄影而生成相互具有视差的左右视差图像的摄像装置。
现有技术文献
专利文献
专利文献1：JP特开2003-7994号公报
发明内容
在由这种摄像装置生成的左视差图像和右视差图像中，模糊的形状不对称。模糊的形状的不对称产生二线性模糊，其结果为变成不自然的模糊。
本发明的第一方面的摄像元件，其为通过一个光学系统，对全部光束中通过相互不同区域的部分光束的被摄体像进行拍摄的摄像元件，其由无视差像素、第一视差像素及第二视差像素的至少3种像素分别配置有多个的像素排列构成，其中，无视差像素具有产生基准方向的视点的开口掩膜，第一视差像素具有产生与基准方向不同的第一方向的视点的开口掩膜，第二视差像素具有产生与基准方向不同的第二方向的视点的开口掩膜，第一视差像素的开口掩膜和第二视差像素的开口掩膜分别在视点变化的方向上具有比半开口大的开口面积的宽度。
本发明的第二方面的图像处理装置，针对上述的摄像元件的输出还基于无视差像素的像素信息，对各像素生成基准视点图像，基于第一视差像素的像素信息，对各像素生成临时的第一视点图像，基于第二视差像素的像素信息，对各像素生成临时的第二视点图像，对于基准视点图像，使用临时的第一视点图像和临时的第二视点图像使视点位置变化，来生成新的第一视点图像和新的第二视点图像。
本发明的第三方面的摄像元件具有偏移像素，该偏移像素的接收被摄体光束的第一受光区域包含像素区域的中心，并且设定在相对于像素区域的中心偏移的位置。
本发明的第四方面的图像处理装置具有：获取部，其获取上述摄像元件的输出；和图像生成部，其使用第一偏移像素的输出和第二偏移像素的输出，根据不偏移像素的输出，生成向第一方向赋予视差的第一视差图像数据和向第二方向赋予视差的第二视差图像数据。
本发明的第五方面的摄像装置具有上述摄像元件和上述图像处理装置。
此外，上述的发明的概要并没有列举出本发明全部的所需特征。另外，这些特征组的组合也可以另外构成发明。
附图说明
图1是说明本发明的实施方式的数码相机的结构的图。
图2是说明摄像元件的截面的结构的图。
图3是说明无视差像素的散焦的概念的图。
图4是说明视差像素的散焦的概念的图。
图5是示出无视差像素与视差像素的光强度分布的图。
图6是说明在视差像素的种类为两个的情况下的开口部104的开口形状的图。
图7是用于说明模糊的不对称性的图。
图8是示出视差图像以及无视差图像与景深的关系的图。
图9是用于说明半开口的视差像素的模糊的不对称性的图。
图10是针对开口掩膜的开口部和点扩散进行说明的图。
图11是说明左视差图像Lt2/3与右视差图像Rt2/3之差的概念的图。
图12是说明作为其他的衍生例的无视差图像N1和无视差图像C2/3的点扩散的图。
图13是说明视差像素的阴影的图。
图14是用于说明比半开口大的视差像素的模糊的形状的图。
图15是示出作为像素排列的一个例子的实际空间的排列和k空间的图。
图16是示出作为像素排列的一个例子的实际空间的排列和k空间的图。
具体实施方式
以下，通过发明的实施方式来说明本发明，但是以下的实施方式并不限定权利要求的范围内的发明。另外，发明的解决手段不一定需要在实施方式中说明的特征组合的全部。
作为摄像装置的一种形式的本实施方式的数码相机构成为，能够通过一次摄影针对一个场景生成多个视点的图像。将彼此视点不同的各个图像称为视差图像。在本实施方式中，尤其针对生成基于与右眼和左眼相对应的两个视点的右视差图像和左视差图像的情况进行说明。在后面说明详细内容，本实施方式的数码相机能够将基于作为基准方向的视点的中央视点的没有视差的无视差图像与视差图像一起生成。
图1是说明本发明的实施方式的数码相机10的结构的图。数码相机10具有作为摄像光学系统的摄影透镜20，将沿着光轴21入射的被摄体光束引导至摄像元件100。摄影透镜20可以是相对于数码相机10可拆装的可更换透镜。数码相机10除了摄影透镜20以及摄像元件100以外，还具有：控制部201、A/D转换电路202、存储器203、驱动部204、图像处理部205、存储卡IF(接口)207、操作部208、显示部209以及LCD驱动电路210。
此外，如图示那样，将与朝向摄像元件100的光轴21平行的方向设定为+Z轴方向，将在与Z轴正交的平面中朝向纸面里面的方向设定为+X轴方向，将朝向纸面上方的方向设定为+Y轴方向。与摄像中的构图的关系是：X轴是水平方向，Y轴是垂直方向。在以下的若干幅图中，将图1的坐标轴作为基准，以可知各幅图的朝向的方式来显示坐标轴。
摄影透镜20由多个光学透镜组构成，使来自场景的被摄体光束在该摄影透镜20的焦平面附近成像。此外，在图1中为了便于说明摄影透镜20，用配置于光瞳附近的假想的一个透镜代表来表示。
摄像元件100配置在摄影透镜20的焦平面附近。摄像元件100是以二维方式排列多个像素的CCD、CMOS传感器等图像传感器。摄像元件100由驱动部204定时控制，将成像于受光面上的被摄体像转换为图像信号并向A/D转换电路202输出。输出至A/D转换电路202的图像信号包含左视点以及右视点的图像信号。
A/D转换电路202将由摄像元件100输出的图像信号转换为数字图像信号并向存储器203输出。图像处理部205以存储器203作为工作空间来实施各种各样的图像处理，生成图像数据。除此以外，图像处理部205还担当按照所选择的图像格式来调整图像数据等图像处理的通常功能。生成的图像数据通过LCD驱动电路210转换为显示信号，显示在显示部209上。另外，记录在安装于存储卡IF207上的存储卡220中。
一系列摄像过程是通过操作部208接收用户的操作并向控制部201输出操作信号而开始的。伴随摄像过程的AF(自动对焦)、AE(自动曝光)等各种动作是由控制部201控制来进行的。
以下，针对摄像元件100的结构的一个例子进行说明。图2是示出摄像元件100的截面的概略图。
摄像元件100从被摄体侧依次排列有微透镜101、彩色滤光片102、开口掩膜103、布线层105以及光电转换元件108。光电转换元件108由将入射的光转换为电信号的光电二极管构成。光电转换元件108在基板109的表面以二维方式排列有多个。
由光电转换元件108转换的图像信号、控制光电转换元件108的控制信号等是经由设于布线层105的布线106进行发送接收的。另外，具有与各光电转换元件108一一对应设置且以二维方式重复排列的开口部104的开口掩膜103与布线层105相接触地设置。如后所述，开口部104相对于各个对应的光电转换元件108偏移，严格地设定了相对的位置。因具有该开口部104的开口掩膜103的作用，使得在光电转换元件108接收的被摄体光束中产生视差，在后面详细说明。
另一方面，在不产生视差的光电转换元件108上不存在开口掩膜103。换言之，也可以说是设有如下的开口掩膜103，该开口掩膜103所具有的开口部104不限制入射至相应的光电转换元件108的被摄体光束，即使入射光束整体通过。虽然没有产生视差，但由于实质上由布线106形成的开口107规定了入射的被摄体光束，所以也能够将布线106视为使不产生视差的入射光束整体通过的开口掩膜。开口掩膜103可以分别对应于各光电转换元件108独立排列，也可以与彩色滤光片102的制造工艺同样地相对于多个光电转换元件108统一形成。
彩色滤光片102设于开口掩膜103上方。彩色滤光片102是与被着色为使特定波段相对于各光电转换元件108透过的、与光电转换元件108的每一个一一对应设置的滤光片。为了输出彩色图像，只要排列至少两种彼此不同的彩色滤光片即可，但为了获取更高画质的彩色图像，最好排列3种以上的彩色滤光片。例如，可以呈网格状地排列使红色波段透过的红滤光片(R滤光片)、使绿色波段透过的绿滤光片(G滤光片)以及使蓝色波段透过的蓝滤光片(B滤光片)。彩色滤光片不仅可以是原色RGB的组合，也可以是YCM的互补色滤光片的组合。
微透镜101设于彩色滤光片102上方。微透镜101是用于将入射的被摄体光束更多地引导至光电转换元件108的聚光透镜。微透镜101分别与各个光电转换元件108一一对应地设置。优选地，微透镜101考虑摄影透镜20的光瞳中心与光电转换元件108的相对的位置关系来偏移其光轴，以将更多的被摄体光束引导至光电转换元件108。进一步地，也可以与开口掩膜103的开口部104的位置一起调整配置位置，以使得后述的特定的被摄体光束更多地入射。
如此，将与各个光电转换元件108一一对应地设置的开口掩膜103、彩色滤光片102以及微透镜101的一个单位称为像素。特别地，将设有产生视差的开口掩膜103的像素称为视差像素，将未设有产生视差的开口掩膜103的像素称为无视差像素。有时也将左视点的视差像素记为视差Lt像素，将右视点的视差像素记为视差Rt像素，将无视差像素记为N像素。另外，有时也将左视点的视差图像记为视差Lt图像，将右视点的视差图像记为视差Rt图像，将无视差图像记为N图像。例如，在摄像元件100的有效像素区域为24mm×16mm左右的情况下，像素数达到1200万左右。
此外，在集光效率、光电转换效率较高的图像传感器的情况下，也可以不设置微透镜101。另外，在为背面照射型图像传感器的情况下，布线层105设于光电转换元件108的相反侧。另外，若使开口掩膜103的开口部104带有颜色成分，则也能够一体地形成彩色滤光片102和开口掩膜103。此外，在只要输出黑白图像信号即可的情况下，不设置彩色滤光片102。
另外，在本实施方式中，开口掩膜103和布线106分开设置，但是视差像素的开口掩膜103的功能也可以由布线106来担当。即，由布线106形成规定的开口形状，利用该开口形状限制入射光束，仅将特定的部分光束引导至光电转换元件108。在这种情况下，优选使形成开口形状的布线106位于布线层105中最靠近光电转换元件108侧。
另外，开口掩膜103可以由与光电转换元件108重叠设置的防透光膜形成。在这种情况下，开口掩膜103是例如依次层叠SiN膜和SiO2膜来作为防透光膜，再通过蚀刻去除与开口部104相当的区域而形成。而且，也可以以与开口掩膜103的开口部104相当的方式来形成光电转换元件108本身的区域。
接下来，针对单眼立体摄像中的模糊与视差的关系进行说明。出于简化说明的目的，对后述的半开口的掩膜设置在视差像素上的结构进行说明。
<视差像素和模糊特性>
说明在视差Lt像素以及视差Rt像素受光的情况下的散焦的概念。首先，针对无视差像素的散焦的概念简单地进行说明。图3是说明无视差像素的散焦的概念的图。如图3的(a)所示，在作为被摄体的物点位于焦点位置的情况下，通过透镜光瞳到达摄像元件受光表面的被摄体光束示出以对应的像点的像素作为中心的急剧的光强度分布。即，若接收通过透镜光瞳的有效光束整体的无视差像素排列在像点附近，则与像点相对应的像素的输出值最大，排列于周围的像素的输出值急剧地下降。
另一方面，如图3的(b)所示，当物点朝向远离摄像元件受光表面的方向偏离焦点位置时，与物点位于焦点位置的情况相比，被摄体光束在摄像元件受光表面上示出缓和的光强度分布。即，示出对应的像点的像素的输出值下降而且很多周围像素也具有输出值的分布。
如图3的(c)所示，当物点更加偏离焦点位置时，被摄体光束在摄像元件受光表面上示出更加缓和的光强度分布。即，示出对应的像点的像素的输出值进一步下降而且更多周围像素具有输出值的分布。
如图3的(d)所示，即使在物点朝向接近摄像元件受光表面的方向偏离焦点位置的情况下，也示出与物点朝向远离摄像元件受光表面的方向偏移的情况相同的光强度分布。
图4是说明视差像素的散焦的概念的图。视差Lt像素以及视差Rt像素接收从作为透镜光瞳的部分区域而分别被设定为光轴对象的两个视差假想光瞳中的某一方到达的被摄体光束。在本说明书中，将通过接收从单一的透镜光瞳中的彼此不同的假想光瞳到达的被摄体光束来拍摄视差图像的方式称为单眼光瞳分割摄像方式。
如在图4的(a)所示，在作为被摄体的物点位于焦点位置的情况下，无论是通过哪一个视差假想光瞳的被摄体光束，都示出以对应的像点的像素作为中心的急剧的光强度分布。若视差Lt像素排列于像点附近，则与像点相对应的像素的输出值最大，排列于周围的像素的输出值急剧地下降。另外，视差Rt像素排列于像点附近，与像点相对应的像素的输出值也最大，排列于周围的像素的输出值也急剧地下降。即，无论被摄体光束通过哪一个视差假想光瞳，都示出与像点相对应的像素的输出值最大且排列于周围的像素的输出值都急剧地下降的分布，两个分布彼此一致。
另一方面，如图4的(b)所示，当物点朝向远离摄像元件受光表面的方向偏离焦点位置时，与物点位于焦点位置的情况相比，视差Lt像素示出的光强度分布的峰值出现在从与像点相对应的像素朝一个方向远离的位置，且其输出值下降。另外，具有输出值的像素的宽度也扩散。即，由于像点沿着摄像元件受光表面的水平方向扩散，所以模糊量增大。视差Rt像素示出的光强度分布的峰值出现在从与像点相对应的像素朝与视差Lt像素的一个方向相反方向且等距离地远离的位置，同样地其输出值下降。另外，具有输出值的像素的宽度也同样地扩散。即，与物点位于焦点位置的情况相比变得缓和的相同的光强度分布彼此间隔等距离地出现。视差Lt像素以及视差Rt像素示出的光强度分布的峰值之间的偏离量相当于视差量。
另外，如图4的(c)所示，当物点更加偏离焦点位置时，与图4的(b)的状态相比，变得更加缓和的相同的光强度分布以更大的间隔出现。由于像点的扩散变得更大，所以模糊量增大。另外，由于视差Lt像素以及视差Rt像素示出的光强度分布的峰值之间的偏离量也变大，所以视差量也增大。即，可以说物点偏离焦点位置越大，模糊量和视差量就越增大。
如图4的(d)所示，在物点朝向接近摄像元件受光表面的方向偏离焦点位置的情况下，与图4的(c)的状态相反，视差Rt像素示出的光强度分布的峰值出现在从与像点相对应的像素朝上述一个方向远离的位置。视差Lt像素示出的光强度分布的峰值出现在朝向与视差Rt像素的一个方向相反方向远离的位置。即，根据物点的偏移的方向，决定视差Lt像素以及视差Rt像素示出的光强度分布的峰值出现在从与像点相对应的像素朝哪个方向远离的位置。
若分别将在图3中说明的光强度分布的变化和在图4中说明的光强度分布的变化图表化，则如图5所示。图5是示出无视差像素与视差像素的光强度分布的图。图中横轴表示像素位置，中心位置是与像点相对应的像素位置。纵轴表示各像素的输出值，该输出值实质上与光强度成比例，因此在图中表示为光强度。
此外，如上所述，由于在物点朝向接近摄像元件受光表面的方向偏离焦点位置的情况下，也示出与物点朝向远离摄像元件受光表面的方向偏移的情况相同的光强度分布，所以在图中省略在朝向接近摄像元件受光表面的方向偏移的情况下的光强度分布的变化。关于物点朝接近摄像元件受光表面的方向偏离焦点位置的情况的视差Lt像素以及视差Rt像素示出的光强度分布的峰值，也与物点朝向远离摄像元件受光表面的方向偏移的情况的视差Lt像素以及视差Rt像素示出的光强度分布的峰值相同，因此省略。
图5的(a)是示出图3中说明的光强度分布的变化的图表。分布曲线1801呈现与图3的(a)相对应的光强度分布，示出最急剧的形态。分布曲线1802呈现与图3的(b)相对应的光强度分布，另外，分布曲线1803呈现与图3的(c)相对应的光强度分布。可知与分布曲线1801相比，峰值逐渐下降并具有扩散的形态。
图5的(b)是示出图4中说明的光强度分布的变化的图表。分布曲线1804和分布曲线1805分别呈现图4的(b)的视差Lt像素的光强度分布和视差Rt像素的光强度分布。从图中可知，这些分布形成关于中心位置线对称的形状。另外，将它们叠加得到的合成分布曲线1806示出与在相对于图4的(b)处于同等的散焦状态下的图3的(b)的分布曲线1802相似的形状。
分布曲线1807和分布曲线1808分别呈现图4的(c)的视差Lt像素的光强度分布和视差Rt像素的光强度分布。从图中可知，这些分布也形成关于中心位置线对称的形状。另外，将它们叠加得到的合成分布曲线1809示出与在相对于图4的(c)处于同等的散焦状态下的图3的(c)的分布曲线1803相似的形状。此外，由于图4的(d)的视差Lt像素的光强度分布和视差Rt像素的光强度分布成为调换图4的(c)的视差Lt像素的光强度分布和视差Rt像素的光强度分布的位置的关系，所以分别相当于分布曲线1808和分布曲线1807。
图6是说明在视差像素的种类是两个的情况下的开口部104的开口形状的图。图6的(a)示出视差Lt像素的开口部104l的形状和视差Rt像素的开口部104r的形状与用中心线322划分无视差像素的开口部104n的形状而得到的各个形状相同的例子。即，在图6的(a)中，无视差像素的开口部104n的面积是视差Lt像素的开口部104l的面积和视差Rt像素的开口部104r的面积的和。在这种情况下，将无视差像素的开口部104n称为全开口的开口部，将开口部104l以及开口部104r称为半开口的开口部。在开口部位于光电转换元件的中央的情况下，称为该开口部朝向基准方向。视差Lt像素的开口部104l以及视差Rt像素的开口部104r分别相对于穿过对应的光电转换元件108的中心(像素中心)的假想的中心线322向彼此相反的方向偏移。因此，视差Lt像素的开口部104l以及视差Rt像素的开口部104r分别在相对于中心线322的一个方向和与该一个方向相反的另一个方向上产生视差。
图6的(b)示出在图6的(a)所示的具有各开口部的像素中在物点朝向远离摄像元件受光表面的方向偏离焦点位置的情况下的光强度分布。在图中横轴表示像素位置，中心位置是与像点相对应的像素位置。纵轴表示光强度。另外，曲线Lt、曲线Rt分别相当于图5的(b)的分布曲线1804、分布曲线1805。曲线N与无视差像素相对应，示出与图5的(b)的合成分布曲线1806相似的形状。另外，各个开口部104n、开口部104l、开口部104r发挥开口光圈的功能。因此，具有面积是开口部104l(开口部104r)的两倍的开口部104n的无视差像素的模糊幅度与由图5的(b)的合成分布曲线1806表示的将视差Lt像素和视差Rt像素叠加得到的曲线的模糊幅度相同程度。
图6的(c)示出在图6的(a)所示的具有各开口部的像素中在物点朝向接近摄像元件受光表面的方向偏离焦点位置的情况下的光强度分布。在图中，横轴表示像素位置，中心位置是与像点相对应的像素位置。纵轴表示光强度。图6的(c)的曲线Lt、曲线Rt维持具有开口部104n的无视差像素的模糊幅度与将视差Lt像素和视差Rt像素叠加得到的曲线的模糊幅度相同程度的关系，并且相对于图6的(b)的曲线Lt、曲线Rt位置关系相反。
图6的(d)示出视差Lt像素的开口部104l的形状、视差Rt像素的开口部104r的形状、开口部104c的形状全部是相同形状的例子。在这种情况下，具有开口部104c的像素是虽仅将以光瞳的中心部分作为部分区域的被摄体光束引导至光电转换元件108，但具有与基准方向相对应的开口部的不偏心的像素。因此，能够视为无视差像素(C像素)。另外，开口部104l、开口部104r、开口部104c具有图6的(a)所示的开口部104n的一半的面积。与图6的(a)的情况相同，开口部104l以及104r分别与穿过光电转换元件108的中心(像素中心)的假想的中心线322相接触。
图6的(e)示出在图6的(d)所示的具有各开口部的像素中在物点朝向远离摄像元件受光表面的方向偏离焦点位置的情况下的光强度分布。在图中，横轴表示像素位置，中心位置是与像点相对应的像素位置。纵轴表示光强度。曲线Lt、曲线Rt分别相当于图5的(b)的分布曲线1804、分布曲线1805。另外，各个开口部104c、开口部104l、开口部104r具有开口光圈的功能。因此，具有开口部104c的无视差像素的模糊幅度与视差Lt像素以及视差Rt像素的模糊幅度相同程度，该开口部104c具有与开口部104l以及开口部104r相同的形状、相同的面积。
图6的(f)示出在图6的(d)所示的具有各开口部的像素中在物点朝向接近摄像元件受光表面的方向偏离焦点位置的情况下的光强度分布。在图中，横轴表示像素位置，中心位置是与像点相对应的像素位置。纵轴表示光强度。图6的(f)的曲线Lt、曲线Rt相对于图6的(e)的曲线Lt、曲线Rt位置关系相反。
<景深与纵横不对称模糊>
以下，针对景深与模糊的不对称性的关系进行说明。在无视差像素具有全开口的开口掩膜的情况下，从图6的(b)、(c)可知，在非对焦区域中，视差像素的模糊幅度比无视差像素的模糊幅度小。这意味着，实质上透镜的入射光束被图6的(a)的视差像素的开口掩膜缩小为右半部分和左半部分。换言之，可以说是在单一的透镜光瞳上生成左右两个假想光瞳。即，视差像素的开口掩膜的开口面积起到与透镜的光圈的效果同等的作用。
通常，若缩小透镜，则拍摄到景深较深的图像。视差像素的开口掩膜的开口在水平方向上短，在垂直方向上长。因此，对于纵线等的在水平方向上具有频率成分的被摄体拍摄到景深深的图像，与之相对，对于横线等的在垂直方向上具有频率成分的被摄体拍摄到景深浅的图像。
图7是用于说明模糊的不对称性的图。例如，当拍摄如图7的(a)的正方形的小块(patch)的被摄体时，在对焦区域中得到如图7的(a)的被摄体像。在图7的(b)中一并示出左视差像素和右视差像素捕捉到的被摄体像。在非对焦区域中拍摄到如图7的(b)所示的水平方向的模糊较少的、纵线看上去比横线清晰的被摄体影像。即，由于视差像素的开口掩膜的开口在水平方向和垂直方向上的不对称性，所以被摄体像在水平方向和垂直方向上的模糊不对称。这也能够称为模糊的各向异性。
当将图7的(b)的左眼用的被摄体像和右眼用的被摄体像重叠显示，而从3D图像得到2D图像时，在2D图像中产生因水平方向的清晰的模糊导致的二线性模糊那样的不期望的模糊(图7的(c))。
图8是示出视差图像以及无视差图像与景深的关系的图。具体地，图8是示出纵线条纹花样图和在将该纵线条纹花样图旋转90°再拍摄时的横线条纹花样图的MTF(Modulation Transfer Function：调制传递函数)特性的被摄体距离依赖性的图，其中，纵线条纹花样图是当将摄像元件100的像素节距设置为a[mm]来对频率为f[支/mm]的被摄体像的条纹花样图进行拍摄时的纵线条纹花样图。纵轴表示MTF，横轴表示与数码相机10相距的距离d。MTF分布呈现出在将对焦位置的光轴附近的MTF设为1的情况下，当使条纹花样图在对焦位置的前后时会怎样衰减。
图8的(a)示出无视差图像(N图像)中的具有固定频率的被摄体像的与被摄体距离相关的纵线条纹花样图和横线条纹花样图的MTF分布。如图8的(a)所示，在无视差图像中，纵线条纹花样图与横线条纹花样图的MTF分布相一致。图8的(b)示出视差图像(视差Lt图像以及视差Rt图像)中的具有固定频率的被摄体像的与被摄体距离相关的纵线条纹花样图和横线条纹花样图的MTF分布。图8的(b)所示的横线条纹花样图的MTF分布与图8的(a)所示的横线条纹花样图的MTF分布相一致。另一方面，得知图8的(b)所示的纵线条纹花样图的MTF分布与图8的(a)所示的纵线条纹花样图的MTF分布相比，对比度高的区间分布较广，景深较深。换言之，当使条纹花样图在对焦位置的前后时，在视差图像中，横线条纹花样图与横线条纹花样图中对比度不同。这产生此前在图7中示出的模糊的不对称性。
<模糊的左右不对称性>
由于视差像素接收投射至假想光瞳的入射光束，所以假想光瞳的形状表现出模糊特性。视差像素基本上起到使通过透镜的光的单侧即一半光束通过的作用。此时，由于透镜的光瞳直径是圆形的，所以假想光瞳是半圆形的。
图9是用于说明半开口的视差像素的模糊的不对称性的图。是说明模糊的不对称性的图。如图9所示，在左视差像素中，与半圆形的弧侧相对应的模糊适当地呈现出，与之相对，与半圆形的割断侧相对应的模糊没有适当地呈现出。即，容易变成清晰的边缘而模糊较少。就右视差像素而言也是同样地，与半圆形的弧侧相对应的模糊适当地呈现出来，与之相对，与半圆形的割断侧相对应的模糊容易变成清晰的边缘而模糊较少。但是，在左视差像素与右视差像素中弧的位置相反。由于以上的原因，上述的二线性模糊现象表现得更明显。最好是尽量避免这种左右不对称的模糊。
在单眼光瞳分割摄像方式的数码相机中，除了模糊的不对称性以外，还存在在左右视差图像之间产生不同的阴影的问题。如WO2012/036019以及JP特开2011-223562中记载的那样，单眼光瞳分割光学系统中固有的左右视差图像的阴影根据光学系统的焦点距离、光圈值等会产生很大的变化。与以往的2D图像摄像系统相比，期望构建使本来这种根据光学系统而变动的主要因素尽量小的3D图像摄像系统。另外，优选阴影本身难以出现的结构。在本实施方式中，鉴于上述的状况，针对与阴影少、抑制了基于光学条件的变动且抑制了模糊的不对称性的看起来自然的立体图像摄像系统相关的技术进行说明。
对设于视差像素的开口掩膜的开口部比上述的半开口更大的情况进行说明。
<比半开口更大的视差像素与全开口的无视差像素的组合排列>
此处，为了简化说明的目的，举出具有水平方向的宽度为全开口的2/3倍的2/3开口的视差像素作为例子进行说明。具有这种开口的视差像素的接收被摄体光束的受光区域包含像素区域的中心，且，设定在相对于该像素区域的中心偏移的位置。另外，假设利用如后述的实施方式1所示的单色且N像素、Lt像素、Rt像素3种像素混合的排列结构的摄像元件来进行拍摄的情况。另外，通过将N像素、Lt像素、Rt像素分别内插于各像素中，生成N图像、Lt图像、Rt图像。针对它们所具有的特性按顺序进行说明。
(1)视差量
图10是针对开口掩膜的开口部和点扩散进行说明的图。能够根据2/3开口的左视差图像Lt2/3、2/3开口的右视差图像Rt2/3以及全开口的无视差图像N，通过运算分别等效地生成1/3开口的左视差图像Lt1/3、1/3开口的右视差图像Rt1/3、1/3开口的无视差图像C1/3。具体地，如图10的(a)、(b)所示，通过将无视差图像N和右视差图像Rt2/3相减，能够在右视差图像Rt2/3的遮光部分等效地生成具有开口的左视差图像Lt1/3。如图10的(c)、(d)所示，通过将左视差图像Lt2/3和右视差图像Rt2/3相加，从相加结果减去无视差图像N，能够等效地生成无视差图像C1/3。如图10的(e)、(f)所示，通过将全开口的无视差图像N和2/3开口的左视差图像Lt2/3相减，能够在2/3开口的左视差图像Lt2/3的遮光部分等效地生成具有开口的1/3开口的右视差图像Rt1/3。当用算式表达上述的运算时，如下所示。此外，下标表示开口宽度或者模糊幅度的信息。
Lt1/3＝N-Rt2/3 (式1)
C1/3＝Lt2/3+Rt2/3-N (式2)
Rt1/3＝N-Lt2/3 (式3)
通常，由于没有拍摄中央部的1/3开口的左视差图像Lt1/3以及1/3开口的右视差图像Rt1/3获取端部的视点的部分光束，所以得到视差的分离度比2/3开口的左视差图像Lt2/3以及2/3开口的右视差图像Rt2/3更大的视差信息。即，能够得到外侧的视点信息。通过运算生成的左视差图像Lt2/3与右视差图像Rt2/3之差以及比例等信号成分可具有导出1/3开口的视差分离的作用。(式4)、(式5)中示出上述的差以及比例。
Lt2/3-Rt2/3 (式4)
Lt2/3/Rt2/3 (式5)
图11是说明左视差图像Lt2/3与右视差图像Rt2/3之差的概念的图。在图11中，比较半开口的视差像素来进行说明。图11的(a)示出半开口的视差像素。图11的(b)示出像素位置与光强度的关系，与图6的(b)相同。图11的(c)概念性示出左视差图像Lt1/2与右视差图像Rt1/2之差。图11的(d)示出2/3开口的视差像素。图11的(e)示出像素位置与光强度的关系。图11的(f)概念性地示出左视差图像Lt2/3与右视差图像Rt2/3之差。
如图11的(c)、(f)所示，2/3开口的视差像素的左右之间的信号差分小于半开口的视差像素的左右之间的信号差分。这是因为，如图11的(b)、(e)所示，由于2/3开口的左右的视差像素的摄像信号的重叠部分比半开口的视差像素的摄像信号的重叠部分大，所以作为差分信号输出的信号变小。如2/3开口这样的比半开口大的视差像素的基本观点是，尽量沿袭2D摄像元件的全开口的像素结构，一边通过仅遮挡一小部分的光来得到视差信息，并通过运算能够等效地获取遮蔽部的开口的视差信息，一边保持摄像信号本身的光学特性与2D摄像元件接近的状态。
作为通过运算生成的视点位置和模糊幅度不同的视差信息也能够通过除了(式1)～(式3)以外的算式推导出。图12是说明其他的衍生例的无视差图像N1和无视差图像C2/3的点扩散的图。如图12的(a)所示，无视差图像N1是通过左视差图像Lt2/3与右视差图像Rt2/3的算术平均得到的。算术平均生成两个摄像信号中的某一方具有有限的值的区间即进行OR(或运算)得到的区域范围的模糊幅度。因此，无视差图像N1能够近似地视为具有全开口的模糊幅度的基准视点方向的无视差图像。另一方面，无视差图像C2/3是通过左视差图像Lt2/3与右视差图像Rt2/3的几何平均得到的。几何平均生成两个摄像信号中的两者具有有限的值的区间即进行AND(与运算)得到的区域范围的模糊幅度。因此，无视差图像C2/3能够视为具有2/3开口的模糊幅度的基准视点方向的无视差图像。此外，用N表示无视差图像的全开口的模糊幅度，用C表示比这小的开口的模糊幅度。当用算式表示时，如以下的(式6)、(式7)。
(2)阴影特性
图13是说明视差像素的阴影的图。在图13中，纵轴表示信号值，横轴表示像素位置。图13的(a)关于半开口的视差像素示出信号值与像素位置的关系，图13的(b)关于2/3开口的视差像素示出信号值与像素位置的关系。通常，在单眼光瞳分割摄像方式中，通过光学系统的光瞳与摄像元件的微透镜的组合来产生阴影。而且，光圈值越大，右视差图像和左视差图像的不平衡就变得越大。但是，在2D摄像元件中不会发生这种现象。因此，在相同的光学条件下，如图13的(a)、(b)所示，2/3开口的视差像素，即比半开口大的视差像素的阴影比半开口的视差像素小，基于光学条件的变动也更小。
(3)模糊的不对称性
图14是用于说明比半开口大的视差像素的模糊的形状的图。图14的(a)示出半开口的视差像素的模糊，图14的(b)示出比半开口大的视差像素的模糊。由于若视差像素的开口宽度变大，则与无视差像素(N像素)的景深之差变小，所以模糊的纵横不对称性被缓和。而且，如图14的(a)、(b)所示，若视差像素的开口宽度变大，则圆形的光瞳直径仅削减一小部分的光束，因此，相比于半开口的情况，模糊的左右不对称性也变缓和。因此，能够降低一方边缘的清晰度，关于二线性模糊也显示出降低的倾向。如以上所述，比半开口大的视差像素具有模糊的形状变得整齐且纵横、左右均趋于对称的倾向。
(4)视差调制与S/N比
后述的实施方式1以及实施方式2中所示的摄像元件采用视差像素以比无视差像素更稀疏的密度来配置的排列结构。该排列结构是利用只有模糊的区域才产生视差这一单眼立体摄像的固有的性质，将最多的信息优化配置在需要之处的结果。纯粹仅内插视差像素得到的视差图像面成为空间析像度较低的图像。左右视差图像用于使空间析像度高的无视差图像位移。像这样进行视差调制来生成高分辨率的视差图像。该原理在与本申请相同的发明人提出的JP特愿2012-100472和JP特愿2012-100476中进行了详细表述。以半开口作为前提，来描述其中记载的3个运算式。以左视差图像为例子，有下算式。
若在对数空间进行(式9)的运算，则变为与(式8)相同。(式8)通常在伽玛转换后的灰度空间中使用。在线性灰度空间中使用(式9)～(式10)。在无视差像素是全开口的情况下，即在为N像素的情况下使用(式10)，在无视差像素与视差像素具有相同形状的面积的开口的情况下，即在为C像素的情况下使用(式9)。
针对不是对由半开口的视差像素捕捉到的摄像信号，而是对由比半开口大的视差像素捕捉到的摄像信号进行上述的运算的情况进行说明。为了简化说明的目的，考虑(式8)的差分运算的情况。如上所述，比半开口大的视差像素的左右之间的信号差分小于半开口的视差像素的左右之间的信号差分。这是因为，如图11所示，在比半开口大的左右的视差像素中摄像信号的重叠部分较大，因此作为差分信号输出的信号较小。
但是，若视差像素的开口接近于半开口的宽度，例如在1/2开口～2/3开口程度的范围之间，则认为基于(式8)的运算的调制N图像的效果也会随之体现。由于若视差像素的开口进一步变大，则差分信号的强度振幅会变得过小，所以视差调制效果变弱。在这样的情况下，进行如下式的视差放大调制。由于摄像视差本身具有与视差像素的遮光部相当的视差信息，所以即使放大也能够同样地得到与视差信息的视点位置有关的信息。
其中，当k设定为k>1时，表示放大增益。作为k的值的目标，在以下记载有当视差像素的开口宽度为2/3和3/4时的计算例子。根据当半开口1/2时k＝1，然后按照比例来进行计算。
当2/3时，k＝[(1/2)/(2/3)]-1＝4/3＝1.33
当3/4时，k＝[(1/2)/(3/4)]-1＝3/2＝1.5
由于对信号差分乘以增益来合成N图像，所以合成后的调制图像的噪声特性变差。这是当扩大视差像素的开口宽度时，对上述的阴影特性的改善和模糊的不对称性的改善效果变成竞合关系而出现的现象。但是，由于扩大开口，相应地光量本身也比半开口时增加了，所以Lt图像、Rt图像中的散粒噪声减小，认为放大的影响会在如开口在3/4开口以上的大开口的区域中产生。因此，在如视差像素的开口宽度大于1/2开口且在2/3开口以下的区域中，能够保证适当的视差调制效果和S/N比且得到阴影特性以及模糊的不对称性的改善效果。
接下来，针对通过视差调制传达的模糊幅度进行说明。针对无视差像素由全开口(N像素)构成且通过(式10)的运算进行视差调制的情况，比较视差像素为半开口的情况和为2/3开口的情况。若向(式10)的关系式仅适用模糊幅度的关系式，则在左边输出的是传达的模糊幅度。
在视差像素为1/2开口的情况下
(1/2开口的模糊幅度)＝(全开口的模糊幅度)·(1/2开口的模糊幅度)/(全开口的模糊幅度)
视差像素是2/3开口的情况
(2/3开口的模糊幅度)＝(全开口的模糊幅度)·(2/3开口的模糊幅度)/(全开口的模糊幅度)
因此，几乎视差像素的摄像信号的模糊幅度也直接传达至进行了高分辨率处理的视差调制后的视差图像。这与上述(3)的“模糊的不对称性”的说明一致。
当将左视差图像和右视差图像重叠显示时，最好同一个像的模糊以左视差图像的区域与右视差图像的区域不急剧地切换的程度适度地重叠，并且整体上具有与由全开口捕捉到的无视差图像相同的信号分布，因此，视差像素应采用的开口宽度是大致1/2～2/3之间，例如考虑将3/5开口，4/7开口或者5/9开口等作为一个最佳的实施方式。
此外，由于在仅排列有左右视差像素的摄像元件中，即便将各视差像素大开口化，也无法进行摄像信号以上的(具有正的信号值)加工，所以无法转换为小开口的视差信息。即，无法根据两个视差生成新的视差信息。在本实施方式中，使用除了左右的视差像素以外还排列有无视差像素的摄像元件，能够根据3个视差生成新的视差信息。
<实施方式1>
举出单色且稀疏的视差像素排列作为例子进行说明。图15是示出作为像素排列的一个例子的实际空间的排列和k空间的图。示出使用以图15的上半部分的排列图作为基本格子来周期性地配置的摄像元件的例子。其倒格子空间的频率析像区域也示出各色与各视差的组合。该排列是，根据仅在单眼光瞳分割方式的模糊的被摄体区域产生视差的性质，将视差像素的密度配置成稀疏，并将剩余的像素尽量分配为无视差像素而构成的单色摄像元件。无视差像素、视差Lt像素、视差Rt像素的密度比是N：Lt：Rt＝2：1：1。另外，在图15中，例示出2/3开口作为视差像素的开口宽度。处理的顺序大致如下。
1)输入视差复用马赛克图像数据
2)视差马赛克图像的全局增益平衡校正
3)生成临时的视差图像
4)基于左右的局部照度分布校正而生成无视差基准图像
(局部增益平衡校正)
5)生成实际的视差图像
6)向输出空间转换
以下，详细说明。
1)输入视差复用马赛克图像数据
用M(x，y)来表示图15的视差被复用的单片式单色的马赛克图像。灰度是通过A/D转换而输出的线性灰度。
2)视差马赛克图像的全局增益平衡校正
直接使用拍摄到的被摄体像，计算无视差像素的像素值的图像整体的平均值左视差像素的像素值的图像整体的平均值右视差像素的像素值的图像整体的平均值在本实施方式中存在3个信号电平。首先，作为左右之间的基准点，以使信号电平调合为平均值的方式进行增益校正。此时基准点的取得方法有算术平均和几何平均这两种。然后，在左右平均后的信号电平与无视差像素的信号电平之间采用几何平均，以使信号电平调合为该平均值的方式进行增益校正。
为了方便，将在马赛克图像M(x，y)内的无视差像素的信号面表示为Nmosaic(x，y)、将左视差像素的信号面表示为Ltmosaic(x，y)、将右视差像素的信号面表示为Rtmosaic(x，y)。
a)左右之间进行算术平均的情况
平均值
对于无视差像素的增益值
对于左视差像素的增益值
对于右视差像素的增益值
对于无视差像素的全局增益校正
对于左视差像素的全局增益校正
对于右视差像素的全局增益校正
b)左右之间进行几何平均的情况
平均值
对于无视差像素的增益值
对于左视差像素的增益值
对于右视差像素的增益值
对于无视差像素的全局增益校正
对于左视差像素的全局增益校正
对于右视差像素的全局增益校正
在全部的无视差像素都具有全开口的掩膜时，采用算术平均型的方式。在全部的无视差像素都具有半开口的掩膜时，采用几何平均型的方式。因此，在本实施方式中采用算术平均型。这样，将无视差像素用一个增益系数校正、左视差像素用一个增益系数校正、右视差像素用一个增益系数校正而得到的马赛克图像作为M'(x，y)输出。
3)生成临时的视差图像
生成空间频率析像度低的分辨率的临时的左视差图像和临时的右视差图像。具体地，在仅集中了左视差像素的信号面内进行单纯平均插补。使用相邻的像素值，根据距离之比进行线性插补。同样地，在仅集中了右视差像素的信号面内进行单纯平均插补。同样地，在仅集中了无视差像素的信号面内进行单纯平均插补。即，根据Ltmosaic(x，y)生成Lt(x，y)，根据Rtmosaic(x，y)生成Rt(x，y)，根据Nmosaic(x，y)生成N(x，y)。将临时的无视差图像表示为N(x，y)，将临时的左视差图像表示为Lt(x，y)，将临时的右视差图像表示为Rt(x，y)。此外，也可以当创建临时的无视差图像N(x，y)时，导入信号面内的方向判断来高精度地进行。
4)基于左右的照度分布校正而生成无视差基准图像
(局部增益平衡校正)
接着，通过使用与在步骤2)进行的全局增益校正相同的思路，进行像素单位的局部增益校正，首先使画面内的左视差像素与画面内的右视差像素的照度调合。通过该操作使左右之间的视差消除。在此基础上，在左右取平均的信号面与无视差像素的摄像信号面之间使照度进一步调合。这样一来，利用全部像素创建获取了增益整合的新的无视差的基准图像面。这与替换为平均值是等效的，生成消除了视差的中间图像面。将该基准图像面写成N(x，y)。
a)左右之间进行算术平均的情况
各像素的平均值
对于无视差像素的各像素的增益值
对于左视差像素的各像素的增益值
对于右视差像素的各像素的增益值
对于无视差像素的各像素的局部增益校正
N(x，y)·gN(x，y)＝m(x，y)
对于左视差像素的各像素的局部增益校正
Lt(x，y)·gLt(x，y)＝m(x，y)
对于右视差像素的各像素的局部增益校正
Rt(x，y)·gRt(x，y)＝m(x，y)
b)左右之间进行几何平均的情况
各像素的平均值
对于无视差像素的各像素的增益值
对于左视差像素的各像素的增益值
对于右视差像素的各像素的增益值
对于无视差像素的各像素的局部增益校正
N(x，y)·gN(x，y)＝m(x，y)
对于左视差像素的各像素的局部增益校正
Lt(x，y)·gLt(x，y)＝m(x，y)
对于右视差像素的各像素的局部增益校正
Rt(x，y)·gRt(x，y)＝m(x，y)
如此，将左视点的图像和右视点的图像的平均值进一步与没有视差的基准视点的图像取平均值得到的像素值作为新的无视差像素值，改写单色面的数据，输出无视差单色面的图像N(x，y)。
5)生成实际的视差图像
使用在步骤3)中生成的析像力较低的临时的左视差图像Lt(x，y)和在步骤4)中作为中间处理而生成的析像力较高的无视差的单色图像N(x，y)，生成实际上输出的析像力较高的左视差的单色图像Lt'(x，y)。同样地，使用在步骤3)中生成的析像力较低的临时的右视差图像Rt(x，y)和在步骤4)中作为中间处理而生成的析像力较高的无视差的单色图像N(x，y)，生成实际上输出的析像力较高的右视差的彩色图像Rt'(x，y)。
作为视差调制的方式，能够考虑取算术平均值作为基准点的方法和取几何平均值作为基准点的方法这两种。虽然无论哪种都能够得到视差调制效果，但是当摄像元件的无视差像素的开口掩膜是全开口时，采用以算术平均值作为基准点的方式，当无视差像素的开口掩膜是与有视差像素相同的半开口时，采用以几何平均值作为基准点的方式。因此，在本实施方式中使用以算术平均值作为基准点的方式。
a)以算术平均值作为基准点的视差调制
左视差调制
右视差调制
b)以几何平均值作为基准点的视差调制
左视差调制
右视差调制
6)向输出色彩空间转换
分别对以上述方式得到的高析像度的无视差的中间单色图像N(x，y)、高析像度的左视差的单色图像Lt'(x，y)、高析像度的右视差的单色图像Rt(x，y)进行适当的伽玛转换，并作为输出空间的图像进行输出。
此外，在实施方式1中，也可以使用以下的算式作为视差调制。
左视差调制
右视差调制
<实施方式2>
举出Bayer型的RGB排列且稀疏的视差像素排列作为例子进行说明。图16是示出作为像素排列的一个例子的实际空间的排列和k空间的图。示出使用以图16的上半部分的排列图作为基本格子来周期性地配置的摄像元件的例子。其倒格子空间的频率析像区域也示出各颜色与各视差的组合。该排列是，根据仅在单眼光瞳分割方式的模糊的被摄体区域产生视差的性质，将视差像素的密度配置成稀疏，并将剩余的像素尽量分配为无视差像素而构成的摄像元件。无视差像素和有视差像素都以Bayer排列作为基本结构，在左视差像素和右视差像素中都配置有R：G：B＝1：2：1的彩色滤光片。即，比实施方式1更重视利用原信号捕捉到的无视差的中间图像的析像力，通过视差调制将其高频成分重叠于左视差像素和右视差像素，从而得到高析像度的立体图像。无视差像素、视差Lt像素、视差Rt像素的密度比是N：Lt：Rt＝6：1：1。另外，在图16中，例示出2/3开口作为视差像素的开口宽度。处理的顺序大致如以下。
1)输入色彩、视差复用马赛克图像数据
2)彩色、视差马赛克图像的全局增益平衡校正
3)生成临时的视差图像
4)基于左右的局部照度分布校正而生成无视差彩色马赛克图像(局部增益平衡校正)
5)生成无视差基准图像
6)生成实际的视差图像
7)向输出色彩空间转换
以下，详细说明。
1)输入色彩、视差复用的马赛克图像数据
用M(x，y)来表示图16的色彩和视差被复用的单片式马赛克图像。灰度是通过A/D转换而输出的线性灰度。
2)彩色、视差马赛克图像的全局增益平衡校正
直接使用拍摄到的被摄体像，计算无视差像素的像素值的图像整体的平均值左视差像素的像素值的图像整体的平均值右视差像素的像素值的图像整体的平均值与实施方式1同样地存在3个信号电平。首先，作为左右之间的基准点，以使信号电平调合为平均值的方式进行增益校正。此时基准点的取得方法有算术平均和几何平均这两种。然后，在左右平均后的信号电平与无视差像素的信号电平之间采用几何平均，以使信号电平调合为该平均值的方式进行增益校正。针对RGB各自的颜色成分进行该处理。分别利用
改写各自对应的平均值。
为了方便，将马赛克图像M(x，y)内的
R成分的无视差像素的信号面表示为RN mosaic(x，y)，
R成分的左视差像素的信号面表示为RLt mosaic(x，y)，
R成分的右视差像素的信号面表示为RRt mosaic(x，y)，
G成分的无视差像素的信号面表示为GN mosaic(x，y)，
G成分的左视差像素的信号面表示为GLt mosaic(x，y)，
G成分的右视差像素的信号面表示为GRt mosaic(x，y)，
B成分的无视差像素的信号面表示为BN mosaic(x，y)，
B成分的左视差像素的信号面表示为BLt mosaic(x，y)，
B成分的右视差像素的信号面表示为BRt mosaic(x，y)。
a)左右之间进行算术平均的情况
平均值
对于无视差像素的增益值
对于左视差像素的增益值
对于右视差像素的增益值
对于无视差像素的全局增益校正
对于左视差像素的全局增益校正
对于右视差像素的全局增益校正
b)左右之间进行几何平均的情况
平均值
对于无视差像素的增益值
对于左视差像素的增益值
对于右视差像素的增益值
对于无视差像素的全局增益校正
对于左视差像素的全局增益校正
对于右视差像素的全局增益校正
在全部的无视差像素都具有全开口的掩膜时，采用算术平均型的方式。在全部的无视差像素具有半开口的掩膜时，采用几何平均型的方式。因此，在本实施方式中采用算术平均型。这样，将无视差像素用一个增益系数校正、左视差像素用一个增益系数校正、右视差像素用一个增益系数校正而得到的马赛克图像作为M'(x，y)输出。
3)生成临时的视差图像
生成空间频率析像度低的分辨率的临时的左视差图像和临时的右视差图像。在仅集中了左视差像素的G色面内进行单纯平均插补。使用相邻的像素值，根据距离之比进行线性插补。同样地，在仅集中了右视差像素的G色面内进行单纯平均插补。同样地，在仅集中了无视差像素的G色面内进行单纯平均插补。分别针对R、G、B进行相同的处理。即，根据RLt mosaic(x，y)生成RLt(x，y)，根据RRt mosaic(x，y)生成RRt(x，y)，根据RN mosaic(x，y)生成RN(x，y)，根据GLt mosaic(x，y)生成GLt(x，y)，根据GRt mosaic(x，y)生成GRt(x，y)，根据GN mosaic(x，y)生成GN(x，y)，根据BLt mosaic(x，y)生成BLt(x，y)，根据BRt mosaic(x，y)生成GRt(x，y)，根据BN mosaic(x，y)生成GN(x，y)。
用RN(x，y)表示临时的R成分的无视差图像。
用GN(x，y)表示临时的G成分的无视差图像。
用BN(x，y)表示临时的B成分的无视差图像。
用RLt(x，y)表示临时的R成分的左视差图像。
用GLt(x，y)表示临时的G成分的左视差图像。
用BLt(x，y)表示临时的B成分的左视差图像。
用RRt(x，y)表示临时的R成分的右视差图像。
用GRt(x，y)表示临时的G成分的右视差图像。
用BRt(x，y)表示临时的B成分的右视差图像。
此外，也可以当创建临时的无视差图像RN(x，y)、GN(x，y)、BN(x，y)时，导入信号面内的方向判断来高精度地进行。
4)基于左右的照度分布校正而生成无视差彩色马赛克图像
(局部增益平衡校正)
接着，通过使用与在步骤2)进行的全局增益校正相同的思路，进行像素单位的局部增益校正，首先使画面内的左视差像素与画面内的右视差像素的照度调合。通过该操作使左右之间的视差消除。在此基础上，在左右取平均的信号面与无视差像素的摄像信号面之间使照度进一步地调合。这样一来，利用全部像素创建获取了增益整合的新的Bayer面。这与替换为平均值是等效的，生成消除了视差的Bayer面。将该基准图像面写成MN(x，y)。
在这种情况下，作为各像素的基准点而统一的目标值的设定方法，消除左右之间的视差的方法也存在选择算术平均方法和选择几何平均方法这两种。在全部无视差像素都具有全开口的掩膜面积时，为了使消除了左右之间的视差的被摄体像的模糊幅度与全开口的模糊幅度一致，需要选择算术平均型。另一方面，在全部无视差像素都具有半开口的掩膜面积时，为了使消除了左右之间的视差的被摄体像的模糊幅度与半开口的模糊幅度一致，需要选择几何平均型。
而且，在消除了左右之间的视差的信号面与无视差像素的摄像信号面之间取平均值的操作，由于两者已经统一为具有相同模糊幅度的被摄体像，所以需要保存该模糊幅度。因此，此时必需共同采用几何平均。以下举出这些具体式。
a)左右之间进行算术平均的情况
各像素的平均值
对于无视差像素的各像素的增益值
对于左视差像素的各像素的增益值
对于右视差像素的各像素的增益值
对于无视差像素的各像素的局部增益校正
对于左视差像素的各像素的局部增益校正
对于右视差像素的各像素的局部增益校正
b)左右之间进行几何平均的情况
各像素的平均值
对于无视差像素的各像素的增益值
对于左视差像素的各像素的增益值
对于右视差像素的各像素的增益值
对于无视差像素的各像素的局部增益校正
对于左视差像素的各像素的局部增益校正
对于右视差像素的各像素的局部增益校正
如此，将左视点的图像和右视点的图像的平均值进一步与没有视差的基准视点的图像取平均得到的像素值作为新的无视差像素值，改写Bayer面的数据，输出无视差Bayer面的图像MN(x，y)。
5)生成无视差基准图像
进行公知的Bayer插补技术。作为例子，有与本申请相同的发明人的USP7957588(WO2006/006373)以及USP8259213所示的插补算法。
6)生成实际的视差图像
使用在步骤3)中生成的析像力较低的临时的左视差的彩色图像RLt(x，y)、GLt(x，y)、BLt(x，y)和在步骤5)中作为中间处理生成的析像力较高的无视差的彩色图像RN(x，y)、GN(x，y)、BN(x，y)，生成实际上输出的析像力较高的左视差的彩色图像R'Lt(x，y)、G'Lt(x，y)、B'Lt(x，y)。同样地，使用在步骤3)中生成的析像力较低的临时的右视差的彩色图像RRt(x，y)、GRt(x，y)、BRt(x，y)和在步骤5)中作为中间处理生成的析像力较高的无视差的彩色图像RN(x，y)、GN(x，y)、BN(x，y)，生成实际上输出的析像力较高的右视差的彩色图像R'Rt(x，y)、G'Rt(x，y)、B'Rt(x，y)。
作为视差调制的方式，能够考虑取算术平均值作为基准点的方法和取几何平均值作为基准点的方法这两种。虽然无论哪种都能够得到视差调制效果，但是当摄像元件的无视差像素的开口掩膜是全开口时，采用以算术平均值作为基准点的方式，当无视差像素的开口掩膜是与有视差像素相同的半开口时，采用以几何平均值作为基准点的方式。因此，在本实施方式中使用以算术平均值作为基准点的方式。
a)以算术平均值作为基准点的视差调制
左视差调制
右视差调制
b)以几何平均值作为基准点的视差调制
左视差调制
右视差调制
若改写上述算式，则
左视差调制
右视差调制
7)向输出色彩空间转换
与实施方式1相同。
在实施方式2中，也可以使用以下的算式作为视差调制。
左视差调制
右视差调制
此外，在以上的实施方式2的摄像元件中，视差像素的数量少于无视差像素的数量。因此，当考虑摄像元件上的像素排列的无视差像素与视差像素的密度比来进行上述各运算时，能够赋予与基于空间采样的析像能力对应的可靠度的权重。具体地，在实施方式2中使用的无视差像素(N)与左视差像素(Lt)与右视差像素(Rt)之比是N：Lt：Rt＝6：1：1，即，N：(Lt+Rt)＝3：1，因此，对无视差像素赋予3/4次方的权重，对视差像素赋予1/4次方的权重，设为重视密度较高的无视差像素的分配。在这种情况下，在上述2)、4)以及6)中使用以下所示的算式为好。
2)彩色、视差马赛克图像的全局增益平衡校正
a)左右之间进行算术平均的情况
平均值
对于无视差像素的增益值
对于左视差像素的增益值
对于右视差像素的增益值
对于无视差像素的全局增益校正
对于左视差像素的全局增益校正
对于右视差像素的全局增益校正
b)左右之间进行几何平均的情况
平均值
对于无视差像素的增益值
对于左视差像素的增益值
对于右视差像素的增益值
对于无视差像素的全局增益校正
对于左视差像素的全局增益校正
对于右视差像素的全局增益校正
4)基于左右的照度分布校正而生成无视差彩色马赛克图像
a)左右之间进行算术平均的情况
各像素的平均值
对于无视差像素的各像素的增益值
对于左视差像素的各像素的增益值
对于右视差像素的各像素的增益值
b)左右之间进行几何平均的情况
各像素的平均值
对于无视差像素的各像素的增益值
对于左视差像素的各像素的增益值
对于右视差像素的各像素的增益值
6)生成实际的视差图像
a)以算术平均值作为基准点的视差调制
左视差调制
右视差调制
b)以几何平均值作为基准点的视差调制
左视差调制
右视差调制
若改写上述算式，则
左视差调制
右视差调制
此外，作为视差调制，也可以使用以下的算式。
左视差调制
右视差调制
此外，也能够考虑将在实施方式2中举出的视差像素的一半设置为2/3开口，将剩余的一半设置为3/4开口的组合等。若进行这种组合，则通过利用图10的说明进行的遮蔽开口的运算得到的等效开口的最小单位变为1/12开口，与视点、模糊幅度有关的信息量、自由度增大。
另外，能够认为上述说明的开口较大的视差像素也适用于如显微镜这样的放大光学系统。这是因为，放大光学系统等效于具有极大的光圈值的光学系统，在为半开口的视差像素的情况下会产生得不到摄像信号这种程度的明显的阴影问题。与之相对，至少能够维持摄像灵敏度，并具有根据拾取的信息来获取视差信息的可能性。
此外，也能够使个人计算机等设备作为实现图像处理部205的功能的图像处理装置起作用。在这种情况下，图像处理装置也可以从相机等其他的装置取得摄像元件的输出。图像处理装置不仅限于个人计算机，也可以采用各种各样的方式。例如，TV(电视)、手机、游戏机等也能成为图像处理装置。此外，在以上的说明中，有时图像指图像数据，也有时指按照格式展开并可视化的被摄体像本身。
以上，使用实施方式对本发明进行了说明，但本发明的技术范围不限于上述实施方式所记载的范围。另外，本领域技术人员应当清楚，能够对上述实施方式加以各种变更或改进。此外，由权利要求的记载可知，这种加以各种变更或改进的实施方式也包含在本发明的技术范围内。
附图标记说明
10 数码相机，20 摄影透镜，21 光轴，100 摄像元件，101 微透镜，102 彩色滤光片，103 开口掩膜，104 开口部，105 布线层，106 布线，107 开口，108 光电转换元件，109基板，201 控制部，202A/D 转换电路，203 存储器，204 驱动部，205 图像处理部，207 存储卡IF，208 操作部，209 显示部，210 LCD驱动电路，220 存储卡，322 中心线，1801 分布曲线，1802 分布曲线，1803 分布曲线，1804 分布曲线，1805 分布曲线，1806 合成分布曲线，1807 分布曲线，1808 分布曲线，1809 合成分布曲线。

Claims (15)

1.一种摄像元件，其通过一个光学系统，对全部光束中通过相互不同区域的部分光束的被摄体像进行拍摄，其特征在于，
由无视差像素、第一视差像素及第二视差像素至少这3种像素分别配置有多个的像素排列构成，
所述无视差像素具有产生基准方向的视点的开口掩膜，
所述第一视差像素具有产生与基准方向不同的第一方向的视点的开口掩膜，
所述第二视差像素具有产生与基准方向不同的第二方向的视点的开口掩膜，
所述第一视差像素的开口掩膜和所述第二视差像素的开口掩膜分别在视点变化的方向上具有大于1/2开口且在2/3开口以下的范围的开口宽度。
2.如权利要求1所述的摄像元件，其特征在于，
所述无视差像素的开口掩膜具有全开口或者具有与所述第一视差像素和所述第二视差像素的开口掩膜相同的开口面积。
3.如权利要求1或者2所述的摄像元件，其特征在于，
与所述第一视差像素、所述第二视差像素相比，所述无视差像素配置为最高的密度。
4.如权利要求3所述的摄像元件，其特征在于，
所述无视差像素、所述第一视差像素及所述第二视差像素的像素密度的比例为6：1：1，这3种像素各自具有R：G：B＝1：2：1的比例的RGB色滤光片。
5.一种摄像装置，其特征在于，
具有：
权利要求1～4中任一项所述的摄像元件；以及
图像处理部，其还基于所述无视差像素的像素信息，对各像素生成基准视点图像，基于所述第一视差像素的像素信息，对各像素生成临时的第一视点图像，基于所述第二视差像素的像素信息，对各像素生成临时的第二视点图像，对于所述基准视点图像，使用所述临时的第一视点图像和所述临时的第二视点图像使视点位置变化，来生成新的第一视点图像和新的第二视点图像。
6.如权利要求5所述的摄像装置，其特征在于，
所述图像处理部在使用在所述临时的第一视点图像与所述临时的第二视点图像之间定义的比值来使基准视点图像的视点位置变化时，通过将该比值乘以大于1的幂数来进行放大，
在使用所述临时的第一视点图像与所述临时的第二视点图像之间的差值来使基准视点图像的视点位置变化时，通过将该差值乘以大于1的常数倍来进行放大。
7.一种摄像元件，其特征在于，
具有：
偏移像素，该偏移像素的接收被摄体光束的第一受光区域包含像素区域的中心，并且设定在相对于所述像素区域的中心偏移的位置；以及
不偏移像素，该不偏移像素的接收所述被摄体光束的第二受光区域设定在相对于所述像素区域的中心不偏移的位置，
所述第一受光区域在偏移方向上具有的宽度与所述第二受光区域在该偏移方向上具有的宽度相比大于一半且在2/3倍以下。
8.如权利要求7所述的摄像元件，其特征在于，
所述第二受光区域的形状与所述第一受光区域的形状相同。
9.如权利要求7或者8所述的摄像元件，其特征在于，
所述不偏移像素的数量比所述偏移像素的数量多。
10.如权利要求7或者8所述的摄像元件，其特征在于，
所述偏移像素以及所述不偏移像素具有开口掩膜，该开口掩膜具有开口部，通过该开口掩膜设定有所述第一受光区域以及所述第二受光区域。
11.如权利要求7或者8所述的摄像元件，其特征在于，
所述偏移像素包括向第一方向赋予视差的第一偏移像素、向与所述第一方向相反的第二方向赋予视差的第二偏移像素，所述不偏移像素、所述第一偏移像素及所述第二偏移像素的比是6：1：1。
12.如权利要求11所述的摄像元件，其特征在于，
所述不偏移像素、所述第一偏移像素、所述第二偏移像素具有RGB中的某一个的彩色滤光片，在所述不偏移像素、所述第一偏移像素、所述第二偏移像素中，各自的RGB的比分别是1：2：1。
13.一种摄像装置，其特征在于，
具有：
权利要求11或者12所述的摄像元件；
获取部，其获取所述摄像元件的输出；和
图像生成部，其使用所述第一偏移像素的输出和所述第二偏移像素的输出，根据所述不偏移像素的输出，生成向所述第一方向赋予视差的第一视差图像数据和向所述第二方向赋予视差的第二视差图像数据。
14.如权利要求13所述的摄像装置，其特征在于，
所述图像生成部根据所述不偏移像素的输出来生成基准视点图像，根据所述第一偏移像素的输出来生成临时的第一视点图像，根据所述第二偏移像素的输出来生成临时的第二视点图像，
通过对在所述临时的第一视点图像与所述临时的第二视点图像之间定义的比值以大于1的幂数进行乘幂运算，使所述基准视点图像的位置变化。
15.如权利要求13所述的摄像装置，其特征在于，
所述图像生成部根据所述不偏移像素的输出来生成基准视点图像，根据所述第一偏移像素的输出来生成临时的第一视点图像，根据所述第二偏移像素的输出来生成临时的第二视点图像，
通过将在所述临时的第一视点图像与所述临时的第二视点图像之间定义的差值乘以大于1的系数，使所述基准视点图像的位置变化。
CN201480028423.2A 2013-05-31 2014-05-29 摄像元件以及摄像装置 Active CN105230000B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-116415 2013-05-31
JP2013116415 2013-05-31
PCT/JP2014/002851 WO2014192300A1 (ja) 2013-05-31 2014-05-29 撮像素子、撮像装置、および画像処理装置

Publications (2)

Publication Number Publication Date
CN105230000A CN105230000A (zh) 2016-01-06
CN105230000B true CN105230000B (zh) 2019-03-22

Family

ID=51988351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480028423.2A Active CN105230000B (zh) 2013-05-31 2014-05-29 摄像元件以及摄像装置

Country Status (4)

Country Link
US (1) US9832404B2 (zh)
JP (1) JPWO2014192300A1 (zh)
CN (1) CN105230000B (zh)
WO (1) WO2014192300A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6466656B2 (ja) * 2014-06-19 2019-02-06 オリンパス株式会社 撮像素子および撮像装置
US11469265B2 (en) 2015-07-29 2022-10-11 Samsung Electronics Co., Ltd. Imaging apparatus and image sensor including the same
US11089286B2 (en) 2015-07-29 2021-08-10 Samsung Electronics Co., Ltd. Image sensor
US10403668B2 (en) 2015-07-29 2019-09-03 Samsung Electronics Co., Ltd. Imaging apparatus and image sensor including the same
US10790325B2 (en) 2015-07-29 2020-09-29 Samsung Electronics Co., Ltd. Imaging apparatus and image sensor including the same
JP2017157804A (ja) * 2016-03-04 2017-09-07 キヤノン株式会社 撮像装置
EP3441812B1 (en) 2017-08-11 2020-07-01 Tecan Trading Ag Pattern based autofocus method for a microscopy
JP7007324B2 (ja) * 2019-04-25 2022-01-24 ファナック株式会社 画像処理装置、画像処理方法、及びロボットシステム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011199755A (ja) * 2010-03-23 2011-10-06 Fujifilm Corp 撮像装置
CN102215330A (zh) * 2010-04-09 2011-10-12 奥林巴斯株式会社 摄像装置以及照相机
CN102298246A (zh) * 2010-06-28 2011-12-28 奥林巴斯株式会社 摄像系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003007994A (ja) 2001-06-27 2003-01-10 Konica Corp 固体撮像素子、立体カメラ装置及び測距装置
EP1781043B1 (en) 2004-07-07 2013-01-23 Nikon Corporation Image processor and computer program product
WO2009066770A1 (ja) 2007-11-22 2009-05-28 Nikon Corporation デジタルカメラおよびデジタルカメラシステム
JP2011223562A (ja) 2010-03-23 2011-11-04 Fujifilm Corp 撮像装置
EP2618585B1 (en) 2010-09-13 2016-07-27 Fujifilm Corporation Monocular 3d-imaging device, shading correction method for monocular 3d-imaging device, and program for monocular 3d-imaging device
JP5605633B2 (ja) 2010-11-04 2014-10-15 株式会社オートネットワーク技術研究所 電気接続箱
US9532033B2 (en) * 2010-11-29 2016-12-27 Nikon Corporation Image sensor and imaging device
US8742309B2 (en) * 2011-01-28 2014-06-03 Aptina Imaging Corporation Imagers with depth sensing capabilities
JP6131545B2 (ja) 2012-03-16 2017-05-24 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
CN104185983B (zh) 2012-03-16 2016-10-26 株式会社尼康 摄像元件、摄像装置以及摄像系统
WO2013161313A1 (ja) 2012-04-25 2013-10-31 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
JP5978736B2 (ja) 2012-04-25 2016-08-24 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
CN104521231B (zh) 2012-08-10 2016-12-21 株式会社尼康 图像处理装置和摄像装置
JP6003575B2 (ja) 2012-11-22 2016-10-05 株式会社ニコン 撮像装置およびレンズユニット
WO2014156202A1 (ja) 2013-03-29 2014-10-02 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011199755A (ja) * 2010-03-23 2011-10-06 Fujifilm Corp 撮像装置
CN102215330A (zh) * 2010-04-09 2011-10-12 奥林巴斯株式会社 摄像装置以及照相机
CN102298246A (zh) * 2010-06-28 2011-12-28 奥林巴斯株式会社 摄像系统

Also Published As

Publication number Publication date
JPWO2014192300A1 (ja) 2017-02-23
CN105230000A (zh) 2016-01-06
WO2014192300A1 (ja) 2014-12-04
US20160198143A1 (en) 2016-07-07
US9832404B2 (en) 2017-11-28

Similar Documents

Publication Publication Date Title
CN105230000B (zh) 摄像元件以及摄像装置
JP5699609B2 (ja) 画像処理装置および画像処理方法
CN104662887B (zh) 图像处理设备、图像处理方法和具有该图像处理设备的摄像设备
CN103688536B (zh) 图像处理装置、图像处理方法
CN105122793B (zh) 图像处理装置、摄像装置及图像处理程序
US10708486B2 (en) Generation of a depth-artificial image by determining an interpolated supplementary depth through interpolation based on the original depths and a detected edge
CN110225330A (zh) 用于多视点降噪和高动态范围的系统和方法
CN104521231B (zh) 图像处理装置和摄像装置
CN106165398B (zh) 摄像元件、摄像装置以及图像处理装置
CN108989648A (zh) 具有自动聚焦的纤薄多孔径成像系统及其使用方法
CN104170377B (zh) 图像处理装置、摄像装置
CN104322061B (zh) 图像处理装置、摄像装置及图像处理方法
WO2013136819A1 (ja) 撮像素子、撮像装置および撮像システム
US9706190B2 (en) Image processing apparatus and image processing program
CN107960120A (zh) 图像处理设备、摄像设备、图像处理方法、程序和存储介质
CN107431755A (zh) 图像处理设备、摄像设备、图像处理方法、程序和存储介质
CN105359519B (zh) 摄像装置
CN107431754A (zh) 图像处理方法、图像处理装置和摄像设备
US9854224B2 (en) Image processing apparatus, image capturing apparatus, and image processing program
CN103907188A (zh) 摄像元件、摄像装置及图像处理装置
JP2014060694A (ja) 撮像素子および撮像装置
JP5979137B2 (ja) 撮像装置および撮像装置の制御プログラム
JP2014107594A (ja) 撮像素子および撮像装置
JP2012212975A (ja) 撮像装置および撮像装置の制御プログラム
JP2013037294A (ja) 撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant