CN105359519B - 摄像装置 - Google Patents

摄像装置 Download PDF

Info

Publication number
CN105359519B
CN105359519B CN201480037505.3A CN201480037505A CN105359519B CN 105359519 B CN105359519 B CN 105359519B CN 201480037505 A CN201480037505 A CN 201480037505A CN 105359519 B CN105359519 B CN 105359519B
Authority
CN
China
Prior art keywords
pixel
parallax
image data
parallax image
pixel value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480037505.3A
Other languages
English (en)
Other versions
CN105359519A (zh
Inventor
芝崎清茂
浜岛宗树
森晋
中村文树
家坂守
萩原润弥
石贺健
石贺健一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of CN105359519A publication Critical patent/CN105359519A/zh
Application granted granted Critical
Publication of CN105359519B publication Critical patent/CN105359519B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/30—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/18—Stereoscopic photography by simultaneous viewing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/225—Image signal generators using stereoscopic image cameras using a single 2D image sensor using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663—Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout

Abstract

摄像装置具有：摄像元件，其至少包括接收经由光学系统入射的被摄体光束中的偏向第一方向的第一部分光束的第一像素、和接收偏向与第一方向相反的第二方向的第二部分光束的第二像素，该第一方向与光学系统的光轴正交；图像生成部，其生成基于第一像素的输出的第一视差图像数据、和基于第二像素的输出的第二视差图像数据，在摄像元件拍摄了位于光轴的非对焦区域的物点的情况下，第一视差图像数据的与光轴相对应的中心像素的像素值为峰值像素的像素值的50％以上，第二视差图像数据的中心像素的像素值为峰值像素的像素值的50％以上。

Description

摄像装置
技术领域
本发明涉及一种摄像装置。
背景技术
已知使用单一的摄影光学系统通过一次摄影来生成彼此具有视差的左右视差图像的摄像装置。
现有技术文献
专利文献
专利文献1：日本特开2003-7994号公报
发明内容
在使显示装置显示由这种摄像装置生成的左右视差图像的情况下，虽然佩戴3D眼镜的观赏者看到的是3D图像，但是未佩戴3D眼镜的观赏者看到的是包括左右视差图像彼此错开的双重像的2D图像。人们期望佩戴3D眼镜的观赏者和未佩戴3D眼镜的观赏者能够同时观赏显示出的图像。
本发明的一种形态的摄像装置具有：摄像元件，其至少包括接收经由光学系统入射的被摄体光束中的偏向第一方向的第一部分光束的第一像素、和接收偏向与第一方向相反的第二方向的第二部分光束的第二像素，该第一方向与光学系统的光轴正交；和图像生成部，其生成基于第一像素的输出的第一视差图像数据、和基于第二像素的输出的第二视差图像数据，在所述摄像元件拍摄了位于光轴的非对焦区域的物点的情况下，第一视差图像数据的与光轴相对应的中心像素的像素值为峰值像素的像素值的50％以上，第二视差图像数据的所述中心像素的像素值为峰值像素的像素值的50％以上。
此外，上述的发明的概要并没有列举出本发明全部的所需特征。另外，这些特征组的组合也可以另外构成发明。
附图说明
图1是说明本发明的实施方式的数码相机的结构的图。
图2是从概念上示出放大了摄像元件的一部分的状态的概念图。
图3是说明无视差像素的散焦的概念的图。
图4是说明视差像素的散焦的概念的图。
图5是说明用于生成2D-3D无缝(seamless)图像的条件的图。
图6是说明在视差像素的种类为2种的情况下的开口光罩的开口形状的一个例子的图。
图7是说明摄像元件的截面的结构的图。
图8是说明用于生成2D-3D无缝图像的像素的结构的图。
图9是说明左视点的点像分布与视差Lt像素的灵敏度的角度依赖性之间的关系的图。
图10是说明左视点的点像分布与视差Lt像素的灵敏度的角度依赖性之间的关系的图。
图11是说明包含双重像在内的图像的图。
图12是说明2D图像数据与视差图像数据的生成处理的例子的图。
图13是说明视差调节处理与2D-3D无缝图像的生成之间的关系的图。
具体实施方式
以下，通过发明的实施方式来说明本发明，但是以下的实施方式并不限定权利要求书所述的发明。另外，发明的解决方式不一定需要为在实施方式中所说明的全部特征组合。
作为摄像装置的一种形式的本实施方式的数码相机构成为，能够通过一次摄影针对一个场景生成多个视点的图像。将彼此视点不同的各个图像称为视差图像。在本实施方式中，尤其针对生成基于与右眼和左眼相对应的两个视点的右视差图像和左视差图像的情况进行说明。在后面说明详细内容，本实施方式的数码相机能够将基于作为基准方向的视点的中央视点的没有视差的无视差图像与视差图像一起生成。另外，有时，也将左视点的视差像素记作视差Lt像素，将右视点的视差像素记作视差Rt像素，将无视差像素记作N像素。有时，也将左视点的视差图像记作视差Lt图像，将右视点的视差图像记作视差Rt图像，将无视差图像记作N图像。
图1是说明本实施方式的数码相机10的结构的图。数码相机10是将更换式透镜300安装在相机主体200上而构成的。相机主体200具有摄像元件100、相机主体控制部201、A/D转换电路202、工作存储器203、驱动部204、图像处理部205、存储卡IF(接口)207、操作部208、显示部209以及显示控制部210。更换式透镜300具有作为摄像光学系统的摄像透镜20、光圈22、更换式透镜控制部301、透镜存储器302以及透镜驱动部304。另外，相机主体200具有相机安装部213，更换式透镜300具有透镜安装部303。当相机安装部213与透镜安装部303卡合时，相机主体200侧的通信端子与更换式透镜300侧的通信端子能够建立连接来彼此进行控制信号等的通信。相机主体控制部201以及更换式透镜控制部301一边彼此进行通信，一边协作地控制相机主体200和更换式透镜300。
更换式透镜300包含焦距等不同的多个种类。用户能够根据摄像目的而将任意一个安装到相机主体200上。更换式透镜300所具有的摄像透镜20将沿着光轴21入射的被摄体光束引导至配置于相机主体200内的摄像元件100。如图1所示，将朝向摄像元件100的与光轴21平行的方向设为Z轴正方向，将在与Z轴正交的平面上朝向纸面里面的方向设为X轴正方向，将朝向纸面上方的方向设为Y轴正方向。在后面的几个图中，以图1的坐标轴作为基准，以可知各幅图的朝向的方式来显示坐标轴。
摄像透镜20由多个光学透镜组构成，使来自场景的被摄体光束在该摄像透镜20的焦平面附近成像。此外，在图1中为了便于说明摄像透镜20，用配置于光瞳附近的假想的一个透镜作为代表来表示。另外，在光瞳附近配置有以光轴为中心呈同心状地限制入射光束的光圈22。
摄像元件100配置于摄像透镜20的焦平面附近。摄像元件100为以二维方式排列有多个像素的、例如CMOS传感器等的图像传感器。摄像元件100由驱动部204定时控制，将成像于受光面上的被摄体像转换为像素信号并输出至A/D转换电路202。A/D转换电路202将摄像元件100输出的像素信号转换为数字信号并输出至工作存储器203。
图像处理部205以工作存储器203作为工作空间实施各种各样的图像处理，并生成图像数据。如后文所述，图像数据包含根据摄像元件100的无视差像素的输出而生成的基准图像数据、和根据摄像元件100的视差像素的输出而生成的视差图像数据。另外，图像处理部205将基于后述的判断部的判断的附加信息附加至所生成的图像数据中。具体地，在生成后述的2D-3D无缝图像数据的情况下，附加表示是2D-3D无缝图像数据的附加信息。在生成2D图像数据的情况下，附加表示是2D图像数据的附加信息。由此，在使显示装置显示图像数据的情况下，显示装置能够根据附加信息来判断图像数据的种类。
在本说明书中，将佩戴3D眼镜的观赏者和未佩戴3D眼镜的观赏者能够同时观赏的图像称为2D-3D无缝图像。通过2D-3D无缝图像，向佩戴3D眼镜的观赏者提供具有立体感的3D图像，并且向未佩戴3D眼镜的观赏者提供就2D图像而言没有不协调感的2D图像。
图像处理部205除此之外，还发挥按照所选择的图像格式来调整图像数据等通常的图像处理功能。在生成JPEG文件格式的图像数据的情况下，在实施了白平衡处理、伽玛处理等之后进行压缩处理。生成的图像数据被显示控制部210转换为显示信号来显示于显示部209。另外，记录于安装在存储卡IF207上的存储卡220中。
一系列摄像顺序是通过由操作部208接收用户的操作并向相机主体控制部201输出操作信号而开始的。伴随摄像顺序的AF(自动对焦)、AE(自动曝光)等各种动作是由相机主体控制部201控制来进行的。
数码相机10除了通常的2D摄像模式以外还具有视差图像摄像模式。若设定为视差图像摄像模式，则能够拍摄后述的2D-3D无缝图像。用户能够通过一边观察显示有菜单画面的显示部209，一边操作操作部208来选择这其中的某一种模式。
相机主体控制部201具有判断部206以及相机存储器214。判断部206当更换式透镜300安装于相机主体200时，经由更换式透镜控制部301取得摄像透镜20的透镜信息。在本实施方式中，取得识别更换式透镜300的识别信息作为透镜信息。另外，判断部206从相机存储器214取得后述的对照表。判断部206将摄像透镜20的透镜信息与对照表核对，来判断安装的更换式透镜300是否与2D-3D无缝图像的摄像相对应。在后面说明详细情况，2D-3D无缝图像是如下的图像，即，在显示在显示装置上的情况下，被佩戴3D眼镜的观赏者看成3D图像，并且被未佩戴3D眼镜的观赏者看成不包含双重像的2D图像的图像。
相机存储器214例如是快闪存储器等非易失性存储器，起到存储控制数码相机10的程序、各种参数等的作用。相机存储器214存储有上述的对照表。对照表是记载了与2D-3D无缝图像的摄像相对应的更换式透镜的识别信息的表。在记载于对照表中的识别信息的更换式透镜中，预先通过实验或者仿真来决定应该与2D-3D无缝图像的摄像相对应的光学条件。具体地，决定摄像透镜的焦距、透镜光瞳直径、开放光圈值等。此外，也可以通过固件升级(firmware up)来随时更新对照表。
更换式透镜控制部301经由透镜驱动部304使摄像透镜20移动。另外，更换式透镜控制部301从存储有摄像透镜20的透镜信息的透镜存储器302读出该透镜信息，并发送至相机主体控制部201。透镜存储器302存储用于识别该摄像透镜20的识别信息来作为摄像透镜20的透镜信息。
图2是从概念上示出放大摄像元件100的一部分的状态的概念图。在像素区域中以矩阵状排列有例如2000万个以上的像素。在本实施方式中，相邻的8个像素×8个像素的64个像素构成一个基本格子。基本格子在Y轴方向上包含4个拜耳(Bayer)排列，在X轴方向上包含4个拜耳(Bayer)排列，该拜耳(Bayer)排列以2×2的4个像素作为基本单位。此外，如图所示，在拜耳(Bayer)排列中，在左上角的像素和右下角的像素上配置有绿色滤光片(G滤光片)，在左下角的像素上配置有蓝色滤光片(B滤光片)，在右上角的像素上配置有红色滤光片(R滤光片)。
基本格子包含视差像素和无视差像素。视差像素是接收从更换式透镜300透过的入射光束中的从光轴偏移的部分光束，并将其转换为像素信号来输出的偏移像素。在后面说明详细情况，在视差像素上，以仅使该部分光束透射的方式设置有形成从像素中心偏移的偏移开口的布线。布线发挥规定偏移开口的开口光罩的功能。在视差像素中存在视差Lt像素和视差Rt像素这两种。视差Lt像素是接收到达像素中心的左侧的部分光束，并将其转换为像素信号来输出的像素。视差Rt像素是接收到达像素中心的右侧的部分光束，并将其转换为像素信号来输出的像素。另一方面，无视差像素是不偏心的非偏移像素。无视差像素接收透射更换式透镜300的入射光束的整体，并将其转换为像素信号来输出。
此外，在图2中示出了使摄像元件100中的一个基本格子维持与其像素排列一致的照原样罗列的状态。以便于理解像素的种类的方式来示出，但是实际上以与各像素相对应的输出值排列。另外，利用PIJ来表示基本格子内的像素。例如，左上角的像素是P11，右上角的像素是P81。如图所示，视差像素以如下的方式排列。
P11…视差Lt像素+G滤光片(＝G(Lt))
P15…视差Rt像素+G滤光片(＝G(Rt))
P27…视差Lt像素+R滤光片(＝R(Lt))
P32…视差Lt像素+B滤光片(＝B(Lt))
P51…视差Rt像素+G滤光片(＝G(Rt))
P55…视差Lt像素+G滤光片(＝G(Lt))
P63…视差Rt像素+R滤光片(＝R(Rt))
P76…视差Rt像素+B滤光片(＝B(Rt))
其他像素是无视差像素，是无视差像素+R滤光片、无视差像素+G滤光片、无视差像素+B滤光片中的某一方。
在从摄像元件100的整体观察的情况下，视差像素区分为具有G滤光片的第一组、具有R滤光片的第二组、具有B滤光片的第三组中的某一方。在基本格子中，属于各个组的视差Lt像素以及视差Rt像素在该组的无视差N像素之间至少包含有一个。如图中的例子那样，这些视差像素以及无视差像素只要在基本格子内分散地配置即可。通过分散地配置，能够使各个颜色成分的空间分辨率不产生偏差地取得RGB的彩色信息来作为视差像素的输出，因此，能得到高品质的视差图像数据。
在图2所示的基本格子中，相对于G(N)＝28个，G(Lt)+G(Rt)＝2+2＝4个；相对于R(N)＝14个，R(Lt)+R(Rt)＝2个；相对于B(N)＝14个，B(Lt)+B(Rt)＝2个。分别针对视差Lt像素、视差Rt像素以及无视差像素，构成为与拜耳(Bayer)排列相同的R：G：B＝1：2：1。无视差像素、视差Lt像素、视差Rt像素的像素数量比是N：Lt：Rt＝14：1：1。无视差像素的空间分辨率保持与拜耳(Bayer)排列相近似的状态。
接着，针对单眼立体摄像的模糊与视差的关系进行说明。在说明视差Lt像素以及视差Rt像素受光的情况下的散焦的概念之前，首先，针对无视差像素的散焦的概念简单地进行说明。
图3是说明无视差像素的散焦的概念的图。如图3的(a)所示，在作为被摄体的物点位于焦点位置的情况下，通过透镜光瞳并到达至摄像元件受光表面的被摄体光束以对应的像点的像素为中心地表示急剧的光强度分布。即，若接收通过透镜光瞳的有效光束整体的无视差像素排列在像点附近，则与像点相对应的像素的输出值最大，排列于周围的像素的输出值急剧地下降。
另一方面，如图3的(b)所示，当物点朝向远离摄像元件受光表面的方向偏离焦点位置时，与物点位于焦点位置的情况相比，被摄体光束在摄像元件受光表面上示出缓和的光强度分布。即，表示如下的分布：对应的像点的像素的输出值下降而且与其相比周围像素也具有输出值。
如图3的(c)所示，当物点更加偏离焦点位置时，被摄体光束在摄像元件受光表面上示出更加缓和的光强度分布。即，示出如下的分布：对应的像点的像素的输出值进一步下降而且与其相比周围像素具有输出值。
如图3的(d)所示，即使在物点朝向接近摄像元件受光表面的方向偏离焦点位置的情况下，也示出与物点朝向远离摄像元件受光表面的方向偏移的情况相同的光强度分布。
图4是说明视差像素的散焦的概念的图。视差Lt像素以及视差Rt像素接收从作为透镜光瞳的部分区域而分别被设定为光轴对象的两个视差假想光瞳中的某一方所到达的被摄体光束。在本说明书中，将通过接收从单一的透镜光瞳中的彼此不同的假想光瞳所到达的被摄体光束来拍摄视差图像的方式称为单眼光瞳分割摄像方式。
如在图4的(a)所示，在作为被摄体的物点位于焦点位置的情况下，无论是通过哪一个视差假想光瞳的被摄体光束，都以对应的像点的像素作为中心地示出急剧的光强度分布。若视差Lt像素排列于像点附近，则与像点相对应的像素的输出值最大，排列于周围的像素的输出值急剧地下降。另外，视差Rt像素排列于像点附近，与像点相对应的像素的输出值也最大，排列于周围的像素的输出值也急剧地下降。即，无论被摄体光束通过哪一个视差假想光瞳，都示出与像点相对应的像素的输出值最大且排列于周围的像素的输出值都急剧地下降的分布，两个分布彼此一致。
另一方面，如图4的(b)所示，当物点朝向远离摄像元件受光表面的方向偏离焦点位置时，与物点位于焦点位置的情况相比，视差Lt像素示出的光强度分布的峰值出现在从与像点相对应的像素朝一个方向远离的位置上，且其输出值下降。另外，具有输出值的像素的宽度也扩散。即，由于像点沿着摄像元件受光表面的水平方向扩散，所以模糊量增大。视差Rt像素示出的光强度分布的峰值出现在从与像点相对应的像素朝与视差Lt像素的一个方向相反方向且等距离地远离的位置上，同样地其输出值下降。另外，具有输出值的像素的宽度也同样地扩散。即，与物点位于焦点位置的情况相比变得缓和的相同的光强度分布彼此间隔等距离地出现。视差Lt像素以及视差Rt像素示出的光强度分布的峰值之间的偏离量相当于视差量。
另外，如图4的(c)所示，当物点更加偏离焦点位置时，与图4的(b)的状态相比，变得更加缓和的相同的光强度分布以更大的间隔出现。由于像点的扩散变得更大，所以模糊量增大。另外，由于视差Lt像素以及视差Rt像素示出的光强度分布的峰值之间的偏离量也变大，所以视差量也增大。即，可以说物点偏离焦点位置越大，模糊量和视差量就越增大。
如图4的(d)所示，在物点朝向接近摄像元件受光表面的方向偏离焦点位置的情况下，与图4的(c)的状态相反，视差Rt像素示出的光强度分布的峰值出现在从与像点相对应的像素朝上述一个方向远离的位置。视差Lt像素示出的光强度分布的峰值出现在朝向与视差Rt像素的一个方向相反方向远离的位置。即，根据物点的偏移的方向，决定视差Lt像素以及视差Rt像素示出的光强度分布的峰值出现在从与像点相对应的像素朝哪个方向远离的位置。
接着，针对实现2D-3D无缝图像的条件进行说明。在摄像元件100拍摄位于光轴21的物点的情况下，无论物点位于光轴21上的哪个位置，只要图像处理部205生成的视差Lt图像数据和视差Rt图像数据在与光轴21相对应的中心像素均具有相对于物点的输出值，就能够实现2D-3D无缝图像。使用图5在光学上进行说明。
图5是说明用于生成2D-3D无缝图像的条件的图。具体地，是示出位于非对焦区域的物点的点像分布的图。横轴表示像素位置，中心位置是与像点相对应的像素位置。纵轴表示信号强度。在图中示出物点的左视点的点像分布1804、右视点的点像分布1805以及综合这两者而得到的合成点像分布1806。当点像分布1804与点像分布1805分离时，在左右视差图像显示在显示装置上的情况下，因中心像的光量不足而导致未佩戴3D眼镜的观赏者将其视觉识别为包含双重像的图像。
如图所示，若点像分布1804与点像分布1805相互重叠，则能够生成2D-3D无缝图像。特别是点像分布1804与点像分布1805的重叠状况很重要。具体地，点像分布1804与点像分布1805的重叠部分的峰值a优选为点像分布1804和点像分布1805的各个峰值b的平均值的一半以上。即，在视差Lt图像数据中，作为重叠部分的峰值像素的像素值的峰值a优选在左视点的点像分布1804的峰值b的50％以上。同样地，在视差Rt图像数据中，作为重叠部分的峰值像素的像素值的峰值a优选在右视点的点像分布1805的峰值b的50％以上。换言之，也可以说是在使视差Lt图像数据与视差Rt图像数据重叠而得到的合成图像数据中，如合成点像分布1806所示，输出值优选成凸形。如合成点像分布1806所示，若合成图像数据的输出值成凸形，则在左右视差图像显示在显示装置上的情况下，未佩戴3D眼镜的观赏者视觉识别为不包含双重像的2D图像。另外，戴上3D眼镜的观赏者看成3D图像。
此外，点像分布1804与点像分布1805的重叠部分越多，视差量越小。因此，优选地，点像分布1804与点像分布1805的重叠部分在维持视差量的范围内，以能够生成2D-3D无缝图像的方式进行适当调整。
图6是说明在视差像素的种类是两个的情况下的开口光罩的开口形状的一个例子的图。具体地，图6示出视差Lt像素的开口光罩中的开口部104l的形状和视差Rt像素的开口部104r的形状与用中心线322划分无视差像素的开口部104n的形状而得到的各个形状相同的例子。即，在图6中，无视差像素的开口部104n的面积是视差Lt像素的开口部104l的面积和视差Rt像素的开口部104r的面积的和。在这种情况下，将无视差像素的开口部104n称为全开口的开口部，将开口部104l以及开口部104r称为半开口的开口部。在开口部位于光电转换元件的中央的情况下，称为该开口部朝向基准方向。视差Lt像素的开口部104l以及视差Rt像素的开口部104r分别相对于穿过对应的光电转换元件的中心(像素中心)的假想的中心线322向彼此相反的方向偏移。因此，视差Lt像素的开口部104l以及视差Rt像素的开口部104r分别在相对于中心线322的一个方向和与该一个方向相反的另一个方向上产生视差。
图7是示出摄像元件100的截面的概略图。在图7中，开口形状与图6所示的开口形状相对应。摄像元件100从被摄体侧依次排列有微透镜101、彩色滤光片102、布线层105以及基板109。
在基板109上以二维方式排列有多个光电转换元件108。光电转换元件108由将入射的光转换为电信号的光电二极管构成。由光电转换元件108转换的图像信号、控制光电转换元件108的控制信号等是经由设于布线层105的布线106进行发送接收的。
布线106发挥限制入射光束的开口光罩的功能。能够由布线106形成规定的开口形状，利用该开口形状限制入射光束来仅将特定的部分光束引导至光电转换元件108。在本实施方式中，为了与图6所示的开口形状相对应，布线106以覆盖光电转换元件108的一半的方式在X轴方向上延伸。通过发挥开口光罩的功能的布线106的作用来限制入射光束，以产生视差。布线106的延伸部分的端部形成为锥体形状。通过在布线106的延伸部分的端部的衍射，能够将入射至延伸部分的端部的光束引导至光电转换元件108。更详细地，入射至视差Lt像素的开口部104l的光束不限于到达对应的光电转换元件的左侧一半，也到达右侧部分。这有利于形成图5所示的点像分布1804和点像分布1805。
另一方面，在不产生视差的光电转换元件108上不存在布线106。即，布线106不在X轴方向上延伸。换言之，布线106不限制向对应的光电转换元件108入射的被摄体光束，也可以说是发挥使入射光束的整体通过的开口光罩的功能。此外，也可以将形成开口形状的布线106形成于布线层105中的最靠近光电转换元件108的一侧。
彩色滤光片102设于布线层105上方。彩色滤光片102是与被着色为使特定波段相对于各光电转换元件108透过的、与光电转换元件108的每一个一一对应设置的滤光片。为了输出彩色图像，只要排列至少两种彼此不同的彩色滤光片即可，但为了获取更高画质的彩色图像，最好排列3种以上的彩色滤光片。例如，可以呈网格状地排列使红色波段透过的红滤光片(R滤光片)、使绿色波段透过的绿滤光片(G滤光片)以及使蓝色波段透过的蓝滤光片(B滤光片)。彩色滤光片不仅可以是原色RGB的组合，也可以是YCM的互补色滤光片的组合。
微透镜101设于彩色滤光片102上方。微透镜101是用于将入射的被摄体光束更多地引导至光电转换元件108的聚光透镜。微透镜101分别与各个光电转换元件108一一对应地设置。优选地，微透镜101考虑摄像透镜20的光瞳中心与光电转换元件108的相对的位置关系来偏移光轴，以将更多的被摄体光束引导至光电转换元件108。进一步地，也可以调整配置位置以使得后述的特定的被摄体光束更多地入射。
如此，将与各个光电转换元件108一一对应地设置的开口光罩103、彩色滤光片102以及微透镜101的一个单位称为像素。此外，在集光效率、光电转换效率好的图像传感器的情况下，也可以不设置微透镜101。另外，在为背面照射型图像传感器的情况下，布线层105设于光电转换元件108的相反一侧。此外，在只要输出黑白图像信号即可的情况下，不设置彩色滤光片102。
如以上所述，在本实施方式中，使布线106发挥开口光罩的功能。因此，能够通过适当调整布线106的宽度，自由地设定开口宽度。因此，能够简单地使图5所示的点像分布1804与点像分布1805具有重叠部分。视差Lt像素以及视差Rt像素的开口的开口宽度最好是形成为半开口或者比半开口形成得大。具有如这样的开口的视差像素中，接收被摄体光束的受光区域包含像素区域的中心，且该视差像素设定于相对于该像素区域的中心偏移的位置。因此，能够具有相互重叠的部分。
在以上的说明中，布线106是兼具开口光罩的功能的结构，但也可以另外形成开口光罩。例如，能够在彩色滤光片102的正下方形成开口光罩。开口光罩可以与各光电转换元件108相对应地一个一个独立地排列，也可以与彩色滤光片102的制造工艺同样地相对于多个光电转换元件108统一形成。另外，若使开口光罩的开口部具有颜色成分，则也能够一体地形成彩色滤光片102和开口光罩。
开口光罩也可以通过重叠地设于光电转换元件108上的透射阻止膜来形成。在这种情况下，开口光罩是例如依次层叠SiN(氮化硅)膜和SiO2(二氧化硅)膜来作为透射阻止膜，再通过蚀刻去除相当于开口部的区域而形成的。而且，开口光罩还可以将光电转换元件108其本身的区域以相当于开口部的方式来形成。
图8是说明用于生成2D-3D无缝图像的像素的结构的图。图8的(a)是说明作为比较例的视差Lt像素的结构的图。此处，图示出微透镜401、布线406以及光电转换元件408。布线406配置为与光电转换元件408相接触的状态。布线406覆盖光电转换元件408的右半部分。另外，微透镜401的焦点位置设定于光电转换元件408的受光面的高度位置。图8的(a)的中央的图示出平行光与微透镜401垂直地入射的状态。在该状态下，入射的光线的一部分到达光电转换元件408。图8的(a)的左图示出入射至微透镜401的平行光沿顺时针的方向即向负侧倾斜的状态。在该状态下，入射的光线的全部到达光电转换元件408。图8的(a)的右图示出入射至微透镜401的平行光沿逆时针的方向即向正侧倾斜的状态。在该状态下，入射的光线的全没有到达光电转换元件408。
图8的(b)是说明作为比较例的视差Lt像素的光线入射角度与像素灵敏度之间的关系的图。横轴表示入射至像素的光线入射角度[θ]，纵轴表示像素灵敏度。虚线表示无视差像素的光线入射角度与像素灵敏度之间的关系。在作为比较例的视差Lt像素中，由于布线406配置为与光电转换元件408相接触的状态，所以如利用粗线在图中示出的那样，虽然在入射光线角度为负的情况下具有灵敏度，但是在正的情况下不具有灵敏度。
图8的(c)是说明本实施方式的视差Lt像素的结构的图。此处，在图中示出微透镜101、布线106以及光电转换元件108。如已经说明的那样，布线106配置于与光电转换元件108分开的位置。布线106覆盖光电转换元件108的右半部分。另外，微透镜101的焦点位置设定在光电转换元件108的受光面的高度位置。图8的(c)的中央的图示出平行光与微透镜101垂直地入射的状态。在该状态下，入射的光线的一部分到达光电转换元件108。在与比较例的视差Lt像素比较的情况下，虽然布线106配置于比微透镜101的焦点位置更靠近微透镜101的位置，但是由于限制的光束的范围是相同的，所以到达光电转换元件408的光线的量不变。
图8的(c)的左图示出入射至微透镜101的平行光沿顺时针的方向倾斜的状态。在该状态下，虽然入射的光线的一部分到达光电转换元件108，但是剩余部111被布线106遮挡而没有到达光电转换元件108。图8的(c)的右图示出入射至微透镜101的平行光沿逆时针的方向倾斜的状态。在该状态下，入射的光线并非全部没有到达光电转换元件108，而是一部分112到达光电转换元件108。
图8的(d)是说明本实施方式的视差Lt像素的光线入射角度与像素灵敏度之间的关系的图。横轴表示入射至像素的光线入射角度[θ]，纵轴表示像素灵敏度。虚线表示无视差像素的光线入射角度与像素灵敏度之间的关系。在本实施方式的视差Lt像素中，由于布线106配置于与光电转换元件108分开的位置，所以如利用粗线在图中示出的那样，像素不仅左半部分，其右半部分也具有灵敏度。更详细地，如利用图8的(c)的左图说明的那样，在该状态下，像素灵敏度仅下降相当于剩余部111没有到达光电转换元件108的量。区域113相当于在剩余部111到达光电转换元件108的情况下的像素灵敏度。另一方面，如利用图8的(c)的右图说明的那样，在该状态下，光线的一部分112到达光电转换元件108。因此，像素的右半部分也具有灵敏度区域。在图中，区域114相当于基于光线的一部分112到达光电转换元件108的像素灵敏度。
此外，在以上的说明中举出视差Lt像素作为例子，但是可以说针对视差Rt像素也是同样的。由于排列有如以上的视差Lt像素、视差Rt像素，所以如后文所述，能够很容易地使图5所示的点像分布1804和点像分布1805重叠。通常，只要微透镜101的焦点位置相对于限制入射光束的表面稍微错开，就能够说是同样的情况。此处所讲的限制入射光束的表面相当于图7、8中的布线106。在视差Lt图像数据以及视差Rt图像数据中，点像分布1804以及点像分布1805各自的峰值b达到作为重叠部分的峰值像素的像素值的峰值a的50％以上的方式，来决定布线106与光电转换元件108之间的距离、开口的宽度、微透镜101的焦距等。
图9是说明左视点的点像分布与视差Lt像素的灵敏度的角度依赖性之间的关系的图。更详细地，是说明在作为比较例的排列有视差Lt像素的情况下左视点的点像分布与视差Lt像素的灵敏度的角度依赖性之间的关系的图。图9的(a)与已经说明的图4的(b)、(c)同样地，示出物点向远离摄像元件受光面的方向偏离焦点位置的情况。此处，示出光线入射至9个像素的情况。图9的(b)示出左视点的点像分布。横轴表示像素位置，纵轴表示信号强度。如图示的那样，在中心像素上，不论物点的焦点位置在哪里，光线通常都是垂直地入射，与之相对。在远离中心像素的像素上，光线是倾斜地入射的。而且，随着远离中心像素，光线相对于像素的倾斜角度变大。在光线沿顺时针倾斜的情况下，布线406配置成覆盖光电转换元件408的右侧，因此，光线到达光电转换元件408。即，光线入射至中心像素的左侧的像素。另一方面，在光线沿逆时针倾斜的情况下，光线不到达光电转换元件408。即，光线不入射至中心像素的右侧的像素。如上，作为结果，左视点的点像分布为在像素位置中相对于中心更靠左侧的区域具有信号强度的分布。此外，实际上，如图示的那样，通过光的衍射等在右侧区域具有若干的信号强度。另一方面，右视点的点像分布为在像素位置的右侧的区域具有信号强度的分布。
图9的(c)示出左视点的点像分布和右视点的点像分布。由于左视点的点像分布与右视点的点像分布几乎只在相互不同的方向上才具有信号强度，所以如图示的那样，左视点的点像分布与右视点的点像分布的重叠部分变得非常少。
图10是说明左视点的点像分布与视差Lt像素的灵敏度的角度依赖性之间的关系的图。更详细地，是说明在本实施方式的排列有视差Lt像素的情况下左视点的点像分布与视差Lt像素的灵敏度的角度依赖性的关系的图。图10的(a)与已经说明的图4的(b)、(c)同样地，示出物点朝向远离摄像元件受光面的方向偏离焦点位置的情况。与图9的(a)同样地，示出光线入射至9个像素的情况。图10的(b)示出左视点的点像分布。横轴表示像素位置，纵轴表示信号强度。特别地，实线表示与图10的(a)相对应的左视点的点像分布，虚线表示图9的(b)的左视点的点像分布。在光线沿顺时针倾斜的情况下，光线到达光电转换元件108。即，光线入射至中心像素的左侧的像素。另一方面，在光线沿逆时针倾斜的情况下，光线到达光电转换元件108。即，光线也入射至中心像素的右侧的一部分的像素。如上，作为结果，左视点的点像分布为不仅在像素位置的左侧的区域具有信号强度，而且在右侧的区域也具有信号强度的分布。此外，右视点的点像分布为不仅在像素位置的右侧的区域具有信号强度，而且在左侧的区域也具有信号强度的分布。
图10的(c)示出左视点的点像分布和右视点的点像分布。由于左视点的点像分布在右侧也具有信号强度，右视点的点像分布在左侧也具有信号强度，所以如图示的那样，左视点的点像分布与右视点的点像分布的重叠部分比图9的(c)中的多。
如以上所述，在左视点的点像分布中，为了在中心像素的右侧的位置具有信号强度，如图8的(d)所示，视差Lt像素需要在正方向上具有灵敏度。同样地，在右视点的点像分布中，为了在中心像素的左侧的位置具有信号强度，视差Rt像素需要在负方向上具有灵敏度。另一方面，为了双方的点像分布在中心像素位置具有图10的(c)或者图5所示的重叠，不仅在视差Lt像素和视差Rt像素分别具有倾斜的角度的情况下具有灵敏度，而且在垂直入射的情况下也需要具有灵敏度。作为结果，当图示出视差Lt像素和视差Rt像素的入射角度与像素灵敏度之间的关系时，若两者在垂直入射时即若以0度的入射角度具有重叠，则在点像分布中在中心像素也具有重叠。
图11是说明包含双重像的图像的图。具体地，是示出位于非对焦区域的物点的点像分布的图。在图中，横轴表示像素位置，中心位置是与像点相对应的像素位置。纵轴表示信号强度。图11的(a)示出物点的左视点的信号强度分布1702以及右视点的点像分布1803。如图示的那样，信号强度分布1702以及信号强度分布1703彼此完全分离。因此，在结合信号强度分布1702与信号强度分布1703而得到的合成点像分布中，存在两个信号强度的峰值。于是，未佩戴3D眼镜的观赏者因有两个峰值而视觉识别为包含双重像的图像。图11的(b)示出物点的左视点的点像分布1802、右视点的点像分布1803以及结合这两者而得到的合成点像分布1807。点像分布1802以及点像分布1803具有相互重叠的部分。因此，与两个点像分布彼此分离的情况相比，能够改善对未佩戴3D眼镜的观赏者来说的画质。在图中示出的例子中，重叠部分的峰值a少于点像分布1802和点像分布1803的各个峰值b的平均值的一半。若在视差Lt像素以及视差Rt像素中对于垂直地入射的光线的灵敏度比在N像素中对于垂直地入射的光线的灵敏度低，则可能会变成这样。在这种情况下，在合成点像分布1807的中央部分存在信号强度下降的区域。换言之，存在两个信号强度的峰值。于是，未佩戴3D眼镜的观赏者因有两个峰值而视觉识别为包含双重像的图像。即使在这种情况下，也能够通过实施后述的视差调节处理，来实现2D-3D无缝图像。
以下，根据从摄像元件100输出的摄像图像数据来说明生成2D图像数据和视差图像数据的处理的概念。图12是说明作为基准图像数据的2D图像数据和视差图像数据的生成处理的例子的图。在图12中举出图2所示的基本格子作为例子进行说明。
根据基本格子中的视差像素以及无视差像素的排列可知，即便使摄像元件100的输出保持与其像素排列一致的照原样罗列，也无法得到表示特定的像的图像数据。只有将摄像元件100的像素输出按照每个被赋有相同特征的像素组进行分离并再聚集，才形成表示符合该特征的一个像的图像数据。例如，若分别聚集左右视差像素，则得到彼此具有视差的左右视差图像数据。如此，将按照每个被赋有相同特征的像素组进行分离并再聚集而成的各个图像数据称为平面数据。
图像处理部205接收按照摄像元件100的像素排列的顺序罗列有该输出值(像素值)的RAW(未经处理或者压缩的)原始图像数据，进行分离成多个平面数据的平面分离处理。图的左列表示作为2D图像数据的2D-RGB平面数据的生成处理的例子。
当生成2D-RGB平面数据时，图像处理部205首先去除视差像素的像素值，使之成为空格子。然后，使用周围像素的像素值，通过插值处理来计算变成空格子的像素值。例如，空格子P11的像素值是将在倾斜方向上相邻的G滤光片像素的像素值P-1-1、P2-1、P-12、P22的像素值进行平均运算而计算出的。另外，例如空格子P63的像素值是将在上下左右各隔着一个像素而相邻的R滤光片的像素值P43、P61、P83、P65的像素值进行平均运算而计算出的。同样地，例如空格子P76的像素值是将在上下左右各隔着一个像素而相邻的B滤光片的像素值P56、P74、P96、P78的像素值进行平均运算而计算出的。
由于以上述方式插值得到的2D-RGB平面数据与具有拜耳(Bayer)排列的通常的摄像元件的输出同样，所以之后能够作为2D图像数据进行各种处理。即，进行公知的拜耳(Bayer)插值，针对各像素生成整理成RGB数据的彩色图像数据。图像处理部205在生成静态图像数据的情况下按照JPEG等预先规定的格式来进行作为一般的2D图像的图像处理，在生成动态图像数据的情况下按照MPEG等预先规定的格式来进行作为一般的2D图像的图像处理。
当再一次提到时，图像处理部205还按照各个颜色来分离2D-RGB平面数据，实施如上所述的插值处理，并生成作为基准图像数据的各平面数据。即，生成作为绿色的基准图像平面数据的Gn0平面数据、作为红色的基准图像平面数据的Rn0平面数据以及作为蓝色的基准图像平面数据的Bn0平面数据这三个平面数据。由于这些平面数据是以密度比视差像素的密度高的无视差像素为基础而生成的，所以比下述的视差图像数据的平面数据的分辨率高。
图的右列示出作为构成视差像素数据的平面数据的两个G平面数据、两个R平面数据以及两个B平面数据的生成处理的例子。两个G平面数据是作为左视差图像数据的GLt平面数据和作为右视差图像数据的GRt平面数据，两个R平面数据是作为左视差图像数据的RLt平面数据和作为右视差图像数据的RRt平面数据，两个B平面数据是作为左视差图像数据的BLt平面数据和作为右视差图像数据的BRt平面数据。
当生成GLt平面数据时，图像处理部205从摄像元件100的全输出值中去掉除了G(Lt)像素的像素值以外的像素值来使其成为空格子。于是，在基本格子中剩余P11和P55这两个像素值。因此，将基本格子在纵横方向上四等分，使左上角的16个像素的量代表P11的输出值，使右下角的16个像素的量代表P55的输出值。然后，针对右上角的16个像素以及左下角的16个像素，通过对上下左右相邻的周围的代表值进行平均运算来插值。即，GLt平面数据具有一个以16个像素为单位的值。更优选地，导入与距离相对应的线性插值。
同样地，当生成GRt平面数据时，图像处理部205从摄像元件100的全输出值中去掉除了G(Rt)像素的像素值以外的像素值来使其成为空格子。于是，在基本格子中剩余P51和P15这两个像素值。因此，将基本格子在纵横方向上四等分，使右上角的16个像素的量代表P51的输出值，使左下角的16个像素的量代表P15的输出值。然后，针对左上角的16个像素以及右下角的16个像素，通过对上下左右相邻的周围的代表值进行平均运算来插值。即，GRt平面数据具有一个以16个像素为单位的值。更优选地，导入与距离相对应的线性插值。如此，能够生成分辨率比Gn0平面数据低的GLt平面数据和GRt平面数据。
当生成RLt平面数据时，图像处理部205从摄像元件100的全输出值中去掉除了R(Lt)像素的像素值以外的像素值来使其成为空格子。于是，在基本格子中，剩余P27的像素值。将该像素值设为基本格子的64个像素的代表值。更优选地，导入与距离相对应的线性插值。同样地，当生成RRt平面数据时，图像处理部205从摄像元件100的全输出值中去掉除了R(Rt)像素的像素值以外的像素值来使其成为空格子。于是，在基本格子中剩余P63的像素值。将该像素值设为基本格子的64个像素的代表值。更优选地，导入与距离相对应的线性插值。如此，生成分辨率比Rn0平面数据低的RLt平面数据和RRt平面数据。在这种情况下，RLt平面数据和RRt平面数据的分辨率比GLt平面数据和GRt平面数据的分辨率低。
当生成BLt平面数据时，图像处理部205从摄像元件100的全输出值中去掉除了B(Lt)像素的像素值以外的像素值来使其成为空格子。于是，在基本格子中剩余P32的像素值。将该像素值设为基本格子的64个像素的代表值。更优选地，导入与距离相对应的线性插值。同样地，当生成BRt平面数据时，图像处理部205从摄像元件100的全输出值中去掉除了B(Rt)像素的像素值以外的像素值来使其成为空格子。于是，在基本格子中剩余P76的像素值。将该像素值设为基本格子的64个像素的代表值。更优选地，导入与距离相对应的线性插值。如此，生成分辨率比Bn0平面数据低的BLt平面数据和BRt平面数据。在这种情况下，BLt平面数据和BRt平面数据的分辨率比GLt平面数据和GRt平面数据的分辨率低，与RLt平面数据和RRt平面数据的分辨率相等。
在本实施方式中，图像处理部205使用这些平面数据，来生成高分辨率的左侧视点的彩色图像数据以及右侧视点的彩色图像数据。
红色视差平面(RLt0平面数据和RRt0平面数据)是使用Rn0平面数据的像素值、RLt平面数据以及RRt平面数据的像素值来生成的。具体地，例如在计算RLt0平面数据的对象像素位置(im，jn)的像素值RLt0mn的情况下，首先，图像处理部205从Rn0平面数据的同一像素位置(im，jn)提取像素值Rn0mn。以下，图像处理部205从RLt平面数据的同一像素位置(im，jn)提取像素值RLtmn，从RRt平面数据的同一像素位置(im，jn)提取像素值RRtmn。然后，图像处理部205按照像素值RLtmn与RRtmn之比对像素值Rn0mn进行分配来计算出像素值RLt0mn。具体地，根据以下的式(1)进行计算。
RLt0mn＝2Rn0mn×RLtmn/(RLtmn+RRtmn)…(1)
同样地，在计算RRt0平面数据的对象像素位置(im，jn)的像素值RRt0mn的情况下，图像处理部205按照像素值RLtmn与像素值RRtmn之比对像素值Rn0mn进行分配来进行计算。具体地，根据以下的式(2)进行计算。
RRt0mn＝2Rn0mn×RRtmn/(RLtmn+RRtmn)…(2)
图像处理部205针对从作为左端且上端的像素的(1,1)到作为右端且下端的坐标的(i0，j0)依次进行如这样的处理。
然后，在作为高分辨率的红色视差平面的RLt0平面数据和RRt0平面数据的生成处理结束之后，接着进行作为高分辨率的绿色视差平面的GLt0平面数据和GRt0平面数据的生成处理。具体地，在上述的说明中，取代从Rn0平面数据的相同像素位置(im,jn)提取像素值Rn0mn，而是从Gn0平面数据的相同像素位置(im,jn)提取像素值Gn0mn，然后，取代RLtmn而是提取GLtmn，取代RRtmn而是提取GRtmn，进行同样的处理。然后，在作为高分辨率的绿色视差平面的GL0t平面数据和GRt0平面数据的生成处理结束之后，接着进行作为高分辨率的蓝色视差平面的BLt0平面数据和BRt0平面数据的生成处理。具体地，在上述的说明中，取代从Rn0平面数据的相同像素位置(im,jn)提取像素值Rn0mn，而是从Bn0平面数据的相同像素位置(im,jn)提取像素值Bn0mn，然后，取代RLtmn而是提取BLtmn，取代RRtmn而是提取BRtmn，进行同样的处理。
通过以上的处理，生成左侧视点的高分辨率的彩色图像数据(RLt0平面数据、GLt0平面数据、BLt0平面数据)以及右侧视点的高分辨率的彩色图像数据(RRt0平面数据、GRt0平面数据、BRt0平面数据)。即，能够通过比较简单的处理，作为实际上作为摄像元件100的像素并不存在的、兼具RGB中的某一种彩色滤光片的视差Lt像素以及视差Rt像素的假想的输出，而获取左侧视点以及右侧视点的彩色图像数据。因此，若利用与3D图像对应的播放装置来播放这些图像数据，则用户能够观赏到作为彩色图像的高分辨率的3D影像。特别是，由于处理较简单，所以能够高速地生成图像数据，即使是动态图像也能够与之对应。
如以上所述，由于根据分辨率较低的视差图像数据和分辨率较高的2D图像数据来生成分辨率较高的视差图像数据的处理，通过将具有分辨率较低的视差图像的视差成分与2D图像重叠来实现位移处理，所以能够称为视差调节处理。通过视差调节处理，即使在视差调节处理前是非2D-3D无缝图像的图像，也能够使之成为2D-3D无缝图像。
图13是说明视差调节处理与2D-3D无缝图像的生成之间的关系的图。图13的(a)示出物点的左视点的点像分布1802、右视点的点像分布1803、结合这两者的合成点像分布1807以及中央视点的点像分布1801。
此处，为了简化说明的目的，省略彩色信息来进行说明。在这种情况下，视差调节处理能够通过以下的数学式来表示。
如图13的(a)所示，(Lt(x,y)+Rt(x,y))/2的分布在像素的中心部的重叠较少，例如假设重叠部分的峰值a为点像分布1802和点像分布1803的各个峰值b的30％的情况。在这种情况下，未佩戴3D眼镜的观赏者会视觉识别为包含双重像的图像。在本实施方式中，由于采用稀疏的视差像素排列，所以N(x,y)是利用N像素拍摄得到的。由于N(x,y)为全开口的，所以如点像分布1801所示，具有在像素的中心具有峰值的单重像的特性。即，中心部分不凹陷。
图13的(b)示出在视差调节后的物点的左视点的点像分布1808、右视点的点像分布1809、以及结合这两者的合成点像分布1810。视差调节后的左右图像的平均(Lt'(x,y)+Rt'(x,y))/2的分布根据上述的式子，与N(x,y)的分布相同。即，得到以下的数学式。
这表示视差调节后的左右的平均图像的分布是利用N像素拍摄的图像分布。由于视差调节项的分母在中心部分是凹陷的，所以在中心附近进行增益增幅。因此，抬高原本的Lt(x,y)的分布的中心部分。同样地，也抬高Rt(x,y)的中心部分。在中心部分将它们的和也抬高到与N(x,y)相等的水平。因此，即使当摄像时中心部分的重叠为例如N(x,y)的峰值的30％，在视差调节后，Lt'、Rt'的重叠部分的峰值也会达到50％水平。
如以上所述，通过实施视差调节处理，即使在像素的中心部的重叠较少的情况下，也能够实现2D-3D无缝图像。因此，即使在光电转换元件为2PD的情况下也有效。此外，2PD是指左视差像素和右视差像素共存于一个微透镜的下方而构成的摄像元件的结构。
此外，在使用如下所示的表达式作为视差调节式的情况下，也可以说是同样的。
通过以下的数学式来表示视差调节后的平均值。
在这种情况下，在视差调节项内，在彼此去除重叠来使中心部分的重叠部分为零的基础上，在N图像的分布上进行加法运算。如式子所示，由于调节后的平均值相互抵消，仅剩余N图像，所以重叠的状态不产生影响。
在以上的说明中，对照表为将更换式透镜的识别信息与可否对应于2D-3D无缝图像建立了关联的表，但也可以是记载有用于实现2D-3D无缝图像的拍摄的光学条件的表。例如，只要以使光束斜入射的方式来设定光学条件即可。在这种情况下，透镜存储器302存储摄像透镜20的光瞳位置、焦距、开放光圈值、透镜光瞳直径等。然后，判断部206取得光瞳位置、开放光圈值等，并与记载有光学条件的表核对，来判断所安装的更换式透镜300的光学条件是否满足对照表的光学条件。在利用记载有光学条件的对照表的情况下，也可以不进行用于更新该对照表的固件升级(firmware up)。
另外，判断部206也可以不使用对照表，在光学系统满足特定的光学条件的情况下，例如在与纯正的更换式透镜的光学条件不同的情况下，计算出针对与视差Lt图像数据和视差Rt图像数据的相对应的各个像素值进行算术平均而得到的运算值Ea和进行几何平均得到的运算值Em，判断运算值Ea与运算值Em是否满足Ea/Em＜3。由此，在安装有特殊的更换式透镜的情况下，即使在未预先存储对照表的情况下，也能够判断是否对应2D-3D无缝图像的拍摄。在此，将灰度设为通过A/D转换而输出的线性灰度。在进行作为非线性转换的伽玛转换的情况下，在通过实施逆伽玛转换(逆灰度转换)而变回原始的颜色空间之后进行上述的运算。另外，更优选地，运算值Ea和运算值Em满足Ea/Em＜2。而且，运算值Ea和运算值Em满足Ea/Em＞1。此外，若使用上述的运算值Ea、运算值Em，则能够根据像素值验证是否是2D-3D无缝图像。若运算值Ea和运算值Em满足Ea/Em＜3，则是2D-3D无缝图像，若Ea/Em发散，则是包含双重像的图像。这是因为，算术平均计算表示左右两个像的模糊整体的扩大幅度的信号值，与之相对，几何平均计算表示左右两个像的模糊的重叠幅度的信号值，算术平均与几何平均之比给出表示模糊的重叠状况的指标。
此外，在至此为止的说明中，以利用光学系统的特殊透镜有时例外地不满足2D-3D无缝条件为前提进行了说明，但是通常很少有光学系统透镜不满足2D-3D无缝条件的情况，与此相比，很多时候产生双重像的容易程度反倒与摄像元件侧的视差像素的设计结构相关并由其决定。因此，Ea/Em的值也用作对于摄像元件的2D-3D无缝条件的判断。作为上述的特殊透镜的例子，在不是通过视差像素，而是在透镜内通过特殊形状的光圈来得到部分光束的单眼立体摄像方式中，考虑到会有该光圈形状不适用于2D-3D无缝的情况。
在以上的说明中，数码相机10为透镜更换式相机，但也可以为透镜与相机主体200一体地构成的一体式相机。在这种情况下，相机主体控制部201也可以不具有判断部。
此外，若是纯正的更换式透镜，则认为与2D-3D无缝图像的拍摄相对应，而若是不纯正的更换式透镜，则考虑有不对应的情况。因此，在本实施方式中，如上所述，利用判断部206来判断更换式透镜是否与2D-3D无缝图像的摄像相对应。在不与2D-3D无缝图像的拍摄相对应的情况下，也可以将该意思通知给用户。
以上，虽然使用实施方式说明了本发明，但是本发明的技术范围并不限定于上述实施方式所记载的范围。本领域的技术人员明确知道能够对上述实施方式添加多种多样的变更或者改良。根据权利要求书可以明确，添加了该多种多样的变更或者改良的实施方式也包含于本发明的技术范围。
附图标记说明
10数码相机，20摄像透镜，21光轴，22光圈，100摄像元件，101微透镜，102彩色滤光片，104开口部，105布线层，106布线，108光电转换元件，109基板，111剩余部，112一部分，113区域，114区域，200相机主体，201相机主体控制部，202A/D转换电路，203存储器，204驱动部，205图像处理部，206判断部，207存储卡IF，208操作部，209显示部，210显示控制部，213相机安装部，214相机存储器，220存储卡，300更换式透镜，301更换式透镜控制部，302透镜存储器，303透镜安装部，304透镜驱动部，322中心线，401微透镜，406布线，408光电转换元件，1702信号强度分布，1703信号强度分布，1801点像分布，1802点像分布，1803点像分布，1804点像分布，1805点像分布，1806合成点像分布，1807合成点像分布，1808点像分布，1809点像分布，1810合成点像分布。

Claims (13)

1.一种摄像装置，其特征在于，具有：
摄像元件，其至少包括接收经由光学系统入射的被摄体光束中的偏向第一方向的第一部分光束的第一像素、和接收偏向与所述第一方向相反的第二方向的第二部分光束的第二像素，该第一方向与所述光学系统的光轴正交；和
图像生成部，其生成基于所述第一像素的输出的第一视差图像数据、和基于所述第二像素的输出的第二视差图像数据，
在所述摄像元件拍摄了位于所述光轴的非对焦区域的物点的情况下，所述第一视差图像数据的与所述光轴相对应的中心像素的像素值为峰值像素的像素值的50％以上，所述第二视差图像数据的所述中心像素的像素值为峰值像素的像素值的50％以上，
所述摄像元件具有相对于所述光轴不偏倚地接收所述被摄体光束的第三像素。
2.如权利要求1所述的摄像装置，其特征在于，
将所述第一视差图像数据与所述第二视差图像数据重叠得到的合成图像数据，在将通过所述中心像素并沿着所述第一方向和所述第二方向的像素列作为横轴的情况下，作为纵轴的为输出值的点像分布呈凸形。
3.如权利要求1或2所述的摄像装置，其特征在于，
所述摄像元件包括：
微透镜，其分别与所述第一像素以及所述第二像素相对应地设置；和
限制所述被摄体光束的偏移开口光罩，其分别设于与所述第一像素相对应地设置的所述微透镜和所述第一像素的受光面之间以及与所述第二像素相对应地设置的所述微透镜和所述第二像素的受光面之间，
形成于所述偏移开口光罩上的开口的偏移方向上的宽度大于不限制所述被摄体光束的全开口的宽度的一半。
4.如权利要求1所述的摄像装置，其特征在于，
所述图像生成部对基于所述第三像素的输出的第三图像数据，使用所述第一视差图像数据和所述第二视差图像数据，来生成与所述第一视差图像数据不同的第四视差图像数据以及与所述第二视差图像数据不同的第五视差图像数据。
5.如权利要求4所述的摄像装置，其特征在于，
所述第四视差图像数据和所述第五视差图像数据的彼此对应的各自的像素值的平均值与所述第三图像数据所对应的像素值相同。
6.如权利要求4所述的摄像装置，其特征在于，
所述第四视差图像数据的所述中心像素的像素值为峰值像素的像素值的50％以上，
所述第五视差图像数据的所述中心像素的像素值为峰值像素的像素值的50％以上。
7.如权利要求5所述的摄像装置，其特征在于，
所述第四视差图像数据的所述中心像素的像素值为峰值像素的像素值的50％以上，
所述第五视差图像数据的所述中心像素的像素值为峰值像素的像素值的50％以上。
8.如权利要求1或2所述的摄像装置，其特征在于，
对所述第一视差图像数据和所述第二视差图像数据所对应的各自的像素值进行算术平均得到的运算值Ea和进行几何平均得到的运算值Em满足Ea/Em＜3。
9.如权利要求8所述的摄像装置，其特征在于，
所述运算值Ea和所述运算值Em满足Ea/Em＜2。
10.如权利要求8所述的摄像装置，其特征在于，
所述运算值Ea和所述运算值Em满足Ea/Em＞1。
11.如权利要求9所述的摄像装置，其特征在于，
所述运算值Ea和所述运算值Em满足Ea/Em＞1。
12.如权利要求1或2所述的摄像装置，其特征在于，
所述第一视差图像数据以及所述第二视差图像数据在显示于显示装置的情况下，由佩戴3D眼镜的观赏者视觉识别为3D图像，并且由未佩戴所述3D眼镜的观赏者视觉识别为不包含双重像的2D图像。
13.如权利要求4～7中任一项所述的摄像装置，其特征在于，
所述第四视差图像数据以及所述第五视差图像数据在显示于显示装置的情况下，由佩戴3D眼镜的观赏者视觉识别为3D图像，并且由未佩戴所述3D眼镜的观赏者视觉识别为不包含双重像的2D图像。
CN201480037505.3A 2013-07-05 2014-06-30 摄像装置 Active CN105359519B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-142174 2013-07-05
JP2013142174 2013-07-05
PCT/JP2014/003475 WO2015001788A1 (ja) 2013-07-05 2014-06-30 撮像装置

Publications (2)

Publication Number Publication Date
CN105359519A CN105359519A (zh) 2016-02-24
CN105359519B true CN105359519B (zh) 2017-07-04

Family

ID=52143388

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480037505.3A Active CN105359519B (zh) 2013-07-05 2014-06-30 摄像装置

Country Status (4)

Country Link
US (1) US9706186B2 (zh)
JP (1) JP6288088B2 (zh)
CN (1) CN105359519B (zh)
WO (1) WO2015001788A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10739111B2 (en) 2015-04-21 2020-08-11 University Of Rochester Cloaking systems and methods
JP6935389B2 (ja) * 2016-03-30 2021-09-15 ソニー・オリンパスメディカルソリューションズ株式会社 医療用立体観察装置、医療用立体観察方法、及びプログラム
WO2018027110A1 (en) 2016-08-05 2018-02-08 University Of Rochester Virtual window
US10496238B2 (en) * 2016-08-22 2019-12-03 University Of Rochester 3D display ray principles and methods, zooming, and real-time demonstration
KR102148127B1 (ko) * 2020-02-14 2020-08-26 재단법인 다차원 스마트 아이티 융합시스템 연구단 상보적인 픽슬렛 구조가 적용된 카메라 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012002430A1 (ja) * 2010-06-30 2012-01-05 富士フイルム株式会社 立体画像撮像装置
WO2012117619A1 (ja) * 2011-03-02 2012-09-07 富士フイルム株式会社 立体画像撮像装置
WO2012164934A1 (ja) * 2011-05-30 2012-12-06 株式会社ニコン 画像処理装置、画像処理方法およびプログラム
WO2013031392A1 (ja) * 2011-08-30 2013-03-07 富士フイルム株式会社 立体撮像装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050140820A1 (en) * 1999-08-20 2005-06-30 Koichi Takeuchi Lens unit and camera
JP2001061165A (ja) * 1999-08-20 2001-03-06 Sony Corp レンズ装置及びカメラ
JP2003007994A (ja) 2001-06-27 2003-01-10 Konica Corp 固体撮像素子、立体カメラ装置及び測距装置
JP2011199755A (ja) 2010-03-23 2011-10-06 Fujifilm Corp 撮像装置
US9532033B2 (en) 2010-11-29 2016-12-27 Nikon Corporation Image sensor and imaging device
JP5825817B2 (ja) 2011-04-01 2015-12-02 キヤノン株式会社 固体撮像素子及び撮像装置
CN104185983B (zh) 2012-03-16 2016-10-26 株式会社尼康 摄像元件、摄像装置以及摄像系统
WO2013161313A1 (ja) 2012-04-25 2013-10-31 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
WO2013190814A1 (ja) 2012-06-22 2013-12-27 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
JP5904281B2 (ja) * 2012-08-10 2016-04-13 株式会社ニコン 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
CN104756493B (zh) * 2012-10-26 2017-03-08 株式会社尼康 摄像装置、图像处理装置、摄像装置的控制程序及图像处理装置的控制程序

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012002430A1 (ja) * 2010-06-30 2012-01-05 富士フイルム株式会社 立体画像撮像装置
WO2012117619A1 (ja) * 2011-03-02 2012-09-07 富士フイルム株式会社 立体画像撮像装置
WO2012164934A1 (ja) * 2011-05-30 2012-12-06 株式会社ニコン 画像処理装置、画像処理方法およびプログラム
WO2013031392A1 (ja) * 2011-08-30 2013-03-07 富士フイルム株式会社 立体撮像装置

Also Published As

Publication number Publication date
JP6288088B2 (ja) 2018-03-07
WO2015001788A1 (ja) 2015-01-08
JPWO2015001788A1 (ja) 2017-02-23
US20160119608A1 (en) 2016-04-28
US9706186B2 (en) 2017-07-11
CN105359519A (zh) 2016-02-24

Similar Documents

Publication Publication Date Title
US8451352B2 (en) Image pickup apparatus
CN104335246B (zh) 用pi滤光器群组来形成图案的相机模块
CN104662887B (zh) 图像处理设备、图像处理方法和具有该图像处理设备的摄像设备
CN105359519B (zh) 摄像装置
CN103688536B (zh) 图像处理装置、图像处理方法
EP2083446A2 (en) Image pickup apparatus
CN106165398B (zh) 摄像元件、摄像装置以及图像处理装置
CN105230000B (zh) 摄像元件以及摄像装置
US9838665B2 (en) Image processing device, imaging device, and image processing program
CN103621078B (zh) 图像处理装置和图像处理程序
US20140307060A1 (en) Image sensor
US9854224B2 (en) Image processing apparatus, image capturing apparatus, and image processing program
CN104303302A (zh) 摄像元件以及摄像装置
CN103907188A (zh) 摄像元件、摄像装置及图像处理装置
CN103503447B (zh) 拍摄装置及拍摄装置的控制方法
JP5978736B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP5874334B2 (ja) 画像処理装置、撮像装置、画像処理プログラムおよび撮像装置の制御プログラム
US20190107688A1 (en) Optical device
JP5978737B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP5978735B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP5978738B2 (ja) 画像処理装置、撮像装置および画像処理プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant