CN104521231A - 图像处理装置、摄像装置及图像处理装置的控制程序 - Google Patents

Abstract

一种图像处理装置，包括：输入关联有摄像信息的第一图像的装置；基于摄像信息判断第一图像是否为如下图像的机构，该图像为使用了由具备具有如下开口掩模的第一视差像素的像素排列构成的摄像元件的输出信号的、与开口掩模对应的视点方向上的被拍摄体像的图像，其中，上述开口掩模以针对一个光学系统的入射光束使具有长轴与短轴非对称的方向特性的部分光束通过的方式被定位；以及当摄像信息满足该条件时，对第一图像的非对焦区域的被拍摄体像进行频率特性在长轴方向与短轴方向之间不同的校正处理，并输出校正后的第一图像的机构。

Description

图像处理装置、摄像装置及图像处理装置的控制程序

技术领域

本发明涉及一种图像处理装置、摄像装置及图像处理装置的控制程序。

背景技术

已知一种摄影装置，其利用单个摄像光学系统通过一次拍摄生成彼此具有视差的左右视差图像。

现有技术文献

专利文献1：日本特开2003-7994号公报

发明内容

发明要解决的问题

在专利文献1中公开了在单板式拜耳排列型的彩色固体摄像元件上布设有左开口视差像素和右开口视差像素，能够由一台相机通过一次拍摄形成立体图像的摄像方式。然而，专利文献1中关于拍摄而得到的图像特性未进行任何记载。因此，实际拍摄到的图像数据具有怎样的模糊特性并不清楚，而且也不知道这是否会产生自然的模糊。实际上，由这种摄像装置生成的左右视差图像的每一个中，水平方向与垂直方向上的模糊非对称，从而造成了无法得到自然的模糊感觉的问题。

解决问题的方案

本发明第一方式中的图像处理装置包括：输入附有摄像信息的第一图像的机构；基于摄像信息判断第一图像是否为如下图像的机构，该图像为使用了由具备具有如下开口掩模的第一视差像素的像素排列构成的摄像元件的输出信号的、与开口掩模对应的视点方向上的被拍摄体像的图像，其中，上述开口掩模以针对一个光学系统的入射光束使具有长轴与短轴非对称的方向特性的部分光束通过的方式被定位；以及当摄像信息满足该条件时，对第一图像的非对焦区域的被拍摄体像进行频率特性在长轴方向与短轴方向之间不同的校正处理，并输出校正后的第一图像的机构。

本发明的第二方式中的图像处理装置包括：输入附有摄像信息的第一图像的机构；基于摄像信息判断第一图像是否是如下图像的机构，该图像是使用由至少具备具有第一开口掩模的第一视差像素、具有第二开口掩模的第二视差像素和具有第三开口掩模的无视差像素的像素排列构成的摄像元件，在分别不同的像素中对与将第一开口掩模对应的视点方向上的被拍摄体像和与第二开口掩模对应的视点方向上的被拍摄体像和与第三开口掩模对应的视点方向上的被拍摄体像同时进行拍摄得到的图像，其中，第一开口掩模和第二开口掩模以针对一个光学系统的入射光束使具有长轴与短轴非对称的方向特性且互不相同的部分光束通过的方式被定位，第三开口掩模以使全部入射光束通过的方式被定位；当摄像信息满足该条件时，使用拍摄得到的图像的无视差像素、第一视差像素和第二视差像素的信号，生成与第三开口掩模对应的视点方向上的基准图像的机构；以及对基准图像的非对焦区域的被拍摄体像进行频率特性在长轴方向与短轴方向之间不同的校正处理，并输出校正后的基准图像的机构。

本发明的第三方式中的图像处理装置包括：图像取得部，取得与图像信息相关联的输入视差图像数据，该图像信息是根据具有长度在两轴方向上不同的受光区域的像素的输出而生成的；以及图像处理部，对基于与图像信息相关联的视差图像数据的图像实施滤波，使得与两轴方向对应的第一轴方向和第二轴方向上的空间频率的变化量互不相同。

本发明的第四方式中的摄像装置包括：输出视差图像数据的摄像元件；以及上述任一图像处理装置。

本发明的第五方式中的图像处理装置的控制程序使计算机执行：图像取得步骤，取得与图像信息相关联的视差图像数据，该图像信息是根据具有长度在两轴方向上不同的受光区域的像素的输出而生成的；图像处理步骤，对基于与图像信息相关联的视差图像数据的图像实施滤波，使得与两轴方向对应的第一轴方向和第二轴方向上的空间频率的变化量互不相同。

另外，上述发明内容并未列举出本发明的全部可能特征，所述特征组的子组合也有可能构成发明。

附图说明

图1是说明数码相机10的结构的图。

图2是说明摄像元件100的截面结构的图。

图3是说明无视差像素中的离焦的示意图。

图4是说明视差像素中的离焦的示意图。

图5是表示无视差像素与视差像素的光强度分布的图。

图6是说明当有两种视差像素时开口部104的开口形状的图。

图7是用于说明模糊的非对称性的图。

图8是表示视差图像及无视差图像与景深的关系的图。

图9是用于说明滤波的图。

图10是表示像素排列的一例的图。

图11是表示位于非对焦区域的物点的点像分布的图。

图12是表示像素排列的变例的图。

具体实施方式

以下通过发明实施方式对本发明进行说明，但以下实施方式并非对权利要求书所涉及的发明进行限定。并且，实施方式中说明的特征组合也并非全部为本发明的必要特征。

作为摄像装置的一形态的本实施方式所述的数码相机被构成为针对一个场景进行一次拍摄便能生成左视点及右视点的图像。将彼此视点各异的各个图像称为视差图像。

图1为说明本发明实施方式所述的数码相机10的结构的图。数码相机10具有作为拍摄光学系统的拍摄透镜20，将沿光轴21入射的被拍摄体光束引导至摄像元件100。拍摄透镜20也可以是相对于数码相机10可装卸的更换式透镜。数码相机10具备:摄像元件100、控制部201、A/D转换电路202、存储器203、驱动部204、图像处理部205、存储卡IF207、操作部208、显示部209、及LCD驱动电路210。

另外，如图所示，将与朝向摄像元件100的光轴21平行的方向定为+Z轴方向，将在与Z轴相垂直的平面中朝向纸背面的方向定为+X轴方向、将纸面上方向定为+Y轴。与拍摄中的构图的关系成为:X轴是水平方向、Y轴是垂直方向。在此后的几个图中以图1的座标轴为基准来表示座标轴，使得各个图的朝向易于理解。

拍摄透镜20由多个光学透镜群构成，使来自于场景的被拍摄体光束在其焦平面附近成像。另外，在图1中为了便于说明拍摄透镜20，以配置在光瞳附近的一片假想透镜为代表进行表示。摄像元件100配置于拍摄透镜20的焦平面附近。摄像元件100是二维排列有多个光电转换元件的例如CCD、CMOS传感器等图像传感器。详细内容以后说明，摄像元件100包含具有长度在二轴方向上不同的受光区域的像素。此处，受光区域是指后述光电转换元件实际接收到光的区域。使光电转换元件自身的纵横比各异地来形成该光电转换元件，从而能够形成具有长度在二轴方向上不同的受光区域的像素。而且，由后述开口掩模覆盖光电转换元件的一部分来限制入射到该光电转换元件的光，从而能够形成具有长度在二轴方向上不同的受光区域的像素。摄像元件100由驱动部204进行定时控制，将在受光面上成像的被拍摄体像转换成图像信号并输出给A/D转换电路202。输出给A/D转换电路202的图像信号包含左视点及右视点的图像信号。

A/D转换电路202将摄像元件100输出的图像信号转换成数字图像信号输出给存储器203。图像处理部205将存储器203作为工作空间实施各种图像处理，生成图像数据。具体地，图像处理部205具有：图像数据生成部231、视差图生成部232、及滤波处理部233。

图像数据生成部231例如生成左视点对应的左视差图像数据和右视点对应的右视差图像数据。图像数据生成部231进一步地将表示左视差图像数据及右视差图像数据是根据上述像素的输出而生成的这一意思的图像信息与该左视差图像数据及该右视差图像数据相关联。图像数据生成部231例如将上述图像信息作为Exif信息与左视差图像数据及右视差图像数据相关联。

视差图生成部232生成关于左视点与右视点的视差的评价数据。详细内容将在以后说明，但评价数据可以认为是表示与以对焦区域为基准的被拍摄体的进深相关的位置信息的视差图数据。

滤波处理部233例如根据上述视差图来对上述图像信息所关联的左视差图像数据及右视差图像数据实施滤波。滤波的详细内容将在以后说明。

图像处理部205另外还承担依照所选图像格式进行调整图像数据等图像处理的一般功能。由图像处理部205生成的各种图像数据由LCD驱动电路210转换为显示信号并显示在显示部209中。评价数据也可以显示在显示部209中。而且，所生成的各种图像数据及评价数据被记录于装设在存储卡IF207上的存储卡220中。

一连串的拍摄序列是从操作部208接收到用户操作并将操作信号输出给控制部201而开始的。拍摄序列所附带的AF(自动调焦，Auto Focus)、AE(自动曝光，Auto Expose)等各种动作由控制部201控制执行。例如，控制部201解析评价数据，使构成拍摄透镜20的一部分的聚焦透镜移动以执行对焦控制。

以下针对摄像元件100的结构进行详细说明。图2为表示本发明实施方式所述的摄像元件100的截面的示意图。

摄像元件100从被拍摄体侧开始依次排列有:微型透镜101、彩色滤光片102、开口掩模103、布线层105及光电转换元件108。光电转换元件108由将入射的光转换为电信号的光电二极管构成。光电转换元件108在基板109的表面上二维排列有多个。

由光电转换元件108转换的图像信号、控制光电转换元件108的控制信号等通过在布线层105上设置的布线106进行收发。另外，具有相对于各光电转换元件108一一对应地设置且二维重复排列的开口部104的开口掩模103与布线层相接触设置。开口部104如后所述与相应的光电转换元件108逐个偏移，相对位置被进行严格设定。详细内容如后所述，通过具有该开口部104的开口掩模103的作用，在由光电转换元件108受光的被拍摄体光束中产生视差。

另一方面，在不产生视差的光电转换元件108上不存在开口掩模103。换言之，并不限制相对于相应光电转换元件108入射的被拍摄体光束，即也可以认为设置有具有使全部入射光束通过的开口部104的开口掩模103。虽然不产生视差，但实际上由于通过布线106所形成的开口107规定了入射的被拍摄体光束，因此也可以将布线106看作是使不产生视差的全部入射光束通过的开口掩模。开口掩模103既可以对应于各光电转换元件108分别独立排列，也可以与彩色滤光片102的制造工艺相同地相对于多个光电转换元件108统一形成。

彩色滤光片102设置于开口掩模103上。彩色滤光片102是以使特定波段透过各光电转换元件108的方式被上色的与光电转换元件108的每一个一一对应地设置的滤光片。为了输出彩色图像，只要排列彼此互异的至少两种彩色滤光片即可，但为了得到更高画质的彩色图像，最好排列三种以上的彩色滤光片。例如可以以网格状排列使红色波段透过的红色滤光片(R滤光片)、使绿色波段透过的绿色滤光片(G滤光片)、以及使蓝色波段透过的蓝色滤光片(B滤光片)。彩色滤光片不仅可以为原色RGB的组合，也可以为YCMg的补色滤光片的组合。关于具体的排列如后所述。

微型透镜101设置于彩色滤光片102上。微型透镜101是用于将入射的被拍摄体光束更多地引导至光电转换元件108的聚光透镜。微型透镜101与光电转换元件108的每一个一一对应地设置。微型透镜101最好考虑拍摄透镜20的光瞳中心与光电转换元件108的相对位置关系来使其光轴偏移，使得更多的被拍摄体光束被引导至光电转换元件108。进一步地，可以与开口掩模103的开口部104的位置一并调整配置位置，使得后述特定被拍摄体光束更多地入射。

如此一来，将与各个光电转换元件108一一对应地设置的开口掩模103、彩色滤光片102及微型透镜101的一个单位称为像素。具体地，将设置有产生视差的开口掩模103的像素称为视差像素，将未设置有产生视差的开口掩模103的像素称为无视差像素。有时也将左视点的视差像素记为视差Lt像素，将右视点的视差像素记为视差Rt像素，将无视差像素记为N像素。而且，也有时候将左视点的视差图像记为视差Lt图像、将右视点的视差图像记为视差Rt图像，将无视差图像记为N图像。例如，当摄像元件100的有效像素区域为24mm×16mm左右时，像素数量达到1200万左右。

另外，在聚光效率、光电转换效率良好的图形传感器的情形中，也可以不设置微型透镜101。另外，在背面照射型图像传感器的情形中，布线层105设置于与光电转换元件108相反的一侧。而且，只要使开口掩模103的开口部104上具有色彩分量，也可以使彩色滤光片102与开口掩模103一体形成。另外，如果只输出黑白图像信号即可，则不设置彩色滤光片102。

另外，在本实施方式中，开口掩模103与布线106分体设置，但由布线106承担视差像素中的开口掩模103的功能也是可以的。即，由布线106形成所规定的开口形状，由该开口形状限制入射光束从而仅将特定部分光束引导至光电转换元件108。此时，形成开口形状的布线106最好在布线层105中最靠近光电转换元件108侧。

另外，开口掩模103也可以由重叠设置于光电转换元件108上的防透射膜形成。此时，开口掩模103例如将SiN膜和SiO₂膜依次层叠作为防透射膜，将相当于开口部104的区域通过刻蚀去除而形成。

<视差像素与模糊特性>

以下示意性说明视差Lt像素及视差Rt像素受光时的离焦。首先是针对无视差像素中的离焦进行简单示意性说明的图。图3为说明无视差像素中的离焦的示意图。如图3(a)所示，当作为被拍摄体的物点位于焦点位置时，通过透镜光瞳到达摄像元件受光面的被拍摄体光束表现出以对应像点像素为中心的陡峭的光强度分布。即，接收到通过透镜光瞳的全部有效光束的无视差像素排列在像点附近时，与像点对应的像素的输出值最大，排列在周边的像素的输出值急剧下降。

另一方面，如图3(b)所示，如果物点朝远离摄像元件受光面远离的方向从焦点位置偏移，则与物点位于焦点位置的情形相比，被拍摄体光束在摄像元件受光面上表现出平缓的光强度分布。即，表现出在对应像点的像素中的输出值下降的基础上，到更靠周边的像素具有输出值的分布。

如图3(c)所示，如果物点从焦点位置进一步偏移，则被拍摄体光束在摄像元件受光面上表现出更加平缓的光强度分布。即，表现出在对应像点的像素中的输出值进一步下降的基础上，到更靠周边的像素具有输出值的分布。

如图3(d)所示，物点朝接近摄像元件受光面的方向从焦点位置偏移时，也表现出与物点朝远离摄像元件受光面的方向偏移时相同的光强度分布。

图4为说明视差像素中的离焦的示意图。视差Lt像素及视差Rt像素接收到从作为透镜光瞳的部分区域而分别设定于于光轴对象上的两个视差假想光瞳的任一个到达的被拍摄体光束。在本说明书中，通过接收从单个透镜光瞳中的互不相同的假想光瞳到达的被拍摄体光束而对视差图像进行摄像的方式被称为单眼光瞳分割摄像方式。

如图4(a)所示，当作为被拍摄体的物点位于焦点位置时，通过任一视差假想光瞳的被拍摄体光束均表现出以对应像点的像素为中心的陡峭的光强度分布。在像点附近排列有视差Lt像素时，与像点对应的像素的输出值最大，排列在周边的像素的输出值急剧下降。另外，即使在像点附近排列有视差Rt像素，与像点对应的像素的输出值也最大，排列于周边的像素的输出值急剧下降。即，被拍摄体光束通过任一视差假想光瞳时均表现出与像点对应的像素的输出值最大，排列于周边的像素输出值急剧下降的分布，各个分布互相一致。

另一方面，如图4(b)所示，当物点朝远离摄像元件受光面的方向从焦点位置偏移时，与物点位于焦点位置的情形相比，视差Lt像素所表现出的光强度分布的峰值出现在从与像点对应的像素朝一方向离开的位置，且其输出值下降。而且，具有输出值的像素宽度展宽。即，由于相对于摄像元件受光面的水平方向具有点像的展宽，因此模糊量增加。视差Rt像素所表现出的光强度分布的峰值出现在从与像点对应的像素朝着与视差Lt像素中的一方向相反的方向且等距离地离开的位置，同样地，其输出值下降。而且，同样地，具有输出值的像素宽度也展宽。即，与物点位于焦点位置的情形相比变得平缓的同一光强度分布表现出互相等距离远离。视差Lt像素及视差Rt像素所表现出的光强度分布的峰值间的偏移量相当于视差量。

另外，如图4(c)所示，物点从焦点位置进一步偏移时，与图4(b)的状态相比，进一步变得平缓的同一光强度分布出现在更加远离的地方。由于点像的展宽变得更大，因此模糊量增加。另外，视差Lt像素及视差Rt像素所表现出的光强度分布的峰值间的偏移也变大，因此视差量也增加。也就是说，可以认为物点从焦点位置偏移得越多，模糊量和视差量就增加得越多。

如图4(d)所示，当物点朝接近摄像元件受光面的方向从焦点位置偏移时，与图4(c)的状态相反，视差Rt像素所表现出的光强度分布的峰值出现在从与像点对应的像素朝上述一方向远离的位置。视差Lt像素所表现出的光强度分布的峰值出现在朝与视差Rt像素中的一方向相反的方向远离的位置。即，根据物点的偏移方向决定视差Lt像素及视差Rt像素所表现出的光强度分布的峰值出现在从与像点对应的像素朝哪个方向远离的位置。

将图3所说明的光强度分布变化以及图4所说明的光强度分布变化分别绘图后如图5所示。图5是表示无视差像素和视差像素的光强度分布的图。在图中，横轴表示像素位置，中心位置为与像点对应的像素的位置。纵轴表示各像素的输出值，该输出值实际上与光强度成正比，因此在图中作为光强度表示。

另外，如上所述，当物点朝接近摄像元件受光面的方向从焦点位置偏移时表现出与物点朝远离摄像元件受光面的方向偏移时相同的光强度分布，因此在图中，省略了朝接近摄像元件受光面的方向偏移时的光强度分布的变化。关于物点朝接近摄像元件受光面的方向从焦点位置偏移时的视差Lt像素及视差Rt像素所表现出的光强度分布的峰值，也与物点朝远离摄像元件受光面的方向偏移时的视差Lt像素及视差Rt像素所表现出的光强度分布的峰值相同，因此也进行了省略。

图5(a)为表示图3所说明的光强度分布的变化的图。分布曲线1801表示与图3(a)对应的光强度分布，表现出最陡峭的样子。分布曲线1802表现出与图3(b)对应的强度分布，而且，分布曲线1803表现出与图3(c)对应的光强度分布。与分布曲线1801相比，可以看到峰值缓慢下降并展宽的样子。

图5(b)为表示图4所说明的光强度分布的变化图。分布曲线1804与分布曲线1805分别表示图4(b)的视差Lt像素的光强度分布及视差Rt像素的光强度分布。从图中可以看出，这些分布相对于中心位置呈线对称形状。而且，将他们相加的合成分布曲线1806表现出与相对于图4(b)处于同等离焦状态的图3(b)的分布曲线1802相似的形状。

分布曲线1807和分布曲线1808分别表示图4(c)的视差Lt像素的光强度分布和视差Rt像素的光强度分布。从图中可以看出，这些分布相对于中心位置成线对称形状。而且，将他们相加后的合成分布曲线1809表现出与相对于图4(c)处于同等离焦状态的图3(c)的分布曲线1803相似的形状。另外，图4(d)的视差Lt像素的光强度分布及视差Rt像素的光强度分布与图4(c)的视差Lt像素的光强度分布及视差Rt像素的光强度分布成为进行了位置替换的关系，分别相当于分布曲线1808及分布曲线1807。

图6为说明当视差像素有两种时开口部104的开口形状的图。图6(a)表示视差Lt像素的开口部104l的形状和视差Rt像素的开口部104r的形状与用中心线322分割无视差像素的开口部104n的形状后的各个形状相同的例子。也就是说，在图6(a)中，无视差像素的开口部104n的面积成为视差Lt像素的开口部104l的面积与视差Rt像素的开口部104r的面积之和。在本实施方式中，将无视差像素的开口部104n称为全开口的开口部，将开口部104l及开口部104r称为半开口的开口部。当开口部位于光电转换元件的中央时，称为该开口部朝向基准方向。视差Lt像素的开口部104l及视差Rt像素的开口部104r相对于通过各自对应的光电转换元件108的中心(像素中心)的假想的中心线322而彼此朝相反方向移位。因此，视差Lt像素的开口部104l及视差Rt像素的开口部104r分别在相对于中心线322的一方向以及与该一方向相反的另一方向上产生视差。

图6(b)表示在具有图6(a)所示各开口部的像素中，物点朝远离从摄像元件受光面的方向从焦点位置偏移时的光强度分布。在图中，横轴表示像素位置，中心位置为与像点对应的像素位置。另外，曲线Lt与图5(b)的分布曲线1804相当，曲线Rt与图5(b)的分布曲线1805相当。曲线N与无视差像素相对应，表现出与图5(b)的合成分布曲线1806相似的形状。另外，各个开口部104n、开口部104l、开口部104r发挥作为开口光圈的功能。因此，具有面积为开口部104l(开口部104r)的二倍的开口部104n的无视差像素的模糊宽度与以图5(b)的合成分布曲线1806所表示的将视差Lt像素与视差Rt像素相加后的曲线的模糊宽度的程度相同。

图6(c)表示在图6(a)所示具有各开口部的像素中，物点朝接近摄像元件受光面的方向从焦点位置偏移时的光强度分布。在图中，横轴表示像素位置，中心位置为与像点对应的像素位置。具有开口部104n的无视差像素的模糊宽度与将视差Lt像素和视差Rt像素相加后的曲线的模糊宽度成为同等程度的关系，图6(c)的曲线Lt、曲线Rt一边维持着这种关系，一边相对于图6(b)的曲线Lt、曲线Rt进行位置关系的反转。

<景深与非对称模糊>

以下说明景深与模糊的非对称性的关系。从图6(b)、(c)可以很清楚地看到，在非对焦区域中，视差像素的模糊宽度比无视差像素的模糊宽度更窄。这意味着通过图6(a)的视差像素的开口掩模实质性地使透镜的入射光束被缩小成右半份和左半份。换言之，可以说在单一的透镜光瞳上产生了左右两个假想光瞳。即，视差像素的开口掩模中的开口面积起到了与透镜光圈的效果相等同的作用。

一般地，当缩小光圈时会拍摄到景深较深的图像。视差像素中的开口掩模的开口在水平方向上较短在垂直方向上较长。因此，对纵线等在水平方向上具有频率分量的被拍摄体拍摄景深较深的图像，与此相对，对横线等在垂直方向上具有频率分量的被拍摄体拍摄景深较浅的图像。

图7为用于说明模糊的非对称性的图。例如，当拍摄图7(a)所示的正方形帖片的被拍摄体时，在对焦区域得到图7(a)这样的被拍摄体像。在图7(b)中将由左视差像素和右视差像素捕捉到的被拍摄体像相结合进行显示。在非对焦区域中拍摄到图7(b)所示的水平方向模糊较小且纵线看上去比横线更清晰的被拍摄体像。即，视差像素中的开口掩模的开口在水平方向与垂直方向上具有非对称性，因此，被拍摄体像的水平方向与垂直方向的模糊具有非对称性。这可以称为模糊的非各向同性。

在将图7(b)的左眼用被拍摄体像和右眼用被拍摄体像相重合表示，从3D图像得到2D图像时，在2D图像中产生了由水平方向清晰的模糊而引起的二线模糊这种不太理想的模糊(图7(c))。因此，最好能够通过图像处理来实现降低3D图像显示用左右视差图像的模糊的非对称性以得到自然模糊的校正，或者实现在2D图像显示中得到不出现二线模糊的自然模糊味的校正。

图8为表示视差图像及无视差图像与景深的关系的图。具体地，图8为表示以摄像元件100的像素间距为a[mm]，频率为f[条/mm]，对被拍摄体像的条纹图案进行拍摄时的纵线条纹图案和将其旋转90°进行拍摄时的横线条纹图案的MTF(Modulation TransferFunction，调制传递函数)特性的被拍摄体距离依赖性的图。纵轴表示MTF，横轴表示相对于数码相机10的距离d。当以对焦位置的光轴附近的MTF为1时，MTF分布表示在使条纹图案从对焦位置前后移动时如何进行衰减。图8(a)表示无视差图像(N图像)中的与固定频率的被拍摄体像的被拍摄体距离相关的纵线条纹图案和横线条纹图案的MTF分布。如图8(a)所示，在无视差图像中，纵线条纹图案与横线条纹图案的MTF分布相一致。图8(b)表示视差图像(视差Lt图像及视差Rt图像)中的与固定频率的被拍摄体像的被拍摄体距离相关的纵线条纹图案与横线条纹图案的MTF分布。图8(b)所示横线条纹图案的MTF分布与图8(a)所示横线条纹图案的MTF分布相一致。另一方面，可以看出，图8(b)所示纵线条纹图案的MTF分布与图8(a)所示纵线条纹图案的MTF分布相比，较宽地分布有对比度高的区间，景深较深。换言之，当使条纹图案从对焦位置前后移动时，在视差图像中，横线条纹图案与横线条纹图案的对比度不同。这会产生刚才在图7所示的模糊的非对称性。

<算法的设计准则>

以下对模糊的非对称性或2D图像中产生的二线模糊的校正算法进行说明。要想适当处理模糊校正就必须要掌握模糊量。具体将在以后说明，但在单眼光瞳分割立体摄像方式中有效利用模糊的大小与视差直接相关这一事实来生成视差图。即，在视差图中，评价水平方向的左右视差图像中的模糊的分离度。模糊的分离度越大，模糊量就越大，因此视差图可以说是被拍摄体像的模糊程度的图。

针对滤波处理部233采用视差图如何实施滤波来进行说明。图9为用于说明滤波的图。此处，以拍摄方格图案的情形为例进行举例说明。在图中，图9(a)表示在对焦区域拍摄方格图案的情形。在对焦区域中，水平方向及垂直方向的任一方向上模糊量均为0。

图9(b)表示在非对焦区域拍摄方格图案的情形。在非对焦区域中，横线中的垂直方向及纵线中的水平方向的任一方向上均产生了模糊。此处，横线中的垂直方向的模糊量与纵线中的水平方向的模糊量不同。详细来说，如图所示，横线中的垂直方向的模糊量变得比纵线中的水平方向的模糊量更大。详细将在以后说明，但在以下实施方式中，滤波处理部233通过使用视差图在水平方向与垂直方向之间进行非对称平滑化处理，从而朝消除模糊的非对称性的方向进行校正。具体地，滤波处理部233使用视差图导出与某个像素对应的纵线中的水平方向的模糊量所相当的高斯渐变半径。滤波处理部233使用该高斯渐变半径对该像素的像素值进行滤波。通过对全部像素进行这样的处理，如图9(c)所示，能够维持横线中的垂直方向的模糊量不变，增加纵线中的水平方向的模糊量。

另外，滤波处理部233也可以在进行边缘增强时，对横线的模糊较多的被拍摄体像实施较强的边缘增强，对纵线的模糊较少的被拍摄体像实施较弱的边缘增强，从而朝消除模糊的非对称性的方向进行校正。具体地，滤波处理部233也可以使用视差图导出与某个像素对应的边缘增强的增益系数。滤波处理部233使用该增益系数校正该像素的像素值。通过对全部像素进行这样的处理，如图9(d)所示，能够维持水平方向的模糊量不变，增加垂直方向的模糊量。

<实施方式1>

----由对视差Lt图像和视差Rt图像进行的水平方向平滑化来校正非对称模糊----

图像处理步骤如下所示。

1)输入视差复用马赛克图像数据

2)生成视差图像

3)由视差图像的平滑化校正非对称模糊

3‐1)生成视差图

3‐2)平滑化处理

以下依次说明。

1)输入视差复用马赛克图像数据

图10为表示像素排列的一例的图。摄像元件100以图中粗线表示的2×2像素的图案110为基本网格。在图案110中，对左上像素及右下像素分配视差Lt像素。对左下像素及右上像素分配视差Rt像素。此处，摄像元件100为单色传感器。

图10的视差被复用的单板式单色马赛克图像由M(x，y)表示。灰度为通过A/D转换而输出的线性灰度。

2)生成视差图像

图像数据生成部231生成左视差图像和右视差图像。即，图像数据生成部231进行仅收集左视差像素的信号面内插补而生成左视差图像。使用相邻上下左右的像素值进行插补。可以是4点单纯平均插补，但如果要生成更高清晰的左视差图像，则最好比较上下像素差值的绝对值与左右像素差值的绝对值，从值较小而相关性较大的方向开始在进行方向判定的同时算出插补值。同样地，图像数据生成部231进行仅收集右视差像素的信号面内插补而生成右视差图像。即，从Lt_mosaic(x，y)生成Lt(x，y)，从Rt_mosaic(x，y)生成Rt(x，y)。

左视差图像表示为Lt(x，y)。右视差图像表示为Rt(x，y)。

3)由视差图像的平滑化来校正非对称模糊

3‐1)生成视差图

首先针对视差检测方法的思路进行描述。详细将在后面说明，但在单眼光瞳分割摄像方式中，通过推测被拍摄体像的模糊宽度便能等价地检测到视差量。

图11为表示位于非对焦区域的物点的点像分布的图。图中，横轴表示像素位置，中心位置为与像点对应的像素位置。纵轴表示像素值。图11(a)、(b)中，左视点的点像分布Lt与右视点的点像分布Rt表示图6所示的左右视差像素的开口部为半开口时水平方向的模糊宽度。

图11(a)的左视点的点像分布Lt与右视点的点像分布Rt表示为像素位置x的函数。左视点的点像分布Lt与右视点的点像分布Rt的算术平均也表示为像素位置x的函数。例如，在像素位置x1处，Lt和Rt均具有像素值，因此运算结果为正值。在像素位置x2处，虽然Lt不具有像素值，但由于Rt具有像素值，运算结果还是为正值。如上所述，在计算算术平均时，只要Lt与Rt的之一具有像素值，其运算结果则为正值。因此，各像素位置处的点像分布Lt与点像分布Rt的算术平均作为整体来看，如图11(a)所示，成为点像分布Lt与Rt的展宽宽度之和。这相当于图6所示具有全开口的开口部的无视差像素所对应的模糊宽度。

另外，算术平均为用于获得点像分布Lt与Rt的展宽宽度之和的运算的一例。只要能够得到点像分布Lt与Rt的展宽宽度之和，也可以利用其他运算。

左视点的点像分布Lt与右视点的点像分布Rt的几何平均也表示为像素位置x的函数。例如，在像素位置x1处，由于Lt和Rt均具有像素值，因此运算结果为正值。另一方面，在像素位置x2处，虽然Rt具有像素值，但由于Lt不具有像素值，因此运算结果为0。如上所述，在计算几何平均时，Lt与Rt的任一具有像素值时，其运算结果则为正值。因此，各像素位置处的点像分布Lt与点像分布Rt的几何平均作为整体来看，如图11(b)所示，成为点像分布Lt及Rt的展宽宽度之积。几何平均的展宽宽度与算术平均相比变得更窄，当视差量增加时相对地变得更小，因此可以说他们之比与视差量具有相关性。

另外，几何平均为用于获得点像分布Lt与Rt的展宽宽度之积的运算的一例。只要能够获得点像分布Lt与Rt的展宽宽度之积，也可以利用其他的运算。另外，一般地，由于被拍摄体可以被认为是物点集合，因此，图像可以认为是对各物点的点像积分。因此，图像的模糊可以与上述点像分布的模糊同样地考虑。

被拍摄体像的模糊宽度根据采用算术平均及几何平均中的哪一个而有所不同。另一方面，图像结构无论适用算术平均及几何平均的哪一个均不变。即，在将实际的被拍摄体中的左视差图像和右视差图像进行平均时，通过适用算术平均及几何平均中的之一，能够一边生成在同样的像素位置具有相同图像结构的被拍摄体像，一边形成模糊宽度不同的被拍摄体像。将其进行示意性表示的话，成为像被拍摄体像的点像分布函数全部由德尔塔函数δ(x,y)表示这样的理想成像的、被拍摄体的图像结构的分布表示为I(x,y)，光学系统的几何平均的模糊宽度的点像分布函数表示为B_AND(x,y)，算术平均的模糊宽度的点像分布函数表示为B_OR(x,y)时，被拍摄体像的点像分布函数的模糊宽度比R(x,y)如下所示而求出。此处，如果左视点视差图像的点像分布函数表示为B_L(x,y)，右视点视差图像的点像分布函数表示为B_R(x,y)，则左视差图像表示为 的积，右视差图像表示为的积。B_AND(x,y)为与的几何平均，B_OR(x,y)为与的算术平均。左视差图像的各像素中的实际像素值表示为I(x,y)与B_L(x,y)的积，右视差图像的各像素中的实际像素值表示为I(x,y)与B_R(x,y)的积。也就是说，左视差图像及右视差图像的各像素的像素值存在于I(x,y)中。因此，在各像素中，当取算术平均与几何平均之比时，实际上将与图像结构相关的信息排除，仅剩下与被拍像的模糊宽度之比相关的信息。

$\frac{B_{\mathrm{OR}}(x,y)\&CircleTimes;I(x,y)}{B_{\mathrm{AND}}(x,y)\&CircleTimes;I(x,y)}=\frac{B_{\mathrm{OR}}(x,y)}{B_{\mathrm{AND}}(x,y)}=R(x,y)\&GreaterEqual;1$       (式1)

另外，被拍摄体像的模糊宽度、视差量受光学条件的影响。例如，在光圈值为F1.4时进行拍摄的情况下，与光圈值为F8时进行拍摄的情况相比，模糊宽度更宽。也就是说，模糊宽度受摄影时的光圈值影响。另外，在光圈值为F1.4时进行拍摄的情况下，与光圈值为F8时进行拍摄的情况相比，视差量更大。也就是说，视差量也受摄影时的光圈值影响。因此，模糊宽度及视差量的每一个均根据光圈值的不同而产生差异。各像素中取算术平均与几何平均之比时，算出与光圈值对应的视差量。与被拍摄体像的模糊宽度之比相关的信息如果使用图4所示关系，则表示与焦平面相距的距离信息。

作为单眼光瞳分割摄像方式中的固有特性，模糊宽度变得越大，视差也就变得越大，如果考虑该性质，则可以认为视差变得越大，算术平均与几何平均之比也变得越大。这是因为算术平均与几何平均相当于和与积的关系。对于对焦区域的被拍摄体，左视差的点像分布与右视差的点像分布相一致，因此，算术平均与几何平均的结果也一致。因此，算术平均与几何平均的比值为1以上。算术平均与几何平均的比值为1时是对焦区域，被拍摄体越是远离对焦区域，该值就越大。作为实验，以使视差变得最大的透镜光圈处于打开位置为条件进行计算时，即使是最大，该比值也收敛于2左右的范围。r(x、y)表示各像素的模糊宽度比，可以原封不动地用作为模糊宽度比图。

$r(x,y)=\frac{\frac{\mathrm{Lt}(x,y)+\mathrm{Rt}(x,y)}{2}}{\sqrt{\mathrm{Lt}(x,y)\&CenterDot;\mathrm{Rt}(x,y)}}$       (式2)

其中，1≤r≤～2

因此，当D(x、y)＝r(x、y)-1时，即，定义下述(式3)时，则得到的指标为，在对焦区域，视差为零，在非对焦区域，视差值变大。

$D(x,y)=\frac{\frac{\mathrm{Lt}(x,y)+\mathrm{Rt}(x,y)}{2}}{\sqrt{\mathrm{Lt}(x,y)\&CenterDot;\mathrm{Rt}(x,y)}}-1$        (式3)

其中，1≤D≤～1

D(x、y)表示各像素的二维图，因此可以原封不动地定义为视差图。

在视差图中得到了排除了图像结构的影响且模糊程度连续变化的评价数据。视差图是表示模糊部分的被拍摄体结构的模糊程度的指标，同时，还具有仅检测边缘部分的值而消除平坦部的值的特性。进一步地，在水平方向上仅具有少量视差的边缘部分被检测的图像结构区域仅限于对焦区域以外的区域。因此，如果完全为水平横线的被拍摄体结构则无法检测到视差，但随着其角度渐渐朝垂直方向立起，便能够得到具有有限值的视差图。即，得到被拍摄体的模糊程度以及被拍摄体结构的水平方向变化区域相关的视差图。这样得到的视差图成为使想要对目标被拍摄体的模糊的非对称性进行校正的区域与其强度分布相匹配的极为有效的指标。

3‐2)平滑化处理

为了将视差图转换为以像素数单位表示的绝对视差量，如以下的(式4)所示，可以将以像素数规定模糊宽度的常量σ₀乘到(式3)上。常量σ₀由摄像元件100的摄像面积和像素间距和光学系统的关系所规定，是左右视差图像间的最大视差的数量级。例如，常量σ₀为50个像素、100个像素这样数量级的值。将该绝对视差量设定为高斯渐变滤波的渐变半径来进行水平方向的高斯渐变。即，进行渐变半径根据像素位置而改变的自适应高斯渐变。据此，在视差图中取较大值的地方沿水平方向较强地进行渐变，在视差为零的地方不进行任何模糊。即，在水平模糊较弱的区域沿水平方向较强地进行渐变，在垂直模糊较强的区域不进行任何处理。另外，在平坦部区域也不进行任何处理。因此，其结果是滤波处理部233在除对焦区域以外实施滤波。

σ(x，y)＝σ₀D(x，y)      (式4)

系数分布可以由(式5)表示。

$F(x-x^{\&prime;},y)=\frac{\exp (-\frac{{|x-x^{\&prime;}|}^2}{\mathrm{\&sigma;}{(x,y)}^2})}{{\&Integral;}_{|x-x^{\&prime;}|\&le;2\mathrm{\&sigma;}(x,y)}\exp (-\frac{{|x-x^{\&prime;}|}^2}{\mathrm{\&sigma;}{(x,y)}^2}){\mathrm{dx}}^{\&prime;}}$      (式5)

对左视差图像的水平渐变处理可以由(式6)表示。

${\mathrm{Lt}}^{\&prime;}(x,y)=F\&CircleTimes;\mathrm{Lt}(x,y)=\frac{{\&Integral;}_{|x-x^{\&prime;}|\&le;2\mathrm{\&sigma;}(x,y)}\mathrm{Lt}(x-x^{\&prime;},y)F(x-x^{\&prime;},y){\mathrm{dx}}^{\&prime;}}{{\&Integral;}_{|x-x^{\&prime;}|\&le;2\mathrm{\&sigma;}(x,y)}F(x-x^{\&prime;},y){\mathrm{dx}}^{\&prime;}}$       (式6)

对右视差图像的水平渐变处理可以由(式7)表示。

${\mathrm{Rt}}^{\&prime;}(x,y)=F\&CircleTimes;\mathrm{Rt}(x,y)=\frac{{\&Integral;}_{|x-x^{\&prime;}|\&le;2\mathrm{\&sigma;}(x,y)}\mathrm{Rt}(x-x^{\&prime;},y)F(x-x^{\&prime;},y){\mathrm{dx}}^{\&prime;}}{{\&Integral;}_{|x-x^{\&prime;}|\&le;2\mathrm{\&sigma;}(x,y)}F(x-x^{\&prime;},y){\mathrm{dx}}^{\&prime;}}$      (式7)

作为改变校正强度的方法有两种方法。一种是使作为上述渐变半径基准值的常量σ₀的值在0～σ₀的范围内可变的方法。另一种是使作为渐变半径基准值的常量σ₀保持不变，将校正结果加权合成到元图像的方法。即，加权比率α＝0～1，可以如以下的(式8)、(式9)进行表示。

Lt″(x，y)＝(1-α)·Lt(x，y)+α·Lt′(x，y)      (式8)

Rt″(x，y)＝(1-α)·Rt(x，y)+α·Rt′(x，y)    (式9)

或者也可以将两种方法并用。这样一来得到以任意强度校正了非对称模糊的视差图像。

<实施方式2>

----由对视差Lt图像及视差Rt图像进行的水平方向边缘增强抑制来校正非对称模糊----

图像处理的步骤大致如下。

1)输入视差复用马赛克图像数据

2)生成视差图像

3)由视差图像的边缘增强来校正非对称模糊

3‐1)生成视差图

3‐2)边缘增强处理

下述步骤3‐2)以外的步骤均与实施方式1相同，因此省略说明。

3‐2)边缘增强处理

为了使视差图像的模糊的非对称性往对称方向接近，在垂直模糊较强的横线的被拍摄体结构区域中增强边缘增强处理，在水平模糊较弱的残留有尖锐体的纵线的被拍摄体结构区域进行减弱边缘增强的处理。

首先，通过以下的拉普拉斯滤波提取出边缘分量。但这仅为一例，也可以根据从原图像减去通常称为非锐化掩模(unsharp mask)的任意半径的二维高斯渐变后的结果而得到的差值来定义拉普拉斯分量。

然后，将边缘增强的增益系数k设定为以像素单位而不同。此时使用视差图信息。作为增益系数可以考虑如下两个例子。

$k(x,y)=k_0\frac{1}{r(x,y)}$    (式10)

k(x，y)＝k₀[1-D(x，y)]     (式11)

其中，(式11)中使负值固定为0以使k值为零以上的值。另外也可以对(式10)及(式11)的第二项取平方，以改变模糊比图及视差图的强度刻度。

如此一来，所定义的增益系数图k(x，y)起到了减弱纵线的水平模糊较弱区域的边缘增强程度的作用。这是因为，越是视差较大的区域，水平方向与垂直方向的模糊的非对称性就越强，因此在相当于这种区域的、模糊比r接近于2的区域及视差D接近于1的区域中，将增益系数的值定义得最小。

利用这些增益系数来校正左视差图像与右视差图像的模糊的非对称性。

Lt′(x，y)＝Lt(x，y)+k(x，y)ΔLt(x，y)      (式12)

Rt′(x，y)＝Rt(x，y)+k(x，y)ΔRt(x，y)      (式13)

其中，为了改变图像全体的边缘增强的程度，可以将k₀值设定为0以上的任意正值。

<实施方式3>

----由对N图像进行的水平方向平滑化来校正非对称模糊----

以比视差像素更高的密度来配置无视差像素，从而能够以高分辨率再现无视差2D图像。此时，通过在N像素的插补中也参照视差Lt像素及视差Rt像素的值而能够实现高分辨率化。以下所述的本地增益平衡校正起到这样的作用。作为中间图像(N图像)得到高分辨的2D图像之后，使用由仅使用视差Lt像素的像素值的插补而生成的低分辨率的视差Lt图像与仅使用视差Rt像素的像素值的插补而生成的低分辨率的视差Rt图像，对N图像沿左方向和右方向增加视差调制。由此，生成高分辨的视差Lt图像和高分辨的视差Rt图像。以下所示的实施方式使其成为可能。

通过这些处理而得到的N图像中包含了为实现高分辨率化而参照的视差Lt图像与视差Rt图像的模糊非对称性，因此，虽然不如实施方式1及实施方式2所说明的二线模糊那么强，但显示出二线模糊的倾向。此处表示了减少该N图像的二线模糊的实施方式。

图像处理步骤大致如下所示。

1)输入视差复用马赛克图像数据

2)生成临时视差图像

3)由左右局部照度分布校正来生成无视差基准图像

(本地增益平衡校正)

4)由基准图像的平滑化来校正非对称模糊

5)生成实际视差图像

以下依次说明。

1)输入视差复用马赛克图像数据

图12为表示像素排列的变例的图。摄像元件200以图中粗线所示2×2像素的图案120为基本网格。摄像元件200在图案120中对左上像素及右下像素分配无视差像素。并且对左下像素分配视差Lt像素，对右上像素分配视差Rt像素。此处，摄像元件100为单色传感器。图12的视差被复用的单板式单色马赛克图像表示为M(x，y)。灰度为通过A/D转换而输出的线性灰度。

2)生成临时视差图像

图像数据生成部231生成空间频率分辨率低的分辨率的临时左视差图像和临时右视差图像。具体地，图像数据生成部231进行仅收集左视差像素的信号面内的单纯平均插补。使用附近的像素值并对应于距离之比进行线性插补。同样地，图像数据生成部231进行仅收集右视差像素的信号面内的单纯平均插补。同样地，图像数据生成部231进行仅收集无视差像素的信号面内的单纯平均插补。即，从Lt_mosaic(x，y)生成Lt(x，y)，从Rt_mosaic(x，y)生成Rt(x，y)，从N_mosaic(x，y)生成N(x，y)。

临时无视差图像表示为N(x，y)。

临时左视差图像表示为Lt(x，y)。

临时右视差图像表示为Rt(x，y)。

另外，在制作临时无视差图像N(x，y)时，最好导入在信号面内进行的方向判定以便高清晰地进行。该方法与实施方式1的视差Lt图像、视差Rt图像的插补所示相同。即，在纵方向与横方向之间进行方向判定，使用相关性较强方向的像素值进行N像素的插补。

同样地，也可以采用与制作临时左视差图像和临时右视差图像时同样的思路。即，使用日本专利4748278号(本申请人及同一发明人)所示概念，最开始对位于对角的斜向两方向的像素值进行插补。在此基础之上，使用由原始的采样像素和插补像素填充了剩余的缺失像素的位于上下及左右两方向的像素值算出插补值，进行这种两阶段的插补。在第一阶段中，在对角斜向两方向之间计算相关量，使用相关性较强方向的像素值进行插补。在第二阶段中，在上下与左右这两方向之间计算相关量，使用相关性较强方向的像素值进行插补。

3)由左右的局部照度分布校正生成无视差基准图像

(本地增益平衡校正)

然后，通过进行像素单位的本地增益校正，从而首先使画面内的左视差像素与画面内的右视差像素的照度相适合。通过该操作消除左右间视差。在此基础上进一步使取得左右平均的信号面与无视差像素的摄像信号面之间的照度相适合。这样一来生成在全部像素中取得了增益统一的新的无视差基准图像面。这与替换平均值m(x，y)的作法相等价，得到消除了视差的中间图像面。再次将其记为N(x，y)。

各像素的平均值

$m(x,y)=\sqrt{N(x,y)\&CenterDot;\frac{\mathrm{Lt}(x,y)+\mathrm{Rt}(x,y)}{2}}$

针对无视差像素的各像素的增益值

$g_N(x,y)=\frac{m(x,y)}{N(x,y)}=\sqrt{\frac{\mathrm{Lt}(x,y)+\mathrm{Rt}(x,y)}{2N(x,y)}}$

针对左视差像素的各像素的增益值

$g_{\mathrm{Lt}}(x,y)=\frac{m(x,y)}{\mathrm{Lt}(x,y)}=\sqrt{\frac{N(x,y)}{\mathrm{Lt}(x,y)}\&CenterDot;\frac{\mathrm{Lt}(x,y)+\mathrm{Rt}(x,t)}{2\mathrm{Lt}(x,y)}}$

针对右视差像素的各像素的增益值

$g_{\mathrm{Rt}}(x,y)=\frac{m(x,y)}{\mathrm{Rt}(x,y)}=\sqrt{\frac{N(x,y)}{\mathrm{Rt}(x,y)}\&CenterDot;\frac{\mathrm{Lt}(x,y)+\mathrm{Rt}(x,t)}{2\mathrm{Rt}(x,y)}}$

针对无视差像素的各像素的本地增益校正

N(x，y)·g_N(x，y)＝m(x，y)

针对左视差像素的各像素的本地增益校正

Lt(x，y)·g_Lt(x，y)＝m(x，y)

针对右视差像素的各像素的本地增益校正

Rt(x，y)·g_Rt(x，y)＝m(x，y)

如此，将左视点图像和右视点图像的平均值与无视差基准视点图像进一步取平均值后的像素值作为新的无视差像素值，改写为单色面数据，输出无视差单色面图像N(x，y)。另外，作为基准视点的图像的N(x，y)是使用左视点图像与右视点图像的平均值而生成的，因此可以说是基于视差图像数据的图像。

4)由基准图像的平滑化校正非对称模糊

滤波处理部233通过对N图像的被拍摄体像的模糊中包含的两线模糊结构进行平滑化而使其缓和。校正原理与对对比度高的水平模糊进行平滑化的实施方式1相同。进行从(式2)到(式5)同样定义的运算。然后对N图像进行水平方向的平滑化。

对无视差图像进行的水平渐变处理可以由(式14)表示。

$N^{\&prime;}(x,y)=F\&CircleTimes;N(x,y)=\frac{{\&Integral;}_{|x-x^{\&prime;}|\&le;2\mathrm{\&sigma;}(x,y)}N(x-x^{\&prime;},y)F(x-x^{\&prime;},y){\mathrm{dx}}^{\&prime;}}{{\&Integral;}_{|x-x^{\&prime;}|\&le;2\mathrm{\&sigma;}(x,y)}F(x-x^{\&prime;},y){\mathrm{dx}}^{\&prime;}}$      (式14)

这样生成了二线模糊得到抑制的无视差图像N'(x，y)。

5)生成实际视差图像

图像数据生成部231使用在步骤2生成的分辨能力低的临时左视差图像Lt(x，y)和在步骤3、4作为中间处理而生成的分辨能力高的无视差单色图像N'(x，y)，来生成实际输出的分辨能力高的左视差单色图像Lt'(x，y)。同样地，图像数据生成部231使用在步骤2生成的分辨能力低的临时右视差图像Rt(x，y)和在步骤3、4作为中间处理而生成的分辨能力高的无视差单色图像N(x，y)，来生成实际输出的分辨能力高的右视差彩色图像Rt'(x，y)。

左视差调制可以表示为(式15)。

${\mathrm{Lt}}^{\&prime;}(x,y)=N^{\&prime;}(x,y)\frac{2\mathrm{Lt}(x,y)}{\mathrm{Lt}(x,y)+\mathrm{Rt}(x,y)}$       (式15)

右视差调制可以表示为(式16)。

${\mathrm{Rt}}^{\&prime;}(x,y)=N^{\&prime;}(x,y)\frac{2\mathrm{Rt}(x,y)}{\mathrm{Lt}(x,y)+\mathrm{Rt}(x,y)}$     (式16)

从而生成二线模糊得到抑制的高分辨的左视差图像和高分辨的右视差图像。

此处，出于与以下实施方式4的说明相结合的目的，对通过将进行视差调制时的调制量参数化从而减弱立体效果的控制方法稍加说明。通过将进行视差调制时的调制量参数化从而能够控制视差量。视差量发生变化时，左视差图像数据的视点与左视差图像数据的视点也发生变化。因此，图像数据生成部231能够生成与临时左视差图像数据的视点不同的视点的左视差图像数据。同样地，也能够生成与临时右视差图像数据的视点不同的视点的右视差图像数据。将(式15)的(式16)置换成下式时，能够通过参数C而使立体效果成为可变。

左视差调制可以表示为(式17)。

${\mathrm{Lt}}^{\&prime;}(x,y)=N^{\&prime;}(x,y)\frac{(1-C)\mathrm{Lt}(x,y)+C\&CenterDot;\mathrm{Rt}(x,y)}{\frac{\mathrm{Lt}(x,y)+\mathrm{Rt}(x,y)}{2}}$     (式17)

右视差调制可以表示为(式18)。

${\mathrm{Rt}}^{\&prime;}(x,y)=N^{\&prime;}(x,y)\frac{(1-C)\mathrm{Rt}(x,y)+C\&CenterDot;\mathrm{Lt}(x,y)}{\frac{\mathrm{Lt}(x,y)+\mathrm{Rt}(x,y)}{2}}$       (式18)

C取0≤C≤0.5的范围的值，C＝0时与(式15)、(式16)相同，C＝0.5时与未进行视差调制的情形相同，立体效果消失。这期间产生中间态的立体效果。

<实施方式4>

----由对Lt/Rt图像进行的水平方向平滑化来校正非对称模糊----

实施方式4中将实施方式3中对N图像进行了非对称模糊校正之后增加视差调制而生成视差Lt图像和视差Rt图像的顺序进行颠倒，成为对增加视差调制而生成的视差Lt图像和视差Rt图像进行与实施方式1相同的非对称模糊校正的实施方式。

实施方式1中未具体指出，但如果完全地校正非对称模糊，则成为左视差像素与右视差像素相同的模糊特性，有可能会消除视差。积极地利用了该事实的是实施方式4。即，通过非对称模糊校正的强度控制，能够一边校正非对称模糊，一边得到与实施方式3的最后所记载的控制视差调制量的效果同等的效果。这在单眼光瞳分割立体摄像方式中成为控制视差量的新方法。

图像处理的步骤大致如下。

1)输入视差复用马赛克图像数据

2)生成临时视差图像

3)由左右局部照度分布校正生成无视差基准图像

(本地增益平衡校正)

4)生成实际视差图像

5)由实际视差图像的平滑化来校正非对称模糊

以下依次说明。

步骤1)～3)与实施方式3相同，因此省略了说明。

4)生成实际视差图像

不经过实施方式3的步骤4的(式14)而将N图像代入(式15)、(式16)，从而将(式15)、(式16)变为下式。另外，实际视差图是用左视点临时视差图像和右视点临时视差图像所生成的，因此可以说是基于视差图像数据的图像。

左视差调制可以表示为(式19)。

${\mathrm{Lt}}^{\&prime;}(x,y)=N(x,y)\frac{2\mathrm{Lt}(x,y)}{\mathrm{Lt}(x,y)+\mathrm{Rt}(x,y)}$      (式19)

右视差调制可以表示为(式20)。

${\mathrm{Rt}}^{\&prime;}(x,y)=N(x,y)\frac{2\mathrm{Rt}(x,y)}{\mathrm{Lt}(x,y)+\mathrm{Rt}(x,y)}$     (式20)

5)由实际视差图像的平滑化来校正非对称模糊

原封不动地执行实施方式1的(式4)～(式9)。此时，作为高斯渐变半径的基准值的常量σ₀的值采用上述固定基准值。这样一来，(式8)、(式9)所示加权参数α起到了视差控制手段的作用。α＝0时产生最大视差，α＝1时消除视差。

另外，在实施方式4的流程中，不对步骤2的临时视差图像的输出结果进行非对称模糊校正，而对步骤4的实际视差图像的输出结果进行非对称模糊校正的理由是，不使为了生成无视差基准图像(N图像)而参照的视差Lt图像和视差Rt图像的高频分量丢失。因此，N图像、视差Lt图像、视差Rt图像由于均在得到高分辨的输出结果后校正模糊状态，因此任一图像都能够得到未丢失高分辨性能的自然的模糊立体图像。

<实施方式5>

在以上说明中，滤波处理部233根据视差图对图像数据进行了选择性滤波，但滤波处理部233可以使用在水平方向和垂直方向使不同频段通过的滤波器来实施滤波。例如，该滤波器具有维持横线中的垂直方向的模糊量的特性，并具有使纵线中的水平方向的频率特性沿模糊量变大的方向变化的特性。滤波处理部233通过使用这种滤波器进行滤波，能够缩小水平方向模糊量与垂直方向模糊量的差。而且，滤波处理部233也可以根据空间频率是否达到预定阈值以上来实施滤波。即，滤波处理部233可以对视差图像数据中的图像等作为滤波对象的图像实施滤波，便得水平方向与垂直方向上的空间频率的变化量互不相同。

另外，即使像素为非正方形的蜂窝结构，视差像素的开口掩模的非对称性也会同样产生透镜的入射光束的光瞳的非对称性，因此，只要作为模糊的非对称性校正而进行同样处理即可。上述第一～第五实施方式中显示了单色·视差复用单板摄像方式的例子，但摄像元件也伴有彩色滤光片时，对N图像、视差Lt图像、视差Rt图像的每一个进行色彩插补的基础上针对各色彩分量同样进行即可。或者也可以简化处理仅对亮度面进行即可。

作为由单眼式光瞳分割来取得视差信息的方法可以考虑以下这种变形例。

1)将单眼透镜的入射光通过棱镜使光强度一半一半地朝两个方向分离，通过在各自上仅布设有单侧视差像素的左视差摄像元件和右视差摄像元件来进行二板式摄像。由此，能够使各像素具有右视差像素值和左视差像素值这两种信息。

2)作为单眼透镜的结构，能够右侧与左侧交替插入相当于图4所示假想光瞳的光圈，对普通的无视差像素的单色摄像元件通过两次曝光依次得到左视差图像和右视差图像。

可以将个人计算机等设备作为承担图像数据生成部231、视差图生成部232、滤波处理部233的功能的图像处理装置。图像处理装置可以从相机等其他装置取入图像信息(摄像信息)相关联的视差图像数据。此时，图像数据生成部231承担图像取得部的作用。另外，当图像数据生成部231自行生成图像信息所关联的视差图像数据时，可以认为是通过自行生成而取得图像信息关联的视差图像数据。滤波处理部233根据图像信息进行图像处理。具体地，当表示图像信息是根据具有长度在两轴方向上各异的受光区域的像素的输出而生成这一情况时，进行实施方式1～5所说明的任一滤波处理。图像处理装置并不限于个人计算机，可以采用各种形态。例如，TV、手机、游戏机等，具有显示部或与显示部连接的设备也能够成为图像处理装置。另外，以上说明中，图像有时是指图像数据，有时也指根据格式展开的可视化的被拍摄体像本身。

以上，使用本发明的实施方式进行了说明，但本发明的技术范围不限于上述实施方式所记载的范围。另外，本领域技术人员应当清楚，在上述实施方式的基础上可加以各种变更或改进。此外，由权利要求的记载可知，这种加以变更或改进的实施方式也包含在本发明的技术范围内。

另外，关于视差像素上设置的开口掩模的作用，在一个微型透镜中共同存在右视差像素和左视差像素时，可以认为对于右视差像素而言左视差像素的受光部起到了开口掩模的作用，对于左视差像素而言右视差像素的受光部起到了开口掩模的作用。进一步地，可以定义将具有与图6(a)的视差像素相同的开口形状的开口配置于像素正中的视差C像素。此时，由于纵横间产生非对称的模糊，因此也可以使用各实施方式所示处理进行校正。

另外，作为摄像信息而对图像附加的区分是3D用传感器还是2D用传感器这样的信息例如可以利用指定相机机种的Exif标签等。

应当注意的是，权利要求书、说明书及附图中所示的装置、系统、程序以及方法中的动作、顺序、步骤及阶段等各个处理的执行顺序，只要没有特别明示“更早”、“早于”等，并且前面处理的输出并不用在后面的处理中，则可以以任意顺序实现。关于权利要求书、说明书及附图中的动作流程，为方便起见而使用“首先”、“然后”等进行了说明，但并不意味着必须按照这样的顺序实施。

符号说明

10数码相机、20摄影透镜、21光轴、100摄像元件、101微型透镜、102彩色滤光片、103开口掩模、104开口部、104l开口部、104r开口部、104n开口部、105布线层、106布线、107开口、108光电转换元件、109基板、110图案、120图案、200摄像元件、201控制部、202A/D转换电路、203存储器、204驱动部、205图像处理部、207存储卡IF、208操作部、209显示部、210LCD驱动电路、220存储卡、231图像数据生成部、232视差图生成部、233滤波处理部、322中心线、1801分布曲线、1802分布曲线、1803分布曲线、1804分布曲线、1805分布曲线、1806合成分布曲线、1807分布曲线、1808分布曲线、1809合成分布曲线

Claims (23)

1.一种图像处理装置，其特征在于，包括：

输入附有摄像信息的第一图像的机构；

基于所述摄像信息判断所述第一图像是否为如下图像的机构，该图像为使用了由具备具有如下开口掩模的第一视差像素的像素排列构成的摄像元件的输出信号的、与所述开口掩模对应的视点方向上的被拍摄体像的图像，其中，所述第一视差像素所具有的所述开口掩模以针对一个光学系统的入射光束使具有长轴与短轴非对称的方向特性的部分光束通过的方式被定位；以及

输出校正后的第一图像的机构，当所述摄像信息满足该条件时，对所述第一图像的非对焦区域的被拍摄体像进行频率特性在长轴方向与短轴方向之间不同的校正处理，并输出校正后的第一图像。

2.根据权利要求1所述的图像处理装置，其中，所述校正处理对所述第一图像的非对焦区域的被拍摄体像进行短轴方向上的平滑化处理。

3.根据权利要求1所述的图像处理装置，其中，所述校正处理针对所述第一图像的非对焦区域的被拍摄体像，将在短轴方向上具有频率分量的被拍摄体像的边缘增强处理减弱得比在长轴方向上具有频率分量的被拍摄体像的边缘增强处理更弱。

4.根据权利要求1所述的图像处理装置，其中，

还包括使用由具备具有如下开口掩模的第二视差像素的像素排列构成的摄像元件的输出信号来输入与所述开口掩模对应的视点方向上的被拍摄体像的第二图像的机构，其中，所述第二视差像素所具有的所述开口掩模以针对所述一个光学系统的入射光束使具有长轴与短轴非对称的方向特性并在短轴方向上与所述第一图像不同的部分光束通过的方式被定位，

基于所述第一图像与所述第二图像之间的视差量来提取出所述第一图像的非对焦区域的被拍摄体像。

5.一种图像处理装置，其特征在于，包括：

输入附有摄像信息的第一图像的机构；

基于所述摄像信息判断所述第一图像是否是如下图像的机构，该图像是使用由至少具备具有第一开口掩模的第一视差像素、具有第二开口掩模的第二视差像素和具有第三开口掩模的无视差像素的像素排列构成的摄像元件，在分别不同的像素中对与所述第一开口掩模对应的视点方向上的被拍摄体像、与所述第二开口掩模对应的视点方向上的被拍摄体像和与所述第三开口掩模对应的视点方向上的被拍摄体像同时进行拍摄得到的图像，其中，所述第一开口掩模和所述第二开口掩模以针对一个光学系统的入射光束使具有长轴与短轴非对称的方向特性且互不相同的部分光束通过的方式被定位，所述第三开口掩模以使全部所述入射光束通过的方式被定位；

当所述摄像信息满足该条件时，使用所述拍摄得到的图像的无视差像素、第一视差像素和第二视差像素的信号，生成与所述第三开口掩模对应的视点方向上的基准图像的机构；以及

输出校正后的基准图像的机构，对所述基准图像的非对焦区域的被拍摄体像进行频率特性在长轴方向与短轴方向之间不同的校正处理，并输出校正后的基准图像。

6.根据权利要求5所述的图像处理装置，其中，所述校正处理对所述基准图像的非对焦区域的被拍摄体像进行短轴方向的平滑化处理。

7.根据权利要求5所述的图像处理装置，其中，所述校正处理针对所述基准图像的非对焦区域的被拍摄体像，将在短轴方向上具有频率分量的被拍摄体像的边缘增强处理减弱得比在长轴方向上具有频率分量的被拍摄体像的边缘增强处理更弱。

8.根据权利要求5所述的图像处理装置，其中，还包括：

使用所述第一视差像素的信号，在各像素中生成与所述第一开口掩模对应的视点方向上的第一图像的机构；以及

使用所述第二视差像素的信号，在各像素中生成与所述第二开口掩模对应的视点方向上的第二图像的机构，

基于所述第一图像与所述第二图像之间的视差量来提取出所述基准图像的非对焦区域的被拍摄体像。

9.一种图像处理装置，其特征在于，包括：

图像取得部，取得与图像信息相关联的输入视差图像数据，该图像信息是根据具有长度在两轴方向上不同的受光区域的像素的输出而生成的；以及

图像处理部，对基于与所述图像信息相关联的所述视差图像数据的图像实施滤波，使得与所述两轴方向对应的第一轴方向和第二轴方向上的空间频率的变化量互不相同。

10.根据权利要求9所述的图像处理装置，其中，所述图像处理部在基于所述输入视差图像数据的图像中对沿所述第一轴方向和所述第二轴方向中的短轴方向具有频率分量的被拍摄体像实施比对沿长轴方向具有频率分量的被拍摄体像实施的平滑化处理更强的平滑化处理。

11.根据权利要求9所述的图像处理装置，其中，所述图像处理部在基于所述输入视差图像数据的图像中对沿所述第一轴方向和所述第二轴方向中的短轴方向具有频率分量的被拍摄体像实施比对沿长轴方向具有频率分量的被拍摄体像实施的边缘增强处理更弱的边缘增强处理。

12.根据权利要求9～11中任一项所述的图像处理装置，其中，所述图像处理部使用在所述第一轴方向和所述第二轴方向上使不同频段通过的滤波器实施所述滤波。

13.根据权利要求9～11中任一项所述的图像处理装置，其中，所述图像处理部生成表示以对焦区域为基准的与被拍摄体的进深相关的位置信息的视差图，根据所述视差图选择性地实施所述滤波。

14.根据权利要求13所述的图像处理装置，其中，

所述图像取得部取得与所述输入视差图像数据的视点不同的视点所对应的对应视差图像数据；

所述图像处理部计算将与所述输入视差图像数据和所述对应视差图像数据对应的各个像素值进行相加运算后得到的值与进行相乘运算后得到的值之比，基于所述比生成所述视差图。

15.根据权利要求14所述的图像处理装置，其中，

所述图像取得部取得与基准方向对应的无视差图像数据；

所述图像处理部使用所述输入视差图像数据、所述对应视差图像数据、所述无视差图像数据生成与所述基准方向对应的基准图像数据，对所述基准图像数据实施所述滤波。

16.根据权利要求14所述的图像处理装置，其中，

所述图像取得部取得与基准方向对应的无视差图像数据；

所述图像处理部使用所述输入视差图像数据、所述对应视差图像数据、所述无视差图像数据生成与所述基准方向对应的基准图像数据，使用所述输入视差图像数据和所述基准图像数据生成高分辨的输入视差图像数据，使用所述对应视差图像数据和所述基准图像数据生成高分辨的对应视差图像数据，对所述高分辨的视差图像数据和所述高分辨的对应视差图像数据实施所述滤波。

17.根据权利要求16所述的图像处理装置，其中，所述图像处理部根据预先设定的视差量实施所述滤波。

18.根据权利要求9～17中任一项所述的图像处理装置，其中，所述图像处理部在除对焦区域以外实施所述滤波。

19.一种摄像装置，包括：

摄像元件，输出所述视差图像数据；以及

权利要求9～18中任一项所述的图像处理装置。

20.一种图像处理装置的控制程序，使计算机执行：

图像取得步骤，取得与图像信息相关联的视差图像数据，该图像信息是根据具有长度在两轴方向上不同的受光区域的像素的输出而生成的；以及

图像处理步骤，对基于与所述图像信息相关联的所述视差图像数据的图像实施滤波，使得与所述两轴方向对应的第一轴方向和第二轴方向上的空间频率的变化量互不相同。

21.根据权利要求1所述的图像处理装置，其中，所述输出校正后的第一图像的机构仅在所述长轴方向及所述短轴方向的任一方向上进行所述校正处理。

22.根据权利要求5所述的图像处理装置，其中，所述输出校正后的基准图像的机构仅在所述长轴方向及所述短轴方向的任一方向上进行所述校正处理。

23.根据权利要求9所述的图像处理装置，其中，所述图像处理部仅在所述第一轴方向及所述第二轴方向的任一方向上实施所述滤波。