CN103314571A - 摄像装置 - Google Patents

Abstract

本发明的摄像装置具备：镜头光学系统，其具有第1区域以及第2区域，并且所述第2区域具有相对于通过了所述第1区域的光线所产生的合焦特性而使合焦特性不同的光学特性；摄像元件，其具有让通过了所述镜头光学系统的光入射并且配备具备第1分光透过率特性的滤光器的多个第1以及第2像素、让通过了所述镜头光学系统的光入射并且配备具有第2分光透过率特性的滤光器的多个第3像素、和让通过了所述镜头光学系统光入射并且配备具有第3分光透过率特性的滤光器的多个第4像素；以及阵列状光学元件，其配置在所述镜头光学系统和所述摄像元件之间，使通过了所述第1区域的光入射至所述多个第1像素，使通过了所述第2区域的光入射至所述多个第2像素，所述阵列状光学元件使通过了所述第1区域以及所述第2区域之中的任意一个区域的光入射至所述多个第3像素，使通过了所述第1区域以及所述第2区域之中的任意一个区域的光入射至所述多个第4像素。

Description

摄像装置

技术领域

本发明涉及照相机等的摄像装置。

背景技术

近年来，在汽车的车间距离测量、照相机的自动焦点系统、三维形状测量系统中，使用根据多个摄像光学系统间的视差来测量到被摄体(测距对象物)的距离的测距装置。

在这种的测距装置中，由配置在左右或者上下的一对摄像光学系统在各自的摄像区域形成图像，根据这些图像的视差通过三角测量来检测到被摄体的距离。

此外，作为根据单一的摄像光学系统来测量到被摄体的距离的方式，已知DFD(Depth From Defocus)法。DFD法是通过所取得的图像的虚化量的解析来算出距离的方法，但是由于单一图像中无法判别是被摄体本身的模样、还是因被摄体距离而出现了虚化，因此采用根据多个图像来估计距离的方法(专利文献1、非专利文献1)。

【在先技术文献】

【专利文献】

【专利文献1】专利第3110095号公报

【非专利文献】

【非专利文献1】Xue Tu，Youn-sik Kang and Murali Subbarao Two-and Three-Dimensional Methods for Inspection and Metrology V.Edited byHuang，Peisen S..Proceedings of the SPIE，Volume6762，pp.676203(2007).

发明内容

【发明要解决的课题】

但是，在上述现有技术中，谋求摄像装置的小型化、低成本化、测距精度的提高等。本发明的并不是限定的作为例示的某个实施方式，提供一种小型且能够高精度地测量距离的摄像装置。

【用于解决课题的技术方案】

本发明的一个方式的摄像装置具备：镜头光学系统，其具有第1区域以及第2区域，并且所述第2区域具有相对于通过了所述第1区域的光线所产生的合焦特性而使合焦特性不同的光学特性；摄像元件，其具有让通过了所述镜头光学系统的光入射并且配备具备第1分光透过率特性的滤光器的多个第1以及第2像素、让通过了所述镜头光学系统的光入射并且配备具有第2分光透过率特性的滤光器的多个第3像素、和让通过了所述镜头光学系统光入射并且配备具有第3分光透过率特性的滤光器的多个第4像素；和阵列状光学元件，其配置在所述镜头光学系统和所述摄像元件之间，使通过了所述第1区域的光入射至所述多个第1像素，使通过了所述第2区域的光入射至所述多个第2像素，所述阵列状光学元件使通过了所述第1区域以及所述第2区域之中的任意一个区域的光入射至所述多个第3像素，使通过了所述第1区域以及所述第2区域之中的任意一个区域的光入射至所述多个第4像素。

【发明的效果】

根据本发明的一个方式涉及的测距装置，利用单一的摄像系统，就能够高精度地进行距离测量。

附图说明

图1是表示本发明的摄像装置A的实施方式1的示意图。

图2是从被摄体侧观察本发明的实施方式1中的光学元件L1的主视图。

图3是本发明的实施方式1中的阵列状光学元件K的立体图。

图4(a)是放大表示图1所示的阵列状光学元件K以及摄像元件N的图，(b)是表示阵列状光学元件K和摄像元件N上的像素的位置关系的图。

图5是表示在本发明的实施方式1中由通过了光学区域D1以及光学区域D2的光线产生的球面像差的曲线。

图6是表示本发明的实施方式1中的被摄体距离和锐度(图像的锐利度)的关系的曲线。

图7(a)至(c)表示16×16尺寸的图像块的亮度分布，(d)至(f)表示对图7(a)至(c)各自所示的图像块以二维方式进行傅立叶变换而得到的频谱。

图8(a)是表示作为被摄体的白黑的图样的图。(b)是表示(a)的被摄体的亮度的断面的图。(c)是表示由图1的摄像装置A拍摄的图像的每个颜色的亮度的断面的图。(d)是表示(c)的G1(绿)以及R(红)的亮度的二次微分的图。(e)表示从(c)的G2(绿)、B(蓝)的亮度中减去(d)的二次微分的情况下的亮度的断面的图。

图9是表示本发明的实施方式1中的被摄体距离和锐度(图像的锐利度)的关系的曲线。

图10是表示本发明的实施方式1中的被摄体距离和锐度(图像的锐利度)的关系的曲线。

图11是从被摄体侧观察本发明的实施方式2中的光学元件L1的主视图。

图12是本发明的实施方式2中的阵列状光学元件K的立体图。

图13(a)是放大表示本发明的实施方式2中的阵列状光学元件K和摄像元件N的图，(b)是表示阵列状光学元件K和摄像元件N上的像素的位置关系的图。

图14是表示本发明的实施方式2中的被摄体距离和锐度(图像的锐利度)的关系的曲线。

图15是表示本发明的实施方式2中的被摄体距离和锐度(图像的锐利度)的关系的曲线。

图16是表示本发明的实施方式2中的被摄体距离和锐度(图像的锐利度)的关系的曲线。

图17(a)以及(b)是放大表示本发明的实施方式3中的阵列状光学元件K以及摄像元件N的图。

图18(a)、(b)以及(c)是表示本发明的实施方式4的各光学区域和遮光部件的位置关系的主视图。

图19是表示本发明的摄像装置A的实施方式5的示意图。

图20是从被摄体侧观察本发明的实施方式5中的光学元件L1的主视图。

图21是本发明的实施方式5中的阵列状光学元件K的立体图。

图22(a)是放大表示图19所示的阵列状光学元件K以及摄像元件N的图，(b)是表示阵列状光学元件K和摄像元件N上的像素的位置关系的图。

图23是本发明的实施方式5中的信号处理部的流程图。

图24是表示在本发明的实施方式5中由通过了光学区域D1以及光学区域D2的光线形成的球面像差的曲线。

图25是表示本发明的实施方式5中的被摄体距离和锐度(图像的锐利度)的关系的曲线。

图26(a)至(c)是16×16尺寸的图像块的亮度分布图，(d)至(f)是表示对图26(a)至(c)各自示出的图像块以二维方式进行傅立叶变换而得到的频谱的图。

图27(a)是表示作为被摄体的白黑的图样的图。(b)是表示(a)的被摄体的亮度的断面的图。(c)是表示由图19的摄像装置A拍摄的图像的亮度的断面的图。(d)是表示(c)的G1的亮度的二次微分的图。(e)是表示从(c)的G2的亮度中减去(d)的二次微分的情况下的亮度的断面的图。

图28是表示本发明的实施方式5中的被摄体距离和锐度(图像的锐利度)的关系的曲线。

图29是表示本发明的实施方式5中的被摄体距离和锐度(图像的锐利度)的关系的曲线。

图30(a)是表示本发明的实施方式5的被摄体图像的图。(b)是表示(a)的被摄体图像的深度图的图。

图31是本发明的实施方式5中的以高斯分布表示的PSF(点扩散函数)断面强度的分布图。

图32(a)以及(b)是表示本发明的实施方式5中的被摄体位置和PSF的关系的图。

图33(a)至(c)是表示本发明的实施方式5中的PSF的二维数据的图。

图34(a)以及(b)是本发明的实施方式5中的PSF的二维强度的分布图。

图35是表示本发明的实施方式5中的、根据图30(b)的深度图对图30(a)的被摄体图像进行重对焦得到的图像的图。

图36是表示本发明的实施方式6中的被摄体位置和PSF的关系的图。

图37是表示本发明的摄像装置A的实施方式7的示意图。

图38(a)是放大表示图37所示的阵列状光学元件K以及摄像元件N的图，(b)是表示阵列状光学元件K和摄像元件N上的像素的位置关系的图。

图39是表示本发明的实施方式7中的被摄体距离和锐度(图像的锐利度)的关系的曲线。

图40(a)是表示作为被摄体的白黑的图样的图。(b)是表示(a)的被摄体的亮度的断面的图。(c)是表示由图37的摄像装置A拍摄的图像的每个颜色的亮度的断面的图。(d)是表示(c)的G1(绿)以及R(红)的亮度的二次微分的图。(e)是表示从(c)的G2(绿)、B(蓝)的亮度中减去(d)的二次微分的情况下的亮度的断面的图。

图41是表示本发明的实施方式7中的被摄体距离和锐度(图像的锐利度)的关系的曲线。

图42是表示本发明的实施方式7中的被摄体距离和锐度(图像的锐利度)的关系的曲线。

图43是从被摄体侧观察本发明的实施方式8中的光学元件L1的主视图。

图44是本发明的实施方式8中的阵列状光学元件K的立体图。

图45(a)是放大表示本发明的实施方式8中的阵列状光学元件K和摄像元件N的图，(b)是表示阵列状光学元件K和摄像元件N上的像素的位置关系的图。

图46是表示本发明的实施方式8中的被摄体距离和锐度(图像的锐利度)关系的曲线。

图47是表示本发明的实施方式8中的被摄体距离和锐度(图像的锐利度)的关系的曲线。

图48是表示本发明的实施方式8中的被摄体距离和锐度(图像的锐利度)的关系的曲线。

图49(a)是放大表示本发明的实施方式中发生串扰的情况下的摄像面的附近的图，(b)是放大表示减少串扰的情况下的摄像面的附近的图。

图50(a1)是表示具有相对于光轴而旋转非对称的形状的微透镜阵列的立体图。(a2)是表示(a1)所示的微透镜阵列的等高线的图。(a3)是将(a1)、(a2)所示的微透镜应用于本发明的阵列状光学元件的情况下的、光线追踪仿真的结果的图。(b1)是表示具有相对于光轴而旋转对称的形状的微透镜阵列的立体图。(b2)是表示(b1)所示的微透镜阵列的等高线的图。(b3)是表示将(b1)、(b2)所示的微透镜应用于本发明的实施方式的阵列状光学元件的情况下的、光线追踪仿真的结果的图。

图51(a)以及(b)是表示本发明的实施方式中摄像元件上的滤光器排列的其他实施方式的图。

具体实施方式

根据本申请发明的研究，在现有的采用多个摄像光学系统的结构中，摄像装置大型化且高成本化的问题突出。此外，由于存在使多个摄像光学系统的特性一致、并且使2个摄像光学系统的光轴高精度地平行的必要性，因此在制造上较为困难，进而该需要用来求出照相机参数的校准工序，因此一般认为需要较多的工时。

在专利文献1以及非专利文献1所公开的这种DFD法中，能够由1个摄像光学系统算出到被摄体的距离。但是，在专利文献1以及非专利文献1的方法中，需要改变到合焦的被摄体的距离(合焦距离)，以时间分割获取多个图像。在将这种方法应用于运动图像时，由于因摄影的时间差而在图像间产生偏差，因此存在测距精度下降的这种课题。

此外，专利文献1中公开了一种摄像装置，通过棱镜来分割光路，由后焦点不同的2个摄像面进行摄像，从而通过一次摄像就能够测量到被摄体的距离。但是，在这种方法中，由于需要2个摄像面，因此存在摄像装置大型化、且成本大幅提高的这种课题。

本申请发明者鉴于这样的课题，提出新的摄像装置。本发明的一个方式的概要如下。

本发明的一个方式的摄像装置具备：镜头光学系统，其具有第1区域以及第2区域，并且所述第2区域具有相对于通过了所述第1区域的光线所产生的合焦特性而使合焦特性不同的光学特性；摄像元件，其具有让通过了所述镜头光学系统的光入射并且配备具备第1分光透过率特性的滤光器的多个第1以及第2像素、让通过了所述镜头光学系统的光入射并且配备具有第2分光透过率特性的滤光器的多个第3像素、和让通过了所述镜头光学系统光入射并且配备具有第3分光透过率特性的滤光器的多个第4像素；和阵列状光学元件，其配置在所述镜头光学系统和所述摄像元件之间，使通过了所述第1区域的光入射至所述多个第1像素，使通过了所述第2区域的光入射至所述多个第2像素，所述阵列状光学元件使通过了所述第1区域以及所述第2区域之中的任意一个区域的光入射至所述多个第3像素，使通过了所述第1区域以及所述第2区域之中的任意一个区域的光入射至所述多个第4像素。

所述阵列状光学元件可以仅使通过了所述第1区域以及所述第2区域之中的任意一个区域的光入射至所述多个第3像素，仅使通过了所述第1区域以及所述第2区域之中的任意一个区域的光入射至所述多个第4像素。

所述阵列状光学元件可以是双凸透镜，所述阵列状光学元件使通过了所述第1区域以及所述第2区域之中的任意一个区域的光入射至所述多个第3像素，使通过了所述第1区域以及所述第2区域之中的另一个区域的光入射至所述多个第4像素。

所述阵列状光学元件可以是微透镜，所述阵列状光学元件使通过了所述第1区域以及所述第2区域之中的任意一个区域的光入射至所述多个第3像素以及所述多个第4像素。

本发明的其他方式的摄像装置具备：镜头光学系统，其具有第1区域以及第2区域，并且所述第2区域具有相对于通过了所述第1区域的光线所产生的合焦特性而使合焦特性不同的光学特性；摄像元件，其具有让通过了所述镜头光学系统的光入射并配备具有第1分光透过率特性的滤光器的多个第1以及第2像素、让通过了所述镜头光学系统的光入射并配备具有第2分光透过率特性的滤光器的多个第3像素、和让通过了所述镜头光学系统的光入射并配备具有第3分光透过率特性的滤光器的多个第4像素；和阵列状光学元件，其配备在所述镜头光学系统和所述摄像元件之间，使通过了所述第1区域的光入射至所述多个第1像素，使通过了所述第2区域的光入射至所述多个第2像素，在所述多个第1、第2、第3、第4像素分别被逐1像素配置成2行2列的像素群内，所述第1像素以及所述第2像素分别被配置在(1、1)以及(2、2)的任意位置、或者被配置在(1、2)以及(2、1)的任意位置。

在所述摄像装置中，在一次摄像中，光线可以入射至所述第1区域以及所述第2区域。

具有所述第1分光透过率特性的滤光器可以是使绿色频带的光线通过的滤光器，具有所述第2分光透过率特性的滤光器是使蓝色频带的光线通过的滤光器，具有所述第3分光透过率特性的滤光器是使红色频带的光线通过的滤光器。

在被摄体距离处在某个规定的范围内的情况下，由入射至所述第1区域的光所形成的点像强度分布大致恒定，由入射至所述第2区域的光所形成的点像强度分布根据到被摄体的距离而变化。

所述第1区域的表面以及所述第2区域的表面可以具有彼此不同的曲率半径。

所述第1区域以及所述第2区域可以是将所述镜头光学系统的光轴作为边界中心被分割而得到的区域。

所述多个第1、第2、第3以及第4像素可以通过一次的摄像分别生成第1至第4亮度信息，所述摄像装置还具备：第1信号处理部，其利用所述第1至第4亮度信息来生成彩色图像。

所述第1信号处理部可以具备锐度检测部，该锐度检测部按所述彩色图像中的每个规定区域检测所述多个第1至第4像素的亮度信息之中至少1个以上的像素成分的锐度，基于所述各个锐度之中最高的锐度的成分来对其他像素的亮度信息的成分进行锐化。

所述第1信号处理部可以利用预先存储的点像强度分布函数，进行由入射至所述第1区域的光所到达的像素的亮度信息形成的图像的复原处理，生成被复原的锐化图像。

所述第1信号处理部可以利用单一的所述点像强度分布函数，进行由入射至所述第1区域的光所到达的像素的亮度信息形成的图像的全区域的复原处理，生成被复原的锐化图像。

所述第1信号处理部可以具备锐度检测部，该锐度检测部按所述被复原的锐化图像中的每个规定区域检测锐度，基于所述被复原的锐化图像中的每个规定区域的锐度，对其他像素的亮度信息的成分进行锐化。

所述摄像装置可以还具备第2信号处理部，该第2信号处理部算出到被摄体的距离，所述第1信号处理部生成由所述多个第1像素得到的第1图像以及由所述多个第2像素得到的第2图像，所述第2信号处理部利用所述第1图像以及所述第2图像，算出到被摄体的距离。

在被摄体距离处于某个一定范围内的情况下，所述第1图像的锐度与所述第2图像的锐度之比的值和到所述被摄体的距离具有相关关系，所述第2信号处理部基于所述相关关系、所述第1图像的锐度与所述第2图像的锐度之比，算出到所述被摄体的距离。

所述第1信号处理部可以还具备对比度检测部，该对比度检测部检测出在所述多个第1像素中得到的第1图像的对比度、和在所述多个第2像素中得到的第2图像的对比度，在被摄体距离处在某个一定范围内的情况下，所述第1图像的对比度与所述第2图像的对比度之比，与所述被摄体距离具有相关关系，所述第2信号处理部基于所述相关关系、以及所述第1图像的对比度、所述第2图像的对比度，算出到所述被摄体的距离。

所述第2信号处理部可以利用对所述第1图像和所述第2图像相加之后的图像的亮度信息、以及所述第1图像或者所述第2图像的亮度信息，算出到所述被摄体的距离。

在被摄体距离处在某个一定范围内的情况下，根据所述被复原的锐化图像和由入射至所述第2区域的光所形成的图像而导出的点像强度分布函数，与所述被摄体距离具有相关关系，所述第2信号处理部基于所述相关关系和所述点像强度分布函数，算出到所述被摄体的距离。

所述镜头光学系统可以是像方远心光学系统。

所述镜头光学系统可以是像方非远心光学系统，在所述镜头光学系统的光轴外使所述阵列状光学元件的排列相对于所述摄像元件的像素的排列而偏移。

所述阵列状光学元件可以是双凸透镜或者微透镜阵列。

所述阵列状光学元件可以是微透镜阵列，所述第2区域具有第2A区域、第2B区域、以及第2C区域的3个区域，所述微透镜阵列使通过了所述第1区域的光线入射至所述多个第1像素，使通过了所述第2A区域的光线入射至所述多个第2像素，使通过了所述第2B区域的光线入射至所述多个第3像素，使通过了所述第2C区域的光线入射至所述多个第4像素。

所述第2A区域、所述第2B区域、以及所述第2C区域可以彼此具有不同的光学功率，与设置在所述多个第2像素、所述多个第3像素、以及所述多个第4像素的滤光器的透过频带对应的波段的光的合焦位置，和所述第2A区域、所述第2B区域、以及所述第2C区域具有彼此相等的光学功率的情况相比更近。

所述阵列状光学元件可以是微透镜阵列，所述微透镜阵列具有多个光学要素，所述多个各光学要素各自具有相对于光轴而旋转对称的形状。

所述阵列状光学元件可以形成在所述摄像元件上。

所述摄像装置可以还具备微透镜，其设置在所述阵列状光学元件与所述摄像元件之间，所述阵列状光学元件隔着所述微透镜而形成在所述摄像元件上。

所述摄像装置可以还具备在所述第1区域与所述第2区域之间的边界部设置的遮光部件。

所述镜头光学系统可以还具备光圈，所述第1区域以及所述第2区域配置在所述光圈附近。

在所述多个第1、第2、第3、第4像素分别被逐1像素配置成2行2列的像素群内，第1像素和第2像素可以在所述摄像元件的摄像面中，在上下、左右、倾斜的任意方向上彼此相邻。

所述第2信号处理部可以按所述彩色图像的每个规定区域算出被摄体距离，所述摄像装置还具备第3信号处理部，该第3信号处理部利用在所述第2信号处理部中算出的每个所述规定区域的被摄体距离，生成被重对焦的图像。

所述第2信号处理部可以利用每个所述规定区域的被摄体距离，生成每个被摄体距离的点扩散函数。

从作为所述点扩散函数的强度变化成为极大的被摄体距离的至少1个最佳对焦位置起，越是在被摄体距离方向上远离，则所述点扩散函数的强度的变化越小。

所述至少1个最佳对焦位置可以是从外部输入的位置或者由所述第2信号处理部决定的位置。

所述第3信号处理部可以利用每个所述规定区域的被摄体距离、所述点扩散函数，生成所述被重对焦的图像。

所述点扩散函数可以是高斯函数。

所述第3信号处理部可以按每个规定区域利用傅立叶变换来进行所述点扩散函数的卷积运算，生成所述被重对焦的图像。

所述第3信号处理部可以基于每个所述规定区域的被摄体距离，进行空间过滤器处理，来生成所述被重对焦的图像。

所述至少1个最佳对焦位置，可以断续地存在多个。

本发明的其他方式的摄像系统具备：上述任意的摄像装置；和生成彩色图像的第1信号处理装置，所述第1信号处理部利用通过所述一次摄像而得到的所述多个第1像素、所述多个第2像素、所述多个第3像素、以及所述多个第4像素的亮度信息来生成所述彩色图像。

摄像系统可以还具备第2信号处理装置，其算出到被摄体的距离，所述第2信号处理装置利用通过所述一次摄像而得到的所述多个第1像素、所述多个第2像素的亮度信息，算出到被摄体的距离。

本发明的其他方式的摄像系统具备摄像装置和信号处理装置，其中，所述摄像装置具备：镜头光学系统，其具有第1区域以及第2区域，并且所述第2区域具有相对于通过了所述第1区域的光线所产生的合焦特性而使合焦特性不同的光学特性；摄像元件，至少具有让通过了所述镜头光学系统的光入射的多个第1像素和多个第2像素；和阵列状光学元件，其配置在所述镜头光学系统和所述摄像元件之间，使通过了所述第1区域的光入射至所述多个第1像素，使通过了所述第2区域的光入射至所述多个第2像素，所述信号处理装置具备：第1信号处理部，利用在所述多个第1像素中得到的第1图像以及在所述多个第2像素中得到的第2图像的亮度信息，按摄像图像的每个规定区域算出被摄体距离；和第2信号处理部，利用在所述第1信号处理部中所算出的每个所述规定区域的被摄体距离，生成被重对焦的图像。

根据上述的摄像装置以及摄像系统，利用单一的光学系统，通过一次的摄像，就能够获取用于彩色图像的输出以及被摄体距离的测量的亮度信息。因此，无需像使用多个摄像光学系统的摄像装置那样使多个摄像光学系统间的特性、位置一致。此外，在运动图像的摄影中，即便随着时间的经过而被摄体的位置发生变化，也能够测量到被摄体的正确的距离。此外，能够对任意的被摄体位置合焦，例如能够获取使主要的人物/物锐化、仅使背景虚化的有张有弛的图像。

以下，参照附图说明本发明的摄像装置的实施方式。

(实施方式1)

图1是表示实施方式1的摄像装置A的示意图。本实施方式的摄像装置A具备：将V作为光轴的镜头光学系统L、在镜头光学系统L的焦点附近配置的阵列状光学元件K、摄像元件N、第1信号处理部C1、第2信号处理部C2、和存储部Me。

镜头光学系统L由来自被摄体(未图示)的光束B1、B2入射的光学元件L1、通过了光学元件L1的光入射的光圈S、和通过了光圈S的光入射的透镜L2构成。光学元件L1具有光学区域D1、具有相对于通过了光学区域D1的光线的合焦特性而使合焦特性不同的光学特性的光学区域D2。光学元件L1也可以配置在光圈S的附近。

图2是从被摄体侧观察光学元件L1的主视图。光学元件L1中的光学区域D1和D2在以光轴V为边界中心而与光轴V垂直的面内在上下方向被一分为二。图2中，虚线s表示光圈S的位置。图1中，光束B1是通过光学元件L1上的光学区域D1的光束，光束B2是通过光学元件L1上的光学区域D2的光束。光束B1、B2依次通过光学元件L1、光圈S、透镜L2、阵列状光学元件K，到达摄像元件N上的摄像面Ni(图4等中示出)。

图3是阵列状光学元件K的立体图。在阵列状光学元件K的摄像元件N侧的面，在与光轴V垂直的面内在横方向细长的多个光学要素M1被配置在纵方向。各个光学要素M1的断面(纵方向的断面)具有向摄像元件N侧突出的圆弧状的形状。这样，阵列状光学元件K具有双凸透镜(lenticular lens)的结构。

如图1所示，阵列状光学元件K被配置在镜头光学系统L的焦点附近，配置在距摄像面Ni规定距离的位置。实际上，虽然光学元件L1中的光学特性对作为镜头光学系统L整体的合焦特性带来影响，但例如只要将透镜L2的焦点作为基准来决定配置阵列状光学元件K的位置即可。

再者，本实施方式中，“合焦特性不同”是指在利用规定波长的光进行比较的情况下，在该光学系统中有助于光的聚集的特性的至少一个是不同的。具体而言，是指在利用规定波长的光进行比较的情况下，通过了光学区域D1、D2的光的镜头光学系统L的焦点距离、到对上焦的被摄体的距离、锐度成为固定值以上的距离范围等不同。通过调整光学区域D1、D2的曲率半径、非球面系数、折射率，由此能够使得镜头光学系统L的合焦特性不同。

本实施方式中，通过一次摄像从而通过了2个光学区域D1、D2的光通过透镜L2之后，入射至阵列状光学元件K。阵列状光学元件K使通过了光学区域D1的光入射至摄像元件N的像素P1、P3(图4等所示)，使通过了光学区域D2的光入射至摄像元件N中的像素P2、P4。

图4(a)是放大表示图1所示的阵列状光学元件K以及摄像元件N的图，图4(b)是表示阵列状光学元件K与摄像元件N上的像素的位置关系的图。阵列状光学元件K被配置成形成了光学要素M1的面朝向摄像面Ni侧。

如图4(b)所示，在摄像面Ni，像素P配置成矩阵状。像素P能够区别为像素P1、P2、P3以及P4。

在像素P1以及P2配备具有第1分光透过率特性的滤光器，该滤光器主要使绿色频带的光线通过，而吸收其他频带的光线。在像素P3配备具有第2分光透过率特性的滤光器，该滤光器主要使红色频带的光线通过，而吸收其他频带的光线。此外，在像素P4配备具有第3分光透过率特性的滤光器，该滤光器主要使蓝色频带的光线通过，吸收其他频带的光线。

为了进行说明，将配置成2行2列的像素P1、P2、P3以及P4的1组称为“像素群Pg”。在1个像素群Pg内，在将像素P2的位置设为(1、1)时，像素P1配置在(2、2)的位置，像素P3配置在(2、1)的位置，像素P4配置在(1、2)的位置。即，像素P1以及像素P3各自在相同的行被交替配置。此外，像素P2以及像素P4各自在相同的行交替配置。此外，像素P1与P3的行、和像素P2与P4的行在纵方向(列方向)交替配置。这样，各个的多个像素P1、P2、P3以及P4形成拜尔排列。在以拜尔排列来配置像素P1、P2、P3以及P4的情况下，都是具有透过绿色频带的光的滤光器的像素P1以及像素P2，在摄像面Ni的面内配置在倾斜的位置。像素P3与像素P4的位置可以是相反的。

作为阵列状光学元件K，其光学要素M1之一被配置成与由摄像面Ni上的1行像素P1、P3以及1行的像素P2、P4构成的2行像素相对应。在摄像面Ni上设置微透镜Ms，以覆盖像素P1、P2、P3以及P4的表面。

阵列状光学元件K被设计成：通过了光学元件L1上的光学区域D1(图1、图2所示)的光束B1(图1中以中实线示出的光束B1)(的大部分)到达摄像面Ni上的像素P1以及P3，通过了光学区域D2的光束(图1中以虚线示出的光束B2)(的大部分)到达摄像面Ni上的像素P2以及P4。具体而言，通过适当地设定阵列状光学元件K的折射率、距摄像面Ni的距离及光学要素M1表面的曲率半径等的参数，从而实现上述结构。

像素P1至P4中使用的滤光器，例如是使用了有机材料的吸收型的滤光器、使用了电介质多层膜的反射型的滤光器。再者。具有第1分光透过率特性、第2分光透过率特性以及第3分光透过率特性的各个特性的滤光器，主要使彼此不同波段的光线透过。不过，各个滤光器透过的光的波段的一部分也可以重叠。此外，并不限于RGB的原色系的滤光器，也可以使用补色系(蓝绿色、洋红、黄色)的滤光器。

光圈S是全部视场角的光束通过的区域。因此，通过在光圈S的附近插入具有对合焦特性进行控制的光学特性的面，能够同样地控制全部视场角的光束的合焦特性。即，在本实施方式中，光学元件L1也可以设置在光圈S的附近。将使得光学系统L的合焦特性彼此不同的光学区域D1、D2配置在光圈S的附近，从而能够将与分割数相应的合焦特性赋予光束。

图1中，通过了光学元件L1的光直接(不经由其他的光学部件)被设置在入射于光圈S的位置。光学元件L1也可以较之光圈S而设置在摄像元件N侧。在该情况下，光学元件L1可以被设置在光圈S与透镜L2之间，通过了光圈S的光直接(不经由其他的光学部件)入射至光学元件L1。

此外，阵列状光学元件K具有根据光线的入射角而分配出射方向的功能。因此，能够按照与在光圈S的附近被分割出的光学区域D1、D2对应的方式，向摄像面Ni上的像素分配光束。

第1信号处理部C1(图1所示)利用通过一次摄像而在像素P1、P2、P3以及P4所得到的多个亮度信息来生成彩色图像。以下，具体说明生成彩色图像的方法。

在图1的摄像装置A的光学系统中，光学区域D1具有平面，光学区域D2具有非球面形状。此外，为了简化说明，假定透镜L2是没有像差的理想透镜来进行说明。

由于光学区域D1具有平面，因此在通过了光学区域D1和透镜L2的光线中，如图5的实线所示的曲线那样没有产生球面像差。在没有球面像差的情况下，随着偏离焦点，点像强度分布发生变化。即，随着被摄体距离的变化，点像强度分布发生变化。

此外，由于光学区域D2的非球面形状，通过了光学区域D2和透镜L2的光线所产生的球面像差如图5的虚线所示的曲线那样。通过调整光学区域D2的非球面形状，能够引起这种的球面像差。通过这种的球面像差，在镜头光学系统L的焦点附近的规定的范围内，能够使得通过了光学区域D2的光线的点像强度分布大致恒定。即，在规定的被摄体距离范围内使得点像强度分布大致恒定。

随着点像强度分布的变化，锐度也变化。由于点像的大小越小则图像的锐度越增加，因此在以曲线表示被摄体距离和锐度的关系时，成为图6这种的关系。在图6的曲线中，G1、R分别表示在像素P1(绿色的成分)、P3(红色的成分)所生成的图像的规定区域的锐度，G2、B分别表示在像素P2(绿色的成分)、P4(蓝色的成分)所生成的图像的规定区域的锐度。

基于规定的大小的图像块内相邻的像素间的亮度值的差值，能够求出锐度。此外，也能够基于对规定大小的图像块的亮度分布进行傅立叶变换之后的频谱来求取。

在将规定大小的块内的锐度设为E，基于像素P1、P2、P3、以及P4的每个成分中相邻的像素间的亮度值的差值来求取的情况下，例如采用(式1)。

【式1】

$E=\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}\sqrt{{\left({\mathrm{\Δx}}_{i,j}\right)}^2+{\left({\mathrm{\Δy}}_{i,j}\right)}^2}$

如前述，由于像素P1、P2、P3、以及P4形成拜尔排列，因此在求取各个成分的锐度时，在图像的x方向、y方向都是提取每隔1像素的像素信息来进行计算。

(式1)中Δx_i，j是规定大小的图像块内的坐标(i，j)处的像素的亮度值与坐标(i+2，j)的像素的亮度值之间的差值，Δy_i，j是规定大小的图像块内的坐标(i，j)处的像素的亮度值与坐标(i，j+2)的像素的亮度值之间的差值。

通过(式1)的计算，规定大小的图像块内的亮度值的差越大，则得到越大的锐度。

图像的锐度也能够利用前述的(式1)来求取，但也可以基于对规定大小的块内的锐度进行傅立叶变换而得到的频谱来求取。

图7(a)至(c)表示16×16尺寸的图像块的亮度分布。锐度按图7(a)、(b)、(c)的顺序变小。图7(d)至(f)表示对图7(a)至(c)各自所示的图像块以二维进行傅立叶变换从而得到的频谱。图7(d)至(f)中为了容易理解，而对各频谱的强度进行对数变换来进行表示，频谱越强则表示得越亮。各频谱中中央的亮度最高的位置为直流成分，越是靠近周边部则频率越高。

图7(d)至(f)中可知图像的锐度越小则高频谱越是缺失。因此，为了根据这些频谱来求取锐度，例如能够提取频谱整体或者一部分来求取锐度。

在生成彩色图像的情况下，可以以像素P1、P2、P3、以及P4的亮度信息为基础，仅对每个像素位置补齐所缺失的颜色信息从而生成彩色图像，但如图6所示那样G2、B的锐度比G1、R的锐度小，因此也可以对G2、B的锐度进行锐化之后生成彩色图像。

图8是说明基于G1、R的锐度对G2、B的锐度进行锐化的方法的图。图8(a)是作为被摄体的黑白图样，图8(b)是表示(a)的被摄体的亮度的断面的图。如图8(b)所示，图样(chart)的亮度的断面是阶梯状，但是例如在将图样配置在从到达像素P1、P3的光线最为合焦的被摄体位置向跟前偏离了少许的规定位置来进行摄像时，图像的亮度断面成为如图8(c)所示那样。图8(c)的曲线中，G1、R分别是在像素P1(绿色的成分)、P3(红色的成分)所生成的图像的亮度断面，G2、B分别是在像素P2(绿色的成分)、P4(蓝色的成分)生成的图像的亮度断面。这样，可以说G1、R的亮度断面比G2、B的亮度断面更接近于图8(b)的实际的图样的亮度断面，锐度更高。

在拍摄图8(a)这种黑白图样的情况下，G1的亮度断面和R的亮度断面是大致相同的断面，但由于实际上是拍摄所有颜色成分的被摄体图像，因此图8(c)的G1、R的亮度断面大部分情况是不一致的。因此，也可以根据G1、R的亮度断面来检测各自的锐度，选择锐度高的颜色成分，使得G2、B的亮度断面锐化。锐度的检测在第1信号处理部C1内的锐度检测部中进行。在选择锐度高的亮度断面，对其亮度断面进行二次微分时，得到图8(d)的分布，能够检测锐度高的颜色成分的图像的边沿。接下来，从图8(c)的G2、B各自的亮度分布中减去图8(d)的分布，由此得到图8(e)的分布，能够使得G2、B的亮度分布锐化。在此，在减去图8(d)的分布时，在对图8(d)的分布乘以规定系数之后，从图8(c)的G2、B的亮度分布中减去，由此能够控制G2、B的锐化程度。

在本实施方式中，为了简化说明，以一维的方式进行了使图像锐化的说明，但由于图像是二维的，因此实际上以二维进行锐化处理。

通过以上的图像处理，图6的实线所示的G2、B的锐度被锐化成虚线所示的G2’、B’那样，能够使所生成的彩色图像锐化。

图9是表示将图1中光学区域D2的光学面从非球面形状置换为球面形状的情况下的被摄体距离与锐度的关系的曲线。在这种情况下，也与图6的情况同样地能够使彩色图像锐化。

在图9中，因被摄体距离从而锐度高的颜色成分不同。因此，根据G1、G2、R、以及B的亮度断面检测各自的锐度，选择锐度最高的颜色成分来使其他颜色成分锐化。

通过以上这种的图像处理，图9中实线所示的G1、G2、R、以及B的锐度分别被锐化成由虚线示出的G1’、G2’、R’、以及B’那样，能够使所生成的彩色图像锐化。

接下来，说明其他的图像锐化手法。图10是说明基于对G2、B的锐度锐化之后的G2’、B’来锐化G1、R的锐度的方法的图。光学区域D1、D2的结构与图6的情况相同，由通过了光学区域D2的光线所形成的点像强度分布在规定的被摄体距离范围内大致恒定。因此，分别提取像素P2(G2的成分)、P4(B的成分)所形成的点像强度分布在规定的被摄体距离范围内大致恒定。如果在规定的被摄体距离范围中点像强度分布大致恒定，则分别提取像素P2(G2的成分)、P4(B的成分)所形成的图像，能够与被摄体距离无关地，基于规定的点像强度分布进行复原。

以下说明根据预先存储的点像强度分布函数来复原摄影图像的方法。在将原图像设为f(x，y)、将点像强度分布设为h(x，y)时，摄影图像g(x，y)能够由(式2)表示。

【式2】

$g(x,y)=f(x,y)\⊗h(x,y)$

其中，

表示卷积。

在对(式2)的两边进行傅立叶变换后，成为(式3)那样。

【式3】

G(u，v)＝F(u，v)H(u，v)

在此，将(式4)的逆过滤器Hinv(u，v)适用于劣化图像G(u，v)，从而如(式5)那样求出原图像的二维傅立叶变换F(u，v)。对其进行逆傅立叶变换，从而能够作为复原图像而获得原图像f(x，y)。

【式4】

$\mathrm{Hinv}(u,v)=\frac{1}{H(u,v)}$

【式5】

F(u，v)＝Hinv(u，v)G(u，v)

但是，在H(u，v)成为0或者极小的值时，Hinv(u，v)发散，因此，利用(式6)这种的维纳(Wiener)过滤器Hw(u，v)来复原劣化图像。

【式6】

$\mathrm{Hw}(u,v)=\frac{1}{H(u,v)}\frac{{\left|H(u,v)\right|}^2}{{\left|H(u,v)\right|}^2+{|N(u,v)}^2/|{F(u,v)}^2}$

在(式6)中，N(u，v)为噪声。由于通常噪声和原图像F(u，v)是未知的，因此实际上使用常数k通过(式7)的过滤器来复原劣化图像。

【式7】

$\mathrm{Hw}(u,v)=\frac{1}{H(u,v)}\frac{{\left|H(u,v)\right|}^2}{{\left|H(u,v)\right|}^2+k}$

通过这种的复原过滤器，图10的实线所示的G2、B的锐度能够锐化成点线所示的G2’、B’。这样，根据本实施方式，利用点像强度分布函数，能够进行由入射至光学区域D1的光所到达的像素的亮度信息形成的图像的全区域的复原处理。一般情况下，由于点像强度分布函数是根据光学系统的摄像位置而变化的，因此可利用与各摄像位置对应的点像强度分布函数。但是，在点像强度分布函数几乎不依赖于摄像位置的光学系统的情况下，能够利用单一的点像强度分布函数来进行图像的全区域的复原处理。尽管需要在存储器等中预先保存点像强度分布函数，但通过利用单一的点像强度分布，能够降低存储器的使用量。再有，与图8所示的方法同样，根据G2’、B’的亮度断面(被复原的锐化图像)按每个规定区域检测各自的锐度(锐度检测部)，对锐度高的颜色成分的亮度断面进行二次微分，从G1、R中减去，能够将G1、R的锐度如图10的虚线所示的G1’、R’那样进行提高。这样，能够基于锐度对其他像素的亮度信息的成分进行锐化。

通过以上这样的图像处理，图10的实线所示的G2、B的锐度、以及G1、R的锐度能够如点线所示的G2’、B’以及虚线所示的G1’、R’那样提高，能够使得所生成的彩色图像锐化。通过这样的锐化处理，较之图6所示的锐化处理，能够进一步扩展景深。

接下来，说明具体求取被摄体距离的方法。

图1所示的第1信号处理部C1，输出提取来自像素P1(G1的成分)的亮度信息而得到的第1图像I1(图1所示)、提取来自像素P2(G2的成分)的亮度信息而得到的第2图像I2。由于2个光学区域D1、D2的光学特性彼此不同，因此第1、第2图像I1、I2的图像的锐度(利用亮度而算出的值)因被摄体距离而不同。存储部Me(图1所示)中存储通过了光学区域D1、D2的各自区域的光的锐度和被摄体距离之间的相关关系。在第2信号处理部C2(图1所示)中，基于第1、第2图像I1、I2的锐度和上述相关关系，能够获得到被摄体的距离。

在此，图6以及图10中的Z的范围表示G1变化、并且G2几乎不变化的区域。在Z的范围中，能够利用这样的关系求出被摄体距离。例如，在Z的范围中，由于被摄体距离和、锐度G1与G2之比存在相关，因此预先将被摄体距离、与锐度G1、G2之比的相关关系，存储在存储部Me中。

在使用摄像装置时，在一次摄像的结果所得到的数据之中，按各运算块的每一个求出仅在像素P1(G1的成分)所生成的第1图像I1和仅在像素P2(G2的成分)所生成的第2图像I2的锐度之比。然后，利用存储部Me中存储的相关关系，求出被摄体距离。具体而言，按各运算块的每一个比较上述相关关系中的锐度之比、第1图像I1与第2图像I2的锐度之比的值。进而，将与两者相一致的值对应的被摄体距离作为摄影时的到被摄体的距离。

为了根据仅由像素P1生成的第1图像I1的锐度和仅由像素P2生成的第2图像I2的锐度之比而唯一地求出被摄体距离，锐度之比需要在规定的被摄体距离范围内全部不同。

在图6、图9以及图10中，在Z的范围内，由于锐度之比全部不同，因此能够唯一地求出被摄体距离。此外，在锐度的值过低时，无法求出其比值，因此锐度的值可以为一定值以上。

再者，被摄体距离与锐度的关系由光学区域D1、D2的曲率半径、非球面系数、折射率来决定。也就是说，光学区域D1、D2，需要具有第1图像I1的锐度和第2图像I2的锐度之比在规定的距离范围内全部不同这种的光学特性。

再者，在本实施方式中，如果是利用亮度算出的值(亮度信息)，则也可以利用锐度以外的值、例如对比度来求出被摄体距离。例如能够根据规定的运算块内的最大亮度值和最低亮度值之比求出对比度。相对于锐度是亮度值的差值，而对比度是亮度值之比。既可以根据作为最大亮度值的一点和作为最低亮度值的一点之比来求出对比度，也可以根据例如亮度值的高位数点的平均值和亮度值的低位数点的平均值之比来求出对比度。在被摄体距离处在某个固定范围内的情况下，第1图像I1的对比度和第2图像I2的对比度，与被摄体距离具有相关关系。在利用对比来求取被摄体距离的情况下，也与锐度的情况同样，预先将被摄体距离、和对比度之比之间的相关关系存储在存储部Me中。在该情况下，第1信号处理部C1具备对比度检测部，该对比度检测部检测由像素P1得到的第1图像I1的对比度、和由像素P2得到的第2图像I2的对比度。按各运算块的每一个来求出第1图像I1和第2图像I2的对比度之比，能够利用相关关系求出被摄体距离(第2信号处理部C2)。

此外，在本实施方式中，也可以利用锐度和对比度以外的值、例如点像强度分布来求取被摄体距离。以下说明根据第1图像I1和第2图像I2求出点像强度分布的方法。

在利用上述的(式7)来复原仅由像素P2(G2的成分)生成的第2图像I2时，求出与元图像f(x，y)极为接近的复原图像i2’(x，y)。在此，在将仅由像素P1(G1的成分)生成的第1图像设为i1(x，y)、将通过光学区域D1的光线的点像强度分布设为h1(x，y)时，i1(x，y)可由(式8)表示。

【式8】

$\mathrm{il}(x,y)\≈i2\′(x,y)\⊗\mathrm{hl}(x,y)$

其中，

表示卷积。

在对(式8)的两边进行傅立叶变换时，得到(式9)。

【式9】

I1(u，v)≈I2′(u，v)H1(u，v)

若对(式9)进行变形，则如(式10)那样求出点像强度分布h1(x，y)的频域的值H1(u，v)。

【式10】

$H1(u,v)\≈\frac{I1(u,v)}{I2\′(u,v)}$

通过对其进行逆傅立叶变换，能够求出通过光学区域D1的光线的点像强度分布h1(x，y)。

由于通过光学区域D1的光线的点像强度分布h1(x，y)因被摄体距离而变化，因此在被摄体距离处在某个一定范围内的情况下，点像强度分布h1(x，y)与被摄体距离具有相关性。能够利用该相关关系求出被摄体距离。

在以代表性的数值表示点像强度分布的情况下，例如能够利用点像强度分布的直径。在与锐度、对比度的情况同样，预先将被摄体距离与点像的直径之间的相关关系存储在存储部Me中。按各块的每一块根据第1图像I1和第2图像I2求出点像强度分布，通过根据点像强度分布来求出点像的直径，由此能够利用相关关系求出被摄体距离。点像的直径例如能够根据点像强度分布的半峰宽(half bandwidth)求出。

本实施方式，也可以具备在如图9那样使各光学区域的曲率半径彼此不同的情况下，生成对第1图像I1以及第2图像I2进行相加之后的图像的结构。通过第1图像I1以及第2图像I2的相加而生成的图像中，锐度为一定值以上的距离范围比第1图像I1以及第2图像I2大。该情况下，通过相加而生成的图像的锐度、与第1图像I1或者第2图像I2的任意一个图像的锐度之比，和被摄体距离具有相关关系。预先存储该相关关系，能够按图像的每个规定区域而求出被摄体距离。

再者，本实施方式的摄像装置的光学系统可以是像方远心(telecentric：远心)光学系统。由此，即便视场角变化，阵列状光学元件K的主光线入射角也以接近于0度的值进行入射，因此在摄像区域的整个区域能够降低到达像素P1、P2、P3、以及P4的光束间的串扰。

此外，如前述在本实施方式中，为了简化说明而将透镜L2作为理想透镜来进行说明，但也可以不使用理想透镜。例如，不是理想透镜的透镜具有轴上色像差，但如前述那样，由于能够选择锐度高的颜色成分来锐化其他的颜色成分，因此即便不是理想透镜，也能够生成锐度的彩色图像。此外，在求取被摄体距离的情况下，由于基于单一的颜色成分(本实施方式中绿色的成分)来求取距离，因此也可以具有轴上色像差。

此外，在本实施方式中，光学元件L1与透镜L2分离，但也可以在透镜L2设置光学区域D1、D2，而除去光学元件L1的结构。该情况下，可以构成为光圈S配置在透镜L2的光学区域D1、D2的附近。

如以上，在本实施方式中，通过利用单一的摄像系统的一次摄像就能够获取彩色图像和被摄体距离的双方。即，利用本实施方式涉及的摄像装置进行一次摄像，能够获取彩色图像输出及用于被摄体距离测量的亮度信息。并且，利用该亮度信息能够获取彩色图像及被摄体距离的双方。对于被摄体距离，由于能够按各运算块的每一个进行计算，因此能够获取彩色图像的任意图像位置的被摄体距离。因此，也能够获取图像全域的被摄体距离图。此外，由于通过单一摄像系统能够获得到被摄体的距离，因此无需像使用多个摄像光学系统的摄像装置那样，使多个摄像光学系统间的特性、位置一致。此外，在利用本实施方式的摄像装置来拍摄运动图像的情况下，即便随着时间的经过而被摄体的位置发生变化，也能够测量出到被摄体的正确距离。

根据本实施方式，由于像素是通过拜尔排列而被排列的，因此能够直接使用一般的彩色摄像元件，无需新开发专用的彩色滤光器排列的摄像元件，能够抑制初期投资。

(实施方式2)

本实施方式2与实施方式1的不同点在于：使光学元件L1的光学区域的分割面积不同、以及将阵列状光学元件从双凸透镜置换为微透镜。在此，本实施方式中，省略与实施方式1同样的内容的详细说明。

图11是从被摄体侧观察光学元件L1的主视图，光学元件L1被分割为光学区域D1和D2。此外，光学区域D2还进一步被分割为光学区域d2A、d2B以及d2C。如图11所示，光学区域D1、d2A、d2B以及d2C以光轴V为边界中心在垂直于光轴V的面内上下左右一分为四。光学区域D1和D2具有使通过各自区域的光线的合焦特性彼此不同的光学特性。

图12是阵列状光学元件K的立体图。在阵列状光学元件K中的摄像元件N侧的面，光学要素M2配置成格子状。各个光学要素M2的断面(纵方向以及横方向各自的断面)为圆弧状，各个光学要素M2向摄像元件N侧突出。这样，光学要素M2为微透镜，阵列状光学元件K成为微透镜阵列。

图13(a)是放大表示阵列状光学元件K和摄像元件N的图，图13(b)是表示阵列状光学元件K和摄像元件N上的像素的位置关系的图。阵列状光学元件K与实施方式1同样，配置在镜头光学系统L的焦点附近，并且配置在距摄像面Ni规定距离的位置。此外，在摄像面Ni上以覆盖像素P1、P2、P3、以及P4的表面的方式设置微透镜Ms。

在像素P1、P2、P3、以及P4分别配备具有与实施方式1的像素P1、P2、P3、以及P4相同的分光透过率特性的滤光器。

此外，阵列状光学元件K被配置成形成了光学要素M2的面朝向摄像面Ni侧。阵列状光学元件K被配置成其光学要素M2之一与摄像面Ni的2行2列的像素P1～P4(像素群Pg)的4个像素对应。

通过这样的结构，通过了图11所示的光学元件L1上的光学区域D1、d2A、d2B、以及d2C的光束(的大部分)分别到达摄像面Ni上的像素P1、像素P2、像素P3、以及像素P4。

在本实施方式中，通过了光学区域D1的光到达像素P1，通过了光学区域D2(d2A、d2B、以及d2C)的光到达像素P2、P3、P4。在实施方式1、2当中相同点在于，阵列状光学元件K使通过了光学区域D1、D2之中的任意一个区域的光入射至像素P3，使通过了光学区域D1、D2之中的任意一个区域的光入射至像素P4。其中，在实施方式1中，通过了光学区域D1、D2之中的一个区域的光到达像素P3，另一方到达像素P4，相对于此，在本实施方式2中，通过了光学区域D1、D2之中的一个区域的光到达像素P3、P4双方。

在实施方式1、2中，阵列状光学元件K可以仅使通过了光学区域D1、D2之中的任意一个区域的光入射至像素P3，使仅通过了光学区域D1、D2之中的任意一个区域的光入射至像素P4。其中，通过了光学区域D1、d2A、d2B、以及d2C的光束的一部分，存在入射至摄像面Ni中的像素以外的区域、或相邻像素等的可能性。因此，在本说明书以及权利要求中，例如“仅使通过了光学区域D1的光入射至像素P3”并不是意味着来自光学区域D2的光完全不会入射至像素P3，是表示入射至像素P3的光的大部分(例如80％以上)是来自光学区域D1的光。

与实施方式1同样，由第1信号处理部C1利用多个像素P1、P2、P3以及P4的亮度信息来生成彩色图像。以下说明具体生成彩色图像的方法。

在图11中，光学区域D1具有非球面，使光学区域D2(d2A、d2B、以及d2C)中的表面为平面。此外，为了简化说明，假定透镜L2是没有像差的理想透镜来进行说明。

通过光学区域D1的非球面形状，能够与实施方式1同样地在镜头光学系统L的焦点附近的规定范围内，使得通过了光学区域D1的光线的点像强度分布大致恒定。即，在规定的被摄体距离范围内使点像强度分布大致恒定。

此外，由于光学区域D2具有平面，因此与实施方式1同样不产生球面像差。在没有球面像差的情况下，随着偏离焦点，点像强度分布发生变化。即，随着被摄体距离的变化点像强度分布发生变化。

与实施方式1同样，以曲线来表示被摄体距离与锐度的关系时，成为图14那样的关系。在图14的曲线中，G1表示由像素P1(绿色的成分)生成的图像的规定区域的锐度，G2、R、以及B分别表示由像素P2(绿色的成分)、P3(红色的成分)以及P4(蓝色的成分)生成的图像的规定区域的锐度。

在生成彩色图像的情况下，与实施方式1同样，以像素P1、P2、P3、以及P4的亮度信息为基础，可以按每个像素位置仅补齐所缺失的颜色信息从而生成彩色图像，但由于如图14那样G1的锐度比G2、R、以及B的锐度小，因此与图8中说明的方法同样，可以在锐化了G1的锐度之后生成彩色图像。

通过以上的这种图像处理，图14的实线所示的G1的锐度能够锐化成由虚线示出的G1’那样，能够使得所生成的彩色图像锐化。

图15是表示将图14中光学区域D1的光学面从非球面形状置换为球面形状的情况下的被摄体距离与锐度的关系的曲线。在这样的情况下也与图14的情况同样，能够使彩色图像锐化。

在本实施方式中，如图15所示，因被摄体距离不同锐度高的颜色成分也不同。因此，根据G1、G2、R、以及B的亮度断面检测各自的锐度，选择锐度最高的颜色成分来使其他颜色成分锐化。

通过以上的图像处理，图15的实线所示的G1、G2、R、以及B的锐度能够分别锐化成由虚线示出的G1’、G2’、R’、以及B’那样，能够使所生成的彩色图像得到锐化。

接下来，说明其他的图像锐化手法。图16是说明基于对G1的锐度进行锐化而得到的G1’，来使G2、R、B的锐度锐化的方法的图。光学区域D1的结构与图14的情况相同，由通过了光学区域D1的光线形成的点像强度分布，在规定的被摄体距离范围内大致恒定。因此，提取像素P1(G1的成分)而形成的点像强度分布，在规定的被摄体距离范围内大致恒定。如果在规定的被摄体距离范围中点像强度分布大致恒定，则提取像素P1(G1的成分)而形成的图像，能够与被摄体距离无关，基于规定的点像强度分布来进行复原。

通过实施方式1中说明的复原过滤器，图16的实线示出的G1的锐度能够锐化成点线所示的G1’那样。进而，与图8中示出的方法同样，对G1’的亮度断面进行二次微分，从G2、R、以及B中减去，由此G2、R、以及B的锐度被锐化，能够被锐化成由图16的虚线所示的G2’、R’、以及B’那样。

再者，实施方式1、2中光学元件L1与透镜L2相分离，但也可以是在透镜L2设置光学区域D1、D2，并去除光学元件L1的结构。该情况下，也可以是光圈S配置在透镜L2的光学区域D1、D2的附近的结构。

此外，如前述，在本实施方式中，为了简化说明而假定透镜L2为理想透镜进行了说明，但也可以不使用理想透镜。例如，不是理想透镜的透镜虽然具有轴上色像差，但可以构成为用光学元件L1修正轴上色像差。本实施方式中，在图11中，假定光学元件L1的光学区域D2(d2A、d2B、以及d2C)全部具有平面，但通过具有各不相同的光学面，能够修正轴上色像差。如前述，通过了光学区域d2A、d2B、以及d2C的光线，分别到达像素P2、像素P3、以及像素P4。像素P2、像素P3、以及像素P4分别具有主要使绿色、红色、以及蓝色的波长成分的光通过的滤光器，因此在透镜L2中应用具有轴上色像差的透镜的情况下，光学区域d2A、d2B、以及d2C的各光学面，可使各自的光学面上的光学功率不同，以使在各像素所设置的滤光器的波段的光的合焦位置相等。通过这样的结构，较之光学区域d2A、d2B以及d2C具有相等的光学功率的情况，能够使透过了光学区域d2A、d2B以及d2C的光的合焦位置彼此接近，因此，能够由光学元件L1修正在透镜L2产生的轴上色像差。由光学元件L1来修正轴上色像差，能够削减构成透镜L2的透镜个数，能够使光学系统小型化。

通过以上的图像处理，图16的实线所示的G1的锐度、以及G2、R、B的锐度能够锐化成点线所示的G1’、以及虚线所示的G2’、R’、B’那样，能够使所生成的彩色图像锐化。通过这样的锐化处理，较之图14所示的锐化处理，能够扩大景深。

在本实施方式中，相对于实施方式1，仅仅是锐度G1与锐度G2的关系翻转，测量到被摄体的距离的方法能够同样地实施。

如以上，在本实施方式中，与实施方式1同样地通过利用了单一摄像系统的一次摄像，能够获取彩色图像和被摄体距离的双方。

(实施方式3)

本实施方式3与实施方式1、2的不同点在于，将双凸透镜、微透镜阵列形成在摄像面上。在此，本实施方式中省略与实施方式1同样的内容的详细说明。

图17(a)以及(b)是放大表示阵列状光学元件K以及摄像元件N的图。本实施方式中，双凸透镜(或者微透镜阵列)Md形成在摄像元件N的摄像面Ni上。在摄像面Ni，与实施方式1等同样地，像素P被配置成矩阵状。1个双凸透镜的光学要素、或者1个微透镜的光学要素与这些多个像素P对应。本实施方式中，也与实施方式1、2同样，将通过了光学元件L1上的不同区域的光束分别导出至不同像素。此外，图17(b)是表示本实施方式的变形例的图。在图17(b)所示的结构中，在摄像面Ni上以覆盖像素P的方式形成微透镜Ms，在微透镜Ms的表面上层叠阵列状光学元件K。图17(b)所示的结构中，较之图17(a)的结构能够提高聚光效率。

(实施方式4)

本实施方式4与实施方式1、2、以及3的不同点在于，在光学元件L1的各光学区域的边界部配置遮光部件。在此，本实施方式中省略与实施方式1同样的内容的详细说明。

图18(a)是在实施方式1的光学区域D1、D2的边界部配置了遮光部件Q的主视图。此外，图18(b)是在实施方式2的光学区域D1、D2的边界部配置了遮光部件Q的主视图。此外，图18(c)是在实施方式2的光学区域D1、d2A、d2B、以及d2C的边界部配置了遮光部件Q的主视图。

在各区域的边界部，由于形状不连续地变化，因此在边界部产生级差，有时会产生不必要的光。因此，通过在各边界部配置遮光部件Q，能够抑制不必要的光的产生。作为遮光部件Q，例如采用熬进了碳黑的聚酯薄膜等即可。遮光部件Q可以与光圈一体地形成。

此外，图18(a)、(c)中表示通过使用线状的遮光部件Q，由此被遮光部件Q切分的区域的形状成为半圆或者扇形的方式。本实施方式中，可通过在使光透过的区域使用具有圆形、椭圆形、或者矩形等的形状的开口的遮光部件，使得被遮光部件Q切分的各区域成为圆形、椭圆、或者矩形。

(实施方式5)

图19是表示实施方式5的摄像装置A的示意图。本实施方式的摄像装置A具备以V为光轴的镜头光学系统L、在镜头光学系统L的焦点附近配置的阵列状光学元件K、摄像元件N、第2信号处理部C2、第3信号处理部C3、和存储部Me。

镜头光学系统L由光学元件L1、光圈S和透镜L2构成，光学元件L1具备具有使彼此合焦特性不同的光学特性的2个光学区域D1、D2，并入射来自被摄体(未图示)的光束B1、B2，光圈S入射通过了光学元件L1的光，透镜L2入射通过了光圈S的光。光学元件L1可以配置在光圈S的附近。

图20是从被摄体侧观察光学元件L1的主视图。光学元件L1中的光学区域D1和D2以光轴V为边界中心在垂直于光轴V的面内在上下被一分为二。在图20中，虚线s表示光圈S的位置。图19中，光束B1是通过光学元件L1上的光学区域D1的光束，光束B2是通过光学元件L1上的光学区域D2的光束。光束B1、B2依次通过光学元件L1、光圈S、透镜L2、阵列状光学元件K，到达摄像元件N上的摄像面Ni(图22等中所示)。

图21是阵列状光学元件K的立体图。在阵列状光学元件K的摄像元件N侧的面，在垂直于光轴V的面内在纵方向上配置横方向细长的多个光学要素M1。各个光学要素M1的断面(纵方向的断面)具有向摄像元件N侧突出的圆弧状的形状。这样，阵列状光学元件K具有双凸透镜的结构。

如图19所示，阵列状光学元件K配置在镜头光学系统L的焦点附近，配置在距摄像面Ni规定距离的位置。实际上，光学元件L1中的光学特性会对作为镜头光学系统L全体的合焦特性带来影响，但配置阵列状光学元件K的位置只要例如以透镜L2的焦点为基准来决定即可。再者，在本实施方式中，“合焦特性不同”是指在其光学系统中有助于光的聚集的至少一个是不同的，具体而言是指焦点距离、到合焦的被摄体的距离、锐度为一定值以上的距离范围等不同。通过调整光学区域D1、D2中的曲率半径、非球面系数、或折射率，能够使得镜头光学系统L的合焦特性不同。

在本实施方式中，通过了2个光学区域D1、D2之后的光通过透镜L2之后，入射至阵列状光学元件K。阵列状光学元件K使通过了光学区域D1的光入射至摄像元件N的像素P1(图22等所示)，使通过了光学区域D2的光入射至摄像元件N的像素P2。

图22(a)是放大表示图19所示的阵列状光学元件K以及摄像元件N的图，图22(b)是表示阵列状光学元件K和摄像元件N上的像素的位置关系的图。阵列状光学元件K被配置成形成光学要素M1的面朝向摄像面Ni侧。在摄像面Ni，像素P被配置成矩阵状。像素P能够区别为像素P1以及P2。

像素P1在横方向(行方向)排列成1行进行配置。在纵方向(列方向)，像素P1每隔1个进行配置。此外，像素P2在横方向(行方向)排列成1行进行配置。在纵方向(列方向)，像素P2每隔1个进行配置。此外，像素P1的行和像素P2的行在纵方向(列方向)交替配置。

阵列状光学元件K被配置成其光学要素M1的一个对应于由摄像面Ni上的1行的像素P1以及1行的像素P2构成的2行像素。在摄像面Ni上，以覆盖像素P1以及P2的表面的方式设置微透镜Ms。

阵列状光学元件K被设计成：使通过了光学元件L1上的光学区域D1(图19、图20所示)的光束B1(图19中实线所示的光束B1)的大部分到达摄像面Ni上的像素P1，通过了光学区域D2的光束(图19中虚线所示的光束B2)的大部分到达摄像面Ni上的像素P2。具体而言，通过适当设定阵列状光学元件K的折射率、距摄像面Ni的距离及光学要素M1表面的曲率半径等的参数，从而能够实现上述结构。

光圈S是全部视场角的光束通过的区域。因此，在光圈S的附近插入具有控制合焦特性的光学特性的面，能够同样地控制全部视场角的光束的合焦特性。即，本实施方式中，光学元件L1可以设置在光圈S的附近。将具有使彼此合焦特性不同的光学特性的光学区域D1、D2配置在光圈S的附近，从而能够将与区域的分割数相应的合焦特性赋予光束。

图19中，通过了光学元件L1的光被设置在直接(不经由其他的光学部件)入射至光圈S的位置。光学元件L1可以较之光圈S而设置在摄像元件N侧。该情况下，光学元件L1可以设置在光圈S与透镜L2之间，通过了光圈S的光直接(不经由其他的光学部件)入射至光学元件L1。

此外，阵列状光学元件K具有根据光线的入射角来分配出射方向的功能。因此，能够对摄像面Ni上的像素分配光束，使其对应于在光圈S的附近分割出的光学区域D1、D2。

图23是说明本实施方式的信号处理部的处理内容的流程图。信号处理部具有生成重对焦图像的功能。在此，所谓重对焦，是指利用由摄像装置得到的图像(摄像图像)重构与处在期望的(任意的)被摄体距离的被摄体合焦的图像。再者，“被摄体距离”是指从摄像装置到被摄体的距离。通过进行重对焦，在图像中，处于期望的被摄体距离的被摄体的锐度变得比其周围区域的锐度高。此外，所谓重对焦图像是处在期望的被摄体距离的被摄体的锐度处于比其周围区域的锐度高的状态的图像。

如图23所示，首先，在步骤ST1中，求出从摄像元件N得到的图像的亮度信息，根据需要对图像进行锐化。在此，“亮度信息”的具体例是锐度、对比度或者点像强度分布。再者，如图19所示，从摄像元件N得到的图像被分为基于第1像素P1的第1图像I1、和基于第2像素P2的第2图像I2。在本步骤ST1中，求出这2个图像I1、I2的亮度信息。

接下来，在步骤ST2中，利用亮度信息，按图像的每个规定区域算出到被摄体的距离，生成深度图(depth map)。

接下来，在步骤ST3中，基于想要合焦的位置(最佳对焦位置)，按每个被摄体位置生成PSF。最佳对焦位置可以是用户从摄像装置A的外部输入的，也可以是摄像装置A内的第2信号处理部C2决定的。

最后，在步骤ST4中，对锐化图像卷积基于深度图所决定的PSF，生成任意位置的重对焦图像。例如，步骤ST1至ST3由第2信号处理部C2实施，步骤ST4由第3信号处理部C3实施。再者，步骤ST1中的图像的锐化步骤、和步骤ST2、ST3也可以适当调换。以下，具体说明流程图的各项目。

首先，说明步骤ST1。再者，以下以“亮度信息”是锐度的情况为例进行说明。

在图19的摄像装置A的光学系统中，光学区域D1具有平面，光学区域D2具有非球面形状。此外，为了简化说明，假定透镜L2是没有像差的理想透镜来进行说明。

由于光学区域D1的表面是平面，因此如图24的实线所示，由通过了光学区域D1和透镜L2的光线，不会产生球面像差。在没有球面像差的情况下，随着偏离焦点从而点像强度分布发生变化。即，随着被摄体距离的变化，点像强度分布发生变化。

此外，通过光学区域D2的非球面形状，通过了光学区域D2和透镜L2的光线的球面像差，成为如图24的虚线所示的曲线那样。通过调整光学区域D2的非球面形状，从而能够提供这种的球面像差。通过这种的球面像差，在镜头光学系统L的焦点附近的规定的范围内，能够使得通过了光学区域D2的光线的点像强度分布大致恒定。即，在规定的被摄体距离范围内使得点像强度分布大致恒定。

伴随着点像强度分布的变化，锐度也变化。由于点像的大小越小则图像的锐度越增加，因此在以曲线表示被摄体距离和锐度的关系时，成为如图25那样的关系。在图25的曲线中，G1表示由像素P1得到的图像(第1图像I1)的规定区域的锐度，G2表示由像素P2得到的图像(第2图像I2)的规定区域的锐度。

锐度能够基于在规定大小的图像块内相邻的像素间的亮度值的差值而求出。此外，也能够基于对规定大小的图像块的亮度分布进行傅立叶变换之后的频谱而求出。

在将规定大小的块内的锐度设为E，基于相邻的像素间的亮度值的差值而求出锐度的情况下，利用例如(式11)。

【式11】

$E=\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}\sqrt{{\left({\mathrm{\Δx}}_{i,j}\right)}^2+{\left({\mathrm{k\Δy}}_{i,j}\right)}^2}$

(式11)中，Δxi，j是规定大小的图像块内的坐标(i，j)处的像素的亮度值和坐标(i+1，j)的坐标的像素的亮度值的差值，Δyi，j是规定大小的图像块内的坐标(i，j)处的像素的亮度值和坐标(i，j+2)的坐标的像素的亮度值的差值，k是系数。之所以利用坐标j以及坐标j+2来计算Δyi，j的y方向的亮度值，是因为在像素P1、P2各自中得到的图像中，纵方向(y方向)的亮度信息是每隔1像素而形成的。希望对Δyi，j乘以规定的系数(例如k＝0.5)。

第1、第2图像I1、I2各自中，y方向的图像的亮度信息每隔1像素而缺失。可以通过在y方向相邻的像素的亮度信息，对缺失的像素的亮度信息进行插值来生成。例如，在图像中，在坐标(i，j+1)的亮度信息缺失的情况下，只要对坐标(i，j)和坐标(i，j+2)的亮度信息进行平均，对坐标(i，j+1)进行插值即可。在通过(式1)来求取坐标(i，j+1)的锐度E的情况下，只要设定k＝1即可，Δyi，j成为规定大小的图像块内的坐标(i，j)处的像素的亮度值和坐标(i，j+1)的坐标的像素的亮度值(通过坐标(i，j+2)的亮度信息插值之后的值)的差值。通过(式2)的计算，规定大小的图像块内的亮度值的差越大，则获得越大的锐度。

图像的锐度能够利用上述的(式11)求出，但也可以基于对规定大小的块内的锐度进行傅立叶变换之后的频谱而求出。

图26(a)至(c)表示16×16尺寸的图像块的亮度分布。锐度按图26(a)、(b)、(c)的顺序变小。图26(d)至(f)表示对图26(a)至(c)各自示出的图像块以二维方式进行傅立叶变换而得到的频谱。图26(d)至(f)中，为了容易理解，对各频谱的强度进行对数变换来显示，频谱越强显示得越亮。各频谱中中央的亮度最高的位置是直流成分，越是接近于周边部则频率越高。

在图26(d)至(f)中，可知图像的锐度越小则越是缺失高的频谱。因此，在根据这些频谱来求取锐度时，例如通过提取频谱全体或者一部分从而能够求出。

图27是说明基于G1的锐度对G2的锐度进行锐化的方法的图。图27(a)是作为被摄体的黑白图样，图27(b)是表示(a)的被摄体的亮度的断面的图。如图27(b)所示，图样的亮度的断面为阶梯状，例如在将图样配置在从到达像素P1的光线最为合焦的被摄体位置向跟前偏离了少许的规定位置来进行摄像时，图像的亮度断面如图27(c)那样。图27(c)的曲线中，G1是由像素P1生成的图像的亮度断面，G2是由像素P2生成的图像的亮度断面。这样，G1的亮度断面比G2的亮度断面更接近于图27(b)的实际的图样的亮度断面，可以说锐度较高。

在对锐度高的G1的亮度断面进行二次微分时，得到图27(d)的分布，能够检测出G1的图像的边沿。接下来，从图27(c)的G2的亮度分布中减去图27(d)的分布，由此得到图27(e)的分布，能够锐化G2的亮度分布。在此，在减去图27(d)的分布时，通过对图27(d)的分布乘以规定的系数之后，从图27(c)的G2的亮度分布中减去，由此能够控制G2的锐化程度。

在本实施方式中，为了简化说明，以一维方式进行了锐化图像的说明，但由于图像是二维的，因此实际上以二维进行锐化处理。

通过以上这种的图像处理，图25的实线所示的G2的锐度能够锐化成由虚线示出的G2’那样，能够使得所生成的图像锐化。

图28是表示将图19中光学区域D2中的表面从非球面形状置换为球面形状的情况下的被摄体距离与锐度的关系的曲线。在这种情况下也与图25的情况同样，能够锐化图像。

在本实施方式中，如图28所示，因被摄体距离不同锐度高的成分也不同。因此，根据G1以及G2的亮度断面检测各自的锐度，选择锐度高的成分，对其他的成分进行锐化。

通过以上的图像处理，图28的实线所示的G1以及G2的锐度分别能够锐化成虚线所示的G1’以及G2’那样，能够对所生成的图像进行锐化。

接下来，说明其他的图像锐化方法。图29是说明基于对G2的锐度锐化之后的G2’来锐化G1的锐度的方法的图。光学区域D1、D2的结构与图25的情况相同，由通过了光学区域D2的光线形成的点像强度分布在规定的被摄体距离范围内大致恒定。因此，提取像素P2(G2的成分)所形成的点像强度分布在规定的被摄体距离范围内大致恒定。如果在规定的被摄体距离范围中点像强度分布大致恒定，则提取像素P2(G2的成分)所形成的图像能够与被摄体距离无关地，基于规定的点像强度分布进行复原。

以下说明基于点像强度分布来复原摄影图像的方法。在将原图像设为f(x，y)，将点像强度分布设为h(x，y)时，摄影图像g(x，y)可由(式12)表示。

【式12】

$g(x,y)=f(x,y)\⊗h(x,y)$

其中，

表示卷积。

若对(式12)的两边进行傅立叶变换，则成为(式13)那样。

【式13】

G(u，v)＝F(u，v)H(u，v)

在此，通过将(式14)的逆过滤器Hinv(u，v)应用于劣化图像G(u，v)，从而如(式15)那样求出原图像的二维傅立叶变换F(u，v)。通过对其进行逆傅立叶变换，从而能够作为复原图像而获得原图像f(x，y)。

【式14】

$\mathrm{Hinv}(u,v)=\frac{1}{H(u,v)}$

【式15】

F(u，v)＝Hinv(u，v)G(u，v)

但是，在H(u，v)为0或者极小值时，Hinv(u，v)发散，因此利用(式16)那样的维纳过滤器Hw(u，v)来复原劣化图像。

【式16】

$\mathrm{Hw}(u,v)=\frac{1}{H(u,v)}\frac{{\left|H(u,v)\right|}^2}{{\left|H(u,v)\right|}^2+{\left|N(u,v)\right|}^2/{\left|F(u,v)\right|}^2}$

在(式16)中，N(u，v)为噪声。通常，由于噪声和原图像F(u，v)是未知的，因此实际上利用常数k通过(式17)的过滤器来复原劣化图像。

【式17】

$\mathrm{Hw}(u,v)=\frac{1}{H(u,v)}\frac{{\left|H(u,v)\right|}^2}{{\left|H(u,v)\right|}^2+k}$

通过这样的复原过滤器，由图29的实线示出的G2的锐度能够锐化成以点线示出的G2’那样。再有，与图27所述的方法同样地，对G2’的亮度断面进行二次微分，从G1中减去其结果，由此G1的锐度被锐化，能够锐化成由图29的虚线示出的G1’那样。

通过以上的图像处理，图29的实线所示的G2的锐度、以及G1的锐度能够锐化成点线所示的G2’以及虚线所示的G1’那样。通过这样的锐化处理，较之图25所示的锐化处理，能够扩大景深。

接下来，具体说明图23的步骤ST2的深度图生成。深度图是按摄影图像的每个规定区域(各运算块)求取被摄体距离而生成的。

图19所示的第2信号处理部C2被输入提取像素P1(G1的成分)而得到的第1图像I1(图19所示)、和提取像素P2(G2的成分)而得到的第2图像I2。由于2个光学区域D1、D2的光学特性彼此不同，因此第1、第2图像I1、I2的图像的锐度(利用亮度算出的值)，因被摄体距离而不同。存储部Me(图19所示)中，存储通过光学区域D1、D2的各个区域的光的锐度和被摄体距离的相关关系。第3信号处理部C3(图19所示)中，基于第1、第2图像I1、I2的锐度和上述相关关系来获得到被摄体的距离。

在此，图25以及图29中的Z的范围表示G1变化、并且G2几乎不变化的区域。Z的范围中，能够利用这种关系来求取被摄体距离。例如，在Z的范围中，由于被摄体距离、和锐度G1与G2之比存在相关，因此预先将被摄体距离与、锐度G1、G2之比的相关关系存储在存储部Me中。

在使用摄像装置时，在一次摄像的结果所得到的数据(摄像图像)之中，按各运算块的每一个求出仅由像素P1(G1的成分)生成的第1图像I1和仅由像素P2(G2的成分)生成的第2图像I2的锐度之比。然后，利用存储部Me中所存储的相关关系，求出被摄体距离。具体而言，按各运算块的每一块，比较上述相关关系中的锐度之比、第1图像I1与第2图像I2的锐度之比的值。并且，将与两者相一致的值对应的被摄体距离作为到摄影时的被摄体的距离。

为了根据仅由像素P1生成的第1图像I1的锐度和仅由像素P2生成的第2图像I2的锐度之比唯一地求出被摄体距离，需要锐度之比在规定的被摄体距离范围内完全不同。

在图25、图28以及图29中，在Z的范围内，锐度之比完全不同，因此能够唯一地求出被摄体距离。此外，在锐度的值过低时，无法求出比值，因此，锐度的值只要为一定值以上即可。

再者，被摄体距离与锐度的关系由光学区域D1、D2的曲率半径、非球面系数、折射率来决定。也就是说，光学区域D1、D2需要具有第1图像I1的锐度和第2图像I2的锐度之比在规定的距离范围内全部不同的这种光学特性。

再者，在本实施方式中，只要是利用亮度而算出的值(亮度信息)即可，也可以利用锐度以外的值、例如对比度来求出被摄体距离。对比度例如能够根据规定的运算块内的最大亮度值与最低亮度值之比来求出。相对于锐度是亮度值的差值，对比度是亮度值之比。既可以根据作为最大亮度值的一点和作为最低亮度值的一点之比来求出对比度，也可以根据例如亮度值的高位数点的平均值、和亮度值的低位数点的平均值之比来求出对比度。在利用对比度来求出被摄体距离的情况下，也与锐度的情况同样，预先将被摄体距离和、对比度之比之间的相关关系存储在存储部Me中。按各运算块的每一个求出第1图像I1和第2图像I2的对比度之比，利用相关关系能够求出被摄体距离。

此外，在本实施方式中，也可以利用锐度、对比度以外的值、例如点像强度分布来求取被摄体距离。以下，说明根据第1图像I1和第2图像I2来求出点像强度分布的方法。

利用上述的(式17)，对仅由像素P2(G2的成分)生成的第2图像I2进行复原时，求出与元图像f(x，y)极为接近的复原图像i2’(x，y)。在此，在将仅由像素P1(G1的成分)生成的第1图像设为i1(x，y)，将通过区域D1的光线的点像强度分布设为h1(x，y)时，I1(x，y)能够由(式18)表示。

【式18】

$\mathrm{il}(x,y)\≈i2\′(x,y)\⊗h1(x,y)$

其中，

表示卷积。

若对(式18)的两边进行傅立叶变换，则成为(式19)那样。

【式19】

I1(u，v)≈I2′(u，v)H1(u，v)

在对(式19)进行变形时，如(式20)那样，求出点像强度分布h1(x，y)的频域的值H1(u，v)。

【式20】

$H1(u,v)\≈\frac{I1(u,v)}{I2\′(u,v)}$

通过对其进行逆傅立叶变换，能够求出通过区域D1的光线的点像强度分布h1(x，y)。

通过区域D1的光线的点像强度分布h1(x，y)，因被摄体距离不同而变化，因此点像强度分布h1(x，y)和被摄体距离具有相关。能够利用该相关关系求出被摄体距离。

在以代表性的数值表示点像强度分布的情况下，例如可利用点像强度分布的直径。与锐度、对比度的情况同样，预先将被摄体距离与点像的直径的相关关系存储在存储部Me中。按各块的每一个块根据第1图像I1和第2图像I2求出点像强度分布，通过根据点像强度分布求出点像的直径，利用相关关系从而能够求出被摄体距离。点像的直径例如能够根据点像强度分布的半峰宽来求取。

本实施方式在如图28那样使各区域的曲率半径彼此不同的情况下，也可以具备生成对第1图像I1和第2图像I2进行相加而得到的图像的结构。在通过第1图像I1和第2图像I2的相加而生成的图像中，锐度为一定值以上的距离范围比第1图像以及第2图像大。该情况下，通过相加而生成的图像的锐度与第1图像I1或者第2图像I2的任意图像的锐度之比，与被摄体距离具有相关关系。预先存储该相关关系，能够按图像的每个规定区域求出被摄体距离。

在算出摄影图像的被摄体距离，并以单色的亮度值(例如256灰度)表示被摄体距离时，得到表示纵深信息的图像。此为深度图。图30(a)是本实施方式的被摄体图像(摄像图像)，图30(b)是图30(a)的被摄体图像的深度图。由256灰度进行显示，越白则意味着被摄体越靠跟前，而越黑则意味着被摄体越在纵深处。图30(b)中，检验图案的完全黑的位置是测距中的出错位置。这是因为在被摄体图像中具有宽的均匀的亮度值的位置，在其中央附近不产生锐度变化，而无法进行测距。但是，即便是无法测距的位置，也不会影响重对焦图像的生成。其原因在于，在具有宽的均匀的亮度值的范围的中央附近，图像的锐度不变化，而与重对焦计算的有无无关。深度图未必是256灰度。也可以是16位(65536灰度)的图像，也未必是图像数据，也可以是与距离相应的数值数据。此外，也可以包含负值，只要表示出被摄体的相对的位置关系即可。

接下来，具体说明图23的步骤ST3的PSF的生成。PSF是例如按每个被摄体位置(被摄体距离)而生成的。再有，也可以按每个视场角(像素或者规定的区域)而生成PSF。

也可以由数学式表示PSF的形状。例如，是(式21)所示的高斯分布(高斯函数)。这是因为，将任意的被摄体位置的PSF应用于数学式通过简单的计算就能够逐次得到，而无需事先将庞大的被摄体PSF数据存储在存储器中。

【式21】

$\mathrm{Weight}(i,j)=\exp (-\frac{i^2+j^2}{{2\mathrm{\σ}}^2})$

σ＝k·d+0.001

在此，i是PSF的横方向的坐标，j是PSF的纵方向的坐标，(i，j)＝(0，0)表示PSF的中心。此外，Weight(i，j)表示i、j处的PSF的强度(权重)，d是被摄体距离，将最佳对焦位置表示为原点(d＝0)。在此，所谓“最佳对焦位置”是指PSF的强度变化极大的被摄体的位置(被摄体距离)。在“PSF的强度变化”大的情况下，PSF的峰值尖锐，例如峰值的半峰宽小。另一方面，在“PSF的强度变化”小的情况下，PSF的峰值平缓，例如峰值的半峰宽大。此外，k是增益调整用的系数，调整PSF的强度变化。对σ加了“0.001”，但这是(i，j)＝(0，0)时的防止发散用的常数，相对于k·d而设定充分小的值。该常数未必是“0.001”，可以适当变更。

图31是通过(式21)的高斯分布而求出的PSF断面强度分布。设定为j＝0、i＝-5～5、σ＝1.4而描绘曲线。在i＝0、j＝0时，PSF的强度最大，是左右对称(旋转对称)的分布。尽管PSF的强度分布也未必是旋转对称，但为了生成没有偏差的自然的重对焦图像，希望是旋转对称。

PSF的强度的变化(锐度)通过k来进行调整。需要设定成：在被摄体位置为最佳对焦位置的情况下PSF最尖锐，随着远离最佳对焦位置而变得平缓。将哪个被摄体位置作为最佳对焦位置可以任意设定。最佳对焦位置既可以用户从外部输入，也可以由第2信号处理部C2决定。在用户决定最佳对焦位置的情况下，用户可以选择图像上的区域，第2信号处理部C2求出用户所选择的区域的被摄体距离，将其设定为最佳对焦位置。或者，用户也可以直接选择被摄体距离。在决定了最佳对焦位置之后，将该被摄体位置作为原点。

图32是对被摄体位置d2合焦的情况下的PSF断面强度分布的变化的示意图。在图32(a)中，在略微远离被摄体位置d2的位置即被摄体位置d3，PSF的强度的倾斜度相对于被摄体位置d2的倾斜度而变得平缓。在进一步远离的被摄体位置d1，PSF的强度的倾斜度变得更加平缓。在(式21)中，将d的原点(＝0)设定为最佳对焦位置，从而被摄体位置越是远离最佳对焦位置则σ的绝对值越大，可将PSF强度的倾斜度设定得平缓。此外，通过在(式21)中增大k的值，能够调整相对于被摄体位置的PSF的强度分布的变化程度。图32(b)是将k的值设定得大于图32(a)的情况。(b)较之(a)，PSF的强度分布相对于被摄体位置而急剧变化，在相同的被摄体位置d1(或者d3)处比较PSF的强度分布时，(b)成为平缓的倾斜度。这样，可以适当调整k的值，调整后述的图像的虚化的变化。此外，(式21)的σ的式相对于d而线形变化，但除了线形函数以外也可以使用2次函数、多项式等的非线形的函数。通过使用非线形的函数，能够对PSF相对于被摄体位置d的强度变化、即虚化的变化进行非线形调整。

图32中表示PSF强度的一个断面，但PSF是在纵深方向也存在的二维数据。在实际的计算中可以使用图33所示的这种强度的二维矩阵。将(i，j)＝(0，0)作为原点从而通过(式21)能够求出。希望矩阵的行数和列数相同，希望分别是奇数。这是因为：能够在矩阵的中心设定1个位置的原点，能够形成以此为轴的旋转对称的PSF。尽管矩阵的行数/列数是任意的，但越大越能够增加虚化量。另一方面，越是减少矩阵的行数/列数则越能够缩短计算时间。图33(a)是3×3矩阵的PSF强度的二维分布，(b)是5×5矩阵的PSF强度的二维分布，(c)是7×7矩阵的PSF强度的二维分布。与图31同样，设定为σ＝1.4来进行求取。矩阵内的值可以按照矩阵整体的累计值为1的方式进行标准化。具体而言，在以(式21)算出数值后，求出矩阵内的全成分的累计值，将各成分除以其累计值从而能够计算出来。进行标准化的理由是为了防止此后的重对焦时的卷积后的图像的亮度变化。通过将PSF的强度累计值标准化为1，从而能够在重对焦的前图像和后图像中将图像的明亮度保持在一定。PSF数据的标准化可以在PSF算出时实施，也可以在马上要重对焦处理之前实施。此外，作为参考，图34(a)中表示将图33(c)的7×7矩阵的PSF强度分布的数值数据表现为256灰度来进行图像化的情况。同样，图34(b)是图33(c)的三维曲线。

在PSF的计算中，可以不使用数学式而使用光学系统所具有的实际的PSF值，但该情况下，由于需要通过仿真每隔一定间隔预先计算每个被摄体距离的PSF，因此作为数据库需要庞大的存储器。另一方面，通过使用由数学式表现的高斯分布，在重对焦计算时能够生成任意的被摄体位置的PSF，可节约存储器，并且有助于缩短计算时间。此外，在由高斯分布表现时，在被摄体位置为最佳对焦位置时的PSF中，中心为1而周围为0，不会使得最佳对焦位置的图像劣化。换言之，最佳对焦位置的PSF的强度变化比其他的被摄体位置的PSF的强度变化大，随着在被摄体距离方向上远离最佳对焦位置，PSF的强度变化变小。

再者，表示PSF的数学式可以是高斯分布以外的公式。例如可以是包含高次的次数的非球面式。

接下来，说明图23的步骤ST4的重对焦图像的生成。该处理利用步骤ST2中求出的被摄体距离、和步骤ST3中生成的PSF来进行。在第3信号处理部C3中实施该处理。使其与图30(b)的深度图对应，同时针对锐化图像的各像素实施PSF的卷积处理。例如，在假定深度图的某个像素(i，j)＝(i0，j0)处的被摄体位置为图32的d1时，针对以锐化图像的像素(i0，j0)为中心的矩阵(＝与PSF同一矩阵数的矩阵)，利用相应的d1的PSF来进行卷积运算。针对锐化图像的全像素实施该操作。通过该处理，相对于锐化图像是在任意的被摄体位置处都为图像的虚化较少的状态的图像，重对焦图像成为仅希望的位置良好合焦、而其他位置被虚化的有张有弛的图像。

图35是基于图30(b)的深度图对图30(a)的被摄体图像进行重对焦的图像。将最佳对焦位置(相当于图32的d2)设为跟前的桔子，将PSF的矩阵的区域设为15×15、k＝1来进行处理。图30(a)中，是一致地进行合焦的图像，但图35的重对焦图像对跟合对焦，而随着其他的背景变远而越来越虚化。再者，图30(b)中，成为测距检测出错的位置可以另行通过例外处理而省略重对焦处理。或者，也可以通过适当的被摄体距离的值来实施重对焦的生成。这是因为：由于是亮度值为一定的区域，因此锐度没有变化，与有无实施重对焦无关。

再者，在本实施方式中，可以仅进行步骤ST1之中的求出图像的锐度(亮度信息)的处理，而省略图像的锐化处理。该情况下，可以针对从传感器(光电二极管)获取的图像(摄像图像)，直接实施重对焦处理。在此，从传感器获取的图像可以是图19所示的第1、第2图像I1、I2，也可以是包含来自第1、第2像素P1、P2的图像在内的图像。在省略锐化处理的情况下，可以使用图29中锐度更高的G1的图像(第1图像I1)。这种处理在想要对已虚化的位置进一步进行强调来进行虚化的情况下特别有效。

此外，也可以仅对图像的特定区域实施重对焦处理。仅对想要虚化的位置进行处理，能够缩短计算时间。

此外，也未必使用PSF，例如可以仅对想要虚化的区域实施平均化过滤器等的空间过滤器处理来形成虚化。此外，可以仅对想要锐化的区域实施锐化过滤器等的空间过滤器处理，使得目的被摄体图像变得锐利。在这些情况下，只要不进行图23所示的流程图的步骤ST3，而在步骤ST4中基于深度图决定想要虚化的区域(或者想要锐化的区域)并进行空间过滤器处理即可。

在此，说明省略了图23的步骤ST1中的锐化处理的情况下的、重对焦图像生成方法的一例。

在步骤ST1中，在求出图像的亮度信息之后，检测锐度最高的(处于合焦的)规定区域。然后，基于步骤ST2中所生成的深度图，根据距检测为锐度最高的区域的被摄体的距离，按每个规定区域来进行虚化处理。例如，按照较距被检测为锐度最高的区域的被摄体的距离更近的区域，距离更远的区域的虚化程度更大的方式，进行虚化处理。由此，能够针对没有合焦而处于虚化的位置进一步强调来进行虚化。此外，也可以利用复原过滤器或空间过滤器对被检测为锐度最高区域的区域进行锐化。由此，能够进一步强调摄影图像中的锐利区域和虚化区域。再者，在该方法中，在利用复原滤光器进行锐化的情况下，作为所使用的PSF(点像强度分布)，可以是根据函数而被保持的，也可以保持并使用根据光学系统的特性按每个被摄体距离预先求出的。此外，进一步希望保持并使用每个视场角的PSF。这是为了实现精度更高的锐化。

此外，对于图像的端部的卷积，由于元图像的像素不足因此可以另行进行分支计算处理。例如，可以与图像端部的一部分的虚光图像(vignetting)相匹配地使用PSF的一部分来进行计算。

作为PSF的卷积运算处理，也可以使用傅立叶变换。例如，可以使用DFT(Discrete Fourier Transform)或FFT(Fast Fourier Transform)，能够缩短计算时间。这在被摄体距离的一定区域(规定的区域)较宽的情况下特别有效，将被摄体距离一定的区域作为1个块来进行运算。例如，生成与所运算的图像的块尺寸一致的PSF矩阵，对其分别进行傅立叶变换，在频率空间上进行计算。在卷积运算是进行傅立叶变换时，由于在频率空间上能够以各成分间的积进行计算，因此计算量骤减。在频率空间上取积之后，对其进行逆傅立叶变换，从而能够获得与进行卷积运算的结果同样的图像。

再者，本实施方式的摄像装置的光学系统可以是像方远心光学系统。由此，即便视场角变化，由于阵列状光学元件K的主光线入射角也以接近于0度的值入射，因此在摄像区域整个区域，能够降低到达像素P1以及P2的光束间的串扰。

此外，如前述，在本实施方式中，为了简化说明，假定透镜L2为理想透镜进行了说明，但也未必使用理想透镜。

此外，在本实施方式中，光学元件L1与透镜L2相分离，但也可以是在透镜L2设置光学区域D1、D2而除去光学元件L1的结构。该情况下，光圈S可以配置在透镜L2的光学区域D1、D2的附近。

如以上，在本实施方式中，通过使用单一摄像系统的(例如一次)摄像，能够获取图像和被摄体距离的双方。由于能够按各运算块的每一个算出被摄体距离，因此能够获取图像的任意位置的被摄体距离。因此，也能够获取图像全域的深度图。由此，在进行了摄影之后，能够与图像中的全部的被摄体合焦。

此外，由于能够通过单一的摄像系统获得到被摄体的距离，因此无需像使用多个摄像光学系统的摄像装置那样，使得多个摄像光学系统间的特性、位置一致。此外，在使用本实施方式的摄像装置拍摄运动图像的情况下，即便随着时间经过而被摄体的位置发生变化，也能够测量到被摄体的正确的距离。

(实施方式6)

本实施方式6与实施方式5的不同点在于，断续地设置了多处的最佳对焦位置。在此，本实施方式中省略与实施方式5同样的内容的详细说明。

在本实施方式中，如图36所示，将最佳对焦位置设定在2处或者任意的多处。除了位置d2以外，位置d4也设定为最佳对焦位置。位置d5位于位置d2和位置d4之间，但PSF的强度分布比位置d2、d4平缓。“断续地设置多处最佳对焦位置”是指，存在多个PSF的强度变化为极大的点(最佳对焦位置)，该多个最佳对焦位置之间的PSF的强度变化比最佳对焦位置的强度变化小。再者，多个最佳对焦的PSF的强度变化的大小彼此可以不同。

在将最佳对焦位置设置为两处时，(式21)中由4次函数表示σ。也未必使用4次函数，可以使用4次以上的次数，还可以使用指数或对数表现。如果使用图36所示的方法，在对附近为1人、远方为1人的共计2人的人物进行摄影而得到的图像中，能够对附近、远方的双方人物合焦，使得除此以外的背景虚化。这是在现有的光学系统中无法实现的技术。例如，就算是由Fno非常小的单反式照相机得到的虚化效果，也只能在附近、远方或者两者之间的任意一个位置的被摄体位置处进行合焦。此外，并不限定于任意的2处，也可以将2个以上的多处的物体设定为最佳对焦，而使除此以外的部分虚化。

(实施方式7)

本实施方式7与实施方式5的不同点在于，在像素配备了具有分光透过率特性的过滤器。在此，本实施方式中省略与实施方式5同样的内容的说明。

图37是表示实施方式7的摄像装置A的示意图。本实施方式的摄像装置A具备：以V为光轴的镜头光学系统L、在镜头光学系统L的焦点附近配置的阵列状光学元件K、摄像元件N、第1信号处理部C1、第2信号处理部C2、第3信号处理部C3、和存储部Me。

图38(a)是放大表示图37所示的阵列状光学元件K以及摄像元件N的图，图38(b)表示阵列状光学元件K与摄像元件N上的像素的位置关系的图。阵列状光学元件K被配置成形成了光学要素M1的面朝向摄像面Ni侧。在摄像面Ni，像素P配置成矩阵状。像素P能够区别为像素P1、P2、P3以及P4。

在像素P1以及P2配备具有第1分光透过率特性的滤光器，主要使绿色频带的光线通过，吸收其他频带的光线。在像素P3配备具有第2分光透过率特性的滤光器，主要使红色频带的光线通过，吸收其他频带的光线。此外，在像素P4配备具有第3分光透过率特性的滤光器，主要使蓝色频带的光线通过，吸收其他频带的光线。

像素P1以及像素P3各自在相同的行中交替配置。此外，像素P2以及像素P4各自在相同的行中交替配置。像素P1和P3的行、像素P2和P4的行在纵方向(列方向)交替配置。这样，各个多个像素P1、P2、P3以及P4形成拜尔排列。在以拜尔排列配置像素P1、P2、P3以及P4的情况下，都具有使绿色频带的光透过的滤光器的像素P1以及像素P2在摄像面Ni的面内配置在倾斜的位置。像素P3和像素P4的位置可以是相反的。

阵列状光学元件K被配置成：其光学要素M1的一个与由摄像面Ni上的1行像素P1、P3以及1行像素P2、P4构成的2行的像素对应。在摄像面Ni上，以覆盖像素P1、P2、P3以及P4的表面的方式设置微透镜Ms。

阵列状光学元件K被设计成：通过了光学元件L1上的光学区域D1(图37、图20所示)的光束B1(图37中实线所示的光束B1)的大部分到达摄像面Ni上的像素P1以及P3，通过了光学区域D2的光束(图37中虚线所示的光束B2)的大部分到达摄像面Ni上的像素P2以及P4。具体而言，通过适当设定阵列状光学元件K的折射率、距摄像面Ni的距离及光学要素M1表面的曲率半径等的参数，实现上述结构。

光圈S是全部视场角的光束通过的区域。因此，通过在光圈S的附近插入具有控制合焦特性的光学特性的面，能够同样地控制整个视场角的光束的合焦特性。即，在本实施方式中，光学元件L1可以设置在光圈S的附近。将具有彼此合焦特性不同的光学特性的光学区域D1、D2配置在光圈S的附近，能够将与区域的分割数相应的合焦特性赋予光束。

图37中，通过了光学元件L1的光被设置在直接(不经其他光学部件)入射至光圈S的位置。光学元件L1也可以较之光圈S而设置在靠摄像元件N一侧。该情况下，光学元件L1可以设置在光圈S与透镜L2之间，通过了光圈S的光直接(不经由其他光学部件)入射至光学元件L1。

此外，阵列状光学元件K具有根据光线的入射角来分配出射方向的功能。因此，能够对摄像面Ni上的像素分配光束，使得与在光圈S的附近被分割的光学区域D1、D2对应。

第1信号处理部C1(图37所示)利用多个像素P1、P2、P3以及P4的亮度信息来生成彩色图像。以下，具体说明生成彩色图像的方法。

在图37的摄像装置A的光学系统中，假定光学区域D1具有平面，光学面区域D2具有非球面形状。此外，为了简化说明，假定透镜L2是没有像差的理想透镜来进行说明。

由于光学区域D1的表面是平面，因此如图24的曲线中实线所示那样。不会产生由通过了光学区域D1和透镜L2的光线引起的球面像差。在没有球面像差的情况下，随着偏离焦点而点像强度分布变化。即，随着被摄体距离的变化而点像强度分布发生变化。

此外，通过光学区域D2的非球面形状，通过了光学区域D2和透镜L2的光线引起的球面像差，如图24的虚线所示的曲线那样。通过调整光学区域D2的非球面形状，能够提供这种球面像差。通过这样的球面像差，在镜头光学系统L的焦点附近的规定的范围内，能够使得通过了光学区域D2的光线的点像强度分布大致恒定。即，在规定的被摄体距离范围内能够使点像强度分布大致恒定。

随着点像强度分布的变化，锐度也变化。由于点像的大小越小则图像的锐度越增加，因此在以曲线表示被摄体距离和锐度的关系时，成为图39这种的关系。在图39的曲线中，G1、R分别表示由像素P1(绿色的成分)、P3(红色的成分)生成的图像的规定区域的锐度，G2、B分别表示由像素P2(绿色的成分)、P4(蓝色的成分)生成的图像的规定区域的锐度。

锐度能够基于规定的大小的图像块内相邻的像素间的亮度值的差值而求出。此外，也能够基于对规定大小的图像块的亮度分布进行傅立叶变换后的频谱而求出。

在将规定大小的块内的锐度设为E，按像素P1、P2、P3、以及P4的每个成分基于相邻的像素间的亮度值的差值来求取锐度的情况下，例如使用(式22)。

【式22】

$E=\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}\sqrt{{\left({\mathrm{\Δx}}_{i,j}\right)}^2+{\left({\mathrm{\Δy}}_{i,j}\right)}^2}$

如前述，由于像素P1、P2、P3、以及P4形成拜尔排列，因此为了求出各个成分的锐度，在图像的x方向、y方向都提取每隔1像素的像素信息来计算。

在(式22)中，Δx_i，j是规定大小的图像块内的坐标(i，j)处的像素的亮度值和坐标(i+2，j)的坐标的像素的亮度值的差值，Δy_i，j是规定大小的图像块内的坐标(i，j)处的像素的亮度值和坐标(i，j+2)的坐标的像素的亮度值的差值。

通过(式22)的计算，规定大小的图像块内的亮度值的差越大，则得到越大的锐度。

在生成彩色图像的情况下，也可以以像素P1、P2、P3、以及P4的亮度信息为基础，仅按每个像素位置补齐所缺失的颜色信息来生成彩色图像，但如图39那样，由于G2、B的锐度比G1、R的锐度小，因此也可以在对G1、R的锐度锐化后生成彩色图像。

图40是说明基于G1、R的锐度来对G2、B的锐度进行锐化的方法的图。图40(a)是作为被摄体的黑白图样，图40(b)是表示(a)的被摄体的亮度的断面的图。如图40(b)所示，图样的亮度的断面是阶梯状，但例如在将图样配置在从到达像素P1、P3的光线最为合焦的被摄体位置向跟前偏离少许的规定位置来进行摄像时，图像的亮度断面成为图40(c)那样。在图40(c)的曲线中，G1、R分别是由像素P1(绿色的成分)、P3(红色的成分)生成的图像的亮度断面，G2、B分别是由像素P2(绿色的成分)、P4(蓝色的成分)生成的图像的亮度断面。这样，G1、R的亮度断面较之G2、B的亮度断面，可以说接近于图40(b)的实际图样的亮度断面，锐度更高。

在拍摄图40(a)这种的黑白图样的情况下，G1的亮度断面和R的亮度断面成为大致相同的断面，但实际上由于拍摄所有颜色成分的被摄体图像，因此大部分情况下图40(c)的G1、R的亮度断面不一致。因此，可以根据G1、R的亮度断面检测各自的锐度，选择锐度高的颜色成分，使G2、B的亮度断面锐化。在选择锐度高的亮度断面，对该亮度断面进行二次微分时，得到图40(d)的分布，能够检测锐度高的颜色成分的图像边沿。接下来，从图40(c)的G2、B各自的亮度分布中减去图40(d)的分布，得到图40(e)的分布，能够使得G2、B的亮度分布锐化。在此，在减去图40(d)的分布时，在对图40(d)的分布乘以规定系数之后，从图40(c)的G2、B的亮度分布中减去，由此能够控制G2、B的锐化程度。

在本实施方式中，为了简化说明，以一维进行锐化图像的说明，但由于图像是二维的，因此实际上以二维进行锐化处理。

通过以上的图像处理，图39的实线所示的G2、B的锐度能够锐化成虚线所示的G2’、B’，能够对所生成的彩色图像锐化。

图41是表示在图37中将光学区域D2的表面从非球面形状置换为球面形状的情况下的被摄体距离和锐度的关系的曲线。在这种的情况下，也能够与图39的情况同样地对彩色图像锐化。

在本实施方式中，如图41所示，因被摄体距离不同，锐度高的颜色的成分不同。因此，根据G1、G2、R、以及B的亮度断面检测各自的锐度，选择锐度最高的颜色成分，对其他的颜色成分进行锐化。

通过以上的这种图像处理，图41的实线示出的G1、G2、R、以及B的锐度分别能够锐化成虚线所示的G1’、G2’、R’、以及B’那样，能够对所生成的彩色图像进行锐化。

接下来，说明其他的图像锐化手法。图42是说明基于对G2、B的锐度锐化之后的G2’、B’来锐化G1、R的锐度的方法的图。光学区域D1、D2的结构与图39的情况相同，由通过了光学区域D2的光线形成的点像强度分布在规定的被摄体距离范围内大致恒定。因此，分别提取像素P2(G2的成分)、P4(B的成分)而形成的点像强度分布在规定的被摄体距离范围内大致恒定。如果在规定的被摄体距离范围中点像强度分布大致恒定，则分别提取像素P2(G2的成分)、P4(B的成分)而形成的图像能够与被摄体距离无关地基于规定的点像强度分布进行复原。

以下说明基于点像强度分布复原摄影图像的方法。在将原图像设为f(x，y)，将点像强度分布设为h(x，y)时，摄影图像g(x，y)能够由(式23)表示。

【式23】

$g(x,y)=f(x,y)\⊗h(x,y)$

其中，

表示卷积。

若对(式23)的两边进行傅立叶变换，则成为(式24)那样。

【式24】

G(u，v)＝F(u，v)H(u，v)

在此，通过将(式25)的逆过滤器Hinv(u，v)应用于劣化图像G(u，v)，从而如(式26)那样求出原图像的二维傅立叶变换F(u，v)。通过对其进行逆傅立叶变换，从而能够作为复原图像而得到原图像f(x，y)。

【式25】

$\mathrm{Hinv}(u,v)=\frac{1}{H(u,v)}$

【式26】

F(u，v)＝Hinv(u，v)G(u，v)

但是，在H(u，v)为0或者极小的值时，由于Hinv(u，v)发散，因此，利用(式27)这种的维纳过滤器(wiener filter)Hw(u，v)来复原劣化图像。

【式27】

$\mathrm{Hw}(u,v)=\frac{1}{H(u,v)}\frac{{\left|H(u,v)\right|}^2}{{\left|H(u,v)\right|}^2+{\left|N(u,v)\right|}^2/{\left|F(u,v)\right|}^2}$

在(式27)中，N(u，v)为噪声。通常由于噪声和原图像F(u，v)是未知的，因此实际上利用常数k通过(式28)的过滤器来复原劣化图像。

【式28】

$\mathrm{Hw}(u,v)=\frac{1}{H(u,v)}\frac{{\left|H(u,v)\right|}^2}{{\left|H(u,v)\right|}^2+k}$

通过这样的复原过滤器，图42的实线所示的G2、B的锐度能够锐化成点线所示的G2’、B’那样。进而，与图40所示的方法同样，根据G2’、B’的亮度断面检测各自的锐度，对锐度高的颜色成分的亮度断面进行二次微分，从G1、R中减去，从而让G1、R的锐度得到锐化，能够锐化成图42的虚线所示的G1’、R’那样。

通过以上的图像处理，图42的实线所示的G2、B的锐度、以及G1、R的锐度能够锐化成点线所示的G2’、B’以及虚线所示的G1’、R’那样，能够对所生成的彩色图像进行锐化。通过这样的锐化处理，较之图39所示的锐化处理，能够扩大景深。

再者，本实施方式的摄像装置的光学系统可以是像方远心(telecentric)光学系统。由此，即便是视场角变化，阵列状光学元件K的主光线入射角也以接近于0度的值入射，因此，在摄像区域整个区域能够降低到达像素P1、P2、P3、以及P4的光束间的串扰。

此外，如前述，在本实施方式中，为了简化说明而将透镜L2作为理想透镜来进行说明，但也可以不使用理想透镜。例如，不是理想透镜的透镜具有轴上色像差，但如前述那样，由于能够选择锐度高的颜色成分来锐化其他的颜色成分，因此即便不是理想透镜，也能够生成锐度的彩色图像。此外，在求取被摄体距离的情况下，由于基于单一的颜色成分(本实施方式中绿色的成分)来求取距离，因此也可以具有轴上色像差。

此外，本实施方式中光学元件L1与透镜L2相分离，但可以是在透镜L2设置光学区域D1、D2，并去除光学元件L1的结构。该情况下，光圈S可以配置在透镜L2的光学区域D1、D2的附近。

如以上，在本实施方式中，通过使用单一摄像系统的(例如一次)摄像，能够获取彩色图像和被摄体距离的双方。对于被摄体距离，由于能够按各运算块的每一个算出，因此能够获取彩色图像的任意位置的被摄体距离。因此，也能够获取图像全域的被摄体距离图。此外，由于能够通过单一的摄像系统获得到被摄体的距离，因此无需像使用多个摄像光学系统的摄像装置那样使得多个摄像光学系统间的特性、位置一致。此外，在使用本实施方式的摄像装置拍摄运动图像的情况下，即便随着时间经过而被摄体的位置发生变化，也能够测量到被摄体的正确的距离。

此外，重对焦在R、G、B各成分中能够与实施方式5同样地实施。具体而言，在图23所示的步骤ST1中，对于RBG的各个颜色，求出亮度信息(锐度等)，根据需要对RBG之中锐度低的颜色进行锐化。接下来，在步骤ST2中求出到被摄体的距离。进而，利用在第1信号处理部C1中生成的彩色图像来生成深度图。接下来，在步骤ST3中，基于最佳对焦位置，按每个被摄体位置生成PSF。此时，只要针对RGB的3色生成1个PSF即可。不过，考虑轴上色像差等，也可以针对RGB分别生成PSF。接下来，在步骤ST4中，能够生成任意的被摄体位置的彩色的重对焦图像。

(实施方式8)

本实施方式8与实施方式7的不同点在于：使光学元件L1的区域分割的面积不同，将阵列状光学元件从双凸透镜置换为微透镜。在此，本实施方式中省略与实施方式5至7同样的内容的详细说明。

图43是从被摄体侧观察光学元件L1的主视图，光学元件L1被分割为光学区域D1和D2。此外、光学区域D2进一步被分割为子光学区域d2A、d2B以及d2C。如图43所示，光学区域D1、子光学区域d2A、d2B以及d2C，以光轴V为边界中心在垂直于光轴V的面内在上下左右被一分为四。光学区域D1和D2彼此具有使合焦特性不同的光学特性。

图44是阵列状光学元件K的立体图。在阵列状光学元件K的摄像元件N侧的面，光学要素M2被配置成格子状。各个光学要素M2的断面(纵方向以及横方向的各个断面)为圆弧状，各个光学要素M2向摄像元件N侧突出。这样，光学要素M2为微透镜，阵列状光学元件K为微透镜阵列。

图45(a)是放大表示阵列状光学元件K和摄像元件N的图，图45(b)是表示阵列状光学元件K与摄像元件N上的像素的位置关系的图。阵列状光学元件K与实施方式5同样配置在镜头光学系统L的焦点附近，并且配置在距摄像面Ni规定距离的位置。此外，在摄像面Ni上，以覆盖像素P1、P2、P3、以及P4的表面的方式设置微透镜Ms。

在像素P1、P2、P3、以及P4，分别配备具有与实施方式7相同的分光透过率特性的滤光器。

此外，阵列状光学元件K被配置成形成了光学要素M2的面朝向摄像面Ni侧。阵列状光学元件K被配置成该光学要素M2的一个与摄像面Ni的2行2列的像素P1～P4的4个像素对应。

通过这样的结构，通过了图43所示的光学元件L1的光学区域D1以及子光学区域d2A、d2B、以及d2C的光束的大部分，分别到达摄像面Ni上的像素P1、像素P2、像素P3、以及像素P4。

与实施方式7同样，由第1信号处理部C1利用多个像素P1、P2、P3以及P4的亮度信息来生成彩色图像。以下，具体说明生成彩色图像的方法。

在图43中，光学区域D1具有非球面，子光学区域d2A、d2B、以及d2C全部具有平面。此外，为了简化说明，假定透镜L2是没有像差的理想透镜来进行说明。

通过光学区域D1的非球面形状，能够与实施方式5同样地在镜头光学系统L的焦点附近的规定范围内使通过光学区域D1的光线的点像强度分布大致恒定。即，在规定的被摄体距离范围内，能够使点像强度分布大致恒定。

此外，由于光学区域D2是平面，因此与实施方式7同样不会产生球面像差。在没有球面像差的情况下，随着偏离焦点而点像强度分布变化。即，随着被摄体距离的变化而点像强度分布发生变化。

与实施方式7同样，在以曲线表示被摄体距离和锐度的关系时，成为图46那样的关系。在图46的曲线中，G1表示由像素P1(绿色的成分)生成的图像的规定区域的锐度，G2、R、以及B分别表示像素P2(绿色的成分)、P3(红色的成分)以及P4(蓝色的成分)生成的图像的规定区域的锐度。

在生成彩色图像的情况下，与实施方式7同样，可以以像素P1、P2、P3、以及P4的亮度信息为基础，按每个像素位置仅补齐所缺失的颜色信息来生成彩色图像，但由于如图46那样G1的锐度比G2、R、以及B的锐度小，因此可以与图27中所说明的方法同样，在使G1的锐度锐化后生成彩色图像。

通过以上的这种图像处理，能够提高图46中实线所示的G1的锐度成为虚线所示的G1’那样，能够使得所生成的彩色图像锐化。

图47是表示在图46中将光学区域D1的光学面从非球面形状置换为球面形状的情况下的被摄体距离和锐度的关系的曲线。在这种情况下，也能够与图46的情况同样地，对彩色图像锐化。

在本实施方式中，如图47所示，因被摄体距离不同，锐度高的颜色成分不同。因此，根据G1、G2、R、以及B的亮度断面检测各自的锐度，选择锐度最高的颜色成分，对其他颜色成分进行锐化。

通过以上的这种的图像处理，图47的实线所示的G1、G2、R、以及B的锐度，分别能够锐化成虚线所示的G1’、G2’、R’、以及B’那样，能够对所生成的彩色图像进行锐化。

接下来，说明其他的图像锐化手法。图47是说明基于对G1的锐度锐化之后的G1’来锐化G2、R、B的锐度的方法的图。光学区域D1的结构与图46的情况相同，由通过了光学区域D1的光线所形成的点像强度分布，在规定的被摄体距离范围内大致恒定。因此，提取像素P1(G1的成分)而形成的点像强度分布，在规定的被摄体距离范围内大致恒定。如果在规定的被摄体距离范围中点像强度分布大致恒定，则提取像素P1(G1的成分)而形成的图像，能够与被摄体距离无关地基于规定的点像强度分布进行复原。

通过实施方式7中说明的复原过滤器，图48的实线所示的G1的锐度能够锐化成点线所示的G1’那样。进而，与图27中示出的方法同样，对G1’的亮度断面进行二次微分，从G2、R、以及B中减去，G2、R、以及B的锐度得到锐化，能够锐化成图48的虚线所示的G2’、R’、以及B’那样。

再者，在本实施方式中，光学元件L1和透镜L2彼此分离，但也可以是在透镜L2设置光学区域D1、D2，而去除光学元件L1的结构。该情况下，光圈S可以配置在透镜L2的光学区域D1、D2的附近。

此外，如前述，在本实施方式中，为了简化说明，将透镜L2假定为理想透镜来进行了说明，但也可以不使用理想透镜。例如，尽管不是理想透镜的透镜具有轴上色像差，但可以构成为利用光学元件L1来修正轴上色像差。在本实施方式中，图43中，假定光学元件L1的光学区域d2A、d2B、以及d2C全部具有平面，但各自具有不同的光学面，由此能够修正轴上色像差。如前述，通过了子光学区域d2A、d2B、以及d2C的光线分别到达像素P2、像素P3、以及像素P4。由于像素P2、像素P3、以及像素P4各自具有主要使绿色、红色、以及蓝色的波长成分通过的滤光器，因此对透镜L2应用具有轴上色像差的透镜的情况下，子光学区域d2A、d2B、以及d2C，可以按照使各像素所设置的滤光器的波段处的合焦位置相等的方式，使各自的区域面上的光学功率不同。通过这种结构，较之子学区域d2A、d2B以及d2C具有相等的光学功率的情况，由于能够使通过了子光学区域d2A、d2B以及d2C的光的合焦位置彼此接近，因此，能够由光学元件L1修正在透镜L2所产生的轴上色像差。通过由光学元件L1来修正轴上色像差，能够减少构成透镜L2的透镜个数，使得光学系统小型化。

通过以上的这种图像处理，图48的实线所示的G1的锐度、以及G2、R、B的锐度能够锐化成点线所示的G1’、以及虚线所示的G2’、R’、B’那样，能够使得所生成的彩色图像锐化。通过这样的锐化处理，较之图46所示的锐化处理，能够扩大景深。

在本实施方式中，相对于实施方式7，仅仅是锐度G1与锐度G2的关系翻转，测量到被摄体的距离的方法能够同样地实施。此外，获取重对焦图像的方法也与实施方式7同样地实施。

如以上，在本实施方式中，与实施方式7同样，通过利用单一摄像系统的(例如一次的)摄像，就能够获取彩色图像和被摄体距离的双方，并且能够生成重对焦图像。

(其他实施方式)

再者，实施方式1至8是光学区域被配置在光学元件L1的被摄体侧的面的方式，但光学区域也可以配置在光学元件L1的像侧的面。

此外，透镜L2构成1枚的结构，但也可以是多个群或者多枚的结构的透镜。

此外，多个光学区域也可以形成于在光圈附近配置的透镜L2。

此外，光学元件L1相对于光圈的位置而配置在被摄体侧，但也可以相对于光圈的位置而配置在像侧。

此外，在上述的实施方式1至8中，假定镜头光学系统L为像方远心光学系统，但也可以是像方非远心光学系统。图49(a)是放大表示摄像部附近的图。图49(a)中，仅表示通过阵列状光学元件K的光之中通过1个光学区域的光束。如图49(a)所示，在镜头光学系统L是非焦阑光学系统的情况下，光会漏至相邻像素从而产生串扰，但通过如图49(b)那样使得阵列状光学元件相对于像素排列偏移Δ，由此能够降低串扰。由于上述入射角因像高而不同，因此上述偏移量Δ只要根据光束入射至摄像面的入射角来设定即可。

实施方式1至8是具备第1信号处理部C1、第2信号处理部C2、第3信号处理部C3以及存储部Me(图1等所示)的摄像装置。但是，摄像装置也可以不具备这些的信号处理部以及存储部。该情况下，只要利用摄像装置的外部的PC等，进行由第1信号处理部C1、第2信号处理部C2以及第3信号处理部C3进行的处理即可。即，可以实现具备摄像装置、和外部的信号处理装置的系统，该摄像装置具备镜头光学系统L、阵列状光学元件K以及摄像元件N。根据该方式中的摄像装置，通过利用单一摄像光学系统的一次摄像，能够获取用于多色图像输出及被摄体距离测量的亮度信息。此外，通过外部的信号处理部利用该亮度信息而进行的处理，能够获取多颜色图像及被摄体距离的双方。

再者，在本实施方式的测距方法中，也可以不使用锐度和被摄体距离的相关关系。例如，在表示锐度、对比度、或者点像的直径与被摄体距离之间的关系的式子中，导入所得到的锐度、对比度、或者点像的直径，由此可以得到被摄体距离。

此外，本实施方式2、4中的微透镜阵列的各光学要素(微透镜)相对于各光学要素(微透镜)的光轴可以是旋转对称形状。以下，与相对于光轴而具有旋转非对称的形状的微透镜进行比较来说明。

图50(a1)是表示相对于光轴而具有旋转非对称的形状的微透镜阵列的立体图。通过在阵列之上形成四角柱状的抗蚀剂并进行热处理，使抗蚀剂的角部变圆，利用该抗蚀剂进行图案化，由此形成这种的微透镜阵列。图50(a2)表示图50(a1)所示的微透镜的等高线。在具有旋转非对称的形状的微透镜中，纵横方向(与微透镜的底面的四边平行的方向)和倾斜方向(微透镜的底面的对角线方向)的曲率半径不同。

图50(a3)是表示将图50(a1)、(a2)所示的微透镜应用于本实施方式的阵列状光学元件的情况下的光线追踪仿真的结果的图。在图50(a3)中，仅表示通过阵列状光学元件K的光之中通过1个光学区域的光束，但这样在旋转非对称形状的微透镜的情况下，光会漏至相邻的像素从而产生串扰。

图50(b1)是表示相对于光轴而具有旋转对称的形状的微透镜阵列的立体图。这种的旋转对称形状的微透镜，能够通过热压印或UV压印制法在玻璃板等之上形成。

图50(b2)中表示旋转对称形状的微透镜的等高线。在具有旋转对称的形状的微透镜中，纵横方向和倾斜方向的曲率半径相等。

图50(b3)是表示在将图50(b1)、(b2)所示的微透镜应用于本实施方式的阵列状光学元件的情况下的、光线追踪仿真的结果的图。在图50(b3)中，仅表示通过阵列状光学元件K的光之中通过1个光学区域的光束，可知不会发生图50(a3)这种的串扰。这样，由于通过使微透镜成为旋转对称形状，能够降低串扰，因此能够抑制测距运算中的精度劣化。

此外，在实施方式1至8中，第1像素和第2像素彼此在倾斜方向上相邻，但如图51(a)或者(b)那样，第1像素和第2像素也可以在上下方向(根据与光学元件L1的关系的不同为左右方向)上相邻。

【产业上的可利用性】

本发明公开的摄像装置作为数字照相机或数字摄像机等的摄像装置是有用的。此外，也能够应用于汽车的周围监视用以及乘客监视用的测距装置或游戏、PC、便携终端、内视镜等的三维信息输入用的测距装置的用途。

【符号说明】

A       摄像装置

L       镜头光学系统

L1      光学元件

L2      透镜

D1、D2  光学区域

S       光圈

K       阵列状光学元件

N       摄像元件

Ni      摄像面

Me      存储部

Ms、Md  摄像元件上的微透镜

M1      阵列状光学元件的双凸透镜

M2               阵列状光学元件的微透镜(光学要素)

P1、P2、P3、P4   摄像元件上的受光元件

Pg               像素群

C1、C2           第1、第2信号处理部

Q                遮光部件

Claims (43)

1.一种摄像装置，其具备：

镜头光学系统，其具有第1区域以及第2区域，并且所述第2区域具有相对于通过了所述第1区域的光线所产生的合焦特性而使合焦特性不同的光学特性；

摄像元件，其具有：让通过了所述镜头光学系统的光入射并且配备具备第1分光透过率特性的滤光器的多个第1以及第2像素、让通过了所述镜头光学系统的光入射并且配备具有第2分光透过率特性的滤光器的多个第3像素、和让通过了所述镜头光学系统光入射并且配备具有第3分光透过率特性的滤光器的多个第4像素；和

阵列状光学元件，其配置在所述镜头光学系统和所述摄像元件之间，使通过了所述第1区域的光入射至所述多个第1像素，使通过了所述第2区域的光入射至所述多个第2像素，

所述阵列状光学元件，使通过了所述第1区域以及所述第2区域之中的任意一个区域的光入射至所述多个第3像素，使通过了所述第1区域以及所述第2区域之中的任意一个区域的光入射至所述多个第4像素。

2.根据权利要求1所述的摄像装置，其中，

所述阵列状光学元件，仅使通过了所述第1区域以及所述第2区域之中的任意一个区域的光入射至所述多个第3像素，仅使通过了所述第1区域以及所述第2区域之中的任意一个区域的光入射至所述多个第4像素。

3.根据权利要求1或2所述的摄像装置，其中，

所述阵列状光学元件是双凸透镜，

所述阵列状光学元件，使通过了所述第1区域以及所述第2区域之中的任意一个区域的光入射至所述多个第3像素，使通过了所述第1区域以及所述第2区域之中的另一个区域的光入射至所述多个第4像素。

4.根据权利要求1或2所述的摄像装置，其中，

所述阵列状光学元件是微透镜，

所述阵列状光学元件，使通过了所述第1区域以及所述第2区域之中的任意一个区域的光入射至所述多个第3像素以及所述多个第4像素。

5.一种摄像装置，其具备：

镜头光学系统，其具有第1区域以及第2区域，并且所述第2区域具有相对于通过了所述第1区域的光线所产生的合焦特性而使合焦特性不同的光学特性；

摄像元件，其具有让通过了所述镜头光学系统的光入射并配备具有第1分光透过率特性的滤光器的多个第1以及第2像素、让通过了所述镜头光学系统的光入射并配备具有第2分光透过率特性的滤光器的多个第3像素、和让通过了所述镜头光学系统的光入射并配备具有第3分光透过率特性的滤光器的多个第4像素；和

阵列状光学元件，其配备在所述镜头光学系统和所述摄像元件之间，使通过了所述第1区域的光入射至所述多个第1像素，使通过了所述第2区域的光入射至所述多个第2像素，

在所述多个第1、第2、第3、第4像素分别被逐1像素配置成2行2列的像素群内，所述第1像素以及所述第2像素分别被配置在(1、1)以及(2、2)的任意位置、或者被配置在(1、2)以及(2、1)的任意位置。

6.根据权利要求1至5任一项所述的摄像装置，其中，

在一次摄像中，光线入射至所述第1区域以及所述第2区域。

7.根据权利要求1至6任一项所述的摄像装置，其中，

具有所述第1分光透过率特性的滤光器是使绿色频带的光线通过的滤光器，具有所述第2分光透过率特性的滤光器是使蓝色频带的光线通过的滤光器，具有所述第3分光透过率特性的滤光器是使红色频带的光线通过的滤光器。

8.根据权利要求1至7任一项所述的摄像装置，其中，

在被摄体距离处在某个规定的范围内的情况下，由入射至所述第1区域的光所形成的点像强度分布大致恒定，由入射至所述第2区域的光所形成的点像强度分布根据到被摄体的距离而变化。

9.根据权利要求1至7任一项所述的摄像装置，其中，

所述第1区域的表面以及所述第2区域的表面具有彼此不同的曲率半径。

10.根据权利要求1至9任一项所述的摄像装置，其中，

所述第1区域以及所述第2区域是将所述镜头光学系统的光轴作为边界中心被分割而得到的区域。

11.根据权利要求1至10任一项所述的摄像装置，其中，

所述多个第1、第2、第3以及第4像素通过一次的摄像分别生成第1至第4亮度信息，

所述摄像装置还具备：第1信号处理部，其利用所述第1至第4亮度信息来生成彩色图像。

12.根据权利要求11所述的摄像装置，其中，

所述第1信号处理部具备锐度检测部，该锐度检测部按所述彩色图像中的每个规定区域检测所述多个第1至第4像素的亮度信息之中至少1个以上的像素成分的锐度，

基于所述各个锐度之中最高的锐度的成分来对其他像素的亮度信息的成分进行锐化。

13.根据权利要求11所述的摄像装置，其中，

所述第1信号处理部利用预先存储的点像强度分布函数，进行由入射至所述第1区域的光所到达的像素的亮度信息形成的图像的复原处理，生成被复原的锐化图像。

14.根据权利要求13所述的摄像装置，其中，

所述第1信号处理部利用单一的所述点像强度分布函数，进行由入射至所述第1区域的光所到达的像素的亮度信息形成的图像的全区域的复原处理，生成被复原的锐化图像。

15.根据权利要求14所述的摄像装置，其中，

所述第1信号处理部具备锐度检测部，该锐度检测部按所述被复原的锐化图像中的每个规定区域检测锐度，

基于所述被复原的锐化图像中的每个规定区域的锐度，对其他像素的亮度信息的成分进行锐化。

16.根据权利要求11至15任一项所述的摄像装置，其中，

还具备第2信号处理部，该第2信号处理部算出到被摄体的距离，

所述第1信号处理部生成由所述多个第1像素得到的第1图像以及由所述多个第2像素得到的第2图像，

所述第2信号处理部利用所述第1图像以及所述第2图像，算出到被摄体的距离。

17.根据权利要求16所述的摄像装置，其中，

在被摄体距离处于某个一定范围内的情况下，所述第1图像的锐度与所述第2图像的锐度之比的值和到所述被摄体的距离具有相关关系，

所述第2信号处理部基于所述相关关系、以及所述第1图像的锐度与所述第2图像的锐度之比，算出到所述被摄体的距离。

18.根据权利要求16所述的摄像装置，其中，

所述第1信号处理部还具备对比度检测部，该对比度检测部检测出在所述多个第1像素中得到的第1图像的对比度、和在所述多个第2像素中得到的第2图像的对比度，

在被摄体距离处在某个一定范围内的情况下，所述第1图像的对比度与所述第2图像的对比度之比，与所述被摄体距离具有相关关系，

所述第2信号处理部基于所述相关关系、所述第1图像的对比度、以及所述第2图像的对比度，算出到所述被摄体的距离。

19.根据权利要求16所述的摄像装置，其中，

所述第2信号处理部利用对所述第1图像和所述第2图像相加之后的图像的亮度信息、以及所述第1图像或者所述第2图像的亮度信息，算出到所述被摄体的距离。

20.根据权利要求15所述的摄像装置，其中，

在被摄体距离处在某个一定范围内的情况下，根据所述被复原的锐化图像和由入射至所述第2区域的光所形成的图像而导出的点像强度分布函数，与所述被摄体距离具有相关关系，

所述第2信号处理部基于所述相关关系和所述点像强度分布函数，算出到所述被摄体的距离。

21.根据权利要求1至20任一项所述的摄像装置，其中，

所述镜头光学系统是像方远心光学系统。

22.根据权利要求1至20任一项所述的摄像装置，其中，

所述镜头光学系统是像方非远心光学系统，

在所述镜头光学系统的光轴外使所述阵列状光学元件的排列相对于所述摄像元件的像素的排列而偏移。

23.根据权利要求1、2、5至22任一项所述的摄像装置，其中，

所述阵列状光学元件是双凸透镜或者微透镜阵列。

24.根据权利要求23所述的摄像装置，其中，

所述阵列状光学元件是微透镜阵列，

所述第2区域具有第2A区域、第2B区域、以及第2C区域的3个区域，所述微透镜阵列使通过了所述第1区域的光线入射至所述多个第1像素，使通过了所述第2A区域的光线入射至所述多个第2像素，使通过了所述第2B区域的光线入射至所述多个第3像素，使通过了所述第2C区域的光线入射至所述多个第4像素。

25.根据权利要求24所述的摄像装置，其中，

所述第2A区域、所述第2B区域、以及所述第2C区域彼此具有不同的光学功率，

与设置在所述多个第2像素、所述多个第3像素、以及所述多个第4像素的滤光器的透过频带对应的波段的光的合焦位置，和所述第2A区域、所述第2B区域、以及所述第2C区域具有彼此相等的光学功率的情况相比更近。

26.根据权利要求1、2、4至25任一项所述的摄像装置，其中，

所述阵列状光学元件是微透镜阵列，

所述微透镜阵列具有多个光学要素，

所述多个各光学要素各自具有相对于光轴而旋转对称的形状。

27.根据权利要求1至26任一项所述的摄像装置，其中，

所述阵列状光学元件形成在所述摄像元件上。

28.根据权利要求27所述的摄像装置，其中，

还具备微透镜，其设置在所述阵列状光学元件与所述摄像元件之间，

所述阵列状光学元件隔着所述微透镜而形成在所述摄像元件上。

29.根据权利要求1至28任一项所述的摄像装置，其中，

还具备在所述第1区域与所述第2区域之间的边界部设置的遮光部件。

30.根据权利要求1至29任一项所述的摄像装置，其中，

所述镜头光学系统还具备光圈，

所述第1区域以及所述第2区域配置在所述光圈附近。

31.根据权利要求1至4任一项所述的摄像装置，其中，

在所述多个第1、第2、第3、第4像素分别被逐1像素配置成2行2列的像素群内，

第1像素和第2像素在所述摄像元件的摄像面中，在上下、左右、倾斜的任意方向上彼此相邻。

32.根据权利要求16至20任一项所述的摄像装置，其中，

所述第2信号处理部按所述彩色图像的每个规定区域算出被摄体距离，

所述摄像装置还具备第3信号处理部，该第3信号处理部利用在所述第2信号处理部中算出的每个所述规定区域的被摄体距离，生成被重对焦的图像。

33.根据权利要求32所述的摄像装置，其中，

所述第2信号处理部利用每个所述规定区域的被摄体距离，生成每个被摄体距离的点扩散函数。

34.根据权利要求33所述的摄像装置，其中，

从作为所述点扩散函数的强度变化成为极大的被摄体距离的至少1个最佳对焦位置起，越是在被摄体距离方向上远离，则所述点扩散函数的强度的变化越小。

35.根据权利要求34所述的摄像装置，其中，

所述至少1个最佳对焦位置，是从外部输入的位置或者由所述第2信号处理部决定的位置。

36.根据权利要求33至35的任一项所述的摄像装置，其中，

所述第3信号处理部利用每个所述规定区域的被摄体距离、所述点扩散函数，生成所述被重对焦的图像。

37.根据权利要求33所述的摄像装置，其中，

所述点扩散函数是高斯函数。

38.根据权利要求36或37所述的摄像装置，其中，

所述第3信号处理部按每个规定区域利用傅立叶变换来进行所述点扩散函数的卷积运算，生成所述被重对焦的图像。

39.根据权利要求32所述的摄像装置，其中，

所述第3信号处理部基于每个所述规定区域的被摄体距离，进行空间过滤器处理，来生成所述被重对焦的图像。

40.根据权利要求34所述的摄像装置，其中，

所述至少1个最佳对焦位置，断续地存在多个。

41.一种摄像系统，其具备：

权利要求1至权利要求10任一项所述的摄像装置；和

生成彩色图像的第1信号处理装置，

所述第1信号处理部利用通过所述一次摄像而得到的所述多个第1像素、所述多个第2像素、所述多个第3像素、以及所述多个第4像素的亮度信息来生成所述彩色图像。

42.根据权利要求41所述的摄像系统，其中，

还具备第2信号处理装置，其算出到被摄体的距离，

所述第2信号处理装置利用通过所述一次摄像而得到的所述多个第1像素、所述多个第2像素的亮度信息，算出到被摄体的距离。

43.一种摄像系统，具备摄像装置和信号处理装置，其中，

所述摄像装置具备：

镜头光学系统，其具有第1区域以及第2区域，并且所述第2区域具有相对于通过了所述第1区域的光线所产生的合焦特性而使合焦特性不同的光学特性；

摄像元件，至少具有让通过了所述镜头光学系统的光入射的多个第1像素和多个第2像素；和

阵列状光学元件，其配置在所述镜头光学系统和所述摄像元件之间，使通过了所述第1区域的光入射至所述多个第1像素，使通过了所述第2区域的光入射至所述多个第2像素，

所述信号处理装置具备：

第1信号处理部，利用在所述多个第1像素中得到的第1图像以及在所述多个第2像素中得到的第2图像的亮度信息，按摄像图像的每个规定区域算出被摄体距离；和

第2信号处理部，利用在所述第1信号处理部中所算出的每个所述规定区域的被摄体距离，生成被重对焦的图像。

Images