CN114208145A - 摄像装置和方法 - Google Patents

Abstract

本发明提供一种无镜头的摄像装置，适合摄像的图像传感器的特性和结构等。摄像装置包括：基于拍摄用图案来对入射的光的强度进行调制的调制器；将调制后的光转换为电信号而生成传感器图像的图像传感器；和包括相对于图像传感器的多个像素配置的多个微透镜的微透镜阵列。摄像装置在图像传感器的面内，具有关于多个像素的各像素的受光部的中心位置与微透镜阵列的多个微透镜的各微透镜的中心位置的相对位置的偏离量的分布特性。该特性是相邻的各像素之间的偏离量的差值从正向负变化或从负向正变化的位置存在至少1个以上。

Description

摄像装置和方法

技术领域

本发明涉及摄像装置的技术。

背景技术

作为关于摄像装置的现有技术例，有国际公开第2017/149687号(专利文献1)。专利文献1中，记载了：“得到一种通过使透过光栅基板的光线的入射角度的检测变得容易，从而能够实现摄像装置的高性能化的摄像装置。能够用一种摄像装置解决，其特征在于，具备：将在摄像面上阵列状地排列的多个像素中导入的光学像转换为图像信号并输出的图像传感器；在上述图像传感器的受光面上设置的、对光的强度进行调制的调制器；暂时性地保存从上述图像传感器输出的图像信号的图像存储部；和进行从上述图像存储部输出的图像信号的图像处理的信号处理部，上述调制器具有由多个同心圆构成的第一光栅图案，上述信号处理部对于从上述图像存储部输出的图像信号，通过用由多个同心圆构成的假想的第二光栅图案进行调制而生成摩尔纹图像，与对焦位置相应地变更上述第二光栅图案的同心圆的大小。”(摘要)

现有技术文献

专利文献

专利文献1：国际公开第2017/149687号

发明内容

发明要解决的课题

如现有技术例一般，作为包括摄像机的摄像装置，包括不使用镜头的无镜头摄像机的无镜头摄像装置被提出，作为能够实现小型、低成本的摄像装置受到了期待。另外，摄像装置的网络连接对于图像分析等摄像装置的应用范围扩大正在成为必需的。

但是，现有技术例的无镜头摄像装置中，关于适合摄像的图像传感器的特性存在研究的余地。专利文献1中，对于用无镜头摄像装置进行摄像时的优选的图像传感器的特性并没有叙述。

本发明的目的在于提供一种关于无镜头摄像装置的技术的、适合摄像的图像传感器的特性和结构和处理方法等的技术。

用于解决课题的技术方案

本发明中的代表性的实施方式具有以下所示的结构。一个实施方式的摄像装置包括：基于拍摄用图案来对入射的光的强度进行调制的调制器；将所述调制后的光转换为电信号而生成传感器图像的图像传感器；和包括相对于所述图像传感器的多个像素配置的多个微透镜的微透镜阵列，在所述图像传感器的面内，具有关于所述多个像素的各像素的受光部的中心位置与所述微透镜阵列的所述多个微透镜的各微透镜的中心位置的相对位置的偏离量的分布特性，所述特性是相邻的所述各像素之间的所述偏离量的差值从正向负变化或从负向正变化的位置存在至少1个以上。

发明效果

根据本发明中的代表性的实施方式，能够提供一种关于无镜头摄像装置的、适合摄像的图像传感器的特性和结构以及处理方法等。

附图说明

图1是表示本发明的实施方式1的摄像装置的结构例的图。

图2是实施方式1中的表示摄像部的结构例的图。

图3是实施方式1的变形例中的表示摄像部的结构例的图。

图4是实施方式1中的表示拍摄用图案或显影用图案的结构例的图。

图5是实施方式1中的表示拍摄用图案或显影用图案的结构例的图。

图6是实施方式1中的关于对图案基板的光入射的说明图。

图7是实施方式1中的表示拍摄用图案的投影像的结构例的图。

图8是实施方式1中的表示显影用图案的结构例的图。

图9是实施方式1中的表示相关显影方式得到的显影图像的结构例的图。

图10是实施方式1中的表示摩尔纹显影方式得到的摩尔纹的结构例的图。

图11是实施方式1中的表示摩尔纹显影方式得到的显影图像的结构例的图。

图12是实施方式1中的表示初始相位不同的多个图案的组合的结构例的图。

图13是实施方式1中的表示空间分割方式的拍摄用图案的结构例的图。

图14是实施方式1中的条纹扫描运算处理的流程图。

图15是实施方式1中的基于相关显影方式的图像处理的流程图。

图16是实施方式1中的基于摩尔纹显影方式的图像处理的流程图。

图17是实施方式1中的表示无限距离物体的情况下拍摄用图案被投影的图。

图18是实施方式1中的表示有限距离物体的情况下拍摄用图案被放大的图。

图19是关于实施方式1的比较例中的表示图像传感器中的像素和微透镜的配置的结构例的图。

图20是关于实施方式1的比较例中的表示关于1个像素的光入射的说明图。

图21是表示关于一般的图像传感器的CRA特性的例子的图。

图22是表示关于一般的图像传感器的CRA特性的实测例的图。

图23是关于实施方式1的比较例中的表示像方远心光学系统的例子的图。

图24是关于实施方式1的比较例中的表示非远心光学系统的例子的图。

图25是关于实施方式1的比较例中的表示图像传感器中的像素和微透镜的配置的结构例的图。

图26是关于实施方式1的比较例中的表示传感器图像的阴影的例子的图。

图27是表示像素与微透镜的相对位置偏差的例子的图。

图28是表示关于像素与微透镜的相对位置偏差的图像传感器面内的变化的例子的图。

图29是表示像素之间的节距和微透镜之间的节距等的例子的图。

图30是实施方式1中的表示图像传感器中的像素和微透镜的配置的结构例的图。

图31是实施方式1中的表示图像传感器面内的图像与微透镜的相对位置偏差的变化的结构例的图。

图32是实施方式1中的表示图像传感器全体中的CRA特性的例子的图。

图33是表示实施方式1的变形例中的图像和微透镜的配置的结构例的图。

图34是表示本发明的实施方式2的摄像装置中的图像传感器的面内的像素与微透镜的相对位置偏差的变化的结构例的图。

图35是实施方式2中的表示传感器图像的阴影的例子的图。

图36是实施方式2中的表示关于像素与微透镜的相对位置偏差的处理分割方法的例子的图。

图37是实施方式2中的表示单元内的分割的例子的图。

图38是表示关于实施方式2的显影图像的PSF的例子的图。

图39是表示实施方式2的变形例中的相对位置偏差和处理分割方法的图。

图40是作为各实施方式的补充的、表示互相关运算的例子的图。

具体实施方式

以下，基于附图详细说明本发明的实施方式。另外，在全部图中对于同一部分原则上附加同一附图标记，省略反复的说明。以下，根据需要分为多个部分或实施方式进行说明。它们相互具有变形例、详情、补充说明等关系。另外，以下，在提及构成要素的数、量、范围、尺寸、形状、位置关系等的情况下，并不限定于特定数量等。构成要素的形状等包括近似或类似的形状等。

(实施方式1)

使用图1～图33，对于本发明的实施方式1的摄像装置和摄像方法进行说明。实施方式1的摄像方法是包括用实施方式1的摄像装置执行的步骤的方法。实施方式1的摄像装置是实现了实施方式1的摄像方法的摄像装置。

<无限远物体的摄像原理>

以下，主要对于无限远物体的摄像原理等进行说明。

[摄像装置]

图1表示实施方式1的摄像装置的结构例。图1的摄像装置1是不使用成像的镜头地、取得外界的物体的图像的无镜头摄像机。摄像装置1具有摄像部102、条纹扫描处理部106、图像处理部107和控制器108。摄像部102具有图像传感器103、微透镜阵列140和调制器110。调制器110具有图案基板104和拍摄用图案105。图像传感器103是将光转换为电信号、生成传感器图像的装置。调制器110是将图案基板104与拍摄用图案105合并的部分，是基于拍摄用图案105对入射至图像传感器103并被检出的光的强度进行调制的装置。

图2表示摄像部102的结构例中的构成要素的分解图。另外，作为说明上的方向，使用x轴方向、y轴方向、z轴方向。x轴方向和y轴方向是构成图像传感器103等的主面的正交的2个方向，z轴方向是相对于该主面垂直的、与光轴和厚度等对应的方向，是图示中的上下方向。在图像传感器103的受光面(图示上侧的面)上，将多个像素30排列为阵列。在图像传感器103的受光面的上侧，配置了后述的微透镜阵列140。在图像传感器103的受光面的上侧，隔着微透镜阵列140地配置了图案基板104。图案基板104例如与微透镜阵列140密合地固定，但不限于此，也可以隔开间隔地配置。

图案基板104中，在图示的上侧的面上形成了拍摄用图案105。图案基板104例如由玻璃和塑料等相对于可见光透明的材料构成。拍摄用图案105例如可以通过使用半导体工艺中使用的溅射法等蒸镀铝或铬等形成。拍摄用图案105例如因蒸镀了铝的图案和未蒸镀的图案而带有用于透射率调制的深浅。另外，拍摄用图案105的形成的方式和手段不限定于此，例如也可以是通过用喷墨打印机打印等而带有深浅的方式等，只要是能够实现透射率调制的手段即可。另外，此处，以可见光为例进行说明，但不限于此，图案基板104使用对于作为拍摄对象的波长具有透射性的材料，拍摄用图案105使用能够透射和屏蔽的材料即可。例如，改为进行远红外线拍摄的摄像装置1的情况下，图案基板104例如使用锗、硅、硫族化物等对于远红外线具有透射性的材料，拍摄用图案105使用对于远红外线能够透射或屏蔽的材料即可。另外，此处，叙述了在图案基板104上形成拍摄用图案105的方式的情况，但不限于此，也可以改为使用显示元件等其他方式。

图3表示其他方式的摄像部102的结构作为变形例。图3的摄像部102是在薄膜上形成了拍摄用图案105，该拍摄用图案105相对于图像传感器103等被支承部件301保持的结构。

另外，图1和图2的方式的摄像装置1中，拍摄视野角能够通过图案基板104的厚度来变更。由此，例如如果图案基板104具有图3的结构，采用具有能够变更支承部件301的图示的z轴方向上的长度的功能的结构，则能够实现能够在拍摄时变更视野角的功能。

图2中，在图像传感器103的图示的上侧的表面上，例如格子状地规则地配置作为受光元件的像素30。该图像传感器103将像素30接收到的光图像转换为电信号即图像信号。从图像传感器103输出的图像信号如图1所示，经由条纹扫描处理部106，被图像处理部107进行图像处理，经由控制器108输出。

上述摄像装置1的结构中，在进行拍摄的情况下，透过拍摄用图案105的光，其光强度被拍摄用图案105调制。透过调制器110的调制后的光，透过微透镜阵列140并被图像传感器103受光。对于从图像传感器103输出的图像信号，用条纹扫描处理部106进行噪声消除。对于噪声消除后的信号，用图像处理部107进行图像处理而还原得到像。对于控制器108输出图像处理后的图像数据。控制器108在将图像处理部107的输出的图像数据输出至主机计算机或外部记录介质等的情况下，以适合USB等接口的方式转换数据格式地输出。另外，也可以在摄像装置1内的存储器中存储图像信号和图像数据等。

[拍摄原理]

接着，对于摄像装置1中的拍摄原理进行说明。首先，拍摄用图案105是节距对于从中心起的半径成反比地变细的同心圆状的图案。拍摄用图案105是使用从同心圆的中心即基准坐标起的半径r、系数β，用以下式1定义的。拍摄用图案105与式1的I(r)成正比地进行了透射率调制。

[数学式1]

式1：I(r)＝1+cosβr²

具有这样的条纹的片，称为Gabor波带片或Fresnel波带片。图4表示式1的Gabor波带片的例子作为拍摄用图案105的结构例。该Gabor波带片是具有多值的深浅的透射率调制图案。图5表示对式1用阈值1进行二值化得到的Fresnel波带片的例子作为拍摄用图案105的其他结构例。该Fresnel波带片是具有二值的深浅的透射率调制图案。白色部分对应于透射，黑色部分对应于非透射。与拍摄用图案105对应地存在的显影用图案同样具有图案。另外，此后为了简化，主要仅对于图2的x轴方向用数学式说明，但通过同样对于y轴方向考虑，能够展开至二维地考虑。

图6是关于图案基板104的说明图。使用图6，说明倾斜入射平行光生成的从图案基板104的表面的拍摄用图案105向图像传感器103的投影像产生面内偏差。如图6所示，假设对于形成了拍摄用图案105的具有厚度d的图案基板104，在x轴方向上平行光以角度θ0入射。设图案基板104中的折射角为θ，在几何光学上，乘以图案基板104的表面的拍摄用图案105的图案的透射率后的光，与图示的k＝d·tanθ的量对应地折射，对图像传感器103入射。此时，具有以下式2所示的强度分布的投影像，在图像传感器103上被检出。另外，式2的Φ表示式1的透射率分布的初始相位。

[数学式2]

式2：I_F(x)＝1+cos[β(x+k)²+Φ]

图7表示该拍摄用图案105的投影像701的例子。该投影像701如式2所示，平移k(＝以平移量k平移)地被投影。该投影像701是摄像部102的输出。

图8表示显影用图案801。图8的显影用图案801是与图5的拍摄用图案105对应的例子。图像处理部107使用这样的显影用图案801进行显影处理。

[显影处理(1)]

接着，关于图像处理部107中的处理，说明基于相关显影方式和摩尔纹显影方式的显影处理。基于相关显影方式的显影处理和基于摩尔纹显影方式的显影处理中，可以使用任意一者。另外，也可以采用实现双方的方式、能够根据需要切换使用方式的形式。

相关显影方式中，图像处理部107运算图7的拍摄用图案105的投影像701与图8的显影用图案801的互相关函数。由此，得到如图9所示的平移量k的亮点902。图9表示相关显影方式得到的显影图像901的结构例。

另外，一般用二维卷积运算进行互相关运算的情况下运算量大，所以对于使用傅立叶变换进行运算的例子，使用数学式说明原理。首先，图8的显影用图案801与拍摄用图案105同样地，使用Gabor波带片或Fresnel波带片。因此，显影用图案801可以使用初始相位Φ，用以下式3表达。

[数学式3]

式3：I_B(x)＝cos(βx²+Φ)

显影用图案801是在图像处理内使用的，所以不需要如式1所示地按1偏移，即使具有负值也没有问题。式1和式3的傅立叶变换分别是以下式4和式5。

[数学式4]

式4：

[数学式5]

式5：

此处，F表示傅立叶变换的运算，u表示x轴方向的频率坐标，带有括号的δ是δ函数。这些式中重要的在于傅立叶变换后的式子也是Fresnel波带片或Gabor波带片这一点。因此，摄像装置1可以基于上述式子直接生成傅立叶变换后的显影用图案并保存和使用。由此能够减少运算量。接着，将式4与式5相乘，成为以下式6。

[数学式6]

式6：

式6的用指数函数表达的项e^-iku是信号成分。对该项e^-iku进行傅立叶变换时，变换为以下式7，能够在原本的x轴上在平移量k的位置得到亮点。

[数学式7]

式7：

该亮点表示无限远的光束，相当于用图1的摄像装置1得到的拍摄像。另外，相关显影方式中，如果图案的自相关函数具有单个峰，则也可以用不限定于Fresnel波带片或Gabor波带片的图案、例如随机的图案实现。

[显影处理(2)]

接着，摩尔纹显影方式的情况下，图像处理部107通过将图7的拍摄用图案105的投影像701与图8的显影用图案801相乘，而生成如图10所示的摩尔纹1000。然后，图像处理部107通过对该摩尔纹1000进行傅立叶变换，而得到图11的显影图像1101中的平移量kβ/π的亮点1102、1103。亮点1102是-kβ/π的亮点，亮点1103是+kβ/π的亮点。用数学式表示该摩尔纹时，是以下式8。

[数学式8]

式8：

式8的展开式的第3项是信号成分。可知该信号成分在2个图案重合的区域整面中生成如图10的摩尔纹1000所示的条纹图案。图10的摩尔纹1000中，在2个图案的偏差的方向(x轴方向)上等间隔(间隔1001)地，在相对于该方向正交的方向(y轴方向)上生成了平直的条纹图案。这样因条纹与条纹重合而以相对较低的空间频率产生的条纹被称作摩尔纹。实施方式1的例子中，通过拍摄用图案501与显影用图案801重合而产生摩尔纹。式8的第3项的二维傅立叶变换如以下式9所示。

[数学式9]

式9：

此处，F表示傅立叶变换的运算，u表示x轴方向的频率坐标，带有括号的δ是δ函数。根据该结果，可知在摩尔纹的空间频谱中，空间频率的峰在u＝±kβ/π的位置产生。与该峰对应的亮点表示无限远的光束，相当于用图1的摄像装置1得到的拍摄像。

另外，摩尔纹显影方式中，只要因图案的平移而得到的摩尔纹具有单一频率即可，也可以用不限定于Fresnel波带片或Gabor波带片的图案、例如椭圆状的图案实现。

<噪声消除>

以下，对于基于条纹扫描的噪声消除等进行说明。

[条纹扫描处理]

在上述从式6向式7的变换、和从式8向式9的变换中，着眼于信号成分进行了说明，但实际上信号成分以外的项会妨碍显影。于是，摄像装置1的条纹扫描处理部106进行基于条纹扫描的噪声消除。为了条纹扫描，需要使用初始相位Φ不同的多个图案作为拍摄用图案105。

图12表示初始相位Φ不同的多个图案的组合的结构例作为条纹扫描中的拍摄用图案105。图12的(a)～(d)表示Φ＝0、π/2、π、3π/2的4个相位的图案1201～1204。此处，条纹扫描处理部106对于使用这4个相位拍摄的传感器图像，按照以下式10进行运算。这样，得到复数的传感器图像(有时记作复传感器图像)。

[数学式10]

式10：

此处，复数的显影用图案801可以用以下式11表达。显影用图案801是在条纹扫描处理部106进行的条纹扫描处理内使用的，所以即使是复数也没有问题。

[数学式11]

式11：I_CB(x)＝exp(-iβx²)

摩尔纹显影方式的情况下，将式10与式11相乘时，成为以下式12。式12的用指数函数表达的项exp(2iβkx)是信号成分。可知该信号成分中不会产生如式8所示的多余的项，噪声被消除。

[数学式12]

式12：

I_CF(x)·I_CB(x)＝exp[iβ(x+k)²]·exp(-iβx²)＝exp[2iβkx+iβk²]

同样地，对于相关显影方式进行确认时，式10和式11的傅立叶变换分别成为以下式13和式14。

[数学式13]

式13：

[数学式14]

式14：

接着，将式13和式14相乘时，成为以下式15。式15的用指数函数表达的项exp(-iku)是信号成分。可知该信号成分中不会产生如式8所示的多余的项，噪声被消除。

[数学式15]

式15：

另外，以上例子中，使用4个相位的多个图案进行了说明，但初始相位Φ只要以将0～2π之间的角度等分的方式设定即可，不限定于上述4个相位。

作为用于实现使用以上多个图案的拍摄的方式，对其大致划分，可以举出时间分割地切换图案的方式和空间分割地切换图案的方式。可以应用时间分割地切换图案的方式和空间分割地切换图案的方式中的任一者，也可以采用实现两者的方式并能够使用选择的方式的形式。

为了实现与上述时间分割地切换图案的方式对应的时间分割条纹扫描，例如将能够电子地切换图12的多个初始相位地进行显示的液晶显示元件等显示元件用作图1的拍摄用图案105即可。例如，图1的条纹扫描处理部106同步地控制该拍摄用图案105即液晶显示元件的切换时机与图像传感器103的快门时机。由此，摄像装置1在从图像传感器103取得对应的4幅图像之后，在条纹扫描处理部106中执行条纹扫描运算。

与此相对，为了实现与上述空间分割地切换图案的方式对应的空间分割条纹扫描，例如如图13所示，使用空间分割地具有多个初始相位的拍摄用图案1300作为拍摄用图案105。图13的拍摄用图案1300在将矩形区域整体在x轴方向和y轴方向上共分割为4部分的区域1301～1304中，具有上述4个相位的图案。

摄像装置1在从图像传感器103取得1幅图像之后，对于该图像，在条纹处理部106中与各初始相位的图案对应地分割为4幅，并执行条纹扫描运算。

[条纹扫描运算]

接着，对于条纹扫描处理部106中的条纹扫描运算进行说明。图14是表示包括条纹扫描处理部106的条纹扫描运算的处理概要的流程图。图14包括步骤S1～S7，以下按步骤顺序进行说明。首先，在步骤S1中，条纹扫描处理部106取得从图像传感器103输出的用多个图案得到的传感器图像。此时，条纹扫描处理部106使用空间分割条纹扫描的情况下，将该传感器图像分割，使用时间分割条纹扫描的情况下，不进行该步骤S1的分割。

接着，在步骤S2中，条纹扫描处理部106使输出用的复传感器图像初始化。在步骤S3中，条纹扫描处理部106取得循环中的第1个初始相位Φ的传感器图像，在步骤S4中，对该传感器图像乘以与该初始相位Φ相应的指数函数exp(iΦ)，在步骤S5中，将相乘结果相加至输出用的复传感器图像。

条纹扫描处理部106在步骤S6中，确认是否对于使用的全部初始相位Φ已完成处理，按使用的初始相位Φ的数量同样地反复进行从步骤S3到步骤S5的处理。例如，在图12和图13的使用4个相位的条纹扫描中，与初始相位Φ＝0、π/2、π、3π/2对应地反复进行4次处理。

最后，在步骤S7中，条纹扫描处理部106输出处理后的复传感器图像。以上条纹扫描处理部106中的主要处理相当于上述式10。

[图像处理]

接着，对于图像处理部107中的图像处理进行说明。图15是表示图像处理部107中使用了相关显影方式的情况下的处理概要的流程图。图15包括步骤S21～S26。首先，在步骤S21中，图像处理部107取得从条纹扫描处理部106输出的复传感器图像，对该复传感器图像执行二维快速傅立叶变换(FFT：Fast Fourier Transform)。

接着，在步骤S22中，图像处理部107生成显影处理中使用的显影用图案801。或者，图像处理部107也可以参照预先在存储器等中设定或存储的显影用图案801。然后，图像处理部107对二维FFT运算后的复传感器图像乘以该显影用图案801。在步骤S24中，图像处理部107对该相乘后的图像进行逆二维FFT运算。

该运算结果是复数。因此，在步骤S24中，图像处理部107对于该运算结果的复数进行实数化处理。实数化处理是绝对值化的处理或者提取实部的处理。用C＝A+Bi表达复数时，绝对值化的处理可以表达为

提取实部的处理可以表达为Re[A+Bi]＝A。由此，图像处理部107对拍摄对象的像进行实数化而进行显影。

之后，图像处理部107对于得到的图像，在步骤S15中进行对比度强调处理，在步骤S26中进行色彩平衡调整等。图像处理部107将这些处理结果的数据作为拍摄图像输出。通过以上所述，图像处理部107的图像处理结束，得到用户能够观看的拍摄图像。

与上述相对地，图16表示使用了摩尔纹显影方式的情况下的处理概要。图16包括步骤S31～S36。首先，在步骤S31中，图像处理部107取得从条纹扫描处理部106输出的复传感器图像，生成显影处理中使用的显影用图案801，并与该复传感器图像相乘。在步骤S32中，图像处理部107对于该相乘后的图像，用二维FFT运算求出频谱，在步骤S33中，提取该频谱中的必要的频率区间的数据。此后的步骤S34～36的处理与图15的步骤S24～S26的处理同样。

另外，摄像装置1不限于对可见光形成的图像进行摄像的摄像机，基于同样的原理，也能够改为将红外线等频段作为对象进行摄像的装置和对与被摄体的距离图像(具有三维的深度方向的距离信息的图像)进行摄像的装置(有时称为距离图像传感器等)。

<有限距离物体的拍摄原理>

以下主要对于有限距离物体的摄像原理等进行说明。

[无限远物体的摄像和有限距离物体的摄像]

接着，在图17中，示出以上叙述的被摄体较远的情况(换言之是无限远物体的情况)下的拍摄用图案105对图像传感器103的投影的状况。来自构成远方的物体的点1701的球面波，在充分长的距离中传播时成为平面波，照射拍摄用图案105。该照射形成的投影像1702对图像传感器103投影的情况下，投影像具有与拍摄用图案105大致相同的形状。结果，通过对于投影像1702使用上述显影用图案进行显影处理，能够得到单一亮点。

另一方面，说明与被摄体近的情况对应的对于有限距离物体的摄像。图18是表示摄像的物体位于有限距离的情况下、拍摄用图案105对图像传感器103的投影与拍摄用图案105相比被放大的说明图。来自构成物体的点1801的球面波照射拍摄用图案105，该照射形成的投影像1802对图像传感器103投影。该情况下，投影像被大致均匀地放大。另外，此时的放大率α能够使用z轴方向上的从拍摄用图案105到点1801的距离f、如以下式16所示地计算。

[数学式16]

式16：

因此，直接使用对于平行光设计的显影用图案进行显影处理，不能得到单一亮点。于是，与如图18所示地均匀放大的拍摄用图案105的投影像相应地使显影用图案801放大的情况下，对于放大后的投影像1802，能够再次得到单一亮点。因此，能够通过将显影用图案801的系数β改为β/α²而进行修正。由此，摄像装置1能够选择性地再现来自不一定位于无限远的距离的点1801的光。由此，摄像装置1能够使焦点合焦在任意位置地进行拍摄。

<图像传感器结构>

接着，使用图19等，对于图像传感器103的结构进行说明。

[图像传感器(1)]

图19表示关于实施方式1的比较例中的、图像传感器103a(103)的x轴方向上的中央部的像素1901和端部的像素1902中的截面结构。此处，考虑使用一般的CMOS和CCD等摄像元件构成的图像传感器。该图像传感器103a中的像素30基于配线和遮罩的结构，并不能够用整面接受光，仅用一部分即受光部1903接受光。受光部1903的宽度1912小于像素30的宽度1911。

因此，一般的图像传感器中，如该图像传感器103a所示，为了提高光利用效率，而在z轴方向上的受光部1903之前配置了微透镜1904作为微透镜阵列。由此，点划线所示的入射光1905被微透镜1904如虚线所示的1906一般地聚光，被高效率地导入受光部1903。各个微透镜1904是在入射一侧具有凸曲面的透镜。

图20表示关于图19的1个像素30的光入射的状况。图19的图像传感器103a因为这样受光部1903比像素30更小，所以如图20的光线2001所示，仅在光被聚光在受光部1903的范围内的角度范围中能够拍摄。对于来自该角度范围以外的角度的光，灵敏度急剧降低。

在图21中示出上述灵敏度的角度依赖性的例子，在图22中示出实测的例子。这样的灵敏度被称为主光线角度(Chief Ray Angle：CRA)特性。图21的曲线图中横轴是上述角度θ，纵轴是灵敏度。灵敏度对应于受光光量、光强度。图22中横轴是与角度θ对应的入射角，纵轴是归一化光强度。图像传感器的结构没有问题的情况下，一般而言CRA特性按cosθ的4次方降低。但是，这样的图像传感器的结构成为妨碍因素的情况下，如图22所示，光量与cosθ的4次方相比更急速地降低。

因此，作为比较例，并非无镜头的一般的摄像机中，如图23所示地，使用了像方远心的系统。由此，使光线总是对于图像传感器垂直地入射，避免对图像传感器(对应的像素)的倾斜入射。图23表示一般的摄像机中的像方远心光学系统的结构例作为比较例。图23中，在z轴方向上，相对于图像传感器103a在之前(图示上侧)的位置配置了透镜2301、2302。透镜2302是物镜，是改变像的周边的光的前进方向的透镜。对于z轴方向的光轴倾斜入射的光线2303被透镜2301、2302变换为z轴方向的光线、即平行光。

但是，近年来的智能手机等设备中可见的小型化、高密度化得到发展，结果如图24所示使用非远心光学系统的情况变多。图24表示其他的一般的摄像机中的非远心光学系统的结构例作为比较例。图24中，在z轴方向，相对于图像传感器103a在之前的位置配置了透镜2401。对于z轴方向的光轴倾斜地以角度θ1入射的光线2403，在经过透镜2401之后也作为倾斜的光线被受光部受光。如图24所示，具有镜头的摄像机的情况下，在图像传感器103a的面内的多个像素中，像素特性与光线的入射角度相应地不同。位于端部的像素中，因为是倾斜入射，所以光量减少，成为较暗的像素值。

现在的摄像机为了适应这样的非远心光学系统的特性，如图25所示的结构成为主流。图25表示关于实施方式1的比较例中的图像传感器103b(103)中的像素30和微透镜1904的配置的结构例。图25的结构是为了故意使图像传感器103的微透镜1904的光轴与受光部1903的光轴不同而使其平移的结构。要使图像传感器103的面内的各像素30的光量相同的情况下，在该结构中，与位于端部的像素1902相应地，通过与微透镜1904的相对位置关系对光线进行修正。该结构中，在x轴方向上图像传感器103的中央部的像素1901和端部的像素1902中，微透镜1904与受光部1903的关系不同。该图像传感器103b是在包括x轴方向和y轴方向的面内、微透镜1904与受光部1903的相对位置变化的结构，是相对位置的偏离量单调增加或减少的结构。中央部的像素1901中，微透镜1904的光轴与受光部1903的光轴一致。端部的像素1902中，微透镜1904的光轴与受光部1903的光轴之间具有偏差距离2502。未图示的相反一侧的端部的像素也同样地具有相反方向的偏差距离。由此，该图像传感器103b是图像的周边光量衰减小的摄像系统。具有如图25所示的结构的摄像机已经廉价地实现。

但是，无镜头光学系统中，不存在如图24所示的透镜，如图17所示，来自点1701的光，在从图案基板104的出射位置上成为大致平行光的投影像1702，均匀地照射图像传感器103。对于图像传感器103的面内的各像素，基本上光线垂直入射，各像素的光量大致相同。该情况下，应用如图25所示的类型的图像传感器103b时，与摄像的图像信号对应的传感器图像中，如图26所示，较强地出现阴影。换言之，传感器图像内的周边部分变暗。图26表示使用图像传感器103b的情况下的具有阴影的传感器图像2601的例子。产生这样的阴影时，在后端的显影处理的过程中，较强地出现低频的噪声，所以显影的图像劣化。

因此，无镜头光学系统中，为了避免图像的劣化，不优选如图25所示的图像传感器103b的结构，而是优选如图19所示的类型的图像传感器103a这样受光部1903与微透镜1904的关系均匀的结构。但是，应用了该结构的情况下，如图21和图22所示，像素结构引起的CRA特性成为课题，摄像机的视野(对应的视野角范围)变窄。

[图像传感器(2)]

于是，对于在实施方式1的摄像装置1中改善上述阴影和CRA特性的课题的方式进行说明。实施方式1目标在于兼顾抑制图像劣化和较宽的视野角范围。图27的(A)表示关于图20的1个像素30和微透镜1904的顶面图。图27的(A)的情况下，不存在微透镜1904与受光部1903的相对位置偏差。另一方面，图27的(B)表示存在微透镜1904与受光部1903的相对位置偏差的情况。使用矢量将相对位置偏差表示为偏差(Δ)2701。如图27的(B)所示，产生了相对位置偏差2701的情况下，分离为x轴方向的偏差Δx和y轴方向的偏差Δy考虑。

此处，图28表示上述图25的图像传感器103b的结构中的x轴方向上的像素30的位置与偏差Δx的关系。图28的(A)表示偏差Δx的分布特性，(B)表示对(A)的特性微分得到的曲线图。图28的(A)中，对于x轴方向上的各位置的像素30，用位置L1表示中央，用位置L2表示与正方向对应的右侧的端部，用位置L3表示与负方向对应的左侧的端部。这样，在图像传感器103b的中央的位置L1上不存在偏差Δx，即等于0，在右侧的端部的位置L2上在正方向上具有偏差Δx(+Δx1)，在左侧的端部的位置L3上在负方向上具有偏差Δx(-Δx1)。(A)中，是相对位置偏差的变化单调增加的特性。(B)中，偏差Δx的变化量即相邻像素之间的差值是固定值。另外，(A)中是偏差Δx按直线变化的结构，但不限于此，也有按二次函数等曲线变化的结构。

该图像传感器103b的结构中，微透镜1904的节距与图像30的节距大致相同，通过从图像传感器103b的中央部到端部地以1个像素以下的差异使节距相对平移、换言之使其变化而实现。

图29为了进行关于上述图像传感器103b的结构的说明，而示出像素30之间和受光部1903之间的节距p1、微透镜1904之间的节距p2、相对位置偏差2502等。图29是图25的左侧的端部的像素1902中的例子。节距p1与节距p2大致相同。对于相对位置偏差2502，示出了与像素30的中心位置相对的微透镜1904的中心位置、以及x轴方向的正方向(图示的从左向右的方向)作为基准。例如，设图25的中央部的像素1901中的微透镜1904之间的节距p2为节距p21，设左侧的端部的像素1902中的微透镜1904之间的节距p2为节距p22。上述结构例如是使p21＞p22、使微透镜1904之间的节距p2以从中央部到端部地从节距p21减少至节距p22的方式平移的结构。并且，该结构中，像素30与微透镜1904的相对位置偏差的变化是1个像素以下的差异。

与此相对，图30表示实施方式1的摄像装置1中的图像传感器103c(103)的结构例。图30放大地表示图像传感器103的面内的中央部的位置L1上的像素30和微透镜140的结构例。该结构中，相对于像素30之间的节距p1，微透镜140之间的节距p2较大(p1＜p2)。设中央的像素30为像素PX1，用像素PX2、PX3表示与其相对的两侧相邻的像素30。用微透镜ML1、ML2、ML3表示与它们对应的各个微透镜140。中央的像素PX1中，与微透镜ML1的相对位置偏差Δx是0。右侧相邻的像素PX2中，与微透镜ML2的相对位置偏差Δx(3001)是正方向上大于0的值。左侧相邻的像素PX3中，与微透镜ML3的相对位置偏差Δx(3002)是负方向上大于0的值。该相对位置偏差以在面内随着从中央向外侧的端部而增大的方式变化。

如图30所示，使微透镜140的节距p2与像素30的节距p1较大地不同的情况下，换言之使节距p2与节距p1的差(p2-p1)增大至一定程度以上的情况下，在面内相对位置偏差(Δx、Δy)急剧地变化。与差(p2-p1)的设计相应地，在相邻像素30之间，相对位置偏差超过1个像素的差异，由此产生从正向负或从负向正变化的位置。差(p2-p1)越大，这样的位置的数量越多。这样，实施方式1中，例如通过使节距p1与节距p2较大地不同，而在图像传感器103的面内使相对位置偏差变化、使其具有各种各样的值。由此，可以如后所述地得到改善摄像机特性的效果。

另外，作为实施方式1中的图像传感器103，极端而言，也可以如图31所示地，采用使像素30与微透镜140的相对位置在面内随机地平移、变化的结构。图31的(A)的示意性的曲线图表示实施方式1中的像素传感器103的相对位置偏离量的分布特性。曲线图的横轴例如表示x轴方向上的各位置的像素30，纵轴表示像素30的中心位置与微透镜140的中心位置的相对位置偏差Δx。(A)中，偏差Δx在-Δx1到+Δx1的范围内取随机值。图31的(B)是对(A)的特性微分得到的示意性的曲线图，是取相邻像素之间的差值作为相对位置偏离量的变化量的曲线图。如(B)所示，实施方式1中，相对位置偏离量的差值也是随机的分布。该特性中，相邻像素之间的偏离量的变化即差值具有从正向负变化的位置和从负向正变化的位置。这样的随机的特性，例如能够用与面内的位置相应地使像素30的节距p1和微透镜140的节距p2中的至少一方随机的结构等实现。

如图30和图31所示的结构，是在图像传感器103的面内包括各种各样的相对位置偏差的结构，即包括与各种各样的入射角的光线的受光对应的像素30的结构。用如图30和图31所示的结构，能够实现如图32所示的CRA特性。图32表示实施方式1中、图像传感器103整体的CRA特性的例子。图32的CRA特性3200是对于从与图像传感器103垂直的方向(z轴方向)入射的光线具有峰的CRA特性3201、和对于倾斜入射的光线具有峰的CRA特性3202、3203等各种各样的特性复合而成的特性。在图像传感器103整体上，如CRA特性3200一般，成为对于较宽的入射角具有灵敏度的结构。

但是，例如对于从与图像传感器103垂直的方向入射的光线，存在具有灵敏度的像素，也存在不具有灵敏度或灵敏度低的像素，传感器图像会成为有缺失的图像。这一点在如通常的摄像机一般在图像传感器上成像的系统的情况下，因为像素缺损所以产生问题。另一方面，如实施方式1一般包括无镜头光学系统的无镜头摄像装置的情况下，来自某一点的入射光的信息分散在图像传感器103(对应的传感器图像)的多个像素30整体中。因此，即使传感器图像内存在缺损，也能够用处理还原得到信息(对应的像)。基于这样的无镜头摄像装置的性质和随机的相对位置偏差的结构，实施方式1的摄像装置1能够抑制画质劣化地显影。

另外，为了实现如上所述的效果，受光部1903与微透镜140的相对位置例如随机地变化即可。因此，不限于如图31所示的结构，用如图33所示的结构例，也可以得到同样的效果。图33的结构作为实施方式1的变形例，是插入了散射体3301这样的、使光随机地散射的光学元件的结构。图33的结构中，在z轴方向上对于微透镜140入射一侧，配置了散射体3301。图33的结构中，没有设置图像传感器103中的像素30与微透镜140的相对位置偏差的分布。作为其他结构，也可以采用在具有图像传感器103中的相对位置偏差的分布的结构之外也设置散射体3301的结构。

如上所述，根据实施方式1的摄像装置1和摄像方法，采用在图像传感器103的面内受光部1903与微透镜140的相对位置例如随机地变化的结构、换言之具有各种各样的相对位置偏差的分布的结构。由此，能够提供一种适合摄像的图像传感器103的特性和结构和处理方法等，能够实现一种拍摄视野角宽、且没有阴影导致的噪声的、高画质的、提高了摄像机特性的无镜头摄像装置。进而，根据实施方式1的结构，作为图像传感器103，能够沿用现有的廉价的图像传感器，所以也能够抑制制造成本。

(实施方式2)

使用图34以后的图，对于实施方式2的摄像装置和摄像方法进行说明。以下，对于实施方式2中的与实施方式1不同的构成部分进行说明。

[关于传感器图像的缺损]

实施方式1的摄像装置1的结构中，图像传感器103中的受光部1903与微透镜140的相对位置例如以随机变化的方式配置。因为该结构，存在从某一角度拍摄的情况下随机地发生传感器图像的缺损、随机的缺损对显影图像的画质造成影响的可能性。于是，实施方式2中，对于也考虑该可能性而改进的结构、以及处理方法等进行说明。

实施方式2的摄像装置1中，也通过采用使图像传感器103的面内的受光部与微透镜的相对位置偏差变化的结构，而改善无镜头光学系统全体中的CRA特性。但是，实施方式2中，并非如实施方式1一般采用随机的配置，而是采用周期性的配置等、已知的相对位置偏离量的配置、分布特性。由此，实施方式2中，对于用图像传感器103摄像得到的传感器图像，按与光线的入射角对应的每个角度分解地进行处理。

[图像传感器]

图34表示实施方式2的摄像装置1中的、图像传感器103的相对位置偏差的周期性配置的结构例。图34的(A)表示实施方式2中的图像传感器103的相对位置偏离量的分布特性，如图所示是周期性的分布特性。(A)的横轴例如表示x轴方向的各位置的像素30，纵轴表示受光部1903与微透镜140的相对位置的偏差Δx。偏差Δx在从-Δx1到+Δx1的范围内，与x轴方向的像素位置相应地周期性地变化。例如，在中央的位置L1上，偏差Δx是-Δx1，在从该位置L1向右侧隔开规定像素距离的位置3402上，偏差Δx是+Δx1。从位置L1到位置3402的范围3401中，偏差Δx从-Δx1直线增加至+Δx1。另外，从位置3402起隔开相同的像素距离的右侧的范围3403中，偏差Δx与范围3401同样地直线增加。图34的(B)是对(A)的特性微分得到的曲线图，是取相邻像素30之间的差值作为相对位置偏离量的变化量的曲线图。如(B)所示，在实施方式2中，关于相对位置偏离量的差值，具有正的固定值的部分和从正向负或从负向正地大幅变化的多个位置。实施方式1的图31的特性和实施方式2的图34的特性，与如比较例的图28一般的单调增加或单调减少的特性不同，具有相对位置偏离量的差值从正向负或从负向正变化的位置。摄像装置1已知如图34所示的特性，将其用于图像处理部107的处理等。

这样具有像素30与微透镜1904的相对位置周期性地变化的配置的图像传感器103中，对于从与图像传感器103垂直的方向(z轴方向)入射的光线，得到如图35所示的图像。图35表示用图像传感器103摄像得到的、具有阴影的传感器图像3500的例子。传感器图像3500(对应的图像传感器103)在x轴-y轴的面中，具有多个区域3501。1个区域3501是与相对位置偏差的变化的1个周期(图34中范围3401等部分)对应的区域，将该1个周期的区域定义为1个单元。这样，该单元中的相对位置偏差Δx成为如图36所示。

[处理分割方法(1)]

图36表示关于单元中的相对位置偏差的处理分割方法的例子。图36的(A)的曲线图中，横轴是x轴方向上的1个单元中的像素30的位置，纵轴是相对位置偏差Δx。用M1表示1个单元中的中央，用M2表示右侧的端部，用M3表示左侧的端部。实施方式2的摄像装置1对于传感器图像(对应的图像传感器103)的全部区域的多个单元，按某一相对位置偏离量的间隔3601，分割为多个范围、例如范围A1～A5。本例中，在偏离量的从最小值(-Δx1)到最大值(+Δx1)的范围内，分割为5个范围(A1～A5)。使该分割数越多，图像品质越改善。间隔3601和分割数是设定值，能够变更。同样地，如图36的(B)所示，对于单元中的y轴方向的相对位置偏差Δy，也按间隔3602分割为多个范围、例如范围B1～B5。图像处理部107对于传感器图像进行这样的分割。

关于图36的分割，在区域3501这样的1个单元(例如某一单元U1)中进行映射时，成为如图37所示。图37的(A)表示1个单元内的分割的结构例。通过x轴方向的各范围与y轴方向的各范围交叉，而构成比单元更小的区域。例如，区域3701是A1-B1的区域，区域3702是A5-B5的区域。图像处理部107在图35的传感器图像3500的多个单元中，生成按每个种类的区域分类并聚集的图像作为分割传感器图像。例如，从仅聚集了A1-B1的区域3701的分割传感器图像(设为G11)、到仅聚集了A5-B5的区域702的分割传感器图像(设为G55)地，生成5×5＝25种分割传感器图像。

图像处理部107对于这些生成的多个分割传感器图像中的每个分割传感器图像，使用对应的显影用图案，执行上述图15和图16所示的显影处理。然后，图像处理部107将该每个分割传感器图像的显影处理结果合成为1个图像。通过这样的处理分割方法，能够在每个分割传感器图像中不存在上述像素缺损的状态下进行处理。因此，能够不增加噪声地进行图像处理，在合成后的图像中能够还原得到信息，并且能够抑制画质劣化。

另外，本例中示出了对于每个单元分割为5×5的区域进行处理的方法，但能够不限于此。图38的(B)表示仅在x轴方向上分割进行处理的例子，图38的(C)表示仅在y轴方向上分割进行处理的例子。这样改变方向地处理等，能够与图像传感器的特性相应地进行最优的设计。

另外，以上说明了如图34所示具有周期性的相对位置偏差Δx的结构例，但采用这样的周期性的设计的情况下，取决于设计参数，存在如图38的(A)所示在显影图像的PSF(Point Spread Function：点像分布函数)中具有多个峰、在显影图像中出现鬼影的可能性。图38的(A)表示显影图像的PSF的例子。例如最大的峰3800表示原本的点，峰3801是鬼影。

[处理分割方法(2)]

于是，作为实施方式2的变形例，可以采用以下结构。变形例中，虽然与实施方式1同样地使图像传感器103中的相对位置偏差成为随机的配置，但使该随机的配置成为已知的设计。即，摄像装置1已知每个像素30具有怎样的相对位置偏差。然后，变形例中，如图39所示，对于每个单元，与相对位置偏离量相应地，分配分割得到的范围。图39表示变形例中的关于相对位置偏差的处理分割方法。例如，对于x轴方向上的相对位置偏差Δx，分配与偏离量的大小相应的范围A1～A5。图像处理部107与实施方式2同样地生成与范围相应的分割传感器图像，按每个分割传感器图像进行处理。

图38的(B)表示关于基于变形例的图像处理结果得到的显影图像的PSF的例子。可知根据变形例的结构，周期性引起的图38的(A)的峰、例如峰3801被抑制为如图38的(B)的峰3802一般。

如上所述，根据实施方式2，采用在图像传感器103的面内相对位置偏差周期性地变化的结构，且采用对应地将传感器图像分割为多个区域进行处理的结构。由此，能够实现一种拍摄视野角宽、且没有阴影导致的噪声的、高画质的无镜头摄像装置。另外，上述图像传感器103中的相对位置偏差的周期性的分布特性不限于上述例子，也可以用其他周期性的函数、例如正弦函数等定义。

以上基于实施方式具体说明了本发明，但本发明不限定于上述实施方式，能够在不脱离主旨的范围内进行各种变更。本发明也能够是对于实施方式的全部构成要素追加、删除、置换、合并要素等的结构。本发明也能够是某一实施例与其他实施例组合的结构。本发明中的构成要素(例如图1的控制器108、图像处理部107、条纹扫描处理部106等)可以用集成电路和FPGA等硬件构成，也可以用软件程序处理等构成。采用进行程序处理的方式的情况下，例如使用CPU、ROM、RAM等的处理器通过使用存储器等执行符合程序的处理而实现功能。另外，程序和相关的数据和信息可以存储在HDD、DVD、SSD、SD卡等存储装置或存储介质中，也可以存储在外部的通信网上。

[互相关运算]

图40作为各实施方式的补充，表示上述相关显影方式中的互相关运算的结构例。图像处理部107对于从图像传感器103经由条纹扫描处理部106输入的传感器图像401，进行FFT402，得到FFT后图像403。另一方面，图像处理部107对于预先生成的显影用图案411(例如上述显影用图案801)，进行FFT412，得到FFT后显影用图案413。图像处理部107对于FFT后图像403，通过进行卷积FFT后显影用图案413的卷积运算404，而得到卷积后图像405。图像处理部107通过对卷积后图像405进行逆FFT406，而得到还原图像407。另外，图像处理部107可以对于每次摄像实时地执行FFT等处理，但也可以预先生成FFT等处理后的数据(例如FFT后显影用图案413)并保存在存储器中，在摄像时读取该数据进行上述运算。由此能够实现高速化。

附图标记说明

1…摄像装置，30…像素，102…摄像部，103…图像传感器，104…图案基板，105…拍摄用图案，106…条纹扫描处理部，107…图像处理部，108…控制器，1903…受光部，140…微透镜。

Claims (12)

1.一种摄像装置，其特征在于，包括：

基于拍摄用图案来对入射的光的强度进行调制的调制器；

将所述调制后的光转换为电信号而生成传感器图像的图像传感器；和

包括相对于所述图像传感器的多个像素配置的多个微透镜的微透镜阵列，

在所述图像传感器的面内，具有关于所述多个像素的各像素的受光部的中心位置与所述微透镜阵列的所述多个微透镜的各微透镜的中心位置的相对位置的偏离量的分布特性，

所述特性是相邻的所述各像素之间的所述偏离量的差值从正向负变化或从负向正变化的位置存在至少1个以上。

2.如权利要求1所述的摄像装置，其特征在于：

所述特性是所述偏离量与所述面内的位置相应地随机的特性。

3.如权利要求1所述的摄像装置，其特征在于：

所述特性是所述偏离量与所述面内的位置相应地周期性地变化的特性。

4.如权利要求1所述的摄像装置，其特征在于：

具备图像处理部，其基于对所述传感器图像的显影用图案的运算来还原像。

5.如权利要求1所述的摄像装置，其特征在于：

具备条纹扫描处理部，其控制所述图像传感器和所述调制器，来从所述传感器图像中消除噪声。

6.如权利要求4所述的摄像装置，其特征在于：

所述图像处理部将所述偏离量的整个范围分割为多个范围，按所述多个范围对所述传感器图像的像素值进行分类，对于分类后的像素值的每个图像，基于与对应的显影用图案的运算来进行显影处理，并将显影处理后的多个像合成为1个像。

7.如权利要求1所述的摄像装置，其特征在于：

所述图像传感器中，所述多个微透镜的节距大于所述面内的所述多个像素的节距。

8.一种摄像装置，其特征在于，包括：

基于拍摄用图案来对入射的光的强度进行调制的调制器；

将所述调制后的光转换为电信号而生成传感器图像的图像传感器；

包括相对于所述图像传感器的多个像素配置的多个微透镜的微透镜阵列；和

散射体，其配置在所述微透镜阵列的入射一侧，用于使所述调制后的光散射。

9.一种摄像装置中的摄像方法，其特征在于：

所述摄像装置包括：

基于拍摄用图案来对入射的光的强度进行调制的调制器；

将所述调制后的光转换为电信号而生成传感器图像的图像传感器；和

包括相对于所述图像传感器的多个像素配置的多个微透镜的微透镜阵列，

在所述图像传感器的面内，具有关于所述多个像素的各像素的受光部的中心位置与所述微透镜阵列的所述多个微透镜的各微透镜的中心位置的相对位置的偏离量的分布特性，

所述特性是相邻的所述各像素之间的所述偏离量的差值从正向负或从负向正变化的位置存在至少1个以上，

所述摄像方法包括：

由所述调制器对所述光的强度进行调制的步骤；和

由所述图像传感器基于经过所述调制器和所述微透镜阵列后的所述调制后的光来生成所述传感器图像的步骤。

10.如权利要求9所述的摄像方法，其特征在于：

包括基于对所述传感器图像的显影用图案的运算来还原像的步骤。

11.如权利要求1所述的摄像装置，其特征在于：

包括控制所述图像传感器和所述调制器来从所述传感器图像中消除噪声的步骤。

12.如权利要求10所述的摄像方法，其特征在于：

所述还原像的步骤包括下述步骤：将所述偏离量的整个范围分割为多个范围，按所述多个范围对所述传感器图像的像素值进行分类，对于分类后的像素值的每个图像，基于与对应的显影用图案的运算来进行显影处理，并将显影处理后的多个像合成为1个像。

Images