CN109804616B

CN109804616B - 摄像装置

Info

Publication number: CN109804616B
Application number: CN201780059121.5A
Authority: CN
Inventors: 田岛和幸; 岛野健; 宇津木健
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2016-09-26
Filing date: 2017-05-17
Publication date: 2021-01-08
Anticipated expiration: 2037-05-17
Also published as: WO2018055831A1; CN109804616A; US20190278006A1; US10649118B2; JP6721698B2; JPWO2018055831A1

Abstract

摄像装置具备：图像传感器，将被取入到在摄像面以阵列状排列的多个像素的光学像变换为图像信号并输出；调制部，设置于图像传感器的受光面，调制光的强度；以及图像处理部，对从图像传感器输出的输出图像实施图像处理，调制部具有：光栅基板；以及第1光栅图案，形成于与接近图像传感器的受光面的面对置的光栅基板的第1面。光栅图案由间距相对从至少一个基准坐标的原点起的距离成反比的多个同心圆分别构成，多个同心圆在光栅图案内相互不重叠，基准坐标被配置为相对受光面的中央的法线对称。由此，提高配置有由间距相对从原点起的距离成反比的多个同心圆构成的衍射光栅基板的摄像装置的分辨率。

Description

摄像装置

技术领域

本发明涉及摄像装置，特别涉及提高使用了衍射光栅基板的摄像装置的分辨率的摄像装置。

背景技术

搭载于智能手机等的相机、逐渐需要360°感测的车载相机需要薄型化，提出了不使用透镜而解析透射了衍射光栅基板的光学像来进行摄像的装置。

例如，在专利文献1中，记载了如下方法：将特殊的衍射光栅基板贴付于图像传感器，不使用透镜，根据透射衍射光栅基板的光在传感器上产生的射影图案，通过逆向问题运算求出入射光的入射角，从而得到外界的物体的像的方法。

另外，在专利文献2中，记载了作为衍射光栅基板使用间距从中心向外侧变细的同心圆状的光栅图案的内容。

现有技术文献

专利文献

专利文献1：美国专利申请公开第2014/0253781号说明书

专利文献2：美国专利申请公开第2015/0219808号说明书

发明内容

在专利文献1中，在贴付于图像传感器的基板上表面形成的衍射光栅的图案是涡旋状等特殊的光栅图案，存在解决用于从由传感器接收的射影图案使像再生的逆向问题的运算变得复杂的问题。

在专利文献2中，由于使用堆叠有多个上述同心圆状光栅图案的衍射光栅，所以透射率下降并且相互的同心圆光栅图案发生干涉，有可能会招致再生图像的噪声增大。

因此，提出了如下摄像装置：使双面光栅基板的正面和背面的衍射光栅图案以由间距相对从原点起的距离成反比的多个同心圆构成，使叠纹(moiré，莫列波纹)条纹产生，对摄像得到的图像进行傅里叶变换，着眼于该叠纹条纹而分析空间频谱，从而得到摄像图像。

根据该技术，能够提供易于进行光线的入射角度的检测并且衍射光栅的图案的干涉噪声少的摄像装置。

然而，根据该摄像装置，为了检测光线的入射角度，不得不使正面和背面的衍射光栅图案相对光栅基板偏移地配置，使空间频率的峰值形成两处(后面叙述详细内容)，因此招致摄像的分辨率下降。

本发明是为了解决上述问题而完成的，其目的在于提高配置有由间距相对从原点起的距离成反比的多个同心圆构成的衍射光栅基板的摄像装置的分辨率。

为了解决上述问题，本发明的摄像装置的结构具备：图像传感器，将被取入到在摄像面以阵列状排列的多个像素的光学像变换为图像信号并输出；调制部，设置于图像传感器的受光面，调制光的强度；以及图像处理部，对从图像传感器输出的输出图像实施图像处理，调制部具有：光栅基板；以及第1光栅图案，形成于与接近图像传感器的受光面的面对置的光栅基板的第1面，光栅图案由间距相对从至少一个基准坐标的原点起的距离成反比的多个同心圆分别构成，多个同心圆在光栅图案内不相互重叠，基准坐标被配置为相对受光面的中央的法线对称。

根据本发明，能够提高配置有由间距相对从原点起的距离成反比的多个同心圆构成的衍射光栅基板的摄像装置的分辨率。

附图说明

图1是利用了光栅图案的摄像装置的结构图。

图2是示出利用摄像装置显示于监视显示器的情形的图。

图3是示出图像处理电路的处理的流程图。

图4是说明基于倾斜入射平行光的从光栅基板正面向背面的射影像产生面内偏移的图。

图5是说明光栅基板两面的光栅的轴对齐的情况下的叠纹条纹的生成和频谱的示意图。

图6是偏移地配置正面光栅和背面光栅的轴的情况的示意图。

图7是说明偏移地配置光栅基板两面的光栅的情况下的叠纹条纹的生成和频谱的示意图。

图8是说明来自构成物体的各点的光相对传感器所成的角的图。

图9是示出使两张光栅图案横向偏移的情况下的空间频谱的图。

图10是示出使两张光栅图案纵向偏移的情况下的空间频谱的图。

图11是按照传感器灵敏度分布实现背面侧光栅图案的情况下的摄像装置的结构图。

图12是示出在成像的物体处于有限距离的情况下正侧光栅图案向背面的射影从正侧光栅图案被扩大的图。

图13是示出按照传感器灵敏度分布实现背面侧光栅图案的情况下的摄像装置的图像处理电路的处理的流程图。

图14是利用液晶元件使正面光栅图案尺寸可变地显示的摄像装置的结构图。

图15是与利用液晶元件使正面光栅图案尺寸可变地显示的摄像装置的图像处理电路的液晶控制有关的部分的框图。

图16是示出3×3分割的光栅图案的图。

图17是示出3×3分割的光栅图案的两面的初始相位的配置的立体图。

图18是示出来自单一点光源的光入射到3×3分割的双面光栅而产生的叠纹条纹的图像的图。

图19是示出实施噪声减少图像处理而得到的叠纹条纹的图像的图。

图20是示出分割了双面光栅基板的摄像装置的图像处理电路的处理的流程图。

图21是示出2×2分割的光栅图案的图。

图22是示出实施噪声减少图像处理而得到的叠纹条纹的图像的图。

图23是示出分割了单面光栅基板的摄像装置的图像处理电路的处理的流程图。

图24是示出使两张光栅图案位置一致的情况下的空间频谱的图。

图25是示出使正侧光栅的相位可变的情况下的光栅基板和图像传感器的摄像装置的配置的图。

图26是示出液晶元件的电极图案的例子的图。

图27是对液晶元件的电极图案的初始相位进行了可变输入的情况的示意图。

图28是示出使正侧光栅的初始相位可变的情况下的带片的配置例的图。

图29是示出分割了单面光栅基板的情况下的正面光栅图案的一个例子的图。

图30是正侧光栅、背侧光栅都在时间上能够进行其显示切换的摄像装置的结构图。

图31是图像处理电路的框图。

图32是示出图像处理电路的处理的流程图。

(附图标记说明)

101：摄像装置；102：双面光栅基板；102a：光栅基板；103：图像传感器；104：正侧光栅图案；105：背侧光栅图案；106、1201：图像处理电路；107：监视显示器；201：被摄体；901：光栅传感器一体基板；1301：构成物体的点；1302：正侧光栅的影；1401：液晶层；1402：液晶基板；1403：正侧基板的可变光栅；2802：摄像装置的可视区；3101：摄像装置；3102：正侧光栅显示部；3103：背侧光栅显示部；3104：图像处理部；3105：显示控制部；3201：图像获取部；3202：指数函数运算部；3203：图像存储部；3204：开关；3205：全部存储图像加法运算部；3206：2维傅里叶变换部。

具体实施方式

〔利用了双面光栅基板的摄像装置的结构〕

首先，使用图1以及图2说明利用了双面光栅基板的摄像装置的结构和图像处理的概要。

图1是利用了光栅图案的摄像装置的结构图。

图2是示出利用摄像装置显示于监视显示器的情形的图。

图3是示出图像处理电路的处理的流程图。

摄像装置101包括双面光栅基板102、图像传感器103、图像处理电路106。双面光栅基板102粘附于图像传感器103的受光面而被固定，在双面光栅基板102的正面，形成有同心圆状的正侧光栅图案104，该同心圆状的正侧光栅图案104的光栅间隔(间距)与从中心起的半径成反比、即越向外则光栅间隔(间距)越与从中心起的半径成比例地变窄。另外，在背面即与图像传感器103的受光面相接的面，也形成有同样的背侧光栅图案105。透射这些光栅图案的光根据其光栅图案而被调制其强度。透射的光被图像传感器103接收，其图像信号通过图像处理电路106而被图像处理，被输出到监视显示器107等。通常的摄像装置需要用于在传感器前成像的透镜，但本摄像装置能够无需透镜地获取外界的物体的图像。此时，同心圆状光栅图案104没有与构成同心圆的各环图案在相同的面内交叉的其它光栅图案，不会产生光栅图案间的不需要的干涉，能够抑制光利用效率的下降。

由摄像装置显示的情形如图2所示，能够通过如下方式实现：使双面光栅基板102的光栅面相对被摄体201正对地进行拍摄，对图像传感器处的受光进行图像输出处理，将其输出输出到监视显示器107。

图像处理电路106中的图像处理的流程如图3所示，对于被输入的叠纹条纹图像，针对颜色的RGB各分量进行2维FFT运算(S01)，求出频谱。提取其单侧频率的数据(S02)，进行强度计算(S03)。进而，对得到的图像进行噪声去除(S04)，进行对比度强调处理等(S05)，调整颜色平衡(S06)，输出为拍摄图像。

〔利用了双面光栅基板的摄像装置的拍摄原理〕

接下来，使用图4至图8说明图1所示的摄像装置的拍摄原理。

图6是偏移地配置正面光栅和背面光栅的轴的情况下的示意图。

首先，如以下那样定义光栅间隔(间距)与从中心起的半径成反比、即越向外则光栅间隔(间距)越与从中心起的半径成比例地变窄的同心圆状的光栅图案104的光栅图案。

设想在激光干涉仪等中使接近于平面波的球面波和用作参照光的平面波干涉的情况。在以同心圆的中心作为基准坐标将从该基准坐标起的半径设为r、将那里的球面波的相位设为

时，使用决定波面的弯曲的大小的系数β，将其表示成

[式1]

φ(r)＝βr²····(1)

。尽管是球面波但以半径r的平方表示的原因在于，由于是接近于平面波的球面波，所以能够仅用展开的最低次幂来近似。当使平面波与具有该相位分布的光干涉时，能够得到如

[式2]

那样的干涉条纹的强度分布。这成为在满足

[式3]

φ(r)＝βr²＝2nπ (n＝0，1，2，…)····

的半径位置处具有明亮的线的同心圆的条纹。当将条纹的间距设为p时，能够得到

[式4]

，可知间距相对半径成比例地变窄。这样的条纹被称为菲涅尔带片(Fresnel zoneplate)。将具有与这样定义的强度分布成比例的透射率分布的光栅图案用作图1所示的光栅图案104、105。当如图4所示平行光以角度θ₀入射到在两面形成有这样的光栅的厚度为t的基板时，如果将基板中的折射角设为θ而在几何光学上被乘以表面的光栅的透射率的光偏移δ＝t·tanθ地入射到背面并假设对齐地形成了两个同心圆光栅的中心，则偏移δ地相乘背面的光栅的透射率。此时，能够得到如

[式5]

那样的强度分布。可知关于该展开式的第4项，在重叠的区域一面形成在两个光栅的偏移的方向上直的等间隔的条纹图样。通过这样的条纹与条纹的重叠而以相对低的空间频率产生的条纹被称为叠纹条纹。这样直的等间隔的条纹在通过检测图像的2维傅里叶变换而得到的空间频率分布中产生尖锐的峰值。然后，能够根据该频率的值求出δ的值即光线的入射角θ。在这样的整个面均匀地等间隔地得到的叠纹条纹根据同心圆状的光栅配置的对称性，显然不论偏移的方向如何都以相同的间距产生。能够得到这样的条纹依赖于通过菲涅尔带片形成了光栅图案，而利用除此以外的光栅图案得到在整个面均匀的条纹被认为是不可能的。可知即使是第2项，也会产生菲涅尔带片的强度被叠纹条纹调制了的条纹，而两个条纹之积的频谱成为各自的傅里叶频谱的卷积，所以无法得到尖锐的峰值。当如

[式6]

那样从(5)式仅取出具有尖锐的峰值的分量时，该傅里叶频谱成为

[式7]

那样。其中，在此，F表示傅里叶变换的运算，u、v为x、y方向的空间频率坐标，伴有括弧的δ为狄拉克的德耳塔(delta)函数。根据其结果可知，在检测图像的空间频谱中，在u＝±δβ/π的位置处产生叠纹条纹的空间频率的峰值。

当示出光线和基板配置、产生的叠纹条纹、空间频谱的对应的情形时，如图5所示。图5从左起为光线和基板的配置图、叠纹条纹、空间频谱的示意图，图5的(a)是垂直入射的情况，图5的(b)是光线以角度θ从左侧入射的情况，图5的(c)是光线以角度θ从右侧入射的情况。双面光栅基板102上的正侧光栅图案104与背侧光栅图案105的轴对齐。在图5的(a)的情况下，正侧光栅与背侧光栅的影一致，所以不产生叠纹条纹。在图5的(b)和图5的(c)的情况下，正侧光栅与背侧光栅的偏移相等，所以产生相同的叠纹，空间频谱的峰值位置也一致，根据空间频谱无法判别光线的入射角是图5的(b)时的入射角还是图5的(c)时的入射角。

为了避免这种情况，为了使两个光栅的影相对垂直地入射到基板的光线也偏移地重叠，如图6所示需要两个光栅预先相对光轴相对地偏移。在相对轴上的垂直入射平面波而将两个光栅的影的相对的偏移设为δ₀时，由入射角θ的平面波产生的偏移δ如

[式8]

δ＝δ₀+t tanθ····(8)

那样被表示。此时，入射角θ的光线的叠纹条纹的空间频谱的峰值在频率的正侧成为

[式9]

的位置。当针对图像传感器的大小将S、x、y各方向的像素数都设为N时，能够以－N/(2S)至+N/(2S)的范围得到基于快速傅里叶变换(FFT)的离散图像的空间频谱，所以如果考虑到对正侧的入射角和负侧的入射角均等地进行受光，则将基于垂直入射平面波(θ＝0)的叠纹条纹的频谱峰值位置设为原点(DC)位置与例如+侧端的频率位置的中央位置、即

[式10]

的空间频率位置是妥当的。因此，将两个光栅的相对的中心位置偏移设为

[式11]

是妥当的。

这样，在偏移了正侧光栅图案104和背侧光栅图案105的情况下，如果示出光线和基板配置、产生的叠纹条纹、空间频谱的对应的情形，则如图7所示。与图5同样地，左侧示出光线和基板的配置图，中央列示出叠纹条纹，右侧示出空间频谱，图7的(a)是光线垂直入射的情况，图7的(b)是以角度θ从左侧入射的情况，图7的(c)是以角度θ从右侧入射的情况。正侧光栅图案104和背侧光栅图案105预先偏移δ₀地配置，所以即使在图7的(a)的情况下，也产生叠纹条纹，在空间频谱中出现峰值。其偏移量δ₀如上述那样被设定成峰值位置出现于从原点起单侧的频谱范围的中央。此时，在图7的(b)中，成为偏移δ进一步变大的方向，在图7的(c)中，成为变小的方向，所以与图5的情况不同，能够根据频谱的峰值位置来判别图7的(b)与图7的(c)的入射角的差异。该峰值的频谱图像即为表示无限远的光束的亮点，正是利用该摄像装置拍摄的拍摄图像。

在此，当将能够接收的平行光的入射角的最大角度设为θmax时，根据

[式12]

，能够由本摄像装置受光的最大视角以

[式13]

被提供。如果根据与使用了通常的透镜的成像的类推，考虑在传感器的端部连结焦点而接受视角为θmax的平行光，则不使用透镜的本装置的成像光学系统的实际的焦点距离可被认为相当于

[式14]

此外，设想如(2)式所示光栅的透射率分布基本上具有正弦波那样的特性，但如果作为光栅的基本频率分量而具有这样的分量，则还考虑对光栅的透射率进行2值化，改变透射率高的光栅区域和低的区域的占空比，使透射率高的区域的宽度变宽而提高透射率。

在以上的说明中，任意的入射光线都同时为仅一个入射角度，但为了本装置实际地作用为相机，必须设想多个入射角度的光同时入射的情况。这样的多个入射角的光在入射到背面侧光栅的时间点已经重叠多个正侧光栅的像。如果它们相互产生叠纹条纹，则有可能会成为阻碍与作为信号分量的背面光栅的叠纹条纹的检测的噪声。但是，实际上，正侧光栅的像彼此的重叠不产生叠纹图像的峰值，产生峰值的仅仅是与背面侧光栅的重叠。以下，说明其原因。首先，大的差异在于，基于多个入射角的光线的正侧光栅的影彼此的重叠不是与各自的光强度有关的积而是和。在基于一个入射角的光的正侧光栅的影与背侧光栅的重叠中，将背侧光栅的透射率与作为正侧的影的光的强度分布相乘，从而能够得到透射了背侧光栅之后的光强度分布。相对于此，基于入射到正侧光栅的多个角度不同的光的影彼此的重叠是光的重叠，所以不是积而是和。在是和的情况下，如

[式15]

那样，成为将叠纹条纹的分布与原来的菲涅尔带片的光栅的分布相乘而得到的分布。因此，其频谱用各自的频谱的重叠积分表示，所以即使叠纹的频谱单独地具有尖锐的峰值，实际上也只是在其位置产生菲涅尔带片的频谱的重像。即，在频谱中不产生尖锐的峰值。因此，即使入射多个入射角的光，检测到的叠纹图像的频谱也始终只是正侧光栅与背侧光栅之积的叠纹，既然背侧光栅是单一的，检测到的频谱的峰值相对一个入射角也只是一个。

在此，使用图8示意地说明此前说明了检测的平行光与来自实际的物体的光的对应。来自构成被摄体201的各点的光严格来说，作为来自点光源的球面波而入射到本摄像装置的光栅传感器一体基板901。此时，在光栅传感器一体基板901相对物体充分小的情况、充分远的情况下，能够视为从各点起照明光栅传感器一体基板901的光的入射角相同。根据从(9)式求出的相对微小角度变位Δθ的叠纹的空间频率变位Δu为作为传感器的空间频率的最小分辨率的1/S以下的关系，能够将Δθ视为平行光的条件如

[式16]

那样被表示。接下来，例如在本实施例的条件下为Δθ<0.18°，这是如果是20mm的传感器尺寸则只要从被摄体远离6m就能够实现的条件。

根据以上的结果的类推可知相对无限远的物体能够用本摄像装置实现成像。

〔使光栅图案偏移的方向〕

接下来，使用图9以及图10说明使光栅图案偏移的方向。

在前述例子中，如图9所示使正侧光栅图案104和背侧光栅图案105左右偏移。此时，如果使传感器的形状为正方形，设为其像素间距也在x方向和y方向上相同，则如图的右侧所示，传感器输出的空间频谱在x、y两方±N/S的频率范围内像左右分离而被再生。但是，如此一来，则像的图像基本上被限定于纵宽的区域。一般由相机获取的图像为横宽的长方形，所以作为与其相适的配置，最好设为图10那样。此时，正侧光栅图案104和背侧光栅图案105上下偏移，形成于传感器输出的空间频率空间的图像向上下分离。如此一来，则能够使输出图像为横宽。

〔利用了单面光栅基板的摄像装置〕

接下来，使用图11至图13，说明在利用了上述双面光栅基板的摄像装置中通过变更传感器的灵敏度分布而实现背面侧光栅图案的功能的摄像装置。

在利用了上述双面光栅基板的摄像装置的例子中，通过将同一光栅相互偏移地配置于光栅基板的正侧和背侧，从叠纹条纹的空间频谱探测入射的平行光的角度而构成了像。然而，背侧的光栅是粘附于传感器而对入射的光的强度进行调制的光学元件，所以通过实际地考虑背侧的光栅的透射率而设定传感器的灵敏度，能够在处理图像中假想(虚拟)地产生叠纹。图11示出了在光栅基板的背面没有背面光栅的情况下的摄像装置的结构。如此一来，能够将形成的光栅减少1面，所以能够减少元件的制造成本。然而，此时，传感器的像素间距需要细到能够充分再现光栅间距的程度或者粗到能够以传感器的像素间距再现光栅间距的程度。在使光栅形成于基板的两面的情况下，无需一定能够以传感器的像素解析光栅的间距，只要能够仅解析其叠纹图像即可，所以能够与传感器间距独立地决定光栅间距。然而，在用传感器实现光栅的功能的情况下，光栅与传感器的分辨率需要等同。作为图像处理电路1201的处理，如图13所示，需要与用于针对传感器输出图像生成叠纹的背面光栅的功能相当的传感器的强度调制处理S0A，还需要为此的强度调制电路。

当能够使光栅这样可变时，检测光也可以并非一定是平行光。如图12所示，在来自构成物体的点1301的球面波照射正侧光栅图案104而其影1302被投影到下方的面的情况下，被投影到下方的面的像大致均匀地被扩大。因此，如果将针对平行光设计的下表面光栅的透射率分布直接相乘，则不会产生等间隔的直线状的叠纹条纹。但是，如果与均匀地扩大了的上表面光栅的影对应地扩大下表面的光栅，则能够针对扩大了的影1302再次产生等间隔的直线状的叠纹条纹。由此，能够选择性地再生来自并非一定是无限远的距离的点1301的光。因此，由此能够进行合焦。

〔使正面光栅可变的摄像装置〕

接下来，使用图14以及图15，说明利用液晶元件等使正面侧光栅图案可变的摄像装置。

在上述摄像装置中，通过使传感器的灵敏度分布可变而实现了背侧光栅图案的功能，但能够使正侧基板的光栅也在使用液晶元件等时可变。图14是通过隔着液晶层1401用液晶基板1402封入的液晶元件显示正侧基板的可变光栅1403的摄像装置的结构图。透明电极形成于液晶基板1402以及光栅基板102a，能够经由未图示的电极显示任意的光栅像。由于来自基本上无法视为无限远的有限距离的点1301的光是发散光，所以为了与背侧光栅图案105在背面成为相同的大小，只要在表面稍微缩小地显示即可。在图像处理电路1404中，如图15所示内置有液晶驱动电路1410和背面光栅生成电路1411，背面光栅生成电路1411根据来自外部的焦点指定输入而生成背面光栅图案，据此驱动液晶驱动电路1410，从而使与任意的焦点位置对应的背面光栅图案显示于与传感器一体的液晶元件。

〔分割了双面光栅基板的摄像装置〕

使用图16至图20，说明分割了双面光栅基板的摄像装置。

图16是示出3×3分割的光栅图案的图。

通过使用了上述双面光栅基板的摄像装置的原理说明，说明了在(5)式中能够得到信号的尖锐的峰值的仅仅是第4项的叠纹条纹的频率，但根据光学系统、被摄体的条件，有时第2项、第3项成为噪声而对再生图像的图像质量造成影响。因此，说明去除这些噪声的结构。

为了去除噪声，在此，针对正侧光栅和背侧光栅在如图16所示分割为3×3个以上的区域分别形成独立的带片。其中，各个带片不重叠地排列。此时，正侧光栅在上段、中段、下段分别使光栅的初始相位与

对齐，背侧光栅在左侧、左右中间、右侧分别使光栅的初始相位与

对齐。它们被配置为如图17所示。此时，传感器面上的光强度Is能够如

[式17]

那样表示。在此，I_k是基于第k个点光源的正侧光栅的影的光强度分布，I是背侧光栅的透射率分布。正侧光栅的初始相位

背侧光栅的初始相位

分别如上所述取

这三个值。假定照射正侧光栅的第k个点光源以A_k的强度发光，以δ_k的偏移使正侧光栅的影形成于传感器上。(17)式的下段的公式的{}内的第2项是正面侧光栅的影，第3项是背面侧光栅的强度调制，第4项是两个光栅的和频分量，第5项是差频分量，是作为本装置利用的信号分量的叠纹条纹的项。因此，只要仅抽取具有该

的附加相位的分量即可。在着眼于

和

而将(17)式如

[式18]

那样表示时，能够使用三角函数的正交性，将cos、sin的系数如

[式19]

[式20]

那样抽出。进而，接下来在抽出cos cos、sin sin的项时，能够如

[式21]

[式22]

那样表示。当将它们等号两边分别相加时，能够得到

[式23]

，但其最后对应于如

[式24]

那样仅抽出了(17)式中的叠纹分量的情况。该运算对应于2维地扫描正侧光栅的相位和背侧光栅的相位这两方并积分的情况。为了以最低限度的采样点数即3点对该积分进行离散化，使用了在图16、图17中说明的3×3的双面菲涅尔带片。通过基于单一的点光源的该3×3的双面光栅得到的叠纹条纹如图18所示。虽然可视为多个菲涅尔带片交叉，但这是由入射到无交叉的两面的菲涅尔带片的光形成为传感器状的光强度分布。进而，使用(24)式合成来自该3×3的各单元格的叠纹条纹而得到的叠纹条纹如图19所示。根据该图，除了叠纹条纹以外的不需要的噪声被大幅减少。由此，能够提高拍摄图像的质量。

如果示出基于上述原理的图像处理电路的处理，则如图20所示。在该流程图中，在图3的基础上还加入了叠纹条纹噪声去除S0B的工序。

〔分割了单面光栅基板的摄像装置〕

在上述中，说明了分割了双面光栅基板的摄像装置，在此使用图21至图23说明分割了单面光栅基板的例子。

图21是示出2×2分割的光栅图案的图。

图21示出了设为与上面示出的双面光栅基板进一步不同的正侧光栅的图案的情况下的光栅图案。这设想了使背面侧光栅不为固定光栅而将传感器灵敏度假想地提供为菲涅尔带片状的情况、使用液晶元件等的情况。光栅被分成2×2的区域，各个菲涅尔带片的初始相位逐一偏移90°。在上述分割了双面光栅基板的摄像装置中，以列或者行使相位偏移，但在本装置中以整个区域改变相位。这样，通过将背面侧的假想带片的相位以整个区域逐一90°地以4个步骤改变相位而生成叠纹条纹，双面光栅都能够进行以4个相位的积分运算。通过分割变细，能够期待噪声减少效果的进一步的提高。如果示出基于单一点光源的叠纹条纹的再生像，则如图22所示。相比于图19的情况，噪声进一步减少。

如果示出基于上述原理的图像处理电路的处理，则如图23所示。在该流程图中，在图20的基础上还加入了与背面光栅的功能相当的传感器的强度调制处理S0A的工序。

〔利用了使分辨率提高的双面光栅基板的摄像装置〕

接下来，使用图24说明利用了使分辨率提高的双面光栅基板的摄像装置。

在利用了上面说明的双面光栅基板的摄像装置中，如图9以及图10所示，使正侧光栅图案104和背侧光栅图案105左右或者上下偏移，从而分离了在空间频率空间中产生的处于镜像关系的两个再生图像。但是，存在再生图像的像素数通常因此成为相机的一半的问题。因此，说明避免镜像的产生而不减少有效像素数的结构。

一个叠纹条纹的空间频谱产生正侧和负侧的两个峰值的原因在于将叠纹条纹设为正弦波的实函数。即，当分离成cos(x)＝(exp(ix)+exp(－ix))/2这两个复数指数函数时，它们对应于各自的频谱的峰值。在此，i为虚数单位。因此，只要从最初起用一个复数指数函数表示叠纹条纹即可。说明了在分割了双面光栅基板的摄像装置中消除噪声而仅抽取叠纹条纹的信号分量的方法。因此，在参照的(21)(22)式中抽出了cos cos、sin sin的项而同样地抽出cos sin、sin cos的分量时，如

[式25]

[式26]

那样表示。当取它们的等号两边分别的差时，能够得到

[式27]

，与(24)式的叠纹条纹的cos波分量同样地，能够如

[式28]

那样抽取叠纹条纹的sin波分量。在将(24)式和(28)式分别作为复数指数函数的实部和虚部而等号两边分别相加时，能够得到

[式29]

。即，当对传感器图像乘以正侧光栅与背侧光栅的相位差的复数指数函数而进行二重积分时，能够将叠纹条纹的信号波形抽出为复数指数函数。通过对其进行傅里叶变换，能够得到仅正侧或者负侧的空间频率分量的频谱图像。

能够根据与光学构件中的衍射光栅的类推来理解该原理。一般透射光学元件的光的角度分布对应于元件的振幅透射率分布的空间频谱，从如衍射光栅那样的周期构造产生反映了光栅形状的离散的衍射光。在利用深浅来实现光栅的透射率等情况下，分离成使透射的光直接前进的0次光和在其两侧对称地产生的多个衍射光。但是，在衍射透镜等仅需要一个次数的光的情况下，为了去除无需的次数的光而提高光利用效率，使用闪耀衍射光栅。这是光栅剖面呈锯齿状的形状的相位光栅，能够使衍射光集中成一个次数。(29)式等价于将叠纹条纹表示成闪耀衍射光栅而使衍射次数集中成一个次数的情况。这能够实现的原因在于，使正侧光栅和背侧光栅的相位变化，不仅检测到叠纹条纹的强度，还检测到相位。

在这样能够将一个叠纹条纹分量的空间频率的峰值汇集到1点的情况下，如果将正侧光栅图案104和背侧光栅图案105的同心圆状的带片的中心位置配置于针对从局部的传感器中心立起的传感器面的法线上，则能够如图24所示在空间频率空间上在中央显示再生图像，能够得到与传感器的像素数相同的像素数的再生图像。在该情况下，δ₀＝0，能够将成为信号的叠纹条纹分量如

[式30]

那样表示。式(30)在以(u，v)空间观察时能够用一个狄拉克的德耳塔函数的项来表现。

〔光栅基板的相位可变单元〕

接下来，使用图25至图28，说明使光栅基板的初始相位可变的摄像装置。

图26是示出液晶元件的电极图案的例子的图。

图27是对液晶元件的电极图案的初始相位进行了可变输入的情况下的示意图。

在针对正侧光栅的初始相位的可变单元用液晶元件来进行的情况下，如图25所示，配置成形成为液晶电极的带片3403的同心圆电极的中心处于在传感器受光部3404的中央位置立起的法线N之上。然而，并非一定在其精度方面要求严格的精度，只要至少在中央的圆形电极内具有法线N，则可以认为在多数情况下不会产生问题。在上述使正侧光栅可变的摄像装置中，将液晶元件用作用于焦点调整的带片尺寸可变单元，但在本装置中用作使带片的初始相位可变的单元。其电极图案例如只要构成为如图26所示的示意图那样即可。以对带片的光栅图案的1个周期进行4分割的方式构成同心圆状电极，从内侧每隔4根地与外侧的电极接线，最终在端子部3501作为电极的驱动端子而4根电极被输出。为了对它们施加预定的电压而实际地使初始相位可变，只要如图27那样即可。通过在“0”和“1”这两个状态下在时间上切换对四个电极施加的电压状态而实现初始相位0的状态3601、π/2的状态3602、π的状态3603、3π/2的状态3604。阴影的电极意味着遮挡光，白的电极意味着使光透射。另外，通过将传感器的实际的受光灵敏度设定为假想的透射率，使背侧光栅的初始相位可变。在本装置中，背侧光栅的初始相位的变化由于作为图像处理而进行，所以根据设备的计算能力有时无需一定在时间上可变，也可以并行地计算。根据基于可变的正侧光栅和背侧光栅的初始相位的所有组合的假想的叠纹条纹的检测图像，进行基于(30)式的运算而得到噪声被去除后的具有复数的亮度的叠纹条纹图像。通过对其进行2维傅里叶变换，能够得到最终的检测图像。

另外，在通过在面内排列配置如图21所示的四个带片而使正侧光栅的初始相位可变的情况下，如图28所示，将改变了初始相位的四个带片的中心位置相对通过传感器的中心的法线N对称地配置。换言之，四个带片的同心圆的中心位置形成的四边形为正方形，传感器中心的法线N被配置成通过该正方形的中心。

如果使用该方法，则能够通过图像再生时的计算来获取相位信息，除了再生图像的噪声去除之外，还能够提高分辨率。

〔相位变更处理的削减〕

接下来，使用图29说明削减分割了单面光栅基板的情况下的相位变更处理的例子。

在分割图21所示的单面光栅基板的例子中，说明了通过使背面侧光栅不为固定光栅而将传感器灵敏度假想地提供为菲涅尔带片状，将背面侧的假想带片的相位以整个区域逐一90°地以4个步骤改变相位而进行的叠纹条纹的噪声去除，在此说明能够进一步减少步骤的次数而通过两个步骤的相位变更实现噪声去除的结构。

图29是示出本装置中的正侧光栅的一个例子的图，

与

的相位差为π/2。在此，在将背面侧光栅设为假想带片的情况下，能够在表现带片的公式中处理cos的负分量，传感器面上的光强度Is能够如

[式31]

那样表示。(31)式的下段的公式的{}内的第2项表示背面侧光栅的强度调制，其值由于已知，所以能够进行减法运算，在减法运算后成为

[式32]

。(32)式的下段{}内的第2项表示两个光栅的和频分量，如果能够去除该项，则能够仅表示叠纹条纹的项。在此，如果分别关注第2项和第3项中的

则在

与

的差分为0的情况下，例如在

时，第2项和第3项都为正的值。另一方面，在

与

的差分为π的情况下，例如在

时，第2项为负的值，第3项为正的值。通过使对

的组合进行两种改变而得到的光强度I_S平均化，能够仅使叠纹条纹的项残留。如果示出对通过

与

的组合而得到的结果进行平均化并计算叠纹条纹的项的例子，则成为

[式33]

。其中，在此

表示从使初始相位

的前面侧光栅和初始相位

的背面侧光栅相乘的结果减去(31)式的第2项而得到的结果。

进而，在此根据三角函数的对象性，在

的情况下，例如在

时，第2项和第3项分别成为负的sin分量，在

的情况下，例如在

时，第2项成为负的sin分量，第3项成为正的sin分量。在上述利用了使分辨率提高的双面光栅基板的摄像装置的原理的说明中，说明了通过将sin和cos相加而形成叠纹条纹而在空间频率空间上在中心显示再生像来提高分辨率的方法，在此也能够通过加上sin分量而提高再生像的分辨率。如果示出根据将

设为0和π/2、将

设为0和π/2的情况下的4种组合而使用cos分量和sin分量计算叠纹条纹的项的例子，则成为

[式34]

。以上，通过使用针对每个区域偏移了π/2相位的正侧光栅和针对每个区域偏移了π/2相位的背侧光栅，能够去除叠纹条纹的噪声。进而，将背侧光栅的相位以整个区域逐一90^°地以两个步骤改变相位，从而能够实现指数函数中的叠纹条纹表现，能够提高分辨率。

〔正侧光栅、背侧光栅都在时间上能够进行其显示切换的摄像装置〕

接下来，使用图30至图32，说明正侧光栅、背侧光栅都在时间上能够进行其显示切换的摄像装置。

图31是图像处理电路的框图。

图32是示出图像处理电路的处理的流程图。

在分割图21所示的单面光栅基板的例子中，说明了使用被分割成多个区域的正侧光栅和液晶元件等显示背侧光栅的情况，在此说明能够使正侧光栅、背侧光栅都使用液晶元件等在时间上进行其显示切换的结构。

摄像装置3101包括图像传感器103、正侧光栅显示部3102、背侧光栅显示部3103、图像处理部3104以及显示控制部3015。

正侧光栅显示部3102以及背侧光栅显示部3103能够显示在时间上其深浅变化的相位可变的菲涅尔带片，由显示控制部3105控制该显示。同步地进行图像处理部3104中的图像取入和显示控制部3105的显示的切换，在图像处理部3104中，在从取入的多张图像进行了噪声去除和显影处理之后通过傅里叶变换再生成为基准的图像，输出到监视显示器107等。图像处理部3104包括图像获取部3201、指数函数运算部3202、图像存储部3203、开关3204、全部存储图像加法运算部3205、2维傅里叶变换部3206。图像获取部3201是从图像传感器获取图像的部分。指数函数运算部3202是进行使正侧光栅图案与背侧光栅图案的相位的差分相乘为指数函数的运算的部分。图像存储部3203是临时地保存指数函数运算部3202的运算结果的存储器。开关3204是根据来自显示控制部3105的指令而被导通、截止的开关。全部存储图像加法运算部3205是将图像存储部3203的图像数据相加的部分。2维傅里叶变换部3206是对相加得到的图像数据进行2维傅里叶变换的部分。

以下，使用图31以及图32，说明本装置中的图像获取至包含叠纹条纹的噪声去除的图像再生为止的处理。此外，在此以如下情况为例：将对于正侧光栅、背侧光栅都成为基准的相位设为0，针对每个步骤使相位变化π/2，以步骤次数分别为各4次的组合进行再生处理。

在正面光栅、背面光栅的显示的复位后(S3301)，利用图像获取部3201获取传感器图像(S3302)，针对获取到的图像利用指数函数运算部3202将正侧光栅图案与背侧光栅图案的相位的差分相乘为指数函数(S3303)，将该图像存储于图像存储部3203(S3304)。在显示控制部3105中，向正侧光栅显示部3102发送指令以显示对相位附加了π/2的菲涅尔带片，进而，根据需要而向背侧光栅显示部3103发送指令以显示附加了π/2的相位的菲涅尔带片(S3305～S3308)。在此，在由所述显示控制部判断为取入了再生所需的相位的全部图像的情况下，开关3204被闭合，存储于图像存储部3203的全部图像被送到全部存储图像加法运算部3205而进行加法运算(S3309)。由此，为了计算噪声被去除的叠纹条纹，利用2维傅里叶变换部3206对图像进行傅里叶变换(S3310)，将再生图像利用上述监视显示器107显示图像(S3311)。

根据本摄像装置，前面侧光栅和后面侧光栅都不分割区域而在时间上切换带片的显示，使用多张传感器图像去除叠纹条纹的噪声，从而能够得到质量好的再生图像。与光栅的显示被固定的情况相比，能够将显示部切换任意的次数，能够根据噪声的产生状况变动显示的切换次数，能够始终得到质量好的再生图像。

以上，说明了正侧光栅和背侧光栅都使用液晶元件的情况，但只要能够显示改变了相位的菲涅尔带片即可，例如也可以将电极配置为圆环状，调制电极间的透射率而进行任意的显示。由此，能够在液晶元件中消除由于填充因子等而产生的光栅状的非透射部分的影响。

Claims

1.一种摄像装置，其特征在于，具备：

图像传感器，将被取入到在摄像面以阵列状排列的多个像素的光学像变换为图像信号并输出；

调制部，设置于所述图像传感器的受光面，调制光的强度；以及

图像处理部，对从所述图像传感器输出的输出图像实施图像处理，

所述调制部具有：光栅基板；以及第1光栅图案，形成于与接近所述图像传感器的受光面的面对置的所述光栅基板的第1面，

所述第1光栅图案由各自的间距相对从基准坐标的原点起的距离成反比的多个同心圆构成，

多个所述同心圆在所述第1光栅图案内不相互重叠，

所述基准坐标被配置为相对所述受光面的中央的法线对称。

2.根据权利要求1所述的摄像装置，其特征在于，

所述调制部具有第2光栅图案，该第2光栅图案形成于与所述第1面对置的第2面且与第1光栅图案对应，

所述第2光栅图案由各自的间距相对从至少一个基准坐标的原点起的距离成反比的多个同心圆构成，

所述第1光栅图案的基准坐标的原点与所述第2光栅图案的基准坐标的原点一致，

所述调制部在所述第2光栅图案中对透射所述第1光栅图案的光进行强度调制，输出到所述图像传感器。

3.根据权利要求2所述的摄像装置，其特征在于，

所述第2光栅图案设置于所述光栅基板的背面。

4.根据权利要求1所述的摄像装置，其特征在于，

所述图像处理部对输出的图像进行2维傅里叶变换运算。

5.根据权利要求1所述的摄像装置，其特征在于，

所述图像处理部具有强度调制部，该强度调制部进行对透射所述第1光栅图案的光假想地进行强度调制的处理，

所述强度调制部将透射了所述第1光栅图案的光输出到所述图像传感器，所述图像传感器将被取入的图像输出到所述图像处理部，

所述强度调制部使用假想的第2光栅图案，根据由所述图像传感器取入的图像进行对透射所述第1光栅图案的光进行强度调制的处理。

6.根据权利要求1所述的摄像装置，其特征在于，

所述摄像装置具有液晶元件，该液晶元件通过圆环状的透明电极显示所述第1光栅图案，

所述透明电极能够将所述光栅图案的各周期分割为至少3个以上的同心圆环，选择性地使光透射率能够变化。

7.根据权利要求6所述的摄像装置，其特征在于，

在通过所述摄像装置对1帧的图像进行摄像时，使对分割所述光栅图案的各周期的至少3个以上的同心圆环状透明电极施加的电压状态分别变更至少1次。

8.根据权利要求5所述的摄像装置，其特征在于，

所述强度调制部利用假想的第2光栅图案调制光强度，

在对1帧的图像进行摄像时，使第2光栅图案的相位相对利用液晶元件使光强度不同的第1光栅图案分别变化，合成所有的组合的图像而进行运算，从而进行抽取第1光栅与第2光栅的叠纹条纹分量的运算。

9.根据权利要求1所述的摄像装置，其特征在于，

所述第1光栅图案被分成多个区域，针对每个所述区域配置有不同的同心圆光栅图案，各个光栅图案的基准坐标被配置为相对所述受光面的中央的法线对称。

10.根据权利要求9所述的摄像装置，其特征在于，

所述第1光栅图案被分割成多个区域后的各个同心圆光栅图案相互相对从基准坐标的原点起的距离的间距的分布相同而光栅配置的相位不同。

11.根据权利要求9所述的摄像装置，其特征在于，

通过合成所有的区域的图像而进行运算，进行抽取所述第1光栅和所述第2光栅的叠纹条纹分量的运算。

12.根据权利要求11所述的摄像装置，其特征在于，

在所述第1光栅图案和所述第2光栅图案中的任意一方或者这双方中被分割而成的每个区域的光栅配置的相位仅X方向或Y方向相同。

13.根据权利要求9所述的摄像装置，其特征在于，

所述强度调制部利用假想的第2光栅图案调制光强度，

在对1帧的图像进行摄像时，使第2光栅图案的相位变化，合成所有的区域的图像而进行运算，从而进行抽取第1光栅和第2光栅的叠纹条纹分量的运算。

14.根据权利要求2所述的摄像装置，其特征在于，

所述第1光栅图案以及第2光栅图案被分成多个区域，

在相邻区域之间配置有不同的同心圆光栅图案，

所述第1光栅图案内的所述多个区域的光栅的相位与所述第2光栅图案内的所述多个区域的相位的组合被配置成以多个组合重叠。

15.根据权利要求2所述的摄像装置，其特征在于，

在所述图像处理中，获取基于P种所述第1光栅图案与Q种所述第2光栅图案所有的组合的传感器输出信号而进行运算，对透射两个光栅图案的光所产生的叠纹条纹分量进行强调，其中，P≥2且P为自然数，Q≥2且Q为自然数。

16.根据权利要求15所述的摄像装置，其特征在于，

所述第1光栅图案的深浅变化的相位偏移量为(2π)/P，所述第2光栅图案的深浅变化的相位偏移量为(2π)/Q。

17.根据权利要求8所述的摄像装置，其特征在于，

所述第1光栅图案与所述第2光栅图案的深浅变化的相位对齐，

在所述图像处理中，对所述深浅变化的相位未偏移的情况下和偏移了π/2的情况下的两张输出图像进行平均。

18.根据权利要求8所述的摄像装置，其特征在于，

所述第1光栅图案与所述第2光栅图案的深浅变化的相位差为0或者π/2，在所述图像处理中，将所述相位差为0的运算结果和为π/2的运算结果分别分配给实部和虚部或者虚部和实部而进行加法运算。

19.根据权利要求2所述的摄像装置，其特征在于，

所述第2光栅图案或者第1光栅图案和第2光栅图案这双方通过液晶元件来实现。

20.根据权利要求19所述的摄像装置，其特征在于，

所述第2光栅图案或者第1光栅图案和第2光栅图案这双方通过被配置为圆环状的电极来实现。