CN108886568A - 光学装置 - Google Patents

光学装置 Download PDF

Info

Publication number
CN108886568A
CN108886568A CN201780019887.0A CN201780019887A CN108886568A CN 108886568 A CN108886568 A CN 108886568A CN 201780019887 A CN201780019887 A CN 201780019887A CN 108886568 A CN108886568 A CN 108886568A
Authority
CN
China
Prior art keywords
image
lenticule
optical devices
mask
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780019887.0A
Other languages
English (en)
Inventor
中岛圣生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Nippon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of CN108886568A publication Critical patent/CN108886568A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0007—Movement of one or more optical elements for control of motion blur
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Image Processing (AREA)

Abstract

光学装置具备：呈二维状配置的多个微透镜和拍摄传感器，该拍摄传感器具有多个像素组，用各像素组分别接收通过所述多个微透镜中的各微透镜后的光，所述像素组包括多个像素，所述多个微透镜中的至少一部分通过形成于微透镜的开口图案对入射光的一部分进行限制。

Description

光学装置
技术领域
本发明涉及光学装置。
背景技术
公知有一种使用光场成像(Light Field Photography)技术的相机(参照专利文献1)。若为了抑制因手抖动等造成的图像模糊，在上述相机的拍摄透镜设置VR(VibrationReduction，防抖)装置，则存在构造变大这一问题。
现有技术文献
专利文献
专利文献1：日本特表2008-515110号公报
发明内容
根据第一技术方案，光学装置具备：呈二维状配置的多个微透镜；和拍摄传感器，其具有多个像素组，用各像素组分别接收通过所述多个微透镜中的各微透镜后的光，所述像素组包括多个像素，所述多个微透镜中的至少一部分通过形成于微透镜的开口图案对入射光的一部分进行限制。
根据第二技术方案，光学装置具备：呈二维状配置的多个微透镜；拍摄传感器，其具有多个像素组，用各像素组分别接收通过所述多个微透镜中的各微透镜后的光，所述像素组包括多个像素；以及具有预定开口图案的多个掩模，所述多个掩模中的各掩模分别限制向所述多个微透镜中的至少一部分的各微透镜入射的光的一部分。
附图说明
图1是说明相机的主要部分结构的图。
图2是提取出相机的光学系统的立体图。
图3是微透镜阵列以及拍摄元件的截面图。
图4是从Z轴正方向观察图3的拍摄元件的主视图。
图5是放大了与图4的一个微透镜相应的部分的图。
图6的(a)以及图6的(b)是例示掩模的开口图案的图。
图7是将微透镜阵列的微透镜分为两组的图。
图8是例示控制部所执行的相机处理的流程的流程图。
图9是说明第二实施方式的微透镜阵列的图。
图10是例示控制部所执行的相机处理的流程的流程图。
具体实施方式
作为光学装置的一个例子的相机构成为，使用光场成像(Light FieldPhotography)技术取得三维空间的光的信息。而且，通过VR(Vibration Reduction，防抖)运算对因手抖动等引起的图像模糊进行修正。
(第一实施方式)
＜拍摄装置的概要＞
图1是说明第一实施方式的相机100的主要部分结构的图。在图1所示的坐标轴中，来自未图示的被拍摄对象的光朝向Z轴负方向。另外，将朝上且与Z轴正交的方向作为Y轴正方向，将与纸面垂直的跟前方向且与Z轴以及Y轴正交的方向作为X轴正方向。以下所示的几个图中，以图1的坐标轴作为基准表示各个图中的方向。
图1中，拍摄透镜201构成为能够更换，装配于相机100的机身来使用。
此外，也可以将拍摄透镜201与相机100的机身构成为一体。
拍摄透镜201将来自被拍摄对象的光引导至微透镜阵列202。微透镜阵列202构成为将微小透镜(后述的微透镜L)呈格子状或者蜂窝形状地二维排列。入射至微透镜阵列202的被拍摄对象光通过微透镜阵列202，由拍摄元件203的像素组分别进行光电变换。
从拍摄元件203读出的光电变换后的像素信号发送至图像处理部207。图像处理部207对像素信号实施预定图像处理。将图像处理后的图像数据记录于存储卡等记录介质206。
此外，也可以不对从拍摄元件203读出的像素信号实施图像处理而作为所谓的RAW数据记录于记录介质206。
振动检测部204例如由加速度传感器构成。振动检测部204的检测信号作为因手抖动等而相机100摆动的情况下的加速度信息来使用。
控制部205控制相机100的拍摄工作。即，在光电变换时进行使拍摄元件203储存电荷的储存控制、使拍摄元件203输出光电变换后的像素信号的读出控制。
另外，控制部205基于上述加速度信息进行VR(Vibration Reduction)运算。为了对因相机100的摆动而产生的图像的图像模糊进行修正，进行VR运算。在下文中对VR运算进行详细说明。
显示部208或者对基于图像数据的图像进行再现显示、或者显示操作菜单画面等。由控制部205进行对显示部208的显示控制。
图2是提取出相机100的光学系统即拍摄透镜201、微透镜阵列202、以及拍摄元件203的立体图。微透镜阵列202配置于拍摄透镜201的预定焦面。
此外，为了容易理解地进行图示，扩大了微透镜阵列202以及拍摄元件203的间隔，实际的间隔是与构成微透镜阵列202的微透镜L的焦距f相应的距离。
＜光场图像＞
图2中，向微透镜阵列202的各微透镜L入射来自被拍摄对象的不同部位的光。入射至微透镜阵列202的来自被拍摄对象的光由构成微透镜阵列202的微透镜L分割成多个。而且，通过各微透镜L后的光分别向配置于对应的微透镜L的后方(Z轴负方向)的拍摄元件203的像素组PXs入射。
此外，图2中，微透镜阵列202具有5个×5个微透镜L，但构成微透镜阵列202的微透镜L的个数不限定于图示的个数。
通过各微透镜L后的光由配置于该微透镜L的后方(Z轴负方向)的拍摄元件203的像素组PXs接收。即，构成像素组PXs的各像素PX分别接收来自被拍摄对象的某部位且通过拍摄透镜201的不同区域后的光。
根据以上的结构，获得微透镜L的个数的小图像，该小图像是表示被拍摄对象光通过拍摄透镜201后的区域的光量分布。在本申请说明书中，将这样的小图像的集合称作光场图像(LF图像)。
在拍摄元件203中，根据配置于各微透镜L的后方(Z轴负方向)的多个像素PX的位置来确定光向各像素入射的入射方向。也就是说，由于微透镜L与其后方的拍摄元件203的各像素的位置关系作为设计信息是已知的，因此可求出经由微透镜L向各像素入射的光线的入射方向。因此，拍摄元件203的各像素的像素信号会表示来自预定入射方向的光的强度(光线信息)。在本申请说明书中，将入射至拍摄元件203的像素的来自预定方向的光称作光线。
＜重对焦处理＞
对于LF图像而言，能够使用其数据实施重对焦处理。重对焦处理指如下处理：通过进行基于LF图像所具有的上述光线信息(来自预定入射方向的光的强度)的运算(对光线进行排序的运算)，来生成任意像面的图像、即任意对焦位置、视点处的图像。在本申请说明书中，将通过重对焦处理而生成的任意的对焦位置、视点处的图像称作重对焦图像。
在重对焦处理中，不仅包括使焦点对准至任意的对象物来提高清晰度，还包括使针对对象物的焦点偏离来使之模糊(降低清晰度)。由于这样的重对焦处理(也称作再构建处理)是公知的，所以省略关于重对焦处理的详细说明。
此外，重对焦处理既可以由相机100内的图像处理部207进行，也可以将记录在记录介质206内的LF图像的数据发送至个人计算机等外部设备而由外部设备进行。
此外，LF图像除重对焦处理以外还能够进行各种图像生成处理。例如，基于上述光线的入射方向，不将通过从拍摄透镜201的光轴离开预定距离以上的区域后的光用于图像处理运算，由此能够生成任意的光阑的图像。
＜拍摄部的结构＞
接下来，对相机100的拍摄部的具体结构例进行说明。图3是微透镜阵列202以及拍摄元件203的截面图，示出与X-Z平面平行的截面。图4是从Z轴正方向观察图3的拍摄元件的主视图。图3、图4中，在微透镜阵列202的后方(Z轴负方向)设置有拍摄元件203。
＜微透镜阵列＞
对于微透镜阵列202而言，例如微透镜L1～L6与透射基板202A形成为一体。透射基板202A可以使用玻璃基板、塑料基板、或者二氧化硅基板等。微透镜阵列202也可以通过注塑成形、加压成形等形成。
此外，也可以与透射基板202A独立地形成微透镜L1～L6。
＜拍摄元件＞
图3的拍摄元件203能够使用CCD图像传感器、CMOS图像传感器等。拍摄元件203从Z轴负方向起依次具有例如硅基板203C、形成在硅基板203C上的受光元件阵列203B、以及形成在受光元件阵列203B上的滤色器阵列203A。
图4中，在微透镜阵列202的微透镜L1～L6的后方(Z轴负方向)存在拍摄元件203的滤色器阵列203A。在滤色器阵列203A，例如与受光元件阵列203B的像素PX对应地呈二维阵列状配置分别选择性地使RGB(红色、绿色、蓝色)的波长范围的光透过的多个滤波器。向微透镜L1～L6分别分配由预定数量的像素PX构成的像素组PXs。
此外，在不需要颜色信息的情况下，也能够省略滤色器阵列203A。
图5是放大了与图4的一个微透镜相应的部分的图。图5中，RGB(红色、绿色、蓝色)示出在受光元件阵列203B的像素PX中进行光电变换的波长范围。滤色器阵列203A对于受光元件阵列203B的像素PX使RGB中的任一波长范围透过。例如，在奇数行的各像素位置交替地配置使B和G的光分别透过的滤波器，在偶数行的各像素位置交替地配置使G和R的光分别透过的滤波器
此外，图5中，多个像素PX中的构成像素组PXs的像素由白底示出，像素组PXs以外的像素由斜线示出。
在受光元件阵列203B的各像素PX配设有光电二极管等受光元件。如图4、图5所示，受光元件阵列203B的多个像素PX呈二维阵列状地形成。经由上述滤色器阵列203A向各像素PX入射B、G、R中的任一光。各像素PX产生与向光电二极管入射的入射光量对应的电荷。储存于各像素PX的电荷由未图示的转送晶体管转送至电荷转送电极，并被读出。
此处，拍摄元件203作为背面照射型的结构，在电荷转送电极的背面侧(Z轴正侧)设置有像素PX的光电二极管。一般地，若成为背面照射，则与表面照射的情况相比能够扩大对光电二极管的开口，从而能够抑制由拍摄元件203进行光电变换的光量的降低。因此，即使不按各像素PX设置聚光透镜，也能够对像素PX入射足够强度的光。因此，能够形成为在微透镜阵列202至拍摄元件203之间不具有其它透镜的结构。
此外，也能够将拍摄元件203形成为非背面照射型而是表面照射型的结构。
图4、图5中示出向每个微透镜L1～L6分配8个×8个的像素组PXs的例子，但构成像素组PXs的像素PX的个数不限定于图示个数。另外，
图4的微透镜L1～L6的个数也不限定于图示个数。另外，受光元件阵列203B中的像素PX的配置既可以如图2所示按各微透镜L分隔地配置像素组PXs，也可以如图4、图5所示不分隔像素组PXs地呈二维阵列状配置多个像素PX。
＜掩模＞
对微透镜阵列202的微透镜L分别附加形成有编码开口的掩模M。图6的(a)以及图6的(b)是示出掩模M的开口图案的例子的图。形成于掩模M的编码开口是使光通过的随机形状的图案。通过对微透镜L附加掩模M，对由配设于该微透镜L的后方的像素组PXs取得的光线信息的一部分(来自预定入射方向的光)进行限制。设置掩模M的理由是为了获得上述的VR运算所产生的图像模糊修正的效果。
掩模M以对图3的微透镜L1～L5附加的方式在微透镜L与透射基板202A之间附加。即，掩模M形成于微透镜L的出射面侧。此外，也可以如对微透镜L6附加的掩模Mb那样附加于微透镜L6的表面。即，掩模Mb形成于微透镜L6的入射面侧。
图3中，示出混合存在设置于微透镜L与透射基板202A之间的掩模M和设置于微透镜L6的表面的掩模Mb的例子，但掩模M或者掩模Mb的附加方法也可以统一为任意的附加方法。
图6的(a)以及图6的(b)中，掩模M的斜线所示的部分示出将其透光率抑制为预定值(例如5％)以下的区域。掩模M的空白部分示出使光通过的开口区域。图6的(a)所示的掩模M的斜线所示的部分具有随机地生成多个一边比受光元件阵列203B的像素PX的间距大的矩形并随机地配置的形状。矩形的X轴方向以及Y轴方向上的最小的宽度构成为至少比受光元件阵列203B的像素PX的间距大。换言之，构成斜线所示的区域的矩形分别在X轴方向上具有比X轴方向上的像素PX的宽度大的尺寸、且在Y轴方向上具有比Y轴方向上的像素PX的宽度大的尺寸。其理由是为了按配设于附加有掩模M的微透镜L的后方的各像素PX对所入射的光线信息的限制状态进行检测。
在本实施方式中，在构成微透镜阵列202的所有微透镜L分别设置掩模M。掩模M的开口图案既可以在所有微透镜L分别形成不同的开口图案的编码开口，也可以在所有微透镜L分别形成相同开口图案的编码开口。
在本实施方式中，将构成微透镜阵列202的所有微透镜L分为两个组，并且设置两种掩模M的开口图案。而且，将两种开口图案的掩模M1和M2用于各组。例如，如图7例示那样，将构成微透镜阵列202的所有微透镜L分为构成格子图案的A组和B组。
对于掩模M的开口图案而言，将图6的(a)所示的开口图案的掩模M作为M1，并将相对于掩模M1斜线部分和空白部分相反的图6的(b)所示的开口图案的掩模M作为M2。此处，与不附加掩模M的情况相比，掩模M1以及掩模M2分别为例如向拍摄元件203(受光元件阵列203B)入射的光量成为一半左右的开口率。这是因为，若掩模M的开口率低，则拍摄元件203所取得的图像变暗，若掩模M的开口率高，则基于VR运算的图像模糊修正的效果变差。
此外，在使图像模糊修正的效果优先的情况下，使掩模M的开口率比50％低即可，在使所取得的图像的亮度优先的情况下，使掩模M的开口率比50％高即可。
对于图7的A组的微透镜L附加上述的掩模M1，对于图7的B组的微透镜L附加上述的掩模M2。若对接近的多个微透镜L附加同一开口图案的掩模(例如掩模M1)，则上述微透镜L均限制从同一方向入射的光。与此相对，如本实施方式那样，若在接近的多个微透镜L之间附加不同开口图案的掩模M1、M2，则例如从预定方向入射的光被掩模M1限制，另一方面，从同一方向入射的光不被掩模M2限制。即，例如与相对于配设于附加有掩模M1的微透镜L的后方的像素组PXs被限制了的光线信息相同的光线信息在配设于附加有掩模M2的微透镜L的后方的像素组PXs中不受限制地取得。根据本实施方式的结构，在接近的多个各微透镜L中，从确定方向入射的光不会被全部限制。即，接近的多个像素组PXs的至少一个能够取得关于从确定方向入射的光的光线信息。
将构成微透镜阵列202的所有微透镜L分为A组和B组两组的方法不限定于上述的基于格子图案的二分法，既可以每隔微透镜阵列202的一行分为两组，也可以每隔微透镜阵列202的一列分为两组。
另外，作为本实施方式的变形例，也可以替代对构成微透镜阵列202的所有微透镜L附加掩模M，而构成为对构成微透镜阵列202的微透镜L中的一部分微透镜L附加掩模M，而对其它微透镜L不附加掩模M。在这种情况下，掩模M的开口的图案既可以在附加有掩模M的多个微透镜L之间是不同图案，也可以在附加有掩模M的多个微透镜L之间是相同图案。
在对一部分的微透镜L附加掩模M的情况下，与对于配设于附加有掩模M的微透镜L的后方的像素组PXs被限制了的光线信息同样的光线信息在配设于未附加掩模M的微透镜L的后方的像素组PXs中能够不受限制地取得。
＜VR运算＞
因被拍摄对象像对于拍摄元件203的摆动而引起的模糊图像如下式(1)所示地由没有模糊的原图像与点扩散函数(Point Spread Function：以下称作PSF)的卷积来表示。
y＝fd＊x……(1)
其中，y表示模糊图像，fd表示PSF，＊表示卷积积分，x表示原始的原图像。
若对上式(1)进行傅立叶变换而由频率空间表示，则如下式(2)所示，卷积积分以积的形式表示。
F(y)＝F(fd)·F(x)……(2)
其中，F(y)表示模糊图像y的傅立叶变换。F(fd)表示PSF的傅立叶变换。F(x)表示原图像x的傅立叶变换。
通过对上式(2)进行逆运算，能够推断原图像x。即，基于上式(2)，在频率空间将模糊图像除以PSF，由此求出原图像x的频率特性。进而，能够对该频率特性进行傅立叶逆变换而导出下式(3)。
x’＝F-1(F(y)/F(fd))……(3)
此外，x’表示所推断(复原)的原图像，F-1(g)表示函数g的傅立叶逆变换。根据上式(3)，在PSF已知的情况下，能够将模糊图像y复原至原图像x’。
因此，预先在控制部205内的存储器205a记录多个PSF。例如，作为将加速度信息作为自变量的LUT(Look Up Table)，预先在存储器205a记录有与加速度信息对应的各种PSF。此外，也可以根据微透镜L的PSF和加速度信息来计算并求出模糊的PSF。控制部205将基于从拍摄元件203读出的像素信号的图像作为模糊图像y，从存储器205a读出与振动检测部204所取得的加速度信息对应的PSF。而且，作为VR运算进行上述(3)的运算。换言之，控制部205使用存储于作为存储部的存储器205a的信息(根据加速度信息的值而不同的PSF)对图像模糊进行修正。由此，能够算出除去图像模糊后的图像即原图像x’。
如上所述，控制部205作为修正部发挥功能，该修正部基于振动检测部204所检测出的加速度信息，对通过限制了所入射的光的微透镜L而由像素组PXs取得的模糊图像y的图像模糊进行修正。
图像处理部207通过对原图像x’执行上述的重对焦处理，合成任意像面的图像。即，图像处理部207作为图像合成部发挥功能，该图像合成部基于由控制部205修正后的原图像x’合成任意像面的图像。
＜流程图的说明＞
图8是示出控制部205所执行的相机处理的流程的例子的流程图。控制部205在进行了主开关的接通操作的情况、进行了从休眠状态的恢复操作的情况下，使进行图8的处理的程序启动。在图8的步骤S10中，若控制部205进行例如释放操作，则开始自动曝光运算，进入步骤S20。控制部205例如基于未图示的测光传感器的测光值来求出被拍摄对象的辉度，并根据所求出的辉度来进行拍摄时的曝光控制。
步骤S20中，控制部205通过驱动拍摄元件203来开始拍摄工作，并进入步骤S30。步骤S30中，控制部205进行拍摄时的相机100的振动检测。具体而言，从振动检测部204输入检测信号而进入步骤S40。
步骤S40中，控制部205选择与来自振动检测部204的检测信号所示的加速度信息对应的PSF。在本实施方式中，读出在存储器205a中记录的PSF中与加速度信息对应的PSF而进入步骤S50。
步骤S50中，控制部205进行VR运算。控制部205对基于从配置于图7的A组的微透镜L的后方(Z轴负方向)的像素组PXs读出的像素信号的A组的LF图像，进行上式(3)的运算，算出A组的原图像。此处算出的A组的原图像成为缺失了与B组对应的部分的图像。另外，控制部205对基于从配置于图7的B组的微透镜L的后方(Z轴负方向)的像素组PXs读出的像素信号的B组的LF图像，进行上式(3)的运算，算出B组的原图像。此处算出的B组的原图像成为缺失了与A组对应的部分的图像。通过使A组的原图像与B组的原图像重叠，从另一方原图像对在一方原图像中缺失的部分进行填补，能够得到一个原图像。该原图像是除去了图像模糊后的LF图像。
步骤S60中，控制部205向图像处理部207发送指示，对除去图像模糊后的LF图像进行预定的图像处理，进入步骤S70。图像处理例如是生成预定的对焦位置、视点处的重对焦图像的重对焦处理。此外，图像处理例如也可以包括轮廓增强处理、颜色插值处理、白平衡处理等。
此外，也可以替换步骤S50(VR运算)与步骤S60(图像处理)的顺序。即，也可以先将A组的LF图像和B组的LF图像结合，对结合后的一个LF图像进行上式(3)的VR运算，从而算出除去图像模糊后的原图像(LF图像)。换言之，控制部205也可以作为对由图像处理部207合成后的图像的图像模糊进行修正的修正部发挥功能。
另外，步骤S10中的自动曝光运算不一定是必需的，也可以在预定的曝光条件、例如手动设定的曝光条件下进行拍摄。另外，对于步骤S20和步骤S30而言，既可以替换它们的顺序，也可以同时实施。
步骤S70中，控制部205使显示部208对进行图像处理后的图像进行再现显示，进入步骤S80。
控制部205例如也可以基于用户操作来使图像处理部207进行再次的重对焦处理，使显示部208显示由再次的重对焦处理生成的重对焦图像。例如，在用户对显示于显示部208的重对焦图像的一部分进行了点击操作的情况下，在显示部208显示对显示于该点击位置的被拍摄对象进行对焦的重对焦图像。
步骤S80中，控制部205生成图像文件，进入步骤S90。控制部205例如生成包括LF图像(除去图像模糊后的LF图像)的数据以及重对焦图像的数据在内的图像文件。
另外，控制部205也可以生成仅包括LF图像(除去图像模糊后的LF图像)的数据或者仅包括重对焦图像的数据的图像文件。
另外，控制部205也可以生成包括未除去图像模糊的A组的LF图像的数据以及未除去图像模糊的B组的LF图像在内的图像文件。在图像文件包括未除去图像模糊的LF图像的数据的情况下，之后进行的VR运算所需要的加速度信息即在拍摄时由振动检测部204检测出的加速度信息也与LF图像的数据相关联。
步骤S90中，控制部205在记录介质206中记录图像文件，进入步骤S100。步骤S100中，控制部205判定是否结束。控制部205例如在进行了主开关的切断操作的情况、在以无操作状态经过了预定时间的情况下，在步骤S100中进行肯定判定，结束图8的处理。另一方面，控制部205例如在进行了针对相机100的操作的情况下，在步骤S100中进行否定判定，返回步骤S10。返回至步骤S10的控制部205反复进行上述的处理。
根据上述的第一实施方式，得到以下的作用效果。
(1)作为光学装置的一个例子的相机100具备：拍摄元件203；和以使通过一个微透镜L后的光向拍摄元件203所具有的多个像素组PXs入射的方式呈二维状配置的多个微透镜L即微透镜阵列202。微透镜阵列202的多个微透镜L被附加通过随机形状的编码开口来限制入射光的一部分的掩模M。由此，与在拍摄透镜201设置随机形状的编码开口的情况相比，能够成为较小的结构。
(2)附加于微透镜L的掩模M具有掩模M1和掩模M2这两种开口图案。由此，与对配设于附加有掩模M1的微透镜L的后方的像素组PXs被限制了的光线相同的光线在配设于附加有掩模M2的微透镜L的后方的像素组PXs中不受限制地入射，所以在接近的多个各微透镜L中，从特定方向入射的光不会被全部限制。即，接近的多个像素组PXs的至少一个能够取得与从特定方向入射的光相关的光线信息。
(3)如图3的掩模Mb所示，在微透镜L6的入射面侧形成附加于微透镜L6的掩模Mb的开口图案。在像这样形成的情况下，例如能够通过向微透镜L6的表面的印刷来形成开口图案。
(4)如图3的掩模M所示，在微透镜L5的出射面侧形成附加于微透镜L5的掩模M的开口图案。在像这样形成的情况下，例如能够在使微透镜L5与透射基板202A一体化之前，通过向透射基板202A的上表面(Z轴正侧面)转印来形成开口图案。
(5)相机100具备控制部205，该控制部205基于振动检测部204所检测出的加速度信息，对通过微透镜L而由像素组PXs取得的LF图像的图像模糊进行修正。由此，能够通过修正处理例如VR运算来除去因相机100的摆动而产生的LF图像的图像模糊。
(6)相机100具备图像处理部207，该图像处理部207基于通过上述(5)的控制部205所进行的VR运算除去了图像模糊后的LF图像，例如通过重对焦处理对任意像面的图像进行合成。由此，能够基于除去图像模糊后的LF图像来进行重对焦处理。
(7)相机100的图像处理部207基于通过微透镜L而由像素组PXs取得的LF图像，例如通过重对焦处理对任意像面的图像进行合成，控制部205对由图像处理部207合成后的重对焦图像的图像模糊进行修正。由此，能够对重对焦处理后的任意像面的图像进行图像模糊的修正、例如VR运算。
(8)相机100具备存储控制部205在图像模糊修正、例如VR运算中使用的PSF的存储器205a。由于控制部205使用存储于存储器205a的PSF来修正图像模糊，所以能够从存储器205a适当地读出需要的PSF而用于VR运算。由此，能够适当地除去图像模糊。
(9)由于相机100的存储器205a存储根据加速度信息的值而不同的点扩散函数作为在图像模糊的修正例如VR运算中使用的信息，所以能够使用与相机100的振动相应的适当的PSF来适当地除去图像模糊。
另外，如下的变形也在本发明的范围内，还能够将一个或多个变形例与上述的实施方式进行组合。
(变形例1)
在上述的实施方式中，说明了将构成微透镜阵列202的所有微透镜L分为两个组并且区分使用两种掩模M的开口图案的例子。掩模M的开口图案也可以设置三种以上。在设置三种以上的掩模M的开口图案的情况下，将构成微透镜阵列202的所有微透镜L分为三组以上，将三种以上的开口图案的掩模分别用于各组即可。在分为三组以上的情况下，以不使附加有同种开口图案的掩模M的微透镜L的配置不均匀的方式在微透镜阵列202中均衡地镶嵌即可。通过增加开口图案的种类，能够减少图像中的莫尔条纹的产生。
(变形例2)
掩模M的开口图案不限定于组合上述的多个矩形而成的形状，也可以组合三角形、六边形等多边形的开口。另外，也可以组合圆形、椭圆形的开口。
另外，也可以呈螺旋状地构成开口的排列。
(变形例3)
在上述的实施方式中，对将掩模M的斜线所示的部分的透光率抑制为预定值(例如5％)以下的例子进行了说明，但也可以将掩模M的斜线所示的部分的透光率提高至例如30％、或者提高至50％。这是因为，在图像模糊修正的必要性较低的情况下，即在拍摄时由振动检测部204检测出的加速度信息为预定值以下的情况下，使用来自与掩模M的斜线所示的部分对应的像素PX的像素信号作为LF图像的数据。
具体而言，对来自与掩模M的斜线所示的部分对应的像素PX的像素信号乘以与透光率相应的增益，作为LF图像的数据使用。例如，在掩模M的斜线所示的部分的透光率为30％的情况下，与来自与掩模M的空白部分对应的像素PX的像素信号相比，通过乘以约3倍的增益，将来自与掩模M的斜线所示的部分对应的像素PX的像素信号作为和来自与掩模M的空白部分对应的像素PX的像素信号同等的信号水平的数据进行处理。由此，能够灵活利用对配设于附加有掩模M的微透镜L的后方的像素组PXs限制了的光线信息。
(第二实施方式)
在第二实施方式中，构成为对构成微透镜阵列202的微透镜L中的一部分微透镜L不附加掩模M。并且，使用从配设于未附加掩模M的微透镜L的后方的像素组PXs读出的像素信号进行焦点检测处理。
图9是示出第二实施方式中的微透镜阵列202的例子的图。与在第一实施方式中说明的图7相比，在未对中央的微透镜Lp附加掩模M的点上不同。配设于微透镜Lp的后方的像素组PXs不受编码开口对光线信息的限制。
此外，未附加掩模M的微透镜Lp的位置也不一定在中央。另外，未附加掩模M的微透镜Lp的个数不限定于一个，也可以设置多个。
控制部205基于从配设于微透镜Lp的后方的像素组PXs中与通过拍摄透镜201的不同区域的一对光束对应的像素PX读出的像素信号，对上述一对光束的一对像的图像偏离量(相位差)进行检测，由此运算拍摄透镜201的焦点调节状态(离焦量)。换言之，控制部205作为基于通过未限制所入射的光的微透镜Lp而由像素组PXs取得的图像进行焦点检测运算的焦点检测运算部发挥功能。上述一对像在拍摄透镜201在比预定焦面靠前的位置形成对象物的清晰像的所谓的前聚焦状态下相互接近，相反在比预定焦面靠后的位置形成对象物的清晰像的所谓的后聚焦状态下相互远离。即，一对像的相对位置偏移量与从相机100到对象物为止的距离对应。
这样的离焦量运算在相机的领域是公知的，因此省略详细的说明。
相机100的控制部205进行自动焦点调节工作，以使微透镜阵列202位于拍摄透镜201的预定焦面。其理由是，例如若受光元件阵列203B位于拍摄透镜201的焦面，则通过拍摄透镜201的不同区域后的光集中于一部分的像素PX，由此会难以取得恰当地具有光线信息的LF图像。
控制部205控制在拍摄画面的预定位置(称作焦点检测位置)，以对应的被拍摄对象(对象物)作为对象来调节焦点的自动焦点调节(自动对焦：AF)工作。控制部205基于离焦量运算结果，输出用于使构成拍摄透镜201的对焦透镜向合焦位置移动的驱动信号，基于该驱动信号，省略图示的焦点调节部使对焦透镜向合焦位置移动。控制部205用于进行自动焦点调节的处理也称作焦点检测处理。
在第二实施方式中，控制部205所进行的自动焦点调节工作至少用于使拍摄透镜201的焦点位置向比由从受光元件阵列203B的位置向Z轴正方向的距离f和从受光元件阵列203B的位置向Z轴负方向的距离f夹着的2f的范围更向外侧移动而进行。距离f与构成微透镜阵列202的微透镜L的焦距对应。
图10是示出控制部205所执行的相机处理的流程的例子的流程图。与在第一实施方式中说明的图8相比，在设置有步骤S10之前的步骤S1的点上不同。
步骤S1中，控制部205控制上述自动焦点调节工作而进入步骤S10。
此外，也可以替换步骤S1(自动焦点调节)和步骤S10(自动曝光运算)的顺序。
根据第二实施方式，通过使用从配设于未附加掩模M的微透镜Lp的后方的像素组PXs读出的像素信号，相机100不具备专用的焦点检测装置就能够进行焦点检测处理。
在上述内容中，对各种实施方式以及变形例进行了说明，但本发明不限定于上述内容。另外，也可以适当地组合各实施方式以及变形例。在本发明的技术思想的范围内可想到的其它技术方案也包含于本发明的范围内。
以下的优先权基础申请的公开内容作为引用文被援引至此。
日本国专利申请2016年第69738号(2016年3月30日申请)
附图标记的说明
100相机，201拍摄透镜，202微透镜阵列，203拍摄元件，203B受光元件阵列，204振动检测部，205控制部，205a存储器，206记录介质，207图像处理部，L、Lp、L1～L6微透镜，M、Ms掩模，PX像素，PXs像素组。

Claims (14)

1.一种光学装置，具备：
呈二维状配置的多个微透镜；和
拍摄传感器，其具有多个像素组，用各像素组分别接收通过所述多个微透镜中的各微透镜后的光，所述像素组包括多个像素，
所述多个微透镜中的至少一部分通过形成于微透镜的开口图案对入射光的一部分进行限制。
2.根据权利要求1所述的光学装置，
所述多个微透镜包括形成有至少两种开口图案的微透镜。
3.根据权利要求1或2所述的光学装置，
所述开口图案形成于所述微透镜的入射面侧。
4.根据权利要求1或2所述的光学装置，
所述开口图案形成于所述微透镜的出射面侧。
5.一种光学装置，具备：
呈二维状配置的多个微透镜；
拍摄传感器，其具有多个像素组，用各像素组分别接收通过所述多个微透镜中的各微透镜后的光，所述像素组包括多个像素；以及
具有预定开口图案的多个掩模，
所述多个掩模中的各掩模分别限制向所述多个微透镜中的至少一部分的各微透镜入射的光的一部分。
6.根据权利要求5所述的光学装置，
所述多个掩模包括具有至少两种开口图案的掩模。
7.根据权利要求5或6所述的光学装置，
所述掩模配置于所述微透镜的入射面侧。
8.根据权利要求5或6所述的光学装置，
所述掩模配置于所述微透镜的出射面侧。
9.根据权利要求1～8中任一项所述的光学装置，
具备修正部，所述修正部基于由加速度检测传感器检测出的加速度信息，对通过限制了所入射的光的所述微透镜而由所述像素组取得的图像的图像模糊进行修正。
10.根据权利要求9所述的光学装置，
具备图像合成部，所述图像合成部基于由所述修正部修正后的图像，合成任意像面的图像。
11.根据权利要求9所述的光学装置，
具备图像合成部，所述图像合成部基于通过所述微透镜而由所述像素组取得的图像，合成任意像面的图像，
所述修正部对由所述图像合成部合成后的图像的图像模糊进行修正。
12.根据权利要求9～11中任一项所述的光学装置，
具备存储部，所述存储部存储所述修正部在所述修正的运算中使用的信息，
所述修正部使用所述存储部所存储的信息对所述图像模糊进行修正。
13.根据权利要求12所述的光学装置，
所述存储部存储点扩散函数作为在所述修正的运算中使用的信息，所述点扩散函数根据所述加速度信息的值而不同。
14.根据权利要求1～13中任一项所述的光学装置，
具备焦点检测运算部，所述焦点检测运算部基于通过未限制所入射的光的所述微透镜而由所述像素组取得的图像，进行焦点检测运算。
CN201780019887.0A 2016-03-30 2017-03-27 光学装置 Pending CN108886568A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016069738 2016-03-30
JP2016-069738 2016-03-30
PCT/JP2017/012376 WO2017170392A1 (ja) 2016-03-30 2017-03-27 光学装置

Publications (1)

Publication Number Publication Date
CN108886568A true CN108886568A (zh) 2018-11-23

Family

ID=59964499

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780019887.0A Pending CN108886568A (zh) 2016-03-30 2017-03-27 光学装置

Country Status (4)

Country Link
US (1) US20190107688A1 (zh)
JP (1) JPWO2017170392A1 (zh)
CN (1) CN108886568A (zh)
WO (1) WO2017170392A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112018002233T5 (de) * 2017-04-27 2020-01-09 Mitsubishi Electric Corporation Bildlesegerät
KR20210124807A (ko) * 2020-04-07 2021-10-15 에스케이하이닉스 주식회사 이미지 센싱 장치

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008527944A (ja) * 2005-01-18 2008-07-24 リアデン リミテッド ライアビリティ カンパニー 符号化レンズ結像技術を用いて静止画像及び映像を取り込むための装置及び方法
CN101558370A (zh) * 2007-03-01 2009-10-14 夏普株式会社 显示面板用基板、显示面板、显示装置、和显示面板用基板的制造方法
CN101762969A (zh) * 2008-12-24 2010-06-30 东部高科股份有限公司 图像传感器的微透镜掩模及其用于形成微透镜的方法
US20100194901A1 (en) * 2009-02-02 2010-08-05 L-3 Communications Cincinnati Electronics Corporation Multi-Channel Imaging Devices
JP2012199614A (ja) * 2011-03-18 2012-10-18 Canon Inc 固体撮像素子および撮像装置
CN103026458A (zh) * 2010-08-06 2013-04-03 株式会社V技术 微透镜曝光装置
WO2014050699A1 (ja) * 2012-09-25 2014-04-03 富士フイルム株式会社 画像処理装置及び方法並びに撮像装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3697129B2 (ja) * 2000-01-20 2005-09-21 キヤノン株式会社 撮像装置
JP6348883B2 (ja) * 2015-06-17 2018-06-27 日本電信電話株式会社 画像撮像装置、画像撮像方法及びコンピュータプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008527944A (ja) * 2005-01-18 2008-07-24 リアデン リミテッド ライアビリティ カンパニー 符号化レンズ結像技術を用いて静止画像及び映像を取り込むための装置及び方法
CN101558370A (zh) * 2007-03-01 2009-10-14 夏普株式会社 显示面板用基板、显示面板、显示装置、和显示面板用基板的制造方法
CN101762969A (zh) * 2008-12-24 2010-06-30 东部高科股份有限公司 图像传感器的微透镜掩模及其用于形成微透镜的方法
US20100194901A1 (en) * 2009-02-02 2010-08-05 L-3 Communications Cincinnati Electronics Corporation Multi-Channel Imaging Devices
CN103026458A (zh) * 2010-08-06 2013-04-03 株式会社V技术 微透镜曝光装置
JP2012199614A (ja) * 2011-03-18 2012-10-18 Canon Inc 固体撮像素子および撮像装置
WO2014050699A1 (ja) * 2012-09-25 2014-04-03 富士フイルム株式会社 画像処理装置及び方法並びに撮像装置

Also Published As

Publication number Publication date
JPWO2017170392A1 (ja) 2019-03-07
WO2017170392A1 (ja) 2017-10-05
US20190107688A1 (en) 2019-04-11

Similar Documents

Publication Publication Date Title
US8325241B2 (en) Image pickup apparatus that stores adjacent and contiguous pixel data before integration of same
CN104662887B (zh) 图像处理设备、图像处理方法和具有该图像处理设备的摄像设备
US9426349B2 (en) Image processing apparatus, image processing method, image pickup apparatus, and display device
CN104125394B (zh) 摄像装置及其控制方法
CN104221365A (zh) 拍摄元件、摄影方法及拍摄装置
CN106847092B (zh) 一种显示面板、显示装置及其获取图像的方法
JP2013145979A (ja) 画像生成方法、撮像装置および表示装置、プログラム、記憶媒体
CN107431755B (zh) 图像处理设备、摄像设备、图像处理方法和存储介质
CN103685916A (zh) 具有摄像装置的摄像设备及其控制方法
JP2013026844A (ja) 画像生成方法及び装置、プログラム、記録媒体、並びに電子カメラ
CN104580921A (zh) 摄像设备及其控制方法
CN105359519B (zh) 摄像装置
CN108886568A (zh) 光学装置
US9854224B2 (en) Image processing apparatus, image capturing apparatus, and image processing program
CN104954645B (zh) 摄像元件、摄像设备和图像处理方法
JP2016001853A (ja) 画像処理装置、撮像装置、制御方法及びプログラム
US9888226B2 (en) Image capturing device and program to control image capturing device
JP6929511B2 (ja) 撮像素子、及び、撮像装置
CN104137532A (zh) 图像处理装置
JP6569769B2 (ja) 任意視点画像合成方法及び画像処理装置
CN106412532A (zh) 控制设备、摄像设备和控制方法
JP2020171050A (ja) 画像処理装置、撮像装置、画像処理方法、および、記憶媒体
JP2020134624A (ja) 撮像装置、撮像装置の制御方法、およびプログラム
JP5949893B2 (ja) 撮像装置
JP2013231746A (ja) 撮像素子

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181123