CN101390382A - 成像设备和图像处理方法 - Google Patents
成像设备和图像处理方法 Download PDFInfo
- Publication number
- CN101390382A CN101390382A CNA2006800534765A CN200680053476A CN101390382A CN 101390382 A CN101390382 A CN 101390382A CN A2006800534765 A CNA2006800534765 A CN A2006800534765A CN 200680053476 A CN200680053476 A CN 200680053476A CN 101390382 A CN101390382 A CN 101390382A
- Authority
- CN
- China
- Prior art keywords
- image
- imaging device
- conversion coefficient
- diffusion
- conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
Abstract
一种成像设备和图像处理方法,能够简化光学系统,降低成本,并且还能产生具有与光阑控制相一致的、适当的质量且噪声影响较小的恢复图像,所述成像设备包括:光学系统110、用于形成一阶图像的成像元件120、以及用于用一阶图像形成最终的高清晰图像的图像处理设备150,其中控制设备200检测光阑信息,并控制转换装置140,以便在光阑未闭合至预先确定的数值时,将成像元件120通过AFE 130捕捉到的物体的漫射图像信号输入至图像处理设备150,并将无漫射的图像信号输入至摄像机信号处理单元160,反之,在光阑闭合至预先确定的数值或闭合程度大于确定的数值时,将成像元件120通过AFE 130捕捉到的物体的漫射图像信号输入至摄像信号处理单元160,而不令其通过图像处理设备150。
Description
技术领域
本发明涉及数字静物摄像机、安装在移动电话中的摄像机、安装在个人数字助理中的摄像机、图像检查设备、自动控制用工业摄像机、或采用成像元件并具有光学系统的其他成像设备。
背景技术
近年来,信息数字化获得了快速的发展。信息数字化的快速发展带来了大量非凡的成就以满足成像领域的这种需求。
具体而言,以数字摄像机为代表,在成像表面内,大多数情况下,使用诸如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)传感器之类的固态成像元件,取代传统的胶卷。
使用CCD或CMOS传感器作为成像元件的成像透镜设备就这样利用光学系统以光学方式捕捉物体的图像,并利用成像元件将物像内容以电信号形式提取出来。除了数字静物摄像机,上述原理还适用于视频摄影机、数字视频单元、个人计算机、移动电话、个人数字助理(PDA)、图像检查设备、自动控制用工业摄像机等等。
图1是示意性地示出了普通成像透镜设备的结构以及光线状态的图。
该成像透镜设备1包括光学系统2以及CCD或CMOS传感器或者其他成像元件3。
光学系统包括从物体侧(OBJS)向成像元件3侧顺序排列的物体侧镜21和22、光阑(stop)23以及成像透镜24。
在成像透镜设备1中,如图1所示,令最佳焦平面同成像元件表面匹配。
图2A至图2C示出了成像透镜设备1的成像元件3的光接收表面上的光斑图像。
此外,现已提出采用相位片规则地漫射光线、采用数字处理恢复图像、并且从而实现大景深图像的捕获等功能的成像设备(参见比如非专利文献1和2以及专利文献1至5)。
此外,已提出利用传输函数进行滤波的数字摄像机的自动曝光控制系统(参见比如专利文献6)。
非专利文献1:“Wavefront Coding;jointly optimized optical and digitalimaging systems”,Edward R.Dowski,Jr.,Robert H.Cormack,Scott D.Sarama。
非专利文献2:“Wavefront Coding;A modern method of achieving highperformance and/or low cost imaging systems”,Edward R.Dowski,Jr.,Gregory E.Johnson。
专利文献1:USP6,021,005
专利文献2:USP6,642,504
专利文献3:USP6,525,302
专利文献4:USP6,069,738
专利文献5:日本专利公开(A)第2003-235794号
专利文献6:日本专利公开(A)第2004-153497号
发明内容
本发明所要解决的问题
以上阐释的文档中提出的全部成像设备都是以当在通常的光学系统中插入上述相位片时PSF(点扩散函数)保持不变为前提的。如果PSF发生改变,则很难利用后继内核通过卷积获得具有大景深的图像。
因此,除了单焦点透镜的情况,在变焦系统、AF系统等系统中,其光学设计的高精度以及相伴而生的成本增益将在采用变焦系统、AF系统等系统时引起严重的问题。
换句话说,在以上阐释的一般成像设备中,不可能实现合适的卷积运算。需要一种在“广角”模式和“远望”模式下消除散光、慧差、变焦色差、以及引起光斑图像偏差的其他像差的光学设计。
然而,消除上述相差的光学设计将会提高光学设计的难度,并引起诸如设计过程数量的增加、成本提高、以及镜头尺寸增大等问题。
此外,在以上阐释的各文档中公开的设备中,当比如在黑暗环境下捕捉图像,并利用信号处理恢复图像时,噪声也被同时放大。
因此,在包含光学系统以及采用比如上述相位片或其他光学波前调制元件的信号处理和此后的信号处理在内的光学系统中,存在当在黑暗环境下捕捉图像时,噪声将被放大,并对恢复图像造成影响的缺陷。
此外,采用以上技术,在比如捕捉明亮的物体时,如果关闭光阑,相位调制元件将被光阑覆盖。因此,存在相位变化减小的缺陷,因而,当进行图像恢复处理时,这会对恢复图像造成影响。
本发明提供一种成像设备和图像处理方法,能够简化光学系统,降低成本,并且还能产生具有与光阑控制相一致的、适当的质量且噪声影响较小的恢复图像的。
解决问题的方法
本发明方面的成像设备包括:光学系统、用于对光学传输函数(OTF)进行调制的光学波前调制元件、可变光阑、用于捕捉通过光学系统、可变光阑、光学波前调制元件的物像的成像元件、用于根据来自成像元件的物体漫射图像信号产生无漫射图像信号的转换装置、用于对图像信号执行预先确定处理的信号处理单元、用于存储信号处理单元运算系数的存储装置、以及用于控制光阑的控制装置,其中,控制装置在未将光阑闭合至预先确定的数值时,将来自成像元件的物体的漫射图像信号输入至转换装置,并将无漫射图像信号输入至信号处理单元,在将光阑闭合至预先确定的数值或以上时,将来自成像元件的物体的漫射图像信号输入至信号处理单元,而不令其通过转换装置。
优选地,所述光学波前调制元件具有以下作用:令OTF随物距的变化比未配备光学波前调制元件的光学系统的OTF变化小。
优选地,在比不包括光学波前调制元件的光学系统的物体景深更宽的物距上,配备所述光学波前调制元件的光学系统的OTF直至成像元件的奈奎斯特频率为止都等于或大于0.1。
优选地,在光学波前调制元件中,相位是由以下的等式所表示的,其中以光学系统的光轴作为z轴,以两条彼此垂直的轴作为x和y:
[等式1]
其中,n和m是整数,j=[(m+n)2+m+3n]/2,|x|≤1且|y|≤1。
优选地,所述信号处理单元包括用于进行降噪滤波的装置。
优选地,所述存储装置存储着根据曝光信息进行降噪处理所用的运算系数。
优选地,所述存储装置存储着根据曝光信息恢复光学传输函数(OTF)所用的运算系数。
优选地,所述曝光信息包括光阑信息。
优选地,所述成像设备配备有用于产生与到物体的距离相对应的信息的物距信息产生装置,并且所述转换装置基于由物距信息产生装置产生的信息,根据物体的漫射信号产生无漫射图像信号。
优选地,所述成像设备配备有:转换系数存储装置,用于根据物距存储至少两个或以上的与由光学波前调制元件或光学系统引起的漫射相对应的转换系数;以及系数选择装置,用于基于物距信息产生装置产生的信息,根据到物体的距离从转换系数存储装置中选择转换系数;并且,所述转换装置根据在系数选择装置中选定的转换系数对图像信号进行转换。
优选地,所述成像设备配备有转换系数运算装置,用于基于物距信息产生装置产生的信息执行对转换系数的运算,并且所述转换装置根据由转换系数运算装置得到的转换系数对图像信号进行转换。
优选地,在所述成像设备中,所述光学系统包括变焦光学系统,并且所述设备配备有:校正值存储装置,用于根据变焦光学系统的变焦位置或变焦量,预先存储至少一个或以上的校正值;第二转换系数存储装置,用于至少预先存储与由光学波前调制元件或光学系统引起的漫射相对应的转换系数;以及校正值选择装置,用于基于由所述物距信息产生装置产生的信息,根据到物体的距离从校正值存储装置中选择校正值;并且所述转换装置根据从第二转换系数存储装置获得的转换系数以及从校正值选择装置选定的校正值对图像信号进行转换。
优选地,所述校正值存储装置存储的校正值包括物体漫射图像的核尺寸。
优选地,所述成像设备配备有:物距信息产生装置,用于产生与到物体的距离相对应的信息;以及转换系数运算装置,用于根据由物距信息产生装置产生的信息执行对转换系数的运算;并且所述转换装置基于从所述转换系数运算装置获得的转换系数,对图像信号进行转换并且产生无漫射图像信号。
优选地,所述转换系数运算装置包括物体漫射图像的核尺寸作为变量。
优选地,所述设备包括存储装置,所述转换系数运算装置将找到的转换系数存储在存储装置中,并且所述转换装置根据存储在存储装置中的转换系数,对图像信号进行转换,并且产生无漫射图像信号。
优选地,所述转换装置基于所述转换系数执行卷积运算。
优选地,所述成像设备配备有:图像捕捉模式设置装置,用于设置所要捕捉的物体的图像捕捉模式;并且转换装置根据图像捕捉模式设置装置设置的图像捕捉模式执行不同的转换处理。
优选地,所述图像捕捉模式除了标准图像捕捉模式之外还包括微距图像捕捉模式或远景图像捕捉模式中的至少一种,当图像捕捉模式包括微距图像捕捉模式时,所述转换装置根据图像捕捉模式选择性地执行标准图像捕捉模式下的标准转换处理以及微距转换处理,所述微距转换处理与标准转换处理相比用于减小近侧漫射,并且当图像捕捉模式包括远景图像捕捉模式时,所述转换装置根据图像捕捉模式选择性地执行标准图像捕捉模式下的标准转换处理以及远景转换处理,所述远景转换处理标准转换处理相比用于减小远侧漫射。
优选地,所述设备还配备有转换系数存储装置,用于根据图像捕捉模式设置装置设置的每个图像捕捉模式,存储不同的转换系数;以及转换系数提取装置,用于根据所述图像捕捉模式设置装置设置的图像捕捉模式,从所述转换系数存储装置中提取转换系数;并且所述转换装置根据从所述转换系数提取装置获得的转换系数对图像信号进行转换。
优选地,转换系数存储装置包括物体漫射图像的核尺寸作为转换系数。
优选地,所述图像捕捉模式设置装置包括:操作开关,用于输入图像捕捉模式;以及物距信息产生装置,用于根据所述操作开关的输入信息,产生与到物体的距离相对应的信息;并且所述转换装置基于由所述物距信息产生装置产生的信息,将漫射图像信号转换为无漫射图像信号。
本发明的第二方案一种成像设备的图像处理方法,所述成像设备包括光学系统、可变光阑以及用于捕捉通过所述光学波前调制元件的物体图像,所述方法包括以下步骤:当未将所述光阑闭合至预先确定的数值时,根据来自成像元件的物体漫射图像信号产生无漫射图像信号,并且对无漫射图像信号执行预先确定的信号处理,并且当将所述光阑闭合至预先确定的数值或以上时,对来自成像元件的物体漫射信号执行预先确定的信号处理。
本发明的效果
根据本发明,可以获得以下优势:能够简化光学系统,能够降低成本,此外还可以获得具有与光阑控制相一致的、适当的图像质量且噪声影响较小的恢复图像。
附图说明
[图1]图1是示意性地示出了普通成像透镜设备的结构以及光线状态的图。
[图2]图2A至图2C是示出了成像透镜设备的成像元件的光接收表面上的光斑图像的图,其中图2A是示出了焦点偏移0.2mm(散焦=0.2mm)时的光斑图像的图,图2B是示出了聚焦(最佳焦距)情况下的光斑图像的图,图2C是示出了焦点偏移-0.2mm(散焦=-0.2mm)时的光斑图像的图。
[图3]图3是示出了依照本发明的成像设备实施例的结构的方框图。
[图4]图4是用于阐释根据光阑状态捕捉图像的处理控制。
[图5]图5是示意性地示出了位于依照本实施例的成像透镜设备的广角侧的变焦光学系统的结构示例的图。
[图6]图6是示意性地示出了位于依照本实施例的成像透镜设备的远望侧的变焦光学系统的结构示例的图。
[图7]图7是示出了在广角侧位于图像高度中心的光斑形状的图。
[图8]图8是示出了在远望侧位于图像高度中心的光斑形状的图。
[图9]图14是用于阐释DEOS原理的图。
[图10]图10A至图10C是示出了依照本实施例的成像元件的光接收表面上的光斑图像的图,其中图10A是示出了焦点偏移0.2mm(散焦=0.2mm)时的光斑图像的图,图10B是示出了聚焦(最佳焦距)情况下的光斑图像的图,图10C是示出了焦点偏移-0.2mm(散焦=-0.2mm)时的光斑图像的图。
[图11]图11A和图11B是用于阐释由依照本实施例的成像元件形成的一阶图像的MTF的图,其中图11A是示出了成像透镜设备的成像元件的光接收表面上的光斑图像的图,图11B示出了关于空间频率的MTF特性。
[图12]图12是用于阐释依照本实施例的图像处理装置中的MTF校正处理的图。
[图13]图29是用于具体阐释依照本实施例的图像处理装置中的MTF校正处理的图。
[图14]图14示出了在普通光学系统的情况下,当物体位于焦点位置时和物体偏离焦点位置时的MTF响应。
[图15]图15是示出了在配备有光学波前调制元件的本实施例的光学系统的情况下,当物体位于焦点位置时和物体偏离焦点位置时的MTF响应的图。
[图16]图16是示出了经根据本实施例的成像设备的数据恢复后的MTF响应的图。
[图17]图17是示出了用以包含本实施例的光学波前调制元件的光学系统的光轴作为z轴,以两条彼此垂直的轴作为x和y的方程表示的波前相差形状。
[图18]图18是显示了波前相差的形状,并用粗线示出了波前相差小于0.5λ的范围。
[图19]图19示出了核数据ROM的存储数据的示例(光学放大倍数)。
[图20]图20示出了核数据ROM的存储数据的另一示例(光圈值)。
[图21]图21示出了核数据ROM的存储数据的另一示例(光圈值)。
[图22]图22是一幅流程图,示意性地示出了曝光控制设备设置光学系统的处理。
[图23]图23示出了信号处理单元以及核数据存储器ROM的配置的第一示例。
[图24]图24示出了信号处理单元以及核数据存储器ROM的配置的第二示例。
[图25]图25示出了信号处理单元以及核数据存储器ROM的配置的第三示例。
[图26]图26示出了信号处理单元以及核数据存储器ROM的配置的第四示例。
[图27]图27示出了用于合并物距信息以及曝光信息的图像处理装置的配置的示例。
[图28]图28示出了用于合并变焦信息以及曝光信息的图像处理装置的配置的示例。
[图29]图29示出了利用曝光信息、物距信息和变焦信息的滤波器的配置的示例。
[图30]图30示出了用于合并图像捕捉模式信息以及曝光信息的图像处理装置的配置的示例。
标记说明
100...成像设备、110...光学系统、120...成像元件、130...模拟前端单元(AFE)、140...切换单元、140...切换单元、150...图像处理设备、160...摄像机信号处理单元、190...运算单元、200...控制设备、111...物侧镜、112...聚焦镜、113...波前成形形成光学元件、113a...相位片(光学波前调制元件)、152...卷积运算单元、153...核数据ROM、以及154...卷积控制单元。
具体实施方式
以下,将参照附图对本发明的实施例予以阐释。
图3是示出了依照本发明第一实施例的成像设备结构的方框图。
依照本实施例的成像设备100包括:光学系统110、成像元件120、模拟前端单元(AFE)130、切换单元140、图像处理设备150、摄像机信号处理单元160、图像显示存储器170、图像监控设备180、运算单元190、控制设备200以及可变光阑210。
光学系统110将捕捉物体OBJ得到的图像提供给成像元件120。
成像元件120由CCD或CMOS传感器配置而成,由光学系统110获得的图像形成于CCD或CMOS传感器中,并且CCD或CMOS传感器通过模拟前端单元130将形成的一阶图像信息作为一阶图像信号FIM的电信号输出至图像处理设备150。
在图3中,作为示例,将成像元件120描述为CCD。
模拟前端单元130包括定时发生器131以及模拟/数字(A/D)转换器132。
定时发生器131产生成像元件120的CCD的驱动定时,A/D转换器132将CCD输入的模拟信号转换成数字信号,并将后者输出至图像处理设备150。
切换单元140根据来自控制设备200的切换控制信号SCTL,选择性地将经AFE130输入的成像元件120捕捉到的图像信号输入至图像处理设备150或摄像机信号处理单元160。
在切换单元140中,固定触点a连接至AFE 130的A/D转换器132的输出线路,工作触点b连接至图像处理设备150的输入线路,工作触点c连接至摄像机信号处理单元160的信号输入线路。
当关闭光阑时,对切换单元140进行控制,使得固定触点a同工作触点c相连接。另一方面,当光阑开启时,对切换单元140进行控制,使得固定触点a同工作触点b相连接。
配置了一部分信号处理单元的图像处理设备(二维卷积装置)150将来自前级AFE 130的捕获图像的数字信号作为输入加以接收,应用二维卷积处理,并将结果传送至后级的摄像机信号处理单元(DSP)160。
图像处理设备150根据控制设备200的曝光信息,对光学传输函数(OTF)执行滤波。值得注意的是,曝光信息包括光阑信息。
图像处理设备150具有以下作用:根据来自成像元件120的物体漫射图像信号产生无漫射图像信号。此外,信号处理单元具有在初始步骤中采用降噪滤波的功能。
稍后将对图像处理设备150的处理予以更加详细的阐释。
摄像机信号处理单元(DSP)160执行彩色插值、白平衡、YCbCr转换处理、压缩、整理以及其他预先确定的图像处理,并向存储器170存储数据,在图像监控设备180中显示图像,等等。
控制设备200执行曝光控制,并且与此同时,等待运算单元190的运算输入等输入,根据这些输入确定整个系统的工作,控制AFE 130、图像处理设备150、DSP 160、可变光阑等,并对整个系统进行仲裁控制。
如图4所示,控制设备200检测光阑信息(ST101),并控制切换单元140,以便在光阑开启时通过AFE 130将成像元件120捕捉到的物体的漫射的图像信号输入至图像处理设备150,并将无漫射的恢复图像信号输入至摄像机信号处理单元160,反之,当光阑关闭时,将成像元件120捕捉到的物体的漫射的图像信号直接输入至摄像机信号处理单元160,而不令其通过图像处理设备150(ST102)。
以下,将更详细地对本实施例的光学系统和图像处理设备的配置以及功能加以阐释。
图5示意性地示出了位于依照本实施例的变焦光学系统110的结构示例。
此外,图6示意性地示出了位于依照本实施例的成像透镜设备的远望侧的变焦光学系统的结构示例。此外,图7示出了在依照本实施例的变焦光学系统的广角侧位于图像高度中心的光斑形状,图8示出了在依照本实施例的变焦光学系统的远望侧位于图像高度中心的光斑形状。
图5和图6的变焦光学系统110包括:安置于物体侧OBJS的物侧透镜111、用于在成像元件120中形成图像的成像透镜112以及光学波前调制元件(波前编码光学元件)组113,后者安置于接物镜111和成像透镜112间,包括用于使由成像透镜112形成于成像元件120的光接收表面上的、具有比如三维曲面形状的图像的波前变形的相位片(三次相位片)。此外,在接物镜111和成像透镜112间还安置了未示出的光阑。
举例而言,在本实施例中,配备了可变光阑200,并在曝光控制(设备)中对可变光阑的闭合度(开启度)加以控制。
值得注意的是,在本实施例中,对使用相位片的情况进行了阐释,然而,本发明的光学波前调制元件可以包括任意元件,只要该元件可以将波前变形即可。这些元件可以包括:改变厚度的光学元件(如,以上阐释的三次相位片)、改变折射率的光学元件(如,折射率分布型波前调制透镜)、通过覆盖透镜表面的方式改变厚度以及折射率的光学元件(如,波前编码混合透镜)、能够对光的相位分布进行调整的液晶设备(如,液晶空间相位调制设备)以及其他光学波前调制元件。
此外,在本实施例中,对使用相位片作为光学波前调制元件形成规则的漫射图像的情况进行了阐释,然而,如果选择了可以利用作为普通光学系统的透镜以和光学波前调制元件同样的方式形成规则的漫射图像的元件,那么仅仅通过光学系统而不使用光学波前调制元件就可以实现所述设备。此时,该设备无法处理由稍后将予以阐释的相位片所引起的漫射,但可以处理由光学系统引起的漫射。
图5和图6的变焦光学系统110是将光学相位片113a插入数字摄像机所用的3X变焦系统的示例。
如图所示的相位片113a是光学透镜,用于将由光学系统汇聚在一起的光线规则地漫射开来。通过插入该相位片,可以产生在成像元件120的任何位置都无法聚焦的图像。
换句话说,相位片113a形成了景深较大的光线(在成像时起关键作用)以及光斑(模糊部分)。
以下将用于通过数字处理方式将这种经规则漫射的图像恢复成聚焦图象的装置称为“波前相差控制光学系统”或景深扩展光学系统(DEOS)。该处理是在图像处理设备150中予以实现的。
此处,将对DEOS的基本原理加以阐释。
如图9所示,物像f进入DEOS光学系统H,从而产生了图像g。
此过程由以下等式予以表示:
(等式2)
g=H*f
其中,*表示卷积。
为了根据产生的图像找到物体,需要执行以下处理:
(等式3)
f=H-1*g
此处,将对有关H的核尺寸以及运算系数予以阐释。
将变焦位置定义为Zpn、Zpn-1、...。此外,将这些变焦位置的H函数定义为Hn、Hn-1、...。
由于光斑各不相同,因此H函数如下所示:
[等式4]
将该矩阵的行数和/或列数的差称为"核尺寸"。该矩阵的行数和/或列数为运算系数。
此处,可以将各H函数存储在存储器中,或将PSF定义为物距的函数,根据物距对其进行计算,以便为任意物距创建最佳滤波器。此外,可以将H函数用作物距的函数,并根据物距直接求得H函数。
在本实施例中,如图3所示,对该设备进行配置,使其从位于成像元件120处的光学系统110接收图像,当光阑开启时将其输入图像处理设备150,根据光学系统获取转换系数,并使用所获得的转换系数根据来自成像元件120的漫射图像信号产生无漫射图像信号。
值得注意的是,在本实施例中,“漫射”表示一种现象,其中,如以上所阐释的那样,插入相位片113a导致形成在成像元件120的任何位置都无法聚焦的图像,并导致由相位片113a形成景深较大的光线(在成像时起关键作用)以及光斑(模糊部分),并且含有与由于图像漫射并形成模糊部分的行为导致的相差相同的含义。因此,在本实施例中,还存在将漫射解释成相差的情形。
在本实施例中,采用了DEOS,因此可以获得高清晰的图像质量。此外,可以简化光学系统,并且能够降低成本。
以下,将对上述显著的特征予以阐释。
图10A至图10C示出了成像元件120的光接收表面上的光斑图像。
图10A示出了焦点偏移0.2mm(散焦=0.2mm)时的光斑图像,图10B示出了聚焦(最佳焦距)情况下的光斑图像,图10C示出了焦点偏移-0.2mm(散焦=-0.2mm)时的光斑图像。
根据图10A至图10C也可观察到,在依照本实施例的成像设备100中,包括相位片113a在内的波前形成光学元件组113形成了景深较大的光线(在成像时起关键作用)以及光斑(模糊部分)。
采用这种方式,为在本实施例的成像设备100中形成的一阶图像FIM赋予了产生大景深的光线条件。
图11A和图11B用于阐释由依照本实施例的成像透镜设备形成的一阶图像的调制传输函数(MTF),其中图11A示出了成像透镜设备的成像元件的光接收表面上的光斑图像,图11B示出了关于空间频率的MTF特性。
在本实施例中,最终的高分辨率图像留待用由比如数字信号处理器配置而成的后级图像处理设备150进行校正处理。因此,如图11A和图11B所示,一阶图像的MTF基本变为很小的数值。
如以上所阐释的那样,图像处理设备150接收来自成像元件120的一阶图像FIM,对其应用预先确定的校正处理等处理,以提高一阶图像空间频率的MTF,并形成最终的高清晰图像FNLIM。
图像处理设备150的MTF校正处理进行校正,使得举例而言如图12的曲线A所指示的那样,通过诸如以空间频率作为参数的边缘增强和色度增强等后处理,基本变为很小数值的一阶图像的MTF接近(达到)图12的曲线B所指示的特性。
正如在比如本实施例中一样,由图10中的曲线B所指示的特性是在未使用波前形成光学元件,且波前未变形的情况下获得的特性。
值得注意的是,本实施例中的所有校正均依照空间频率参数。
如图12所示,在本实施例中,为了获得MTF特性曲线B,将各个空间频率的边缘增强等的强度加以调节,以便对原始图像(一阶图像)进行校正,其中期望最终对MTF特性曲线A实现以光学方式得到的空间频率的MTF特性曲线B,针对每一个空间频率调节边缘增强等的强度以校正原始图像。
举例而言,在图12的MTF特性的情况下,关于空间频率的边缘增强曲线变为图13所示的曲线。
也就是说,通过衰减位于预先确定的空间频率带宽内的低频侧和高频侧的边缘增强,并增强中频区内边缘增强的方式,近似实现期望的MTF特性曲线B。
采用这种方式,依照本实施例的成像设备100是成像系统,后者主要由光学系统110、用于形成一阶图像的成像元件120以及用于用一阶图像形成最终的高清晰图像的图像处理设备150配置而成。光学系统新配备了波前形成光学元件,或者配备了表面形状适于波前成形以将所形成的图像的波前变形(调制)的玻璃、塑料,或其他光学元件。这种波前汇聚在由CCD或CMOS传感器形成的成像元件120的成像表面(光接收表面)上。令汇聚的一阶图像通过图像处理设备150从而获得高清晰图像。
在本实施例中,来自成像元件120的一阶图像被赋予了产生极大景深的光线条件。因此,一阶图像的MTF基本变为很小的数值,并用图像处理设备150对其MTF进行校正。
此处,将按照波动光学对在本实施例的成像设备100中的成像过程加以考虑。
球面波从物点的一点散开,通过成像光学系统后,变为会聚波。此时,如果成像光学系统不是理想光学系统,将产生相差。波前变为球形以外的复杂形状。波前光学在几何光学和波动光学间架起了一道桥梁。在处理波前现象时,这一点十分方便。
当在成像平面上处理波动光学MTF时,位于成像光学系统出瞳位置的波前信息变得十分重要。
MTF是利用位于成像点的波动光强分布的傅里叶变换计算得到的。波动光强分布是通过对波动光振幅分布取平方的方式得到的。波动光振幅分布是由位于出瞳位置的瞳孔函数的傅里叶变换求得的。
此外,瞳孔函数只是出瞳位置的波前信息(波前相差),因此如果能够严格地按通过光学系统110的数值计算波前相差,就可以计算得到MTF。
因此,如果利用预先确定的技术改变出瞳位置的波前信息,就可以随意改变成像平面上的MTF值。
另外在本实施例中,主要用波前形成光学元件改变波前形状。事实上,是对相位(沿着光线的光路的相位以及长度)加以调节,从而形成期望的波前。
接着,当形成目标波前时,通过由如图10A至图10C所示的几何光学光斑图像可见的稠密光线部分和稀疏光线部分形成发自出瞳的光线。
该光线状态的MTF在空间频率较低的位置呈现出较小的值,并以某种方式保持这一清晰度直至空间频率较高的位置。
也就是说,如果MTF值(或者,在几何光学上,光斑图像的状态)很小,则不会引起失真现象。
也就是说,低通滤波器是没有必要的。
此外,可以用由后级DSP等配置而成的图像处理设备150删除引起MTF下降的斑状图像。因此,MTF值得到了明显的提高。
下面,将对本实施例以及传统光学系统的MTF响应加以考察。
图14示出了在普通光学系统的情况下,物体位于焦点位置时和物体偏离焦点位置时的MTF响应。
图15示出了在配备有光学波前调制元件的本实施例的光学系统的情况下,当物体位于焦点位置时和物体偏离焦点位置时的MTF响应。
此外,图16示出了经依照本实施例的成像设备的数据恢复后的MTF响应。
从图中还可以观察到,在配备有光学波前调制元件的光学系统的情况下,即使在物体偏离焦点位置的情况下,MTF响应的改变也小于在未插入光学波前调制元件的光学系统中MTF响应的改变。
用卷积滤波器对该光学系统形成的图像加以处理,借以改进MTF响应。
优选地,如图15所示,配备了相位片的光学系统的OTF的绝对值(MTF)在奈奎斯特频率处等于或大于0.1。
这是由于,为了获得图16所示的恢复后的OTF,要用恢复滤波器提高增益,然而这意味着同时提高了传感器的噪声。因此,优选地,在进行恢复时要尽量避免位于奈奎斯特频率附近的高频的增益提升。
对一般光学系统而言,如果奈奎斯特频率处的MTF等于或大于0.1,就可以获得清晰图像。
因此,如果恢复前MTF等于或大于0.1,就可以不使用恢复滤波器提高奈奎斯特频率处的增益。如果恢复前MTF小于0.1,恢复图像将变为大受噪声影响的图像,因而这不是首选的。
此外,图17示出了用以包括光学波前调制元件的光学系统的光轴作为z轴,以两条彼此垂直的轴作为x和y的、以下的等式表示的波前相差形状。
[等式5]
Z=α’(x3+y3)
其中|x|≤1、|y|≤1、且Z表示波前相差。
在波前相差小于或等于0.5λ的范围内,相位变化较小,因而该光学系统具有无异于一般光学系统的OTF。因此当关闭光阑至波前相差变为约0.5λ时,就不执行图像恢复处理,而同一般光学系统一样,将图像信号输入至摄像机信号处理部分160。
值得注意的是,图17所示的形状只是一个示例。还可以采用任何其他形状,只要光学波前调制元件具有由以光学系统的光轴作为z轴,并以两条彼此垂直的轴作为x和y的、以下的等式表示的相位即可。
[等式6]
其中,n和m是整数,j=[(m+n}2+m+3n)]/2,|x|≤1且|y|≤1。
下面,将对图像处理设备150的结构以及处理加以阐释。
如图3所示,图像处理设备150包括:原始缓冲存储器151、卷积运算单元152、由核数据存储器ROM 153构成的存储装置以及卷积控制单元154。
卷积控制单元154控制卷积处理的开/关状态、屏幕尺寸、核数据替换等,并受控制设备200控制。
此外,如图19、图20或图21所示,所述设备将事先准备好的、由各光学系统的PSF计算得到的卷积用核数据存储在核数据存储器ROM 153中,获取控制设备200在设置曝光时确定的曝光信息,并对通过卷积控制单元154的核数据加以选择控制。
值得注意的是,曝光信息包括光阑信息.
在图19的示例中,核数据A是与光学放大倍数(X1.5)相对应的数据,核数据B是与光学放大倍数(X5)相对应的数据,核数据C是与光学放大倍数(X10)相对应的数据。
此外,在图20的示例中,核数据A是与光圈值(2.8)的光阑相对应数据,核数据B是与光圈值(4)相对应数据。值得注意的是,光圈值(2.8)和光圈值(4)均位于0.5λ的范围以外。
此外,在图21的示例中,核数据A是与100mm物距信息相对应的数据,核数据B是与500mm物距信息相对应的数据,核数据C与4m物距信息相对应的数据。
正如图20的示例所示,由于以下原因根据光阑信息进行滤波。
在在关闭光阑时捕捉图像的情况下,形成光学波前调制元件的相位片113a将被光阑覆盖,且相位发生改变,因此很难恢复准确图像。
因此,在本实施例中,正如在本示例中的那样,通过根据曝光信息中的光阑信息进行滤波的方式恢复准确图像。
图22是根据控制设备200的(包括光阑信息在内的)曝光信息进行切换的流程图。
首先,检测曝光信息(RP),并将其供至卷积控制单元154(ST111)。
在卷积控制单元154中,根据曝光信息RP,在寄存器中设置核尺寸以及数值运算系数(ST112)。
接着,根据存储在寄存器中的数据,对由成像元件120捕捉到的、并通过AFE 130输入至二维卷积运算单元152的图像数据进行卷积运算。将处理并转换后的数据传送至摄像机信号处理单元(DSP)160(ST113)。
以下,将对图像处理设备150的信号处理单元以及核数据存储器ROM的更具体的示例加以阐释。
图23示出了信号处理单元以及核数据存储器ROM的结构的第一示例。值得注意的是,为简单起见,省去了AFE等部件。
图24的示例是在滤波器核是根据曝光信息事先产生的情况下的方框图。
信号处理单元获取设置曝光时确定的曝光信息,并对通过卷积控制单元154的核数据加以选择和控制。二维卷积运算单元152利用核数据执行卷积处理。
图24示出了信号处理单元以及核数据存储器ROM结构的第二示例。值得注意的是,为简单起见,省去了AFE等部件。
图23的示例是在信号处理单元起始时提供了降噪滤波的步骤,并且与曝光信息相一致的降噪滤波ST1是作为滤波器核数据事先产生的情况下的方框图。
信号处理单元获取设置曝光时确定的曝光信息,并对通过卷积控制单元154的核数据加以选择控制。
在应用了降噪滤波器ST1后,二维卷积运算单元152利用颜色转换处理ST2对色彩空间进行转换,之后,利用核数据执行卷积处理ST3。
信号处理单元再次执行噪声处理ST4,并利用颜色转换处理ST5将经转换的色彩空间还原成原始的色彩空间。作为颜色转换处理,可以采用比如YCbCr转换,然而,还可以采用其他转换。
值得注意的是,还可以省略第二噪声处理ST4。
图25示出了信号处理单元以及核数据存储器ROM的结构的第三示例。值得注意的是,为简单起见,省去了AFE等部件。
图25的示例是在OTF恢复滤波器是根据曝光信息事先准备好的情况下的方框图。
信号处理单元获取设置曝光时确定的曝光信息,并对通过卷积控制单元154的核数据加以选择控制。
在降噪处理ST11和颜色转换处理ST12后,二维卷积运算单元152利用OTF恢复滤波器执行卷积处理ST13。
信号处理单元再次执行噪声处理ST14,并利用颜色转换处理ST15将经转换的色彩空间还原成原始的色彩空间。作为颜色转换处理,可以采用比如YCbCr转换,然而,还可以采用其他转换。
值得注意的是,还可以只执行降噪处理ST11和ST14其中之一。
图26示出了信号处理单元以及核数据存储器ROM结构的第四示例。值得注意的是,为简单起见,省去了AFE等部件。
图26的示例是在提供了降噪滤波的步骤,并且根据曝光信息实现配备降噪滤波器作为滤波器核数的方框图。
信号处理单元获取设置曝光时确定的曝光信息,并对通过卷积控制单元154的核数据加以选择控制。
在应用了降噪滤波器ST21后,二维卷积运算单元152利用颜色转换处理ST22对色彩空间进行转换,之后,利用核数据执行卷积处理ST23。
信号处理单元再次根据曝光信息执行噪声处理ST24,并利用颜色转换处理ST25将经转换的色彩空间还原成原始的色彩空间。作为颜色转换处理,可以采用比如YCbCr转换,然而,还可以采用其他转换。
值得注意的是,还可以省略噪声处理ST21。
以上,对仅根据曝光信息进行滤波的二维卷积运算单元152的示例进行了阐释,然而,通过合并比如物距信息、变焦信息或图像捕捉模式信息以及曝光信息,可以实现适当运算系数的提取或操作。
图27示出了用于合并物距信息以及曝光信息的图像处理装置结构的示例。
图27示出了用于根据来自成像元件120的物体的漫射图像信号产生无漫射图像信号的图像处理设备300的配置示例。
如图27所示,图像处理设备300包括:卷积设备301、核和/或数值运算系数存储寄存器302、以及图像处理处理器303。
在该图像处理设备300中,图像处理处理器303获得从近似物距信息检测设备400读出的、关于物体物距近似距离的信息以及曝光信息。将对物距位置进行适当运算所用的核尺寸及其运算系数存储在核和/或数值运算系数存储寄存器302中,并使用上述值利用卷积设备301执行适当运算,以便恢复图像。
如以上所阐释的那样,就将相位片(波前编码光学元件)作为光学波前调制元件的成像设备而言,如果在预先确定的焦距范围内,可以通过关于该范围的图像处理产生适当的无相差图像信号,然而,如果在预先确定的焦距范围之外,图像处理的校正将受到限制,因此,只有位于上述范围外的物体最终变为有相差的图像信号。
此外,另一方面,通过在预先确定的小范围内应用不引起相差的图像处理,也可能使预先确定的小范围外的图像变模糊。
本示例被配置为,利用包括距离检测传感器在内的近似物距信息检测设备400检测到主要物体的距离,并根据检测到的距离执行不同的图像校正处理。
上述图像处理是利用卷积运算予以实现的。为了实现卷积运算,举例而言,可以通常存储一种卷积运算的运算系数,根据焦距事先存储校正系数,利用该校正系数校正运算系数,并利用经校正的运算系数执行适当的卷积运算。
除了这种结构以外,还可以采用以下结构。
可以采用根据焦距事先存储的核尺寸以及卷积运算的运算系数本身,并利用上述存储的核尺寸以及运算系数执行卷积运算的结构;根据焦距事先以函数形式存储运算系数,根据焦距利用该函数求得运算系数,并利用算得的运算系数执行卷积运算的配置等等。
联系图27的结构,可以采用以下结构。
根据焦距,事先向由寄存器302构成的转换系数存储装置中存储至少两个或以上与由于至少相位片113a的缘故造成的相差相对应的转换系数。图像处理处理器303起系数选择装置的作用,用于根据由近似物距信息检测设备400构成的物距信息产生装置产生的信息,从寄存器302中选择与到物体的距离相一致的转换系数。
此外,由卷积设备301构成的转换装置根据在由图像处理处理器303构成的系数选择装置选定的转换系数对图像信号进行转换。
可选地,如以上所阐释的那样,由图像处理处理器303构成的转换系数运算装置根据由近似物距信息检测设备400构成的物距信息产生装置产生的信息对转换系数进行处理,并将处理结果存储在寄存器302中。
此外,由卷积设备301构成的转换装置根据由图像处理处理器303构成的转换系数运算装置获得的、并存储在寄存器302中的转换系数,对图像信号进行转换。
可选地,由寄存器302构成的校正值存储装置根据变焦位置或变焦光学系统110变焦量,事先存储至少一个或以上校正值。该校正值包括物体相差图像的核尺寸。
寄存器302还充当第二转换系数存储装置,事先存储与由相位片113a造成的相差相对应的转换系数。
接着,由图像处理处理器303构成的校正值选择装置根据由近似物距信息检测设备400构成的物距信息产生装置产生的距离信息,根据到物体的距离从由寄存器302构成的校正值存储装置中选择校正值。
由卷积设备301构成的转换装置根据从由寄存器302构成的第二转换系数存储装置获得的转换系数以及由图像处理处理器303构成的校正值选择装置选中的校正值,对图像信号进行转换。
图28示出了用于合并变焦信息以及曝光信息的图像处理装置结构的示例。
图28示出了用于根据来自成像元件120的物体的漫射图像信号产生无漫射图像信号的图像处理设备300A的配置示例。
如图28所示,和图27一样,图像处理设备300A包括:卷积设备301、核和/或数值运算系数存储寄存器302、以及图像处理处理器303。
在该图像处理设备300A中,图像处理处理器303获取从变焦信息检测设备500读出的、关于变焦位置或变焦量的信息以及曝光信息。将对曝光信息和变焦位置进行适当运算所用的核尺寸及其运算系数存储在核和/或数值运算系数存储寄存器302中,并执行适当运算,以在利用上述数值进行运算的卷积设备301处恢复图像。
如以上所阐释的那样,当将相位片作为光学波前调制光学元件应用于装备于变焦光学系统中的成像设备时,所产生的光斑图像随变焦光学系统的变焦位置变化。因此,当在后继DSP等部件中对由相位片获得的焦点偏移图像(光斑图像)进行卷积运算时,为了获得适当的聚焦图象,卷积运算随变焦位置改变是十分必要的。
因此,对本实施例加以配置,为其装备根据变焦位置执行适当卷积运算并对任意变焦位置均能获得适当聚焦图象的变焦信息检测设备500。
为了在图像处理设备300A中实现适当的卷积运算,可以将系统配置为通常在寄存器302中存储一种卷积运算的运算系数。
除了这种配置,还可以采用以下配置。
可以采用事先根据各变焦位置在寄存器302中存储校正系数,利用该校正系数对运算系数进行校正,并利用经校正的运算系数执行适当的卷积运算的配置;根据每个变焦位置,事先存储核尺寸以及卷积运算的运算系数本身,并利用上述存储的核尺寸以及运算系数执行卷积运算的配置;根据变焦位置事先以函数形式在寄存器302中存储运算系数,根据变焦位置利用该函数求得运算系数,并利用算得的运算系数执行卷积运算的配置等等。
将此同图28的配置相联系,可以采用以下配置。
由寄存器302构成的转换系数存储装置事先根据变焦光学系统110的变焦位置或变焦量,存储至少两个或以上与由相位片113a造成的相差相对应的转换系数。图像处理处理器303起系数选择装置的作用,用于基于由变焦信息检测设备500构成的变焦信息发生装置产生的信息,根据光学系统110的变焦位置或变焦量从寄存器302中选择转换系数。
然后,由卷积设备301构成的转换装置根据由图像处理处理器303构成的系数选择装置选定的转换系数对图像信号进行转换。
可选地,正如前面所阐释的那样,由图像处理处理器303构成的转换系数运算装置根据由变焦信息检测设备500构成的变焦信息发生装置产生的信息对转换系数进行处理,并将结果存储在寄存器302中。
接着,由卷积设备301构成的转换装置根据在由图像处理处理器303构成的转换系数运算装置中获得的转换系数对图像信号进行转换。
可选地,由寄存器302构成的校正值存储装置根据变焦光学系统110的变焦位置或变焦量,事先存储至少一个或以上校正值。该校正值包括物体相差图像的核尺寸。
寄存器302还充当第二转换系数存储装置,事先存储与由相位片113a造成的相差相对应的转换系数。
接着,由图像处理处理器303构成的校正值选择装置根据由变焦信息检测设备500构成的变焦信息发生装置产生的变焦信息,根据变焦位置或变焦量,从由寄存器302构成的校正值存储装置中选择校正值。
由卷积设备301构成的转换装置根据从由寄存器302构成的第二转换系数存储装置获得的转换系数以及由图像处理处理器303构成的校正值选择装置选中的校正值,对图像信号进行转换。
图29示出了利用了曝光信息、物距信息和变焦信息的滤波器结构的示例。
在本示例中,物距信息和变焦信息形成二维信息,曝光信息形成类似深度的信息。
图30示出了用于合并图像捕捉模式信息以及曝光信息的图像处理装置的配置的示例。
图30示出了用于来自成像元件120的物体的漫射图像信号产生无漫射图像信号的图像处理设备300B的配置示例。
如图30所示,和图27以及图28一样,图像处理设备300B包括:卷积设备301、由核和/或数值运算系数存储寄存器302构成的存储装置、以及图像处理处理器303。
在该图像处理设备300B中,图像处理处理器303获取从近似物距信息检测设备600读出的、关于物体物距近似距离的信息以及曝光信息。将对物距位置进行适当运算所用的核尺寸及其运算系数存储在核和/或数值运算系数存储寄存器302中,并利用上述值在卷积设备301中执行适当运算,以便恢复图像。
同样,在这种情况下,如以上所阐释的那样,就将相位片(波前编码光学元件)作为光学波前调制元件的成像设备而言,如果在预先确定的焦距范围内,可以通过关于该范围的图像处理产生适当的无相差图像信号,然而,如果在预先确定的焦距范围之外,图像处理的校正将受到限制,因此,只有位于上述范围外的物体最终变为有相差的图像信号。
此外,另一方面,通过在预先确定的小范围内应用不引起相差的图像处理,也可能使预先确定的小范围外的图像变模糊。
本示例被配置为,利用包括距离检测传感器在内的近似物距信息检测设备600检测到主要物体的距离,并根据检测到的距离执行不同的图像校正处理。
上述图像处理是利用卷积运算予以实现的。为了实现卷积运算,可以采用:通常存储一种卷积运算的运算系数,根据物距事先存储校正系数,利用该校正系数校正运算系数,并利用经校正的运算系数执行适当的卷积运算的配置;根据物距事先以函数形式存储与运算系数,根据焦距利用该函数求得运算系数,并利用算得的运算系数执行卷积运算的配置;以及根据焦距事先存储核尺寸以及卷积运算的运算系数本身,并利用上述存储的核尺寸以及运算系数执行卷积运算的配置等等。
在本实施例中,如以上所阐释的那样,图像处理随DSC(肖像、无穷远(风景)以及微距)模式设置改变。
将此同图30的结构相联系,可以采用以下结构。
正如前面所阐释的那样,将随由运算单元190的图像捕捉模式设置单元700设置的各图像捕捉模式而改变,通过由图像处理处理器303构成的转换系数运算装置的转换系数,存储在由寄存器302构成的转换系数存储装置中。
图像处理处理器303按照由图像捕捉模式设置单元700的运算开关701设置的图像捕捉模式,根据由近似物距信息检测设备600构成的物距信息产生装置产生的信息,从由寄存器302构成的转换系数存储装置中提取转换系数。此时,举例而言,图像处理处理器303起转换系数提取装置的作用。
此外,由卷积设备301构成的转换装置按照图像信号的图像捕捉模式,根据存储在寄存器302中的转换系数,执行转换处理。
值得注意的是,图5和图6的光学系统仅仅是示例而已。本发明并非总用于图5和图6的光学系统。此外,对于光斑形状也是一样,图7和图8仅仅是示例而已。本实施例的光斑形状不局限于图7和图8中所示的光斑形状。
此外,图19、图20和图21的核数据存储器ROM并非总用于光学放大倍数、光圈值、各个核的尺寸及其数值。此外,准备好的核数据的数量也并非局限于三个。
利用如图29所示的三维或维数更多的四维空间,存储量变得更大,然而,可以考虑各种条件,并选择更为合适的存储数据。上述信息还可以是上述曝光信息、物距信息、变焦信息、图像捕捉模式信息等。
值得注意的是,如以上所阐释的那样,就将相位片(波前编码光学元件)作为光学波前调制元件的成像设备而言,如果在预先确定的焦距范围内,可以通过关于该范围的图像处理产生适当的无相差图像信号,然而,如果在预先确定的焦距范围之外,图像处理的校正将受到限制,因此,只有位于上述范围外的物体最终变为有相差的图像信号。
此外,另一方面,过在预先确定的小范围内应用不引起相差的图像处理,也可能使预先确定的小范围外的图像变模糊。
如以上所阐释的那样,依照本实施例的,所述设备包括:光学系统110、用于形成一阶图像的成像元件120以及用于用一阶图像形成最终的高分辨率图像的图像处理设备150。控制设备200对转换装置140加以控制,以便在光阑未闭合至预先确定的数值时,通过AFE 130将成像元件120捕捉到的物体的漫射图像信号输入图像处理设备150,并将无漫射的恢复图像信号输入摄像机信号处理单元160,反之,在光阑闭合至预先确定的数值或闭合程度大于确定的数值时,直接通过AFE 130将成像元件120捕捉到的物体的漫射图像信号输入至摄像机信号处理单元160,而不令其通过图像处理设备150。因此,具有能够简化光学系统、降低成本、并且还可以获得具有与光阑控制相一致的适当质量且噪声影响较小的恢复图像的优势。
此外,令在卷积运算时使用的核尺寸以及用于数值运算的系数可变,并联系通过运算单元190等的输入获知的、且与上述系数相适应的核尺寸,具有可以在设计镜头时不必担心放大倍数以及散焦范围,以及可以用高精度卷积运算进行图像恢复的优点。
此外,具有能够无需使用设计难度较高、价格昂贵的、大尺寸光学镜头并且不用驱动镜头,即可获得所谓自然图像的优点,在自然图像中,所要捕捉的图像位于焦点之上,而背景却是模糊的。
此外,依照本实施例的成像设备100可用于出于对小尺寸、轻质量、以及数字摄像机、便携式摄像机、或其他消费电子设备的成本因素的考虑设计而成的变焦镜头的DEOS。
此外,在本实施例中,由于该设备具有装备了用于将由成像透镜112在成像元件120的光接收表面上形成的图像的波前加以变形的波前形成光学元件,并具有用于接收由成像元件120产生的一阶图像FIM,并利用预先确定的校正处理等处理提高一阶图像空间频率的MTF,并形成最终的高清晰图像FNLIM的图像处理设备150,因此具有可能获得高清晰图像质量的优势。
此外,可以简化光学系统110的配置,使其易于生产,进而降低成本。
当采用CCD或CMOS传感器作为成像元件时,存在由像素间距决定的分辨率极限。当光学系统的分辨率超过该极限分辨力时,就会产生混叠现象,并对最终图像造成不利影响。这是一个众所周知的事实。
为了改进图像质量,希望尽可能提高对比度,但这需要高性能的镜头系统。
然而,如以上所阐释的那样,当采用CCD或CMOS传感器作为成像元件时,会发生混叠。
此时,为了避免发生混叠,成像透镜系统联合使用由单轴晶体系统制成的低通滤波器,从而避免混叠现象。
就原理而言,按这种方式联合使用低通滤波器是可行的,然而由于低通滤波器本身是由晶体制成的,因此十分昂贵,且难于控制。此外,存在由于低通滤波器用于光学系统,光学系统复杂度增加的缺陷。
正如以上所说明的那样,更高分辨率的图像质量是时代潮流的要求。为了形成高分辨率图像,必需将传统成像透镜设备中的光学系统做得更加复杂。如果光学系统十分复杂,那么光学系统的制造就会变得十分困难。此外,使用昂贵的低通滤波器将导致成本增加。
然而,依照本实施例,无需使用低通滤波器就可以避免发生混叠现象,并可以获得高分辨率的图像质量。
值得注意的是,在本实施例中,对将光学系统的波前形成光学元件安置于光阑物体侧的示例进行了说明,然而,甚至将波前形成光学元件安置于和光阑相同的位置,或者安置于光阑聚焦镜侧,也可以获得同上述功能效果一样的功能效果。
值得注意的是,图5和图6的光学系统仅仅是示例而已。本发明未必用于图5和图6的光学系统。此外,对于光斑形状也是一样,图7和图8仅仅是示例而已。本实施例的光斑形状不局限于图5和图6中所示的光斑形状。
此外,图19、图20和图21的核数据存储器ROM并非总用于光学放大倍数、光圈值、各个核的尺寸及其数值。此外,准备好的核数据的数量也并非局限于三个。
工业实用性
依照本发明,能够简化光学系统、降低成本、并且还可以获得具有与光阑控制相一致的适当质量且噪声影响较小的恢复图像,因此,本发明可应用于数字静物摄像机、安装在移动电话中的摄像机、安装在个人数字助理中的摄像机、图像检查设备、自动控制用工业摄像机等设备。
Claims (23)
1.一种成像设备,包括:
光学系统,
光学波前调制元件,用于对光学传输函数(OTF)进行调制,
可变光阑,
成像元件,用于捕捉通过光学系统、可变光阑以及光学波前调制元件的物像,
转换装置,用于根据来自所述成像元件的物体漫射图像信号产生无漫射图像信号;
信号处理单元,用于对图像信号进行预先确定的处理,
存储装置,用于存储信号处理单元的运算系数,以及
控制装置,用于控制光阑,其中
所述控制装置在未将光阑闭合至预先确定的数值时,将来自成像元件的物体漫射图像信号输入至转换装置,并将无漫射图像信号输入至信号处理单元,在将光阑闭合至预先确定的数值或以上时,将来自成像元件的物体漫射图像信号输入至信号处理单元,而不令其通过转换装置。
2.根据权利要求1所述的成像设备,其中,所述光学波前调制元件具有以下作用:令OTF随物距的变化比未配备光学波前调制元件的光学系统的OTF变化小。
3.根据权利要求1所述的成像设备,其中,在比不包括光学波前调制元件的光学系统的物体景深更宽的物距上,配备所述光学波前调制元件的所述光学系统的OTF直至所述成像元件的奈奎斯特频率为止都等于或大于0.1。
4.根据权利要求1所述的成像设备,其中,在所述光学波前调制元件中,相位是由以下等式表示的,其中以光学系统的光轴作为z轴、以两条彼此垂直的轴作为x和y:
[等式1]
其中,n和m是整数,j=[(m+n)2+m+3n]/2,|x|≤1且|y|≤1。
5.根据权利要求1所述的成像设备,其中,所述信号处理单元包括用于进行降噪滤波的装置。
6.根据权利要求1所述的成像设备,其中,所述存储装置存储着根据曝光信息进行降噪处理所用的运算系数。
7.根据权利要求1所述的成像设备,其中,所述存储装置存储着根据曝光信息恢复光学传输函数(OTF)所用的运算系数。
8.根据权利要求6所述的成像设备,其中,所述曝光信息包括光阑信息。
9.根据权利要求1所述的成像设备,其中
所述成像设备包括物距信息产生装置,用于产生与到物体的距离相对应的信息,并且
所述转换装置基于由物距信息产生装置产生的信息,根据物体的漫射信号产生无漫射图像信号。
10.根据权利要求9所述的成像设备,其中
所述成像设备包括转换系数存储装置,用于根据物距,存储至少两个或以上的与由光学波前调制元件或光学系统引起的漫射相对应的转换系数,以及
系数选择装置,用于基于物距信息产生装置产生的信息,根据到物体的距离从转换系数存储装置中选择转换系数,并且
所述转换装置根据在系数选择装置中选定的转换系数对图像信号进行转换。
11.根据权利要求9所述的成像设备,其中
所述成像设备包括转换系数运算装置,用于基于由物距信息产生装置产生的信息执行对转换系数的运算,并且
所述转换装置根据从所述转换系数运算装置得到的转换系数对图像信号进行转换。
12.根据权利要求1所述的成像设备,其中,在所述成像设备中,
所述光学系统包括变焦光学系统,并且
所述设备包括:
校正值存储装置,用于根据变焦光学系统的变焦位置或变焦量,预先存储至少一个或以上的校正值,第二转换系数存储装置,用于至少预先存储与由所述光学波前调制元件或光学系统的引起的漫射相对应的转换系数,以及
校正值选择装置,用于基于由所述物距信息产生装置产生的信息,根据到物体的距离从所述校正值存储装置中选择校正值,并且
所述转换装置根据从第二转换系数存储装置获得的转换系数以及从校正值选择装置选定的校正值对图像信号进行转换。
13.根据权利要求12所述的成像设备,其中,所述校正值存储装置存储的校正值包括物体漫射图像的核尺寸。
14.根据权利要求1所述的成像设备,其中
所述成像设备配备有物距信息产生装置,用于产生与到物体的距离相对应的信息,以及
转换系数运算装置,用于根据由物距信息产生装置产生的信息执行对转换系数的运算,并且
所述转换装置基于从所述转换系数运算装置获得的转换系数,对图像信号进行转换并且产生无漫射图像信号。
15.根据权利要求14所述的成像设备,其中,所述转换系数运算装置包括物体漫射图像的核尺寸作为变量。
16.根据权利要求14所述的成像设备,其中
所述设备包括存储装置,
所述转换系数运算装置将找到的转换系数存储在存储装置中,并且
所述转换装置根据存储在存储装置中的转换系数,对图像信号进行转换,并且产生无漫射图像信号。
17.根据权利要求14所述的成像设备,其中所述转换装置基于转换系数执行卷积运算。
18.根据权利要求1所述的成像设备,其中
所述成像设备包括:图像捕捉模式设置装置,用于设置所要捕捉的物体的图像捕捉模式,并且
所述转换装置根据图像捕捉模式设置装置设置的图像捕捉模式执行不同的转换处理。
19.根据权利要求18所述的成像设备,其中
所述图像捕捉模式除了标准图像捕捉模式之外还包括微距图像捕捉模式或远景图像捕捉模式中的至少一种,
当图像捕捉模式包括微距图像捕捉模式时,所述转换装置根据图像捕捉模式选择性地执行标准图像捕捉模式下的标准转换处理以及微距转换处理,所述微距转换处理与标准转换处理相比用于减小近侧漫射,并且
当图像捕捉模式包括远景图像捕捉模式时,所述转换装置根据图像捕捉模式选择性地执行标准图像捕捉模式下的标准转换处理以及远景转换处理,所述远景转换处理与标准转换处理相比用于减小远侧漫射。
20.根据权利要求18所述的成像设备,其中,所述设备包括:
转换系数存储装置,用于根据所述图像捕捉模式设置装置设置的每个图像捕捉模式,存储不同转换系数,以及
转换系数提取装置,用于根据所述图像捕捉模式设置装置设置的图像捕捉模式,从所述转换系数存储装置中提取转换系数,并且
所述转换装置根据从所述转换系数提取装置获得的转换系数对图像信号进行转换。
21.根据权利要求20所述的成像设备,其中,所述转换系数存储装置包括物体漫射图像的核尺寸作为转换系数。
22.根据权利要求18所述的成像设备,其中,所述图像捕捉模式设置装置包括:
操作开关,用于输入所述图像捕捉模式,以及
物距信息产生装置,用于根据所述操作开关的输入信息,产生与到物体的距离相对应的信息,并且
所述转换装置基于由所述物距信息产生装置产生的信息,将漫射图像信号转换为无漫射图像信号。
23.一种成像设备的图像处理方法,所述成像设备包括光学系统、可变光阑和成像元件,用于捕捉通过所述光学波前调制元件的物体图像,所述方法包括以下步骤:
当未将所述光阑闭合至预先确定的数值时,根据来自成像元件的物体漫射图像信号产生无漫射图像信号,并且对无漫射图像信号执行预先确定的信号处理,并且
当将所述光阑闭合至预先确定的数值或以上时,对来自成像元件的物体漫射图像信号执行预先确定的信号处理。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005376664 | 2005-12-27 | ||
JP376664/2005 | 2005-12-27 | ||
PCT/JP2006/324857 WO2007074649A1 (ja) | 2005-12-27 | 2006-12-13 | 撮像装置およびその画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101390382A true CN101390382A (zh) | 2009-03-18 |
CN101390382B CN101390382B (zh) | 2011-01-12 |
Family
ID=38217870
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2006800534765A Expired - Fee Related CN101390382B (zh) | 2005-12-27 | 2006-12-13 | 成像设备和图像处理方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8049798B2 (zh) |
EP (1) | EP1971135A4 (zh) |
JP (1) | JP4663737B2 (zh) |
CN (1) | CN101390382B (zh) |
WO (1) | WO2007074649A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102759796A (zh) * | 2012-05-09 | 2012-10-31 | 中国科学院上海技术物理研究所 | 计算全息多点瞬时定位多自由度成像光学系统光校技术 |
CN104079818A (zh) * | 2013-03-26 | 2014-10-01 | 佳能株式会社 | 摄像装置、图像处理系统、摄像系统和图像处理方法 |
CN104427225A (zh) * | 2013-08-22 | 2015-03-18 | 佳能株式会社 | 摄像设备和摄像设备的控制方法 |
CN110987382A (zh) * | 2019-12-28 | 2020-04-10 | 上海唯视锐光电技术有限公司 | 激光显示彩色散斑的测量设备及其测量方法 |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007322560A (ja) | 2006-05-30 | 2007-12-13 | Kyocera Corp | 撮像装置、並びにその製造装置および製造方法 |
JP2008048293A (ja) | 2006-08-18 | 2008-02-28 | Kyocera Corp | 撮像装置、およびその製造方法 |
JP4749984B2 (ja) | 2006-09-25 | 2011-08-17 | 京セラ株式会社 | 撮像装置、並びにその製造装置および製造方法 |
US8567678B2 (en) | 2007-01-30 | 2013-10-29 | Kyocera Corporation | Imaging device, method of production of imaging device, and information code-reading device |
WO2008117766A1 (en) * | 2007-03-26 | 2008-10-02 | Fujifilm Corporation | Image capturing apparatus, image capturing method and program |
JP2008268869A (ja) | 2007-03-26 | 2008-11-06 | Fujifilm Corp | 撮像装置、撮像方法、及びプログラム |
JP2009010730A (ja) | 2007-06-28 | 2009-01-15 | Kyocera Corp | 画像処理方法と該画像処理方法を用いた撮像装置 |
US8462213B2 (en) | 2008-03-27 | 2013-06-11 | Kyocera Corporation | Optical system, image pickup apparatus and information code reading device |
US8363129B2 (en) | 2008-06-27 | 2013-01-29 | Kyocera Corporation | Imaging device with aberration control and method therefor |
WO2010019757A1 (en) * | 2008-08-14 | 2010-02-18 | Remotereality Corporation | Three-mirror panoramic camera |
US8502877B2 (en) | 2008-08-28 | 2013-08-06 | Kyocera Corporation | Image pickup apparatus electronic device and image aberration control method |
JP4743553B2 (ja) | 2008-09-29 | 2011-08-10 | 京セラ株式会社 | レンズユニット、撮像装置、および電子機器 |
JP5597968B2 (ja) * | 2009-07-01 | 2014-10-01 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに記録媒体 |
JP4931266B2 (ja) * | 2010-08-27 | 2012-05-16 | キヤノン株式会社 | 画像処理方法、画像処理装置および画像処理プログラム |
JP5183715B2 (ja) * | 2010-11-04 | 2013-04-17 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP5451704B2 (ja) * | 2010-12-22 | 2014-03-26 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム、および画像処理システム |
JP5615393B2 (ja) | 2013-01-28 | 2014-10-29 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6021005A (en) | 1998-01-09 | 2000-02-01 | University Technology Corporation | Anti-aliasing apparatus and methods for optical imaging |
US6069738A (en) | 1998-05-27 | 2000-05-30 | University Technology Corporation | Apparatus and methods for extending depth of field in image projection systems |
JP2000098301A (ja) * | 1998-09-21 | 2000-04-07 | Olympus Optical Co Ltd | 拡大被写界深度光学系 |
US6642504B2 (en) | 2001-03-21 | 2003-11-04 | The Regents Of The University Of Colorado | High speed confocal microscope |
US6525302B2 (en) | 2001-06-06 | 2003-02-25 | The Regents Of The University Of Colorado | Wavefront coding phase contrast imaging systems |
JP3791777B2 (ja) | 2001-12-28 | 2006-06-28 | オリンパス株式会社 | 電子内視鏡 |
JP3958603B2 (ja) | 2002-02-21 | 2007-08-15 | オリンパス株式会社 | 電子内視鏡システム及び電子内視鏡システム用の信号処理装置 |
JP2004153497A (ja) | 2002-10-30 | 2004-05-27 | Kyocera Corp | ディジタルカメラの自動露出制御システム |
JP2004328506A (ja) * | 2003-04-25 | 2004-11-18 | Sony Corp | 撮像装置および画像復元方法 |
JP2007322560A (ja) * | 2006-05-30 | 2007-12-13 | Kyocera Corp | 撮像装置、並びにその製造装置および製造方法 |
US20100310246A1 (en) * | 2009-06-04 | 2010-12-09 | Digital Imaging Systems Gmbh | Method for using a variable aperture to tune image quality parameters in a camera system |
-
2006
- 2006-12-13 US US12/159,593 patent/US8049798B2/en not_active Expired - Fee Related
- 2006-12-13 CN CN2006800534765A patent/CN101390382B/zh not_active Expired - Fee Related
- 2006-12-13 JP JP2007551895A patent/JP4663737B2/ja not_active Expired - Fee Related
- 2006-12-13 EP EP06834612A patent/EP1971135A4/en not_active Withdrawn
- 2006-12-13 WO PCT/JP2006/324857 patent/WO2007074649A1/ja active Application Filing
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102759796A (zh) * | 2012-05-09 | 2012-10-31 | 中国科学院上海技术物理研究所 | 计算全息多点瞬时定位多自由度成像光学系统光校技术 |
CN102759796B (zh) * | 2012-05-09 | 2014-07-23 | 中国科学院上海技术物理研究所 | 计算全息多点瞬时定位多自由度成像光学系统光校技术 |
CN104079818A (zh) * | 2013-03-26 | 2014-10-01 | 佳能株式会社 | 摄像装置、图像处理系统、摄像系统和图像处理方法 |
CN104079818B (zh) * | 2013-03-26 | 2018-01-30 | 佳能株式会社 | 摄像装置、图像处理系统、摄像系统和图像处理方法 |
CN104427225A (zh) * | 2013-08-22 | 2015-03-18 | 佳能株式会社 | 摄像设备和摄像设备的控制方法 |
US9781332B2 (en) | 2013-08-22 | 2017-10-03 | Canon Kabushiki Kaisha | Image pickup apparatus for acquiring a refocus image, method of controlling image pickup apparatus, and non-transitory computer-readable storage medium |
CN104427225B (zh) * | 2013-08-22 | 2018-01-30 | 佳能株式会社 | 摄像设备和摄像设备的控制方法 |
CN110987382A (zh) * | 2019-12-28 | 2020-04-10 | 上海唯视锐光电技术有限公司 | 激光显示彩色散斑的测量设备及其测量方法 |
Also Published As
Publication number | Publication date |
---|---|
US20090303355A1 (en) | 2009-12-10 |
EP1971135A4 (en) | 2010-03-31 |
WO2007074649A1 (ja) | 2007-07-05 |
US8049798B2 (en) | 2011-11-01 |
EP1971135A1 (en) | 2008-09-17 |
CN101390382B (zh) | 2011-01-12 |
JP4663737B2 (ja) | 2011-04-06 |
JPWO2007074649A1 (ja) | 2009-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101390382B (zh) | 成像设备和图像处理方法 | |
CN101366270B (zh) | 成像设备和成像方法 | |
JP4712631B2 (ja) | 撮像装置 | |
JP4749959B2 (ja) | 撮像装置、並びにその製造装置および製造方法 | |
JP4818957B2 (ja) | 撮像装置およびその方法 | |
US8462213B2 (en) | Optical system, image pickup apparatus and information code reading device | |
JP2008048293A (ja) | 撮像装置、およびその製造方法 | |
JP2007322560A (ja) | 撮像装置、並びにその製造装置および製造方法 | |
EP1954030B1 (en) | Image pickup apparatus and image processing method | |
JP2007300208A (ja) | 撮像装置 | |
JP4693720B2 (ja) | 撮像装置 | |
JP4364847B2 (ja) | 撮像装置および画像変換方法 | |
JP4813147B2 (ja) | 撮像装置および撮像方法 | |
CN101258740A (zh) | 摄像装置及图像处理方法 | |
JP4818956B2 (ja) | 撮像装置およびその方法 | |
JP4812541B2 (ja) | 撮像装置 | |
JP2008245265A (ja) | 撮像装置、並びにその製造装置および製造方法 | |
JP4722748B2 (ja) | 撮像装置およびその画像生成方法 | |
JP2009134023A (ja) | 撮像装置および情報コード読取装置 | |
JP2009008935A (ja) | 撮像装置 | |
JP2009010783A (ja) | 撮像装置 | |
JP4948967B2 (ja) | 撮像装置、並びにその製造装置および製造方法 | |
JP4916869B2 (ja) | 撮像装置、並びにその製造装置および製造方法 | |
JP4948990B2 (ja) | 撮像装置、並びにその製造装置および製造方法 | |
JP2009134024A (ja) | 撮像装置および情報コード読取装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110112 Termination date: 20111213 |