具体实施方式
以下实施例用于说明本发明,但不用来限制本发明的范围。
1.本发明实现全焦距无像差的原理
任何物距都可以成像于其共轭平面,其特点是完全聚焦。共轭平面的图像和其投影平面(感光平面)的图像有着一对一的对应关系,理论上说这种对应关系是互逆的因果关系,因此就可以根据感光平面的模糊的影像数据求出共轭平面的清晰的虚拟影像,进一步可以将共轭平面的虚拟聚焦清晰影像数据进行理论上的延光心(消像差)投射线的方向再次映射到感光平面内,推导出感光平面内的聚焦清晰的映射的影像。
从数学关系上看,光学图像摄取系统是线性空变系统,其点分布函数/点分布函数或光学传递函数PSF/OTF是随光源的位置(物距,离轴的坐标及光的颜色)变化的。这种变化是有规律的。这个线性空变系统的数学描述有连续表达方式和离散表达方式。下面给出其详细描述。
1.1线性空变系统数学描述的连续表达方式
来自同一(系统误差可接受的接近的)物距的光源的成像区域内看成是单一物距区域,其共同边缘是交融区域,其内部是非交融单一物距区域。在非交融单一物距区域内,每个颜色的PSF/OTF是在精度范围内不变的或近似不变的,符合线性空不变的原则;在交融区域,在每个颜色共存两个或多个PSF/OTF同时作用于该区域,在这些PSF/OTF固定的前提下(即边界两边的区域对应的物距不变的前提下),符合线性空不变的原则,但作用PSF/OTF是超过一个的、固定(跟随邻域PSF)的、叠加的。在单物距平面内,PSF/OTF随空域坐标的渐变如果不能忽略,则在该平面内也是线性空变系统,但为有规律的空变,即PSF/OTF变化是有规律的,PSF/OTF的特征量是单特征的。
线性空变系统中,在交融区域的模糊图像与理想图像具有连续表达方式:
u(x,y)-n(x,y)=va(x,y)*ha(x,y;x0,y0)
+vb(x,y)*hb(x,y;x0,y0)+vc(x,y)*hc(x,y;x0,y0)+…
其中,u(x,y)为通过透镜得到的原始模糊图像中某点的像素值,该点的横坐标为x、纵坐标为y,以下通称u(x,y)为模糊图像;n(x,y)为作用于原始模糊图像中某点的加性噪声值,该点的横坐标为x、纵坐标为y,以下通称n(x,y)为加性噪声;va(x,y)为来自物距为a的平面的理想图像中某点的像素值,该点的横坐标为x、纵坐标为y;同样,vb(x,y)为来自物距为b的平面的理想图像中某点的像素值,该点的横坐标为x、纵坐标为y;vc(x,y)为来自物距为b的平面的理想图像中某点的像素值,该点的横坐标为x、纵坐标为y。以下分别通称va(x,y)、vb(x,y)、vc(x,y)为来自物距为a、b、c的理想图像。
其中,分别来自物距为a、b、c的理想图像va(x,y)、vb(x,y)、vc(x,y)对应的点分布函数为ha(x,y,x0,y0)、hb(x,y,x0,y0)、hc(x,y,x0,y0),理想图像中的像素值与对应于该理想图像的点分布函数进行卷积运算得到输出的模糊图像。
在该线性空变系统的模糊降质模型中,对于在非交融单一物距区域模糊图像与理想图像具有连续表达方式:
u(x,y)-n(x,y)=va(x,y)*ha(x,y;x0,y0)
与交融区域表达式中的含义相同,u(x,y)为通过透镜得到的原始模糊图像中某点的像素值,该点的横坐标为x、纵坐标为y;n(x,y)为作用于原始模糊图像中某点的加性噪声值,该点的横坐标为x、纵坐标为y;va(x,y)为来自物距为a的平面的理想图像中某点的像素值,该点的横坐标为x、纵坐标为y;ha(x,y,x0,y0)来自物距为a的平面的理想图像对应的点分布函数。
1.2线性空变系统数学描述的离散表达方式
通过共轭平面的使用,C2B(清晰到模糊)锥形映射、B2C(模糊到清晰)锥形逆映射方法的使用建立了失焦模糊(blurred)图像和其对应的精确清晰(clear)图像的对应关系(B2C方程):
该方程表示模糊图像及其对应的精确清晰图像的对应关系,其中Z′i,j为模糊图像矩阵的一个元素点(i,j)的像素值,Xαp,q,Xβp,q,Xγp,q……分别为来自不同物距平面的、被处理后的、映射到成像平面的清晰图像矩阵中的能映射到(i,j)点的一点(p,q)的像素值, 分别为Xαp,q,Xβp,q,Xγp,q……映射到模糊平面的(i,j)点的映射系数,a,b,c,...为来自不同物距平面的不同非交融单一物距平面的弥散半径;
在对离散的图像数据进行分析时,视野内的影像透过镜头在成像平面内的投影的影像矩阵为Z’,该影像包括清晰聚焦的影像(焦点附近)和模糊聚焦的影像(失焦)。
其中(2n+2h+1),(2m+2h+1)分别为数码影像传感到的纵横点数,h为正整数,为图像Z’的最大的弥散半径,2m+1,2n+1为要求的清晰矩阵的纵横像素点数。
然后定义视野内具有不同的物距的物体透过同一镜头在成像平面内的投影分别为矩阵Xα’,Xβ’,Xγ’...则Z’矩阵就是Xα’,Xβ’,Xγ’...的线性叠加。
并且Z′=Xα′+Xβ′+Xγ′+...
其中Z’,Xα’,Xβ’,Xγ’...的所有元素都为正实数(像素值),(2n+2h+1),(2m+2h+1)分别为数码相机影像传感到的纵横像素点数,h为a,b,c...的最大值,正整数a,b,c...分别为Xα’,Xβ’,Xγ’...的弥散半径。
接着定义视野内具有不同的物距的物体透过同一镜头在其各自的共轭平面内的清晰成像的矩阵分别为Xα c,Xβ c,Xγ c...定义透过光心O、映射矩阵Xα c,Xβ c,Xγ c...到感光平面的映射矩阵分别为Xα,Xβ,Xγ...其线性叠加的和为Z。即
Z=Xα+Xβ+Xγ+…
具体表示为
并且Z=Xα+Xβ+Xγ+...
将任何矩阵都在物理上定义为一个平面。所以以上提到各个矩阵分别为Z’,Z,Xα’,Xβ’,Xγ’...Xα c,Xβ c,Xγ c...Xα,Xβ,Xγ...平面,后面还有Xα”i,j,Xβ”i,j,Xγ”i,j...平面。本文中每个平面或矩阵的坐标都是统一的(0,0)。
1.2.1线性空变系统中图像清晰点到其光斑的映射关系---(C2B锥形映射)
定义Xα,Xβ,Xγ...中任一元素Xαi,j,Xβi,j,Xγi,j...(i的范围是[-n,n],j的范围是[-m,m])映射回Xα c,Xβ c,Xγ c...平面然后再映射到Z’成像平面,则散发为一个光斑,该光斑矩阵定义为Xα”i,j,Xβ”i,j,Xγ”i,j...其中任一元素 表示点Xαi,j,Xβi,j,Xγi,j...在X″α,X″β,X″γ,...平面上p,q点的投影(p,q分别为投影点,投影为光斑,如果透镜的物理性质理想,投影光斑为圆(但实际的情况不一定是标准圆),这里定义其为在正方矩阵,光斑外正方范围内的点的值定义为零。
该矩阵表示为
.....
基于以上分析,根据能量守恒定律,我们可以得到物理关系及清晰点和其映射光斑的关系:
.....
根据物理学原理,由于光学系统的特性,被映射点的能量和映射点的能量是成正比例关系的,其比例关系在这里定义为K.
......
p,q的范围分别为{[i-a,i+a],[j-a,j+a]},{[i-b,i+b],[j-b,j+b]},{[i-c,i+c], 是在以i,j点为中心,2a,2b,2c...为边长的正方矩阵。其物理意义表示点(i,j)的光能(光照强度即像素值)Xαi,j,Xβi,j,Xγi,j,...在X″α,X″β,X″γ,...平面上p,q点的投影能量分量的系数。投影为光斑,如果透镜的物理性质理想,投影光斑为圆,(但实际的情况不一定是标准圆),这里将其在光斑外正方矩阵内的点的像素值定义为零。
根据能量守恒原理,我们可以得出
1.2.2可映射的清晰点和模糊点的映射关系---(B2C锥形逆映射)
根据分析,我们可以得到另一个物理关系
根据物理关系,p,q的范围分别为{[i-a,i+a],[j-a,j+a]},{[i-b,i+b],[j-b,j+b]},{[i-c,i+c],[j-b,j+c]}...这里的 的值在矩阵内,在满足(p-i)2+(q-j)2>a2的条件下为零。
所以Z′=Xα′+Xβ′+Xγ′+...
即:
已知h=max[a,b,c,...],a,b,c,...是正常整数,这就是模糊/精确图像的像素间关系,本文中称之为B2C方程
1.3用连续表达式和离散表达式之间的关系
上面式子中Xαp,q和va(x,y)表示同一个区域的清晰图像; 和ha(x,y;x0,y0)表示同一个区域的点分布函数或PSF。
1.4近距模式、远距模式及其和特征量的关系
其中,近距模式、远距模式及其和特征量的关系为:
根据几何光学原理,对于简单的对称凸透镜光学系统,如果透镜的焦距是透镜中心到感光面的距离,图4所示的在远距模式下,光源10经镜头1后在成像面3成像,其物距为u,相距为v,透镜的焦距为f,透镜和感光面间的距离为S,可以推导出:
C对于一个相机系统是常量,其物理意义是最大弥散半径,D为透镜的孔径,该公式中用U表示物距,R为在远距模式是光源在无穷远处时的弥散半径。
可见弥散半径或弥散特征值R和物距有如上的一一对应的关系。
在近距模式,可以推导出:
同样弥散半径或弥散特征值R和物距有如上的一一对应的解析关系。
1.5点分布函数PSF的特性
在光学系统固定的前提下,点分布函数PSF具有以下特性:
1)同形PSF的归一性和不同尺度性:在同一离轴坐标不同物距的位置的单色(或单频)PSF是同一PSF,但具有不同的空频尺度变换(空间压扩/频域压扩)特性,压扩的同时具有归一性,物距和图像模糊特征是一一对应的关系;
2)同物距不同离轴度(或方位)的性质:在同一物距下,不同位置的单色PSF的变化是渐变的,渐变是符合像差规律的,是可以根据规律修正的;
3)同一点的光源不同色(或频)的PSF是同一PSF但在特征尺度上有微弱的有规律的变化,物距大时变化大,物距小时变化小,近轴时变化同心圆对称,离轴时变化非同心,是可以根据规律修正的;
4)衰减性:不同的光学系统的PSF具有不同的衰减性,如对特点颜色的衰减,对某些强度范围的衰减,对离轴光源表现为渐晕的衰减,近轴一般强度无源弱衰减或无衰减特性等,这些衰减在数字图像中是有规律的是可以修正的,在一般的系统中是可以忽略的;
5)时不变性和先验数据库及图像复原:光学系统是一个时不变系统,可以针对不同颜色(频率)的光,用事先测定并结合计算得到典型位置的PSF,根据实验数据并结合理论计算得到在要求的精度下的所在所需的各个坐标物距位置的PSF,根据分区的结果,把模糊图像的各个点所在的坐标物距等位置作为索引信息,调用对应于该点(该区域的)的各个颜色的PSF用于图像复原;该数据库包含PSF/OTF随物距、随不同的方位位置、随颜色(频率),如果需要还有随入射光强度的变化曲线、补偿规律和插值规律,补偿包括暗角、暗边、渐晕、杂光、偏色和强度传输非线性的修正补偿。该数据库命名为Alf-Nabi库。
Alf是all foucs的缩写,为全焦距之意;
Nabi是No aberration Image的缩写,为无像差之意。
PSF/OTF是信息光学理论中的定义,点分布函数或光学传递函数之意,PSF和OTF互为傅立叶变换对。
Alf-Nabi库就是全焦距无像差库,也叫PSF/OTF库。
即点分布函数ha(x,y,x0,y0)就是对于理想无像差成像点(x0,y0)的分布函数并得以包括如下各种像差的修正:弥散(不聚焦),球差,慧差,象散,场曲,畸变,色差,杂光,渐晕,光强度传输不线性(成像系统传输特性对于强度的传输呈不线性),实现无像差重建。
1.6全焦距无像差图像的定义
通过光学系统,在成像面上,全焦距无像差的定义为:
A.物空间的点成像为理想的点(消几何像差);
B.直线成像为理想的直线(消几何像差);
C.面成像为理想的面(消几何像差);
D.同一光源点发出的各颜色的光成像在同一点(消色差);
E.等物距面上各点各色光源的成像,其各色各像点的强度是和光源点的各色光源点强度成正比的,并符合同一个比例的;(同物距下颜色的强度同一性,消暗角,消色偏,消不均匀);
F.无杂光、无渐晕。
图2所示有像差的成像示意图,图2中上半部分为中远焦模式,下半部分为近焦模式,图2中可以看出,由于存在像差,在成像面3得到的是有像差的成像。
如图3所示解释一部分无像差的定义,在理想成像面7上可以得到A点的理想成像5和B点的理想成像6,理想成像面7几何对称于真实成像面3,在真实成像面3上,A点为无像差聚焦成像8,B点为有像差不聚焦成像9。
从理论上讲,以下所有定义都是在等效薄透镜镜头系统中,针对单一频率的光的定义,从技术上讲,是根据系统精度定义的一个光的频段。
理想成像面在理论上是以透镜中心的主面为对称中心面,对称于真实成像面的虚拟平面;
理想成像点的位置是光心到光源点连线与理想成像面的交点,(这对于同一点发出的各色光是一个理想成像点);
理想成像点的光强定义为任何视野内的光源点垂直照射到镜头主面时的出瞳范围内的所有能量的集合,即在不考虑透镜损耗的情况下真实成像面的感光强度,这是校准渐晕的理论方法和技术手段;
1.7获取无像差图像的原理
考虑到暗角效应,边界部分角度遮挡效应;考虑到光学系统的对各色(频)的非线性传输和衰减(高精度下),考虑到动态范围的限制带来的强度传输、感应、记录的非线性,考虑到杂光,渐晕等因素,数字图像可以根据Alf-Nabi库进行一定的修正或校准,以得到更加理想的恢复图像。
2.本实施例获取全焦距无像差图像的方法
本实施例获取全焦距无像差图像的方法包括以下步骤:
(a)依据设计、测量、前面所述的PSF/OTF的特性及验算建立alf-nabi库,所述alf-nabi库存储与物距对应的PSF/OTF,通过摄像装置的镜头或镜头组获取被摄图像成像后的原始光信号;
根据具体的应用,摄像装置可以采用普通光学镜头或镜头组,或组合特定透过率分布介质的透镜镜头或镜头组,或使用多焦距景深级联或覆盖的光学镜头或镜头组;
(b)通过图像传感器将所述原始光信号转换为数字信号,得到待处理的模糊图像数据;
(c)将所述模糊图像数据进行图像分区,得到非交融单一物距区域和交融区域,及与所述非交融单一物距区域和交融区域分别对应的物距;
具体实施时,对所述模糊图像数据进行图像分区可以使用下述方法中的任一种:
(c-1)硬件测距分区法
通过测距硬件辅助工具,对视场内的光源的每一点或主要点进行测距,由测得的物距确定不同物距的非交融单一物距平面和交融平面,由所述物距与传函特征量存在对应关系这一特性确定PSF的特征量;
(c-2)利用色散分区法
利用同源异色传输存在位置差,红绿蓝RGB三基色的传递函数是不一样的,在成像上有位置差,RB即红蓝基色之间的位置差呈同心圆但不重合,物距越大色间位置差越大,该差和物距/PSF的特征值差别有关,所以可以通过不同物距的不同色差来判别物距和PSF,由所述物距确定所述非交融单一物距区域和交融区域,其中所述位置差可以通过所述模糊图像数据不同色如红蓝两色的位置突变的边界差判定;
(c-3)频谱传函过零点相对关系判断物距分区法
将所述模糊图像数据转换到频域得到相位频谱,求出相位频谱的过零点,在光线性传输系统,相位频谱的过零点与传函的特征有特定的关系,依据所述相位频谱的过零点间距得到PSF/OTF的特征值,又因为传函特征与物距存在特定关系,因此依据所述alf-nabi库求出与PSF/OTF对应的物距,确定非交融单一物距区域和交融区域,典型的传递函数设计为抽样函数就是一个例子,通过测量经抽样函数变换后的输出信号频谱的过零点的间距,计算出抽样函数的抽样直径(即点分布函数PSF直径),从而求出物距和抽样函数,利用该方法不仅可以分区,也可以直接算出输入函数;
(c-4)小波分析分区法
根据小波分析的空频联合分析特性,沿纵横两个方向求解所述模糊图像数据各个点对应的频谱,对频谱的带宽和幅度进行分析,找出一定的精度范围内的共同特性,结合每一点即周围点纵横两个方向的分析结果进行综合判断,得到图像的区域特性进行区域划分;
(c-5)人工分区法
对于后处理的图像,根据所述模糊图像数据根据视觉人工进行手工粗略区域划分,再用算法进行拟合求解,精确划分;
在摄像装置具有组合特定透过率分布介质的透镜镜头或镜头组情况下,可以使用遮挡法进行图像分区,具体为:
利用特定透光率分布介质的透镜镜头,通过对成像的透光调制,利用透光特性的和物距相关的频谱特征或者边缘特征,根据先验的PSF/OTF库中包括了这些特征的信息,计算出传函的特征量和对应的物距,确定图像的交融区域和非交融单一物距区域;
(d)依据所述非交融单一物距区域的物距调用所述alf-nabi库中对应的PSF/OTF,利用所述PSF/OTF对所述非交融单一物距区域进行重建和校正,得到所述非交融单一物距区域内的清晰像素值;
本实施例利用所述PSF/OTF对所述非交融单一物距区域进行重建和校正的方法可以采用下面所述的任一种:
(d-1)频域逆滤波图像重建方法及校正
根据具体应用条件,在频域通过各类逆滤波的手段对非交融单一物距区域的图像进行重建和校正,本例中用维纳滤波重建;
(d-2)非线性图像重建法及校正
根据具体应用条件,在空域中应用非线性的迭代算法,对非交融单一物距区域的图像进行重建和校正,根据模糊图像求出描述图像棱边的权矩阵,根据受限制的自适应复原算法,不断迭代,重建图像;
(d-3)反卷积法图像重建及校正
根据具体应用条件,在空域应用反卷积的算法对非交融单一物距和交融区域进行图像复原和校正;
(d-4)拟合求解法(非线性迭代)及校正
根据具体应用,结合成像系统的PSF/OTF特点,对PSF/OTF进行假设后进行图像恢复求解,根据求解的后的误差进行判断PSF/OTF的选择正确性并重新选择,直至找到满足系统要求的误差,判断得出正确的PSF/OTF及其对应的物距,并完成图像恢复;
(d-5)用小波分析的方法进行图像恢复和校正
通过对模糊图像的各频段小波分析,结合alf-nabi库的PSF/OTF特点,分频段对图像进行处理,结合能量守恒的关系,搬移频谱各段的能量,得到恢复的图像。
(d-6)递推迭代法及校正
根据边缘数据或者已求出的数据,通过模糊图像和清晰图像的数学关系,用迭代递推的方式求解出相邻的像素值,该方法可应用于非交融单一物距区域和交融区域的求解。
(e)依据所述交融区域的物距调用所述alf-nabi库中对应的PSF/OTF,利用所述PSF/OTF对所述交融区域进行递推迭代法重建和校正,得到交融区域内的清晰像素值;
该步骤中交融区域图像重建及校正的方法为下述任一种或其组合:
(e-1)边缘递推法重建交融区域图像重建及校正:根据分区求出的来自周边非交融单一物距区域的各个传递函数和重建的图像数据,通过交融区域模糊图像和清晰图像的空域卷积和频域乘积的数学关系,用迭代递推的方式求解出相邻的像素值,得到交融区域的重建后的清晰图像数据。
(e-2)小波分析复原法重建及校正:通过对模糊图像的各频段小波分析,结合alf-nabi库分频段对图像进行处理,结合能量守恒的关系,搬移频谱各段的能量,得到交融区域重建后的清晰图像数据;
(e-3)对于后处理图像的人工参与重建及校正:对于后处理图像,对分区后数字化的模糊图像进行弥散特征值判断,根据(d-4)的方法进行图像交融区域的重建,并根据经验参数对该区域的图像进行校正。
(f)将重建和校正后的所述非交融单一物距区域和交融区域进行融合并校正,得到重建后的清晰图像数据;
(g)将所述重建后的清晰图像数据传送到摄像装置的存储、显示输入输出装置。
本实施例中可以用拟和求解法对所述模糊图像数据进行图像分区,具体方法为:
在已知的成像平面内,划出几个正方或长方区域,区域的四周在一定的范围a内和区域内的像素特性没有很大的变化(即亮度,色度没有明显的变化),区域的边长为预期的弥散半径的三、四倍以上,如下方程条件的区域边长2u、2v是给定范围a的三、四倍。
假设该区域是在同一个物距平面内,即有一个统一的弥散半径a,则可利用离散方程
求解。其中i,j分别在[i-u,i+u],[j-v,j+v]的范围内,Z′i,j为模糊图像数据矩阵的一个元素点(i,j)的像素值,Xαp,q为来自某一物距平面的、被处理后的、映射到成像平面的清晰图像矩阵中的能映射到(i,j)点的一点(p,q)的像素值, 分别为Xαp,q,映射到模糊图像数据矩阵(i,j)点的映射系数
求解时假设在a=1~某一个正整数的范围内循环作为一个条件去拟合和上面的方程。
求解时假设区域精确矩阵外的点的像素值等于其边界值或等于其边界内一定范围内的平均值,在此条件下拟合求解,求出[i-u,i+u],[j-v,j+v]范围内的清晰像素值Xi,j,而在[i-a,i+a][j-a,j+a]范围内的清晰像素值Xi,j就是精确值。如果系数矩阵是一个高斯分布会很有效,传递误差会收敛。如果系数矩阵是一个均匀分布,则传递误差会衰减很慢。
用如上的不同的弥散半径a拟合,求出矩阵清晰像素值矩阵Xa,利用清晰矩阵与模糊矩阵之间的关系,在反推回到模糊图像数据矩阵Z′,在[i-a,i+a][j-a,j+a]范围内,如果在系统误差内相符,则a值求出,Xa求出。
求出[i-a,i+a][j-a,j+a]范围内的Xαi,j,就可以反推回周围的所有的Xai,j,直至非单一的交融边界。递推迭代过程中遇见不能符合Z’的连续像素点,则是遇见了交融边界。
由于交融区域具有特点:交融区域是两个或多个物距差别较大的平面在模糊图像数据矩阵Z’表示的平面上的投影,其特点是各个平面投影有可能两两相交融,也可能多个同时互相交融,但其相互间的交融半径有较大的差别。因此本实施例为交融部分的求解提供了解决方法。
本实施例中迭代递推求解法求解交融带的像素值的过程如下:
单一物距平面内及单一物距平面的交融带之外,包括延交融带法线方向的Z’值和Xa的值符合
关系,随着接近,接触交融带,像素的数值就有了来自另一个单一物距平面的弥散因素(而且只能是来自另一个而不是同时多个平面的弥散因素),因此该项素值就符合关系
由于已知了所有的单一物距平面内的像素值,则可迭代求出来自另一个单一物距平面的交融带最边缘的一条线的像素弥散数值,进而求出来自另一个单一物距平面的交融线最边缘的一条线的像素值,再进一步迭代则求出自另一个单一物距平面的交融带最边缘的第二条线的像素弥散数值,进而求出来自另一个单一物距平面的交融线最边缘的第二条线的像素值。以此类推,求出整个的来自两个单一物距平面交融带范围内的精确矩阵像素值。
用迭代递推法对多个平面交融带求解
多个平面交融实际上是在两个平面交融后再和这两个平面之外的其他平面的交融,交融带内的像素值符合关系
每交融一个,则增加上述关系中的一项。其求解也是应用交融带边缘的来自独立新平面的像素弥散值的求解,进而求出来自这个独立新平面的交界点的像素值。
对应后处理的图像,人可以作为一个反馈决策环节参与到图像恢复中去,对与迭代类的图像恢复,人在环内的参与将提高收敛速度和控制精度。
虽然本发明是具体结合几个优选实施例示出和说明的,但熟悉该技术领域的人员可以理解,其中无论在形式上还是在细节上都可以作出各种改变,这并不背离本发明的精神实质和专利保护范围。