CN102054272A - 一种基于联合分数傅里叶变换的位移矢量探测方法及装置 - Google Patents

一种基于联合分数傅里叶变换的位移矢量探测方法及装置 Download PDF

Info

Publication number
CN102054272A
CN102054272A CN 201010530103 CN201010530103A CN102054272A CN 102054272 A CN102054272 A CN 102054272A CN 201010530103 CN201010530103 CN 201010530103 CN 201010530103 A CN201010530103 A CN 201010530103A CN 102054272 A CN102054272 A CN 102054272A
Authority
CN
China
Prior art keywords
fourier transform
displacement vector
target image
spatial light
light modulator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 201010530103
Other languages
English (en)
Other versions
CN102054272B (zh
Inventor
葛鹏
李奇
冯华君
徐之海
陈跃庭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN2010105301030A priority Critical patent/CN102054272B/zh
Publication of CN102054272A publication Critical patent/CN102054272A/zh
Application granted granted Critical
Publication of CN102054272B publication Critical patent/CN102054272B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于联合分数傅里叶变换的位移矢量探测方法,包括:将视频分解为单帧图像,确定傅里叶变换级次、参考图像和目标图像,将参考图像和目标图像置于新坐标系原点的两侧,形成输入图像,对输入图像进行傅里叶变换,得到傅里叶变换频谱,然后进行平方运算得到输入图像的傅里叶变换功率谱,再将功率谱进行分数傅里叶变换,得到目标图像的互相关峰的坐标,利用相似方法得到理想输出的互相关峰的坐标,最后得到目标图像与参考图像之间位移矢量。本发明还公开了一种实现上述方法的装置。上述方法和装置利用分数傅里叶变换的平移可变性,实现输出平面互相关峰位置的任意控制,并且根据分数傅里叶变换的级次,可实现光学系统结构的多样化。

Description

一种基于联合分数傅里叶变换的位移矢量探测方法及装置
技术领域
本发明涉及数字图像稳像方法技术领域,尤其是涉及一种基于联合分数傅里叶变换相关器的位移矢量的探测方法及探测装置。
背景技术
随着人类社会向高度数字化方向的发展,数字图像、数字视频、数字电视的飞速发展和普及也将成为必然。数字图像在获取过程中可能会受到各种各样的退化失真,不可避免会出现分辨率的下降的问题,引起图像模糊。比如在航天遥感成像或者船载、车载成像中,由于成像设备载体的运动,会引起成像设备与成像目标之间的相对运动,在长曝光时间内像面上会引起像素的混乱移动,造成图像模糊,降低了图像质量,影响视觉,人眼观看起来很不舒服。为了提高图像的分辨率和提高其清晰度,需要对图像进行稳像。
常用的稳像方法有机械稳像、光学稳像与电子稳像。机械稳像是将整个系统稳定,缺点是像面是运动的。光学稳像是在光学系统中加入一些光学元器件对系统补偿,比如可变光楔光学稳像,镜头补偿与CCD补偿稳像。电子稳像是通过信号处理的方式达到稳像的目的。在电子稳像方法中,最核心的是运动矢量检测和运动补偿。目前常用的求取运动矢量途径有投影算法,位平面匹配法,光流场法,边缘匹配法,代表点匹配法、相位相关算法、DFT变换法等,但是这些方法由于运算量巨大,耗时较长,不适合在实时应用场合,特别是高速高精度成像场合。
较新的位移矢量求取算法是Janschek等人提出的基于光学联合变换相关器的算法,用两个傅立叶透镜搭建的4f系统即可实现位移矢量的计算,其求取运动矢量的速度是基于光速的,求取位移矢量的时间主要取决于电子设备的输入输出时间,在目前的电子技术条件下,可以达到几千帧每秒的运算速度。
但是基于光学联合变化相关器的位移矢量计算,其结构比较单一,为一个4f系统,即输入平面位于透镜的前焦平面,探测平面位于透镜的后焦平面,当参考图像和目标图像之间的相对距离固定以及两者之间的位移矢量确定后,相关输出平面的互相关峰之间的距离就已经确定。如果参考图像和目标图像之间的相对距离或者位移矢量过大,一对互相关峰可能落在探测设备的视场之外。同理,如果参考图像和目标图像之间的距离过小或者他们之间的位移过小,互相关峰可能落在自相关峰中,从而造成探测设备无法识别出互相关峰,进而无法准确探测出位移矢量。
发明内容
本发明提供了一种基于联合分数傅立叶变换的位移矢量探测方法,该方法中输出平面的互相关峰位置可以根据分数傅立叶变换的级次任意控制,可以准确探测出位移矢量。
本发明还提供了实现上述探测方法的基于联合分数傅立叶变换的位移矢量探测装置,该装置通过改变光学结构,将传统的利用联合变化相关器来计算位移矢量中的傅里叶变换代替成分数傅里叶变换,利用分数傅里叶变换的平移可变性,实现输出平面互相关峰位置的任意控制,并且根据分数傅里叶变换的级次,可实现光学系统结构的多样化。
一种基于联合分数傅里叶变换的位移矢量探测方法,包括:
(1)读入待调整视频,并将视频分解为单帧图像,确定总帧数N;
(2)设定傅里叶变换级次p2,确定参考图像为第一帧图像f1(x,y);
(3)确定目标图像为第t帧图像ft(x,y),将参考图像和目标图像对称的置于输入坐标系原点的两侧,形成输入图像f(x,y),其中1<t≤N;
(4)对输入图像f(x,y)进行傅里叶变换,得到输入图像f(x,y)的傅里叶变换频谱,对傅里叶频谱进行平方运算得到输入图像的傅里叶变换功率谱;
(5)对傅里叶功率谱进行级次为p2的分数傅里叶变换,得到互相关峰的整数坐标,在整数坐标周围取一邻域,利用质心算法求取互相关峰值的亚像素坐标,亚像素坐标与整数坐标相加得到存在位移矢量的目标图像的互相关峰的坐标(xp2,yp2);
(6)取目标图像为第一帧图像f1(x,y),将参考图像和目标图像对称的置于坐标系原点的两侧,形成输入图像;重复步骤(4)和(5)得到不存在位移矢量时的理想输出的互相关峰的坐标(xi,yi);
(7)根据目标图像的互相关峰的坐标(xp2,yp2)和理想输出的互相关峰的坐标(xi,yi)得到步骤(3)中目标图像与参考图像之间位移矢量(a,c);
所述的位移矢量(a,c)的计算式为:
a = x p 2 - x i sin α 2 c = y p 2 - y i sin α 2
其中:
Figure BDA0000030655600000032
0<p2<1。
为了减小探测误差,优选的级次p2满足:0.75<p2<1。
实际应用过程中,首先确定第一帧图像f1(x,y)作为参考图像,第二帧图像f2(x,y)作为目标图像,由上述方法得到第二帧图像f2(x,y)与参考图像之间的位移矢量,然后控制计算机及其他辅助设备根据得到的位移矢量对目标图像进行稳像调整,调整结束后,再确定第三帧图像f3(x,y)为目标图像,为计算方便参考图像依然为第一帧图像f1(x,y),按照上述相同的方法得到第三帧图像f3(x,y)与参考图像之间的位移矢量,然后控制计算机及其他辅助设备继续根据得到的位移矢量对目标图像进行稳像调整;以此类推对第四帧至第N图像进行相同处理得到相应图像与参考图像之间的位移矢量,然后利用计算机以及其他辅助设备对相应图像进行稳像调整,直至整个待处理视频完成稳像调整。
一种实现上述探测方法的基于联合分数傅里叶变换的位移矢量探测装置,包括第一激光器、第二激光器、第一偏振分光棱镜、第二偏振分光棱镜、第一傅里叶变换透镜、第二傅里叶变换透镜、至少一个控制计算机、第一探测相机、第二探测相机、第一空间光调制器和第二空间光调制器,其中:
所述的第一空间光调制器置于第一傅里叶变换透镜的前焦距处;
所述的控制计算机用于将参考图像和目标图像传输至第一空间光调制器形成输入图像,且将输入图像对称显示在第一空间光调制器的中央;
所述的第一激光器产生的激光准直后经过第一偏振分光棱镜,照射至第一空间光调制器上,反射后的激光振幅经过第一空间光调制器的调制进入第一傅里叶变换透镜;
所述的第一探测相机置于距离第一傅里叶变换透镜的后焦距处,用于采集输入图像经过第一傅里叶变换透镜后的傅里叶变换功率谱;
所述的第二空间光调制器置于距离第二傅里叶透镜的前d2处,控制计算机用于将第一探测相机采集到的傅里叶变换功率谱输入至第二空间光调制器上,且对称显示在第二空间调制器的中央;
所述的第二激光器产生的激光准直后经过第二偏振分光棱镜,照射至第二空间光调制器,反射后的激光振幅受到第二空间光调制器的调制进入第二傅里叶变换透镜;
所述的第二探测相机置于距离第二傅里叶透镜的后d2处,用于采集傅里叶变换功率谱经过分数傅里叶变换后的相关输出,并传送给控制计算机,控制计算机最后根据互相关输出数据及理想输出数据得到目标图像ft(x,y)与参考图像f1(x,y)之间的位移矢量;
其中:d2=f2(1-cosα2);
Figure BDA0000030655600000041
f2为第二个傅里叶变换透镜的焦距,p2为分数傅里叶变换级次,p2的大小根据实际光学结构性质确定。
下面对位移矢量的计算式的推算过程进行详细说明:
分数傅里叶变换具有普通傅里叶变换没有的性质,即平移可变性,如式(1)和式(2)所示。在分数傅里叶变换中,空域的平移会带来频域的平移并且同时会引进相移,同理,空域的相移会带来频域的平移和引进相移。当分数傅里叶变换的级次p=1时,分数傅里叶变换变为普通的傅里叶变换。(陶然、邓兵、王越,分数阶傅里叶变换及其应用[M],清华大学出版社会,2009:p12~p48)
F p { exp ( jbx 0 ) g ( x 0 ) } = exp [ jb cos α ( x 1 - b 2 sin α ) ] × F p { g ( x 0 ) } ( x 1 - b sin α ) - - - ( 1 )
F p { g ( x 0 + a ) } = exp [ ja sin α ( x 1 + a 2 cos α ) ] F p { g ( x 0 ) } ( x 1 + a cos α ) - - - ( 2 )
假设参考图像表示为f1(x0,y0),目标图像与参考图像存在位移矢量(a,c),表示为ft(x0+a,y0+c),参考图像与目标图像对称地置于第一空间光调制器的(-b,0),(+b,0)处,空间光调制器的零点坐标为空间光调制器的对称中心,参考图像与目标图像共同构成了输入图像f(x0,y0),如下式(3)所示:
f(x0,y0)=f1(x0-b,y0)+ft(x0+a+b,y0+c)              (3)
第一空间光调制器位于第一傅里叶透镜前d1处,第一激光器产生的激光准直后经过第一偏振分光棱镜后入射至第一空间光调制器的表面,反射回的激光振幅受到第一空间光调制器的调制,经过第一傅里叶变换透镜后,在第一傅里叶变换透镜的后d1处,得到输入图像的分数傅里叶变换频谱,如下式(4)所示:
F p 1 { f ( x 0 , y 0 ) } = exp [ - jb sin α 1 ( x 1 - b 2 cos α 1 ) ] F p 1 { f 1 ( x 0 , y 0 ) } ( x 1 - b cos α 1 , y 1 )
+ exp [ j ( a + b ) sin α 1 ( x 1 + a + b 2 cos α 1 ) ] exp [ jc sin α 1 ( y 1 + c 2 cos α 1 ) ] - - - ( 4 )
× F p 1 { f t ( x 0 , y 0 ) } ( x 1 + ( a + b ) cos α 1 , y 1 + c cos α 1 )
其中,p1为傅里叶变换级次;
探测相机是平方率器件,得到的是输入图像的分数傅里叶变换功率谱I,如下式(5)所示:
I = [ F p 1 { f ( x 0 , y 0 ) } ] 2 = | F p 1 { f 1 ( x 0 , y 0 ) } ( x 1 - b cos α 1 , y 1 ) | 2
+ | F p 1 { f t ( x 0 , y 0 ) } ( x 1 + ( a + b ) cos α 1 , y 1 + c cos α 1 ) | 2
+ F p 1 { f 1 ( x 0 , y 0 ) } ( x 1 - b cos α 1 , y 1 ) F p 1 * { f t ( x 0 , y 0 ) } ( x 1 + ( a + b ) cos α 1 , y 1 + c cos α 1 )
× exp [ - j sin α 1 { ( a + 2 b ) x 1 - a 2 + 2 ab 2 cos α 1 ) ] exp [ - jc sin α 1 ( y 1 + c 2 cos α 1 ) ] - - - ( 5 )
+ F p 1 * { f 1 ( x 0 , y 0 ) } ( x 1 - b cos α 1 , y 1 ) F p 1 { f t ( x 0 , y 0 ) } ( x 1 + ( a + b ) cos α 1 , y 1 + c cos α 1 )
× exp [ j sin α 1 { ( a + 2 b ) x 1 + a 2 + 2 ab 2 cos α 1 ) ] exp [ jc sin α 1 ( y 1 + c 2 cos α 1 ) ]
由于功率谱中存在平移可变项(x1+(a+b)cosα1,y1+ccosα1)和(x1-bcosα1,y1),对傅里叶变换功率谱做级次为p1≠1的分数傅里叶变换,几乎不可能推出正确结果。因此,令p1=1,即d1=f1,cosα1=0,f1为傅里叶变换透镜的焦距,则傅里叶变换功率谱转化为:
I = [ F p 1 { f ( x 0 , y 0 ) } ] 2
= | F 1 ( x 1 , y 1 ) exp ( - j bx 1 ) + F t ( x 1 , y 1 ) exp [ jb ( b + a ) x 1 + jc y 1 ] | 2
(6)
= | F 1 ( x 1 , y 1 ) | 2 + | F t ( x 1 , y 1 ) | 2 + F 1 * ( x 1 , y 1 ) exp ( jbx 1 ) F t ( x 1 , y 1 ) exp [ j ( a + b ) x 1 + jc y 1 ]
F 1 ( x 1 , y 1 ) exp ( - jbx 1 ) F t * ( x 1 , y 1 ) exp [ - j ( a + b ) x 1 - jc y 1 ]
其中上式中,F1(x1,y1)为f1(x0,y0)的傅里叶变换函数;Ft(x1,y1)为ft(x0,y0)的傅里叶变换函数。
式(6)中前2项为直流项,其在相关输出平面上表现为一冲击函数,第3项和第4项互为共轭项,包含位移信息,对第4项进行p2级次的分数傅里叶变换,则得到:
F p 2 { F 1 ( x 1 , y 1 ) exp ( - jbx 1 ) F t * ( x 1 , y 1 ) exp [ - j ( a + b ) x 1 - jc y 1 ] }
= F p 2 { F 1 ( x 1 , y 1 ) F t * ( x 1 , y 1 ) exp [ - j ( a + 2 b ) x 1 - jc y 1 ]
(7)
= exp [ - j ( a + 2 b ) cos α 2 ( x 2 + a + 2 b 2 sin α 2 ) ] exp [ - jc cos α 2 ( y 2 + c 2 sin α 2 ) ]
C p 1 , p 2 ( x 2 + ( a + 2 b ) sin α 2 , y 2 + c sin α 2 )
其中:
C p 1 , p 2 = F p 2 { F p 1 [ f 1 ( x 0 , y 0 ) ] F p 1 * [ f t ( x 0 , y 0 ) ] } - - - ( 8 )
上式中:*为共轭运算符;(x0,y0)为输入图像在空域坐标系中的坐标;(x1,y1)为输入图像频谱在频域坐标系中的坐标;(x2,y2)为输入图像在空域的相关图的坐标;
当参考图像与目标图像没有位移矢量时,即a=0,c=0,探测得到互相关峰的坐标为(xi,yi),
( a + 2 b ) sin α 2 = x i c sin α 2 = y i a = 0 c = 0 - - - ( 9 )
当参考图像与目标图像存在位移矢量时,探测得到互相关峰的坐标为(xp,yp),
( a + 2 b ) sin α 2 = x p c sin α 2 = y p - - - ( 10 )
所以位移矢量为:
a = x p - x i sin α 2 c = y p - y i sin α 2 - - - ( 11 )
本发明所述的基于联合分数傅里叶变换的位移矢量探测方法和装置,通过改变光学结构,将传统的利用联合变化相关器来计算位移矢量中的傅里叶变换用分数傅里叶变换代替,利用分数傅里叶变换的平移可变性,实现输出平面互相关峰位置的任意控制,并且根据分数傅里叶变换的级次,可实现光学系统结构的多样化,实用性较强,且准确度较高。
附图说明
图1为本发明的基于联合分数傅里叶变换的位移矢量探测方法的流程图;
图2为本发明的基于联合分数傅里叶变换的位移矢量探测装置的结构示意图;
图3为实施例1中所用的输入图像;
图4为实施例1中的p2=1时的相关输出二维图;
图5为实施例1中的p2=1时的相关输出三维图;
图6为实施例1中的p2=0.8时的相关输出二维图;
图7为实施例1中的p2=0.8时的相关输出三维图;
图8为实施例1中的p2=0.1时的相关输出二维图;
图9为实施例1中的p2=0.1时的相关输出三维图;
图10为实施例2中目标图像与参考图像相同的输入图像;
图11为实施例2中位移矢量为(20,20)的目标图像与参考图像的输入图像;
图12(a)为p2=0.95时输入图像为图10的相关输出图;
图12(b)为图12(a)所示相关输出图的左边互相关峰的局部图;
图12(c)为p2=0.95时输入图像为图11时相关输出图的左边互相关峰的局部图;
图13(a)为p2=0.90时输入图像为图10的相关输出图;
图13(b)为图13(a)所示相关输出图的左边互相关峰的局部图;
图13(c)为p2=0.90时输入图像为图11时相关输出图的左边互相关峰的局部图;
图14(a)为p2=0.85时输入图像为图9的相关输出图;
图14(b)为图14(a)所示相关输出图的左边互相关峰的局部图;
图14(c)为p2=0.85时输入图像为图11时相关输出图的左边互相关峰的局部图;
图15为实施例2中不同级次时探测得到的位移矢量在x轴方向上的误差值示意图;
图16为实施例2中不同级次时探测得到的位移矢量在y轴方向上的误差值示意图。
具体实施方式
如图1所示,一种基于联合分数傅里叶变换的位移矢量探测方法,包括:
(1)计算机读取发生抖动的视频片段,并将视频分解为单帧图像,确定总帧数N;
(2)设定分数傅里叶变换级次p2,确定参考图像为第一帧图像f1(x0,y0);
(3)确定目标图像为第t帧图像ft(x,y),将参考图像f1(x,y)和目标图像ft(x,y)对称的置于输入坐标系原点的两侧,形成输入图像f(x,y);其中1<t≤N;
(4)对输入图像进行级次p1=1的傅里叶变换,得到输入图像的傅里叶变换频谱,对傅里叶变换频谱进行平方运算得到输入图像的傅里叶变换功率谱:
(5)对傅里叶功率谱进行级次为p2的分数傅里叶变换,得到互相关峰的整数坐标,在整数坐标周围取一邻域,利用质心算法求取互相关峰值的亚像素坐标,亚像素坐标与整数坐标相加得到存在位移矢量的目标图像的互相关峰的坐标(xp2,yp2);
(6)取目标图像为第一帧参考图像,将参考图像和目标图像对称的置于坐标系原点的两侧,形成输入图像;重复步骤(4)和(5)得到不存在位移矢量时的理想输出的互相关峰的坐标(xi,yi);
(7)根据目标图像的互相关峰的坐标(xp2,yp2)和理想输出的互相关峰的坐标(xi,yi)得到步骤(2)中目标图像ft(x,y)与参考图像f1(x,y)之间位移矢量(a,c);
位移矢量(a,c)的计算式为:
a = x p 2 - x i sin α 2 c = y p 2 - y i sin α 2
其中:
Figure BDA0000030655600000092
0<p2<1;
上述方法中,从t=2开始,得到第二帧图像与参考图像之间的位移矢量,然后计算机及其他辅助设备根据得到的位移矢量对目标图像进行稳像调整,调整结束后,然后令t=t+1,重复步骤(2)~(6),同样得到第三幅目标图像与参考图像之间的位移矢量,然后计算机继续及其他辅助设备根据得到的位移矢量对目标图像进行稳像调整;以此类推对第四帧至第N图像进行相同处理得到相应图像与参考图像之间的位移矢量,然后利用计算机一及其他辅助设备对相应图像进行稳像调整,直至t=N完成稳像调整。
如图2所示,一种实现上述基于联合分数傅里叶变换的位移矢量的探测装置,包括第一激光器1、第二激光器9、第一准直透镜2、第二准直透镜10、第一反光镜3、第二反光镜11、第一偏振分光棱镜4、第二偏振分光棱镜12、第一傅里叶变换透镜6、第二傅里叶变换透镜14、第一控制计算机8、第二控制计算机16、第一探测相机7、第二探测相机15、第一空间光调制器5和第二空间光调制器13,上述各部件之间的连接关系为:第一空间光调制器5置于傅里叶变换透镜6的前焦距处;第一控制计算机8用于将参考图像和目标图像传输至第一空间光调制器5上以形成输入图像,且将输入图像对称显示在第一空间光调制器5的中央;第一激光器1产生的激光经第一准直透镜2准直后经过第一反光镜3到达第一偏振分光棱镜4,然后照射至第一空间光调制器5上,反射后的激光振幅经过第一空间光调制器5的调制进入傅里叶变换透镜6;第一探测相机7置于距离傅里叶变换透镜6的后焦距处,用于采集输入图像经过傅里叶变换透镜6后的傅里叶变换功率谱;第二空间光调制13器置于距离第二傅里叶透镜14的前d2处,第二控制计算机16用于将第一探测相机7采集到的傅里叶变换功率谱输入至第二空间光调制器13上,且对称显示在第二空间调制器13的中央;第二激光器9产生的激光经过第二准直透镜10准直后经过第二反光镜11达到第二偏振分光棱镜12,然后照射至第二空间光调制器13,反射后的激光振幅受到第二空间光调制器13的调制进入第二傅里叶变换透镜14;第二探测相机15置于距离第二傅里叶透镜14的后d2处,用于采集傅里叶变换功率谱经过第二傅里叶变换透镜14后的相关输出,并传送给第一控制计算机8,第一控制计算机8最后根据互相关输出数据及理想输出数据得到目标图像与参考图像之间的位移矢量,根据得到的位移矢量对图像进行稳像调整;
其中:d2=f2(1-cosα2);
Figure BDA0000030655600000101
f2为第二傅里叶变换透镜的焦距,p2为分数傅里叶变换透镜的级次,p2的大小根据实际光学结构性质确定;
下面以两个具体实施例来对上述基于联合分数傅里叶变换的位移矢量探测方法及装置做进一步说明:
实施例1
如图3所示的输入图像,已知参考图像和目标图像之间存在(5,5)个像素的位移矢量。利用上述方法和装置模拟探测分别得到不同级次的分数傅里叶变换情况下的相关输出,测试结果如表1所示。其中具体探测过程如下:首先确定级次p2,然后根据级次p2大小确定参数d2,将图3所示的参考图像和目标图像按照上述方法,分别利用第一控制计算机8将目标图像ft(x,y)和参考图像f1(x,y)传输至第一空间光调制器5上以形成输入图像f(x,y),且将输入图像f(x,y)对称显示在第一空间光调制器5的中央;第一激光器1产生的激光经第一准直透镜2准直后经过第一反光镜3到达第一偏振分光棱镜4,然后照射至第一空间光调制器5上,反射后的激光振幅经过第一空间光调制器5的调制进入傅里叶变换透镜6,进行傅里叶变换,第一探测相机7置于距离第一傅里叶变换透镜6的后焦距处,用于采集输入图像经过第一傅里叶变换透镜6后的傅里叶变换功率谱;第二空间光调制13器置于距离第二傅里叶透镜14的前d2处,第二控制计算机16用于将第一探测相机7采集到的傅里叶变换功率谱输入至第二空间光调制器13上,且对称显示在第二空间调制器13的中央;第二激光器9产生的激光经过第二准直透镜10准直后经过第二反光镜11达到第二偏振分光棱镜12,然后照射至第二空间光调制器13,反射后的激光振幅受到第二空间光调制器13的调制进入第二傅里叶变换透镜14,进行分数傅里叶变换;第二探测相机15置于距离第二傅里叶透镜14的后d2处,用于采集傅里叶变换功率谱经过第二傅里叶变换透镜14后的相关输出,并传送给第一控制计算机8,第一控制计算机8最后根据互相关输出数据及理想输出数据得到目标图像与参考图像之间的位移矢量,根据得到的位移矢量对图像进行稳像调整;
其中:d2=f2(1-cosα2);
Figure BDA0000030655600000111
f2为分数傅里叶变换透镜的焦距,p2为分数傅里叶变换的级次;
最后根据上述方法和装置分别得到不同级次的分数傅里叶变换情况下的相关输出,结果如表1所示:
表1
  p2   a(像素)   c(像素)   d2(mm)   x轴误差   y轴误差
  1   4.9999   4.9708   300   -0.0001   -0.0292
  0.95   5.0124   4.7572   276.3963   0.0124   -0.2428
  0.9   5.0503   5.0319   253.0918   0.0503   0.0319
  0.85   5.126   5.117   230.004   0.126   0.117
  0.8   4.8417   4.7255   207.3351   -0.1583   -0.2745
注:表1中p2为级次数,a为x轴方向上的位移矢量,c为y轴方向上的位移矢量,d2为第二空间光调制器13与第二傅里叶变换透镜之间的距离。
由表1的测试结果可知,由本发明所述的基于联合分数傅里叶变换的位移矢量探测方法及装置探测出的x轴方向上的位移矢量及y轴方向上的位移矢量误差较小,与普通傅里叶变换(级次为1)时测试的位移矢量相近,均小于0.5个像素,准确度高。其中,级次为1时的相关输出二维图如图4所示,三维输出图如图5所示;级次为0.8时的相关输出二维图如图6所示,三维输出图如图7所示;级次为0.1时的相关输出二维图如图8所示,三维输出图如图9所示;由图比较图9和图5可知当级次p2减小时,两相关峰之间的距离减小,有利于位移矢量的探测,实用性较强。
实施例2
输入图像如图10和图11,图10为目标图像与参考图像相同的输入图像的情形,两者分辨率大小为200像素×200像素,用图10来确定目标图像与参考图像没有位移矢量时互相关峰的理想位置。再根据参考图像,每次平移参考图像(2,2)个像素,共平移10次,得到10帧目标图像,分别进行实验,利用同实施例1类似的方法依次求出第1~10次平移得到的第1~10帧图像作为目标图像与参考图像的位移矢量,然后将探测得到的各位移矢量与实际位移矢量作比较,选用不同级次条件下的测试结果结果如图15和图16所示,图15为取不同级次时x轴方向上的探测误差结果,图16为取不同级次时y轴方向上的探测误差结果,有图15和图16可知,利用本发明的基于联合分数傅里叶变换的位移矢量探测方法及装置,探测误差较小均小于1个像素,准确度较高。图11为包含参考图像和第10帧目标图像的输入图像,两幅图像的理论位移矢量为(20,20)像素。同实施例1利用本发明的基于联合分数傅里叶变换的位移矢量探测方法和装置,以图11为输入图像得到不同级次的相关输出二维图如图12~14所示。图12(a)为p2=0.95时输入图为图10时的相关输出二维图,图12(b)为输入图为图10时左边互相关峰的局部图,图12(c)为输入图为图11时的左边互相关局部图。图13(a)为p2=0.90时输入图为图10时的相关输出二维图,图13(b)为输入图为图10时左边互相关峰的局部图,图3(c)为输入图为图11时的左边互相关局部图。图14(a)为p2=0.85时输入图为图10时的相关输出二维图,图13(b)为输入图为图10时左边互相关峰的局部图,图13(c)为输入图为图11时的左边互相关局部图。

Claims (3)

1.一种基于联合分数傅里叶变换的位移矢量探测方法,包括:
(1)读入待调整视频,并将视频分解为单帧图像,确定总帧数N;
(2)设定傅里叶变换级次p2,确定参考图像为第一帧图像f1(x,y);
(3)确定目标图像为第t帧图像ft(x,y),将参考图像和目标图像对称的置于输入坐标系原点的两侧,形成输入图像f(x,y),其中1<t≤N;
(4)对输入图像f(x,y)进行傅里叶变换,得到输入图像f(x,y)的傅里叶变换频谱,对傅里叶频谱进行平方运算得到输入图像的傅里叶变换功率谱;
(5)对傅里叶功率谱进行级次为p2的分数傅里叶变换,得到互相关峰的整数坐标,在整数坐标周围取一邻域,利用质心算法求取互相关峰值的亚像素坐标,亚像素坐标与整数坐标相加得到存在位移矢量的目标图像的互相关峰的坐标(xp2,yp2);
(6)取目标图像为第一帧图像f1(x,y),将参考图像和目标图像对称的置于坐标系原点的两侧,形成输入图像;重复步骤(4)和(5)得到不存在位移矢量时的理想输出的互相关峰的坐标(xi,yi);
(7)根据目标图像的互相关峰的坐标(xp2,yp2)和理想输出的互相关峰的坐标(xi,yi)得到步骤(3)中目标图像与参考图像之间位移矢量(a,c);
所述的位移矢量(a,c)的计算式为:
a = x p 2 - x i sin α 2 c = y p 2 - y i sin α 2
其中:
Figure FDA0000030655590000012
0<p2<1。
2.根据权利要求1所述的基于联合分数傅里叶变换的位移矢量探测方法,其特征在于,所述的级次p2满足:0.75<p2<1。
3.一种基于联合分数傅里叶变换的位移矢量探测装置,包括第一激光器、第二激光器、第一偏振分光棱镜、第二偏振分光棱镜、第一傅里叶变换透镜、第二傅里叶变换透镜、至少一个控制计算机、第一探测相机、第二探测相机、第一空间光调制器和第二空间光调制器,其特征在于,
所述的第一空间光调制器置于第一傅里叶变换透镜的前焦距处;
所述的控制计算机用于将参考图像和目标图像传输至第一空间光调制器形成输入图像,且将输入图像对称显示在第一空间光调制器的中央;
所述的第一激光器产生的激光准直后经过第一偏振分光棱镜,照射至第一空间光调制器上,反射后的激光振幅经过第一空间光调制器的调制进入第一傅里叶变换透镜;
所述的第一探测相机置于距离第一傅里叶变换透镜的后焦距处,用于采集输入图像经过第一傅里叶变换透镜后的傅里叶变换功率谱;
所述的第二空间光调制器置于距离第二傅里叶透镜的前d2处,控制计算机用于将第一探测相机采集到的傅里叶变换功率谱输入至第二空间光调制器上,且对称显示在第二空间调制器的中央;
所述的第二激光器产生的激光准直后经过第二偏振分光棱镜,照射至第二空间光调制器,反射后的激光振幅受到第二空间光调制器的调制进入第二傅里叶变换透镜;
所述的第二探测相机置于距离第二傅里叶透镜的后d2处,用于采集傅里叶变换功率谱经过分数傅里叶变换后的相关输出,并传送给控制计算机,控制计算机最后根据互相关输出数据及理想输出数据得到目标图像与参考图像之间的位移矢量;
其中:d2=f2(1-cosα2);
Figure FDA0000030655590000021
f2为第二个傅里叶变换透镜的焦距,p2为分数傅里叶变换级次。
CN2010105301030A 2010-11-03 2010-11-03 一种基于联合分数傅里叶变换的位移矢量探测方法及装置 Expired - Fee Related CN102054272B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2010105301030A CN102054272B (zh) 2010-11-03 2010-11-03 一种基于联合分数傅里叶变换的位移矢量探测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2010105301030A CN102054272B (zh) 2010-11-03 2010-11-03 一种基于联合分数傅里叶变换的位移矢量探测方法及装置

Publications (2)

Publication Number Publication Date
CN102054272A true CN102054272A (zh) 2011-05-11
CN102054272B CN102054272B (zh) 2012-06-27

Family

ID=43958558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010105301030A Expired - Fee Related CN102054272B (zh) 2010-11-03 2010-11-03 一种基于联合分数傅里叶变换的位移矢量探测方法及装置

Country Status (1)

Country Link
CN (1) CN102054272B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521834A (zh) * 2011-12-12 2012-06-27 上海海事大学 采用极对数坐标表示的分数阶傅里叶变换的图像配准方法
CN102722895A (zh) * 2012-05-15 2012-10-10 哈尔滨工程大学 基于分数傅立叶变换的形状描述方法
CN103076003A (zh) * 2012-12-25 2013-05-01 中国科学院长春光学精密机械与物理研究所 一种基于电子图像处理器的图像序列位移矢量测量装置
CN104200474A (zh) * 2014-09-04 2014-12-10 华中科技大学 一种获取物体变形量的数字图像分析方法
CN107942523A (zh) * 2017-12-05 2018-04-20 安徽大学 一种基于光强传输测量计算的相位恢复系统
US10177844B2 (en) 2016-09-13 2019-01-08 Fujitsu Limited Measurement method and apparatus for a residual direct-current component and system
US10313008B2 (en) 2016-09-13 2019-06-04 Fujitsu Limited Measurement method and apparatus for residual direct-current components and a system
CN110610511A (zh) * 2018-06-15 2019-12-24 刘军 一种导丝移动侦测的装置和方法
CN114897950A (zh) * 2022-04-29 2022-08-12 上海精积微半导体技术有限公司 图像配准及缺陷检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5963667A (en) * 1996-03-26 1999-10-05 Olympus Optical Co., Ltd. Multiplexing optical system and feature vector transformation apparatus using the same; feature vector detecting and transmitting apparatus; and recognition and classification system using these apparatuses
CN101281650A (zh) * 2008-05-05 2008-10-08 北京航空航天大学 用于视频稳定的快速全局运动估计方法
WO2009065740A1 (en) * 2007-11-19 2009-05-28 Lambda-X Fourier transform deflectometry system and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5963667A (en) * 1996-03-26 1999-10-05 Olympus Optical Co., Ltd. Multiplexing optical system and feature vector transformation apparatus using the same; feature vector detecting and transmitting apparatus; and recognition and classification system using these apparatuses
WO2009065740A1 (en) * 2007-11-19 2009-05-28 Lambda-X Fourier transform deflectometry system and method
CN101281650A (zh) * 2008-05-05 2008-10-08 北京航空航天大学 用于视频稳定的快速全局运动估计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《光子学报》 20091031 葛鹏,李奇,冯华君,徐之海,陈跃庭,郑珍珍 基于光学联合变换相关器的像移探测技术 第2694页至第2697页 1-3 第38卷, 第10期 2 *
《光学学报》 20090731 葛鹏,陈跃庭,李奇,冯华君,徐之海,郑珍珍 欠曝光下光学联合变换相关器位移探测技术的稳健性研究 第1796页至第1800页 1-3 第29卷, 第7期 2 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521834A (zh) * 2011-12-12 2012-06-27 上海海事大学 采用极对数坐标表示的分数阶傅里叶变换的图像配准方法
CN102722895A (zh) * 2012-05-15 2012-10-10 哈尔滨工程大学 基于分数傅立叶变换的形状描述方法
CN102722895B (zh) * 2012-05-15 2014-03-26 哈尔滨工程大学 基于分数傅立叶变换的形状描述方法
CN103076003A (zh) * 2012-12-25 2013-05-01 中国科学院长春光学精密机械与物理研究所 一种基于电子图像处理器的图像序列位移矢量测量装置
CN104200474A (zh) * 2014-09-04 2014-12-10 华中科技大学 一种获取物体变形量的数字图像分析方法
US10177844B2 (en) 2016-09-13 2019-01-08 Fujitsu Limited Measurement method and apparatus for a residual direct-current component and system
US10313008B2 (en) 2016-09-13 2019-06-04 Fujitsu Limited Measurement method and apparatus for residual direct-current components and a system
CN107942523A (zh) * 2017-12-05 2018-04-20 安徽大学 一种基于光强传输测量计算的相位恢复系统
CN107942523B (zh) * 2017-12-05 2023-10-10 安徽大学 一种基于光强传输测量计算的相位恢复系统
CN110610511A (zh) * 2018-06-15 2019-12-24 刘军 一种导丝移动侦测的装置和方法
CN114897950A (zh) * 2022-04-29 2022-08-12 上海精积微半导体技术有限公司 图像配准及缺陷检测方法

Also Published As

Publication number Publication date
CN102054272B (zh) 2012-06-27

Similar Documents

Publication Publication Date Title
CN102054272B (zh) 一种基于联合分数傅里叶变换的位移矢量探测方法及装置
Hiura et al. Depth measurement by the multi-focus camera
US6229913B1 (en) Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two-images due to defocus
CN102072706B (zh) 一种多相机定位与跟踪方法及系统
WO2011071948A2 (en) System and method for determining geo-location(s) in images
CN104793343A (zh) 三通道单渥拉斯顿棱镜偏振成像装置及偏振信息探测方法
CN106803892A (zh) 一种基于光场测量的光场高清晰成像方法
Chen et al. Color and depth data fusion using an RGB‐D sensor for inexpensive and contactless dynamic displacement‐field measurement
CN106556461B (zh) 一种基于自适应光学的光谱成像装置
Hui et al. Line-scan camera calibration in close-range photogrammetry
CN106019307A (zh) 一种基于阵列光源的单像素成像系统及方法
CN205484796U (zh) 基于线束激光器和普通摄像头芯片的多点测距装置
CN103905746A (zh) 亚像素级图像偏移定位及叠加方法和装置以及视频设备
US10475163B2 (en) Method and apparatus for generating data representative of a bokeh associated to light-field data
Tang et al. An improved spatiotemporal correlation method for high-accuracy random speckle 3D reconstruction
CN104535189A (zh) 共轴静态空间频率调制全偏振成像探测装置
CN102062572A (zh) 基于jtc的高精度光电混合像移测量装置及其方法
CN101523436A (zh) 用于恢复视频流中的视差的方法和滤波器
CN102663768A (zh) 偏振视觉系统中自适应确定偏振镜的最佳透振方向的方法
CN106643731A (zh) 一种对点目标进行跟踪测量的系统及方法
CN102288117B (zh) 基于光学联合变换相关器的像移探测成像系统
Ohmura et al. Accuracy improvement by phase only correlation for distance estimation scheme for visible light communications using an LED array and a high-speed camera
CN202133375U (zh) 基于光学联合变换相关器的像移探测成像系统
CN209231707U (zh) 基于压缩感知理论的立体成像装置及系统
CN113899528A (zh) 一种基于3d-dic原理的液面动态波高测量方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120627

Termination date: 20131103