CN201680816U - 基于jtc的高精度光电混合像移测量装置 - Google Patents

Abstract

本实用新型涉及基于JTC的高精度光电混合像移测量装置，包括激光器、设置在该激光器光路上的准直镜、设置在该准直镜的出射光路上的空间光调制器SLM、设置在空间光调制器SLM的出射光路上的傅立叶透镜和用于接收该傅立叶透镜的出射光线的CCD器件，该装置还包括连接于所述CCD器件的输出端的用于结合联合变换功率谱数据进行局部离散傅立叶变换计算、来获得互相关峰邻域的升采样影像的数字处理单元。本实用新型只需要一套光学傅立叶变换装置，有利于缩小整个检测装置的体积、成本，降低系统的复杂性，所提出的互相关峰检测技术能够在不增加计算量的情况下获得互相关峰的高分辨率内插数据，实现对影像间错位或像移的高精度检测。

Description

基于JTC的高精度光电混合像移测量装置

技术领域

本实用新型属于光电检测技术领域，涉及用于图像配准和像移测量的光学联合变换相关装置。

背景技术

近年来光学相关的研究发展十分迅速，从较早的匹配滤波器(Vander LugtCorrelator)到联合变换相关器(Joint Transform Correlator-JTC)，从纯光学系统发展到计算机控制的光电混合系统。联合变换相关器既有光学的并行处理、大容量和高速度的优点，又有计算机处理的灵活性及可编程性。因此，联合变换相关器已经被广泛的应用于机器视觉、目标跟踪、物体监测、光学计算等诸多领域。同样，联合变换相关器也可以被应用在遥感领域，通过这种有效的技术手段和装置可以进行图像配准、超分辨率影像重建和相机成像过程的像移测量。但是，这也对光学联合变换相关技术提出了新的要求，如高精度的影像错位测量性能、测量装置小型化和实时或准实时性等。

联合变换相关器的工作过程可以分成两步，即联合变换功率谱的记录和功率谱的相关读出。典型的联合变换相关器结构如图1所示。在进行两幅影像像移测量或配准时，首先将参考影像f_r(x，y)和被测影像f_t(x，y)加载到空间光调制器SLM13上，中心位置分别为(-a，0)，(a，0)，如图2所示。为表述方便，用三角符号代表两幅图像中的共同景物(其中，实线三角14代表参考图像，实线三角15代表当前图像，虚线三角16代表当前理想图像)，两幅图像间沿x、y方向的错位或像移分别为δx、δy，则相关器的输入i(x，y)可表示为：

i(x，y)＝f_r(x，y-a)+f_t(x+δx，y+a+δy)

激光器发出得单色相干光经准直后照射到SLM13上，经输入图像i(x，y)调制后通过傅立叶透镜FL1 4完成第一次傅里叶变换，得到其频谱函数T(u，v)：

T(u，v)＝F_r(u，v)exp(-2iπav)+F_texp{2iπ[uδx+(a+δy)v]}

T(u，v)的功率谱函数为：

${\left|T(u,v)\right|}^2={\left|F_r(u,v)\right|}^2+{\left|F_t(u,v)\right|}^2+F_r{F}_t^{*}\exp \{-2\mathrm{i\π}[\mathrm{u\δx}+(2a+\mathrm{\δy})v\left]\right\}$

$+F_t{F}_r^{*}\exp \left\{2\mathrm{i\π}(\mathrm{u\δx}+(2a+\mathrm{\δy})v]\right\}$

利用CCD1 5对|T(u，v)|²记录，并通过数控单元6(通常为计算机系统)把它加载到SLM2 7上，通过傅立叶透镜FL2 8完成第二次傅里叶变换后，在CCD2 9上得到其相关输出为：

$c(x,y)=f_r(x,y)\⊗f_r(x,y)+f_t(x,y)\⊗f_t(x,y)+f_r\⊗f_t*\mathrm{\δ}(x-\∂x,y-2a-\mathrm{\δy})$

$+f_t\⊗f_r*\mathrm{\δ}(x+\mathrm{\δx},y+2a+\mathrm{\δy})$

式中*表示卷积，

表示相关运算。从上式可见，前两项为两幅影像的自相关项，后两项为互相关项。互相关项相关峰的空间位置分布如图3所示，图中虚圆17代表理论相关峰位置(即不存在错位或像移时的输出图像)，实圆18代表与图2中实际景物位置所对应的实际输出相关峰位置。通过对互相关峰位置的检测和计算，可以得到两幅影像间得错位信息，进而完成图像配准或像移测量的目的。

但是不同于模式识别的应用，在利用联合变换相关器进行图像配准和像移测量的应用中，不是进行互相关峰强度的比较而是要精确的确定互相关峰的位置，通常测量精度要达到十分之一个像元左右。从联合变换相关器得到的相关输出包含了两幅影像的自相关峰和互相关峰，而绝大部分能量(80％以上)集中于自相关峰，从而影响互相关峰的探测。因此，通常通过对输入影像进行边缘增强和联合功率谱二值化或高通滤波等手段来消弱自相关峰的强度和锐化互相关峰，再对互相关峰邻域进行质心计算或曲线拟合得到互相关峰的亚像元位置。但是，这种处理过程增加了整个检测过程的复杂程度，易受各种中间环节的影像而限制了检测精度的进一步提高。

实用新型内容

针对上述光学联合变换相关技术的应用需求，本实用新型提出了一种新的光电混合联合变换相关测量方法和装置。它具有测量精度高、有利于降低系统复杂性、实现小型化、实时性和节约成本等特点。

一种基于JTC的高精度光电混合像移测量装置，包括激光器、设置在该激光器光路上的准直镜、设置在该准直镜的出射光路上的空间光调制器SLM、设置在空间光调制器SLM的出射光路上的傅立叶透镜和用于接收该傅立叶透镜的出射光线的CCD器件，其特殊之处在于，该装置还包括连接于所述CCD器件的输出端的用于结合联合变换功率谱数据进行局部离散傅立叶变换计算、来获得互相关峰邻域的升采样影像的数字处理单元。

上述数字处理单元是FPGA。

综上所述，本实用新型所提出的基于JTC的高精度光电混合图像配准和像移测量方法和装置具有以下特点：1)只需要一套光学傅立叶变换装置，有利于缩小整个检测装置的体积、成本，降低整个系统的复杂性。同时利用了光学傅立叶变换的高速、并行性完成了整个检测过程主要的计算任务。2)从联合功率谱数据到相关输出数据的计算采用数字信号处理器件(如FPGA)完成，所提出的互相关峰检测技术能够在不增加计算量的情况下获得互相关峰的高分辨率内插数据，从而实现对影像间错位或像移的高精度检测。随着数字信号处理器计算性能和并行性的不断提高，该系统可以被用于实时检测任务。

附图说明

图1典型的联合变换相关器结构示意图；

图2相关器输入图像排布图；

图3输出相关峰位置示意图；

图4新型JTC高精度光电混合图像配准和像移测量装置结构示意图；

图5在相关输出面上进行局部傅立叶变换的窗口位置示意图；

图6利用联合功率谱进行升采样局部傅立叶变换的过程示意图。

具体实施方式

本实用新型提出的利用JTC进行高精度图像配准和像移测量装置，其实现装置的基本结构如图4所示，该测量装置只使用一个空间光调制器、傅立叶透镜和CCD器件，达到获得参考影像和被测影像的联合变换功率谱的目的，而使用FPGA等可编程处理器件进行特定的运算来获得相关输出的信息。这种结构将大大降低整个检测系统的体积、重量和成本。

在通过光学傅立叶变换得到参考影像和被测影像联合变换功率谱后，如果仅仅利用数字信号处理器件完成第二步傅立叶变换过程并不能有效的提高整个检测系统的检测精度和速度。这里提出利用数字信号处理器件结合联合变换功率谱数据进行局部离散傅立叶变换计算，来获得互相关峰邻域的升采样影像。由于只需要进行局部的傅立叶变换，可以大大的降低计算量，并且可以根据应用的需要设置不同程度的升采样率，有效的提高互相关峰的亚像元位置检测精度。

参见图5，在具体实践过程中分两步完成互相关峰亚像元位置的高精度检测：

第一步，通过参考影像和被测影像在SLM上的放置坐标和傅立叶变换的基本属性确定在两幅影像无错位情况下一个理想互相关峰在相关输出面上的坐标。然后，根据被测影像相对于参考影像的错位的变换范围开窗计算以这个理想互相关峰为中心的局部相关输出数据，并初步确定实际互相关峰在相关输出面上的坐标。

第二步，以实际互相关峰为中心计算局部(如3×3窗口)相关输出数据，并对该相关输出数据进行k倍的升采样，从而得到实际互相关峰在1/k个像元精度下的坐标位置，并与理想互相关峰坐标进行比较，获得参考影像和被测影像在1/k个像元精度下的配准数据或像移数据。

对互相关峰邻域的升采样局部傅立叶变换可以通过离散傅立叶变换矩阵乘法或分数傅立叶变换实现。这里以离散傅立叶变换矩阵乘法加以说明。

根据傅立叶变换理论，在时间域上对一个时间信号进行补零等效于在频率域上对该信号的频谱进行了内插。同样，在频率域上补零等效于在时间域上对该信号实现了理想带限内插。例如，若要对一个长度为N的一维信号进行2倍升采样的理想内插，可以通过对它的傅立叶变换频谱进行补零，使其长度扩展为2N，再进行傅立叶逆变换实现。针对这里的应用，如果希望获得JTC相关输出面上互相关峰k倍升采样的影像数据就需要把联合变换功率谱数据进行二维补零，扩展到原来尺寸的k倍，再进行傅立叶变换。无疑这将大大增加计算量，甚至利用现有设备无法实现。例如，对于一个1024×1024影像，对其进行10倍升采样内插，就需要对其频谱进行10240×10240大小矩阵的傅立叶逆变换运算。因此，本实用新型采用离散傅立叶变换矩阵乘法来解决上述问题。

对于一个M×N大小的二维联合变换功率谱影像数据f(x，y)，其离散傅立叶变换的矩阵形式为：

$\mathrm{DFT}\left(f\right)=W_M^u\×f\×W_N^v$

其中 $W_M^u=\exp [i2\mathrm{\πux}/M],$ $W_N^v=\exp [i2\mathrm{\πvy}/N].$ 因为参考影像和被测影像在SLM上的放置坐标是已知的，所以在相关输出面19上其理想互相关峰的位置也是已知的。如果已知被测影像相对于参考影像的错位范围不超过t个像元，那么以相关输出面上两个理想互相关峰中的任意一个为中心开一个T×T大小的第一子窗口20(T＝2t+1)，并进行局部离散傅立叶变换获得相关输出面在第一子窗口20内的数据，进而通过比较获得实际互相关峰与理想互相关峰在像素级水平的距离。具体计算形式为：

${\mathrm{DFT}}_{\mathrm{window}1}\left(f\right)=W_{\mathrm{window}1}^u\×f\×W_{\mathrm{winow}1}^v---\left(1\right)$

其中W_window1 ^u和W_window1 ^v为根据子窗口1的位置和大小计算离散傅立叶变换所对应的W_M ^u和W_N ^v的部分系数子矩阵。

当实际相关峰的像元位置确定后，以实际互相关峰为中心开一个第二子窗口21(例如大小为3×3像元)，根据亚像元检测精度的需求，同样可以对第二子窗口2按上面的形式进行局部离散傅立叶变换获得相关输出面在k倍升采样下第二子窗口2内的数据，从而确定实际相关峰在1/k个像元内的坐标位置。具体计算形式为：

${\mathrm{DFT}}_{\mathrm{window}2}\left(f\right)=W_{\mathrm{window}2}^u\×f\×W_{\mathrm{window}2}^v---\left(2\right)$

其中W_window2 ^u、W_window2 ^v为根据子窗口2的位置和大小计算升采样局部离散傅立叶变换所对应的W_M ^u和W_N ^v的部分系数子矩阵。

此时 $W_M^u=\exp [i2\mathrm{\πux}/\left(\mathrm{kM}\right)],$ $W_N^v=\exp [i2\mathrm{\πvy}/\left(\mathrm{kN}\right)].$

根据以上两步的计算结果即式(1)和式(2)，就可以实现对实际互相关峰在1/k个像元精度下的坐标检测。同时，上述互相关峰检测技术可以有效的降低计算的复杂性。例如，对于M×N大小的联合功率谱影像数据，对其进行k倍升采样的快速傅立叶变换计算复杂度为o(MNk²[log(kM)+log(kN)])，采用上面的计算方法计算复杂度为o(MNk)。

Claims (2)

1.一种基于JTC的高精度光电混合像移测量装置，包括激光器、设置在该激光器光路上的准直镜、设置在该准直镜的出射光路上的空间光调制器SLM、设置在空间光调制器SLM的出射光路上的傅立叶透镜和用于接收该傅立叶透镜的出射光线的CCD器件，其特征在于：该装置还包括连接于所述CCD器件的输出端的用于结合联合变换功率谱数据进行局部离散傅立叶变换计算、来获得互相关峰邻域的升采样影像的数字处理单元。

2.根据权利要求1所述的基于JTC的高精度光电混合像移测量装置，其特征在于：所述数字处理单元是FPGA。

Images