CN104123708A - 一种光学元件表面显微散射暗场图像的拼接方法 - Google Patents

Abstract

本发明公开了一种光学元件表面显微散射暗场图像的拼接方法，包括：采用线阵相机沿着指定路径扫描光学元件表面；对左右相邻的显微散射暗场图像的感兴趣区域提取SIFT特征匹配点对；采用并行聚类算法对所述SIFT特征匹配点对进行筛选，得到最佳特征匹配点对集合；利用最佳特征匹配点对集合计算两图像重叠部分的变换矩阵，并运用变换矩阵实现图像的拼接。本发明的方法能够稳定快速地完成光学元件表面显微散射暗场图像拼接，耗时短，鲁棒性高，拼接误差小。

Description

一种光学元件表面显微散射暗场图像的拼接方法

技术领域

本发明涉及计算机视觉及图像处理领域，更具体地，涉及一种光学元件表面显微散射暗场图像的拼接方法。

背景技术

暗场成像是对光学元件缺陷检测的理想手段，它利用主动式光源照明被检测的光学元件，如果光学元件存在缺陷如划痕、麻点等，则缺陷处就会产生散射光。光学成像系统接收缺陷处产生的散射光，就会生成背景为黑色的，前景为明亮缺陷的图像。

常见的光学元件表面显微散射暗场图像的拼接方法为通过面阵显微相机拍摄光学元件表面的暗场图像，把相邻两幅待拼接的图像分别定义为包含图和匹配图，在包含图的重叠区域内取一个包含特征信息的模板图像，然后利用模板图像在匹配图中进行模板匹配，通过模板的匹配位置信息得到两图像重叠部分的变换矩阵，并运用变换矩阵实现图像的拼接。该方法采用面阵相机采集光学元件表面图片，增加了图像拼接的数量，使得拼接的时间比较长；采用模板匹配实现图像拼接的方法，易受噪声干扰，稳定性比较差。

发明内容

有鉴于此，本发明的目的在于提供一种光学元件表面显微散射暗场图像的拼接方法，以解决现有技术中光学元件表面显微散射暗场图像拼接耗时长及鲁棒性差等问题。

本发明提供了一种光学元件表面显微散射暗场图像拼接方法，包括如下步骤：

采用线阵相机沿着指定路径扫描光学元件表面，拍摄所述光学元件表面的显微散射暗场图像；

对左右相邻的所述显微散射暗场图像的感兴趣区域提取SIFT特征匹配点对；

采用并行聚类算法对提取的所述SIFT特征匹配点对进行筛选，以得到最佳特征匹配点对集合；

利用所述最佳特征匹配点对集合计算两图像重叠部分的变换矩阵，并运用变换矩阵实现图像的拼接。

其中，所述的采用并行聚类算法对提取的所述SIFT特征匹配点对进行筛选，以得到最佳特征匹配点对集合的步骤进一步包括：

生成匹配点对集合S＝{¹s，²s，…，ⁿs}，其中^ks＝(^kp₁，^kp₂，^kθ，^kL_x，^kL_y)，表示第k匹配点对，n表示匹配点对个数，k＝1，…，n，^kp₁表示匹配点对中的匹配点在左右相邻两幅图像中左图像的位置坐标，^kp₂表示匹配点对中的匹配点在左右相邻两幅图像中右图像的位置坐标，^kθ表示匹配点对中两匹配点构成的向量与图像水平方向的夹角，^kL_x表示向量在图像水平方向分量的模，^kL_y表示向量在图像竖直方向分量的模；

通过阈值设定一个角度阈值θ_T，剔除集合S中|θ|＞θ_T的匹配点对，生成匹配点对集合S′；

对匹配点对的特征^kL_x聚类，得到{¹S_x，...，^kS_x，...，^num1S_x}，其中，^kS_x为对匹配点对的特征^kL_x聚类得到的类别k所包含的匹配点对集合，num1为类别的个数；

从{¹S_x，...，^kS_x，...，^num1S_x}中选取含匹配点对最多的集合生成新的匹配点对集合S_x；

对匹配点对的特征^kL_y聚类，得到{¹S_y，...，^kS_y，...，^num2S_y}，其中，^kS_y为对匹配点对的特征^kL_y聚类得到的类别k所包含的匹配点对集合，num2为类别的个数；

从{¹S_y，...，^kS_y，...，^num2S_y}中选取含匹配点对最多的集合，生成新的匹配点对集合S_y；

求集合S_x和S_y的交集，获得最佳匹配点对集合

其中，所述的对匹配点对的特征^kL_x聚类的步骤进一步包括：

从匹配点对集合S′中任选一匹配点对^ks′；

将所述集合S′中剩下匹配点对的L_x与所述匹配点对^ks′的^kL_x进行比较，将L_x与^kL_x距离小于阈值r_x的匹配点对聚为一类形成集合^kS_x；

去除所述集合S′中属于^kS_x的匹配点对，若匹配点对集合S′为非空集合，则再次从任选一匹配点的步骤开始执行上述步骤。

其中，所述的对匹配点对的特征^kL_y聚类的步骤进一步包括：

从匹配点对集合S′中任选一匹配点对^ks′；

将所述集合S′中剩下匹配点对的L_x与所述匹配点对^ks′的^kL_y进行比较，将L_y与^kL_y距离小于阈值r_y的匹配点对聚为一类形成集合^kS_y；

去除所述集合S′中属于^kS_y的匹配点对，若匹配点对集合S′为非空集合，则再次从任选一匹配点的步骤开始执行上述步骤。

其中，所述的左右相邻两幅图像重叠部分的变换矩阵为：

$T=\left[\begin{array}{ccc}1& 0& -\mathrm{\Δx}\\ 0& 1& -\mathrm{\Δy}\\ 0& 0& 1\end{array}\right],$

式中， $\mathrm{\Δx}=\underset{i=1}{\overset{q}{\mathrm{\Σ}}}\left(\frac{\mathrm{Image}\_1.\mathrm{width}-p_1^i.x+p_2^i.x}{q}\right),$ $\mathrm{\Δy}=\underset{i=1}{\overset{q}{\mathrm{\Σ}}}\left(\frac{p_2^i.y-p_1^i.y}{q}\right),$ 其中Image_1.width为左图像的宽，ⁱp₁.x为最佳匹配点对集合S_best中匹配点对中的匹配点在左图像中的横坐标，ⁱp₂.x为最佳匹配点对集合S_best中匹配点对中的匹配点在右图像中的横坐标，ⁱp₁.y为最佳匹配点对集合S_best中匹配点对中的匹配点在左图像中的纵坐标，ⁱp₂.y为最佳匹配点对集合S_best中匹配点对中的匹配点在右图像中的纵坐标，q为最佳匹配点对集合S_best中匹配点对的个数。

其中，所述的感兴趣区域根据具体情况设定，一般左右相邻的两幅图像中每幅图像的感兴趣区域宽度要大于左右相邻的两幅图像实际重叠区域的宽度。

优选地，所述的图像感兴趣区域的宽度为400像素。

通过上述技术方案可知，本发明的方法由于采用线阵相机扫描成像、SIFT特征匹配及特征匹配点的筛选等而实现了光学元件表面显微散射暗场图像的拼接，具有耗时短、鲁棒性高、拼接误差小的优点。

附图说明

图1A为本发明的一种光学元件表面显微散射暗场图像的拼接方法的流程图；

图1B为本发明采用并行聚类算法对SIFT特征匹配点对进行筛选得到最佳特征匹配点对集合的流程图；

图1C为本发明对匹配点对的特征^kL_x聚类的流程图；

图1D为本发明对匹配点对的特征^kL_y聚类的流程图；

图2为线阵相机扫描成像的示意图；

图3为线阵相机扫描光学元件表面的运动路径示意图；

图4为SIFT匹配点对特征示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。

图1A示出了本发明的一种光学元件表面显微散射暗场图像拼接方法的流程图，包括如下步骤：

步骤S1：采用线阵相机沿着指定路径扫描光学元件表面，拍摄光学元件表面显微散射暗场图像；

步骤S2：对左右相邻的所述显微散射暗场图像的感兴趣区域提取SIFT特征匹配点对；

步骤S3：采用并行聚类算法对提取的所述SIFT特征匹配点对进行筛选得到最佳特征匹配点对集合；

步骤S4：利用所述最佳特征匹配点对集合计算左右相邻两幅图像重叠部分的变换矩阵，并运用变换矩阵实现图像的拼接。

其中线阵相机的成像方式如图2和图3所示：

线阵相机采集图像时需保证线阵相机1的光轴3与光学元件2表面垂直。首先线阵相机从上到下沿着路径P₁₂(与Z轴平行)扫描拍摄光学元件2表面的图像，然后线阵相机沿着路径P₂₃(与X轴平行)运动(运动过程中线阵相机不扫描拍摄光学元件表面的图像)，然后线阵相机从下到上沿着路径P₃₄(与Z轴平行)扫描拍摄光学元件2表面的图像，然后线阵相机沿着路径P₄₅运动(运动过程中线阵相机不扫描拍摄光学元件表面的图像)，以此方式直到线阵相机拍摄的图片能够覆盖整个光学元件表面。线阵相机的运动速度v_c按照下式计算：

$v_c=\frac{\mathrm{Dl}}{f}{v}_s,$

式中，D为相机距光学元件表面的距离，l为线阵相机的像素尺寸，f为相机的焦距，v_s为线阵相机的帧率。

步骤2中，感兴趣区域为根据经验确定的一个较大的区域，一般左右相邻的两幅图像中每幅图像的感兴趣区域宽度要大于左右相邻的两幅图像实际重叠区域的宽度。例如实施例中图像感兴趣区域(如图4中ROI_1及ROI_2)的宽度为400像素。

如图1B所示，步骤S3采用并行聚类算法对SIFT特征匹配点对进行筛选得到最佳特征匹配点对集合的具体实施步骤如下：

步骤S31：生成匹配点对集合S＝{¹s，²s，…，ⁿs}。其中^ks＝(^kp₁，^kp₂，^kθ，^kL_x，^kL_y)表示第k匹配点对，k＝1，…，n，n表示匹配点对个数，如图4所示，^kp₁表示匹配点在暗场图像Image_1中的图像坐标，^kp₂表示匹配点在暗场图像Image_2中的图像坐标，^kθ表示两匹配点构成的向量与x轴的夹角，^kL_x表示向量在x轴分量的模，^kL_y表示向量在y轴分量的模；

步骤S32：通过阈值设定一个角度阈值θ_T，剔除集合S中|θ|＞θ_T的匹配点对，生成匹配点对集合S′；

步骤S33A：对匹配点对的特征^kL_x聚类，得到{¹S_x，...，^kS_x，...，^num1S_x}。其中^kS_x为对匹配点对的特征^kL_x聚类得到的类别k所包含的匹配点对集合，num1为类别的个数；

步骤S34A：从{¹S_x，...，^kS_x，...，^num1S_x}中选取含匹配点对最多的集合生成新的匹配点对集合S_x；

步骤S33B：对匹配点对的特征^kL_y聚类，得到{¹S_y，...，^kS_y，...，^num2S_y}，其中^kS_y为对匹配点对的特征^kL_y聚类得到的类别k所包含的匹配点对集合，num2为类别的个数；

步骤S34B：从{¹S_y，...，^kS_y，...，^num2S_y}中选取含匹配点对最多的集合生成新的匹配点对集合S_y；

步骤S35：求集合S_x和S_y的交集获得最佳匹配点对集合其中q为最佳匹配点对集合S_best中匹配点对的个数；

其中如图1C所示，步骤S33A对匹配点对的特征^kL_x聚类的具体实施步骤如下：

步骤S33A1：从匹配点对集合S′中任选一匹配点对^ks′；

步骤S33A2：将集合S′中剩下匹配点对的L_x与匹配点对^ks′的^kL_x进行比较，将L_x与^kL_x距离小于阈值r_x的匹配点对聚为一类形成集合^kS_x；

步骤S33A3：去除集合S′中属于^kS_x的匹配点对，若匹配点对集合S′为非空集合则执行步骤S33A1。

其中如图1D所示，步骤S33B对匹配点对的特征^kL_y聚类的具体实施步骤如下：

步骤S33B1：从匹配点对集合S′中任选一匹配点对^ks′；

步骤S33B2：将集合S′中剩下匹配点对的L_x与匹配点对^ks′的^kL_y进行比较，将L_y与^kL_y距离小于阈值r_y的匹配点对聚为一类形成集合^kS_y；

步骤S33B3：去除集合S′中属于^kS_y的匹配点对，若匹配点对集合S′为非空集合则执行步骤S33B1。

步骤S4中，左右相邻两幅图像重叠部分的变换矩阵为：

$T=\left[\begin{array}{ccc}1& 0& -\mathrm{\Δx}\\ 0& 1& -\mathrm{\Δy}\\ 0& 0& 1\end{array}\right];$

式中， $\mathrm{\Δx}=\underset{i=1}{\overset{q}{\mathrm{\Σ}}}\left(\frac{\mathrm{Image}\_1.\mathrm{width}-p_1^i.x+p_2^i.x}{q}\right),$ $\mathrm{\Δy}=\underset{i=1}{\overset{q}{\mathrm{\Σ}}}\left(\frac{p_2^i.y-p_1^i.y}{q}\right),$ 其中Image_1.width为左图像的宽，ⁱp₁.x为最佳匹配点对集合S_best中匹配点对中的匹配点在左图像中的横坐标，ⁱp₂.x为最佳匹配点对集合S_best中匹配点对中的匹配点在右图像中的横坐标，ⁱp₁.y为最佳匹配点对集合S_best中匹配点对中的匹配点在左图像中的纵坐标，ⁱp₂.y为最佳匹配点对集合S_best中匹配点对中的匹配点在右图像中的纵坐标，q为最佳匹配点对集合S_best中匹配点对的个数。

通过上述变换矩阵将右图像进行平移变换，实现左右相邻图像的拼接。

在实施例中，线阵相机1的分辨率为8192像素，像素尺寸为7×7μm，参数D/f＝1.357，线阵相机从上到下沿着路径P₁₂及从下到上沿着路径P₃₄运动的速度为30mm/s，线阵相机的帧率为3158帧/s.图像感兴趣区域(如ROI_1及RO1_2)的宽度为400像素。

按照步骤S1到步骤S4，进行15次拼接结果如表1所示。由表1可以发现，本发明的拼接误差小，稳定性高。

表1 15次图像拼接结果

No.	真值(Δx，Δy)(像素)	测量值(Δx，Δy)(像素)	Δx误差(像素)	Δy误差(像素)
					1	(366，0)	(367，0)	1	0
2	(378，3)	(377，4)	-1	1
					3	(376，0)	(375，0)	-1	0
4	(372，0)	(372，0)	0	0
					5	(360，0)	(360，0)	0	0
6	(366，3)	(366，2)	0	-1
					7	(369，0)	(369，1)	0	1
8	(375，0)	(373，0)	-2	0
					9	(375，0)	(372，0)	-3	0
10	(373，4)	(371，3)	-2	-1
					11	(371，0)	(370，0)	-1	0
12	(367，2)	(367，1)	0	-1
					13	(366，4)	(364，2)	-2	-2
14	(370，2)	(368，0)	-2	-2
					15	(365，4)	(363，2)	-2	-2

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种光学元件表面显微散射暗场图像的拼接方法，包括如下步骤：

采用线阵相机沿着指定路径扫描光学元件表面，拍摄所述光学元件表面的显微散射暗场图像；

对左右相邻的所述显微散射暗场图像的感兴趣区域提取SIFT特征匹配点对；

采用并行聚类算法对提取的所述SIFT特征匹配点对进行筛选，以得到最佳特征匹配点对集合；

利用所述最佳特征匹配点对集合计算两图像重叠部分的变换矩阵，并运用变换矩阵实现图像的拼接。

2.如权利要求1所述的拼接方法，其中所述的采用并行聚类算法对提取的所述SIFT特征匹配点对进行筛选，以得到最佳特征匹配点对集合的步骤进一步包括：

生成匹配点对集合S＝{¹s，²s，…，ⁿs}，其中^ks＝(^kp₁，^kp₂，^kθ，^kL_x，^kL_y)，表示第k匹配点对，n表示匹配点对个数，k＝1，…，n，^kp₁表示匹配点对中的匹配点在左右相邻两幅图像中左图像的位置坐标，^kp₂表示匹配点对中的匹配点在左右相邻两幅图像中右图像的位置坐标，^kθ表示匹配点对中两匹配点构成的向量与图像水平方向的夹角，^kL_x表示向量在图像水平方向分量的模，^kL_y表示向量在图像竖直方向分量的模；

通过阈值设定一个角度阈值θ_T，剔除集合S中|θ|＞θ_T的匹配点对，生成匹配点对集合S′；

对匹配点对的特征^kL_x聚类，得到{¹S_x，...，^kS_x，...，^num1S_x}，其中，^kS_x为对匹配点对的特征^kL_x聚类得到的类别k所包含的匹配点对集合，num1为类别的个数；

从{¹S_x，...，^kS_x，...，^num1S_x}中选取含匹配点对最多的集合生成新的匹配点对集合S_x；

对匹配点对的特征^kL_y聚类，得到{¹S_y，...，^kS_y，...，^num2S_y}，其中，^kS_y为对匹配点对的特征^kL_y聚类得到的类别k所包含的匹配点对集合，num2为类别的个数；

从{¹S_y，...，^kS_y，...，^num2S_y}中选取含匹配点对最多的集合，生成新的匹配点对集合S_y；

求集合S_x和S_y的交集，获得最佳匹配点对集合

3.如权利要求2所述的拼接方法，其中所述的对匹配点对的特征^kL_x聚类的步骤进一步包括：

从匹配点对集合S′中任选一匹配点对^ks′；

将所述集合S′中剩下匹配点对的L_x与所述匹配点对^ks′的^kL_x进行比较，将L_x与^kL_x距离小于阈值r_x的匹配点对聚为一类形成集合^kS_x；

去除所述集合S′中属于^kS_x的匹配点对，若匹配点对集合S′为非空集合，则再次从任选一匹配点的步骤开始执行上述步骤。

4.如权利要求2所述的拼接方法，其中所述的对匹配点对的特征^kL_y聚类的步骤进一步包括：

从匹配点对集合S′中任选一匹配点对^ks′；

将所述集合S′中剩下匹配点对的L_x与所述匹配点对^ks′的^kL_y进行比较，将L_y与^kL_y距离小于阈值r_y的匹配点对聚为一类形成集合^kS_y；

去除所述集合S′中属于^kS_y的匹配点对，若匹配点对集合S′为非空集合，则再次从任选一匹配点的步骤开始执行上述步骤。

5.如权利要求1所述的拼接方法，其中所述的左右相邻两幅图像重叠部分的变换矩阵为：

$T=\left[\begin{array}{ccc}1& 0& -\mathrm{\Δx}\\ 0& 1& -\mathrm{\Δy}\\ 0& 0& 1\end{array}\right],$

式中， $\mathrm{\Δx}=\underset{i=1}{\overset{q}{\mathrm{\Σ}}}\left(\frac{\mathrm{Image}\_1.\mathrm{width}-p_1^i.x+p_2^i.x}{q}\right),$ $\mathrm{\Δy}=\underset{i=1}{\overset{q}{\mathrm{\Σ}}}\left(\frac{p_2^i.y-p_1^i.y}{q}\right),$ 其中Image_1.width为左图像的宽，ⁱp₁.x为最佳匹配点对集合S_best中匹配点对中的匹配点在左图像中的横坐标，ⁱp₂.x为最佳匹配点对集合S_best中匹配点对中的匹配点在右图像中的横坐标，ⁱp₁.y为最佳匹配点对集合S_best中匹配点对中的匹配点在左图像中的纵坐标，ⁱp₂.y为最佳匹配点对集合S_best中匹配点对中的匹配点在右图像中的纵坐标，q为最佳匹配点对集合S_best中匹配点对的个数。

6.如权利要求1所述的拼接方法，其中所述的感兴趣区域根据具体情况设定，一般左右相邻的两幅图像中每幅图像的感兴趣区域宽度要大于左右相邻的两幅图像实际重叠区域的宽度。

7.如权利要求6所述的拼接方法，其中所述的图像感兴趣区域的宽度为400像素。