CN106373122A - 基于连接向量特征匹配的暗场图像配准方法 - Google Patents

Abstract

基于连接向量特征匹配的暗场图像配准方法，属于光学元件检测技术领域。解决了现有暗场图像配准方法存在对同一个光学元件在多次在线检测中得到多幅暗场图像之间的配准，配准不适用且准确性差的问题。本发明首先对基准图像及待配准图像分别进行图像预处理，尽可能消除干扰，接着求取损伤点的轮廓，并求其外接圆圆心坐标，作为损伤点的位置值。然后构建损伤点连接向量并计算连接向量特征，之后使用借鉴BBF算法实现特征精确匹配，最后利用匹配后的特征点对进行仿射变换参数计算，完成配准。本发明适用于光学元件检测的图像匹配。

Description

基于连接向量特征匹配的暗场图像配准方法

技术领域

本发明属于光学元件检测技术领域。

背景技术

大型固体激光装置规模宏大，光学元件数量众多，输出能量和功率高，是惯性约束聚变研究的主力装置。在高功率条件下，光学元件光致损伤成为人们必须解决的棘手问题。惯性约束聚变大型固体激光装置的终端光学组件集成了众多大口径光学元件，在高能量激光的辐照下极易产生损伤，为了确保及时发现与跟踪损伤的增长过程，终端光学元件损伤在线检测系统(Final Optics Damage online-Inspection,FODI)在每次打靶实验后，对终端光学元件采集图像，如图1和图2所示。

为了跟踪损伤的增长过程，需要对不同时间采集的同一个光学元件的在线检测图像进行配准。这个应用背景下的图像配准有两个特点：1)对应图像之间的有平移、旋转等仿射变换；2)图像是暗场图像，即背景是暗背景，光学元件损伤点在图像中形成亮斑，缺少纹理信息，常规的利用纹理灰度的方法进行配准不适用。如图3所示。且存在对同一个光学元件在多次在线检测中得到多幅暗场图像之间的配准问题。

发明内容

本发明是为了解决现有暗场图像配准方法存在对同一个光学元件在多次在线检测中得到多幅暗场图像之间的配准不适配，以及准确性差的问题。提出了一种基于连接向量特征匹配的暗场图像配准方法。

本发明所述的基于连接向量特征匹配的暗场图像配准方法，该方法的具体步骤为：

步骤一、对基准图像及待配准图像分别进行图像预处理，消除图像中的干扰，获取图像中的损伤点的轮廓；

步骤二、分别求步骤一获取的基准图像和待配准图像中的损伤点轮廓的外接圆的圆心坐标，作为图像中损伤点的位置值；

步骤三、对分别对步骤二求的基准图像和待配准图像中的损伤点的坐标点进行连接，建损伤点连接向量并计算连接向量的特征向量；

步骤四、采用BBF算法对基准图像中的特征向量和待配准图像中的特征向量进行特征点匹配，对匹配后的特征点进行仿射变换参数计算，完成暗场图像配准。

进一步地：对基准图像及待配准图像分别进行图像预处理的方法为：对图像的灰度直方图均衡化操作后再进行二值化操作。

本发明首先对基准图像及待配准图像分别进行图像预处理，尽可能消除干扰，接着求取损伤点的轮廓，并求其外接圆圆心坐标，作为损伤点的位置值。然后构建损伤点连接向量并计算连接向量特征，之后使用借鉴BBF算法实现特征精确匹配，最后利用匹配后的特征点对进行仿射变换参数计算，完成配准。有效的提高了配准的准确性和适配性。

附图说明

图1为现有技术中，光学元件损伤在线检测系统检测光学元件的示意图；图中，标号1为终端光学元件、2为照明系统、3为控制及数据处理系统、4为终端光学元件损伤在线检测系统、5为光学元件数据库；

图2为基于激光侧照明的光学元件暗场成像检测表面损伤示意图；图中，标号6为被检测光学元件、a为照明激光入射方向、b为损伤点；

图3为现有技术中，表面有损伤的光学元件的检测图像；

图4为本发明暗场微弱信号图像配准技术流程图；

图5为基准图像原图；

图6为基准图像预处理后图；

图7为参考图像轮廓提取图；

图8为参考图像轮廓提取图-局部图；

图9为连接向量特征构造过程示意图；

图10为确定特征点主方向和模值后的图像；

图11为坐标轴旋转示意图；

图12为初步筛选后的匹配点对连线图；

图13为精确匹配后特征点对连线图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

具体实施方式一、结合图4说明本实施方式，本实施方式所述的基于连接向量特征匹配的暗场图像配准方法，该方法的具体步骤为：

步骤一、对基准图像及待配准图像分别进行图像预处理，消除图像中的干扰，获取图像中的损伤点的轮廓；

步骤二、分别求步骤一获取的基准图像和待配准图像中的损伤点轮廓的外接圆的圆心坐标，作为图像中损伤点的位置值；

步骤三、对分别对步骤二求的基准图像和待配准图像中的损伤点的坐标点进行连接，建损伤点连接向量并计算连接向量的特征向量；

步骤四、采用BBF算法对基准图像中的特征向量和待配准图像中的特征向量进行特征点匹配，对匹配后的特征点进行仿射变换参数计算，完成暗场图像配准。

对于基于特征点的图像配准，精确提取出特征点尤为关键。因为在暗场微弱信号图片中，我们关注的只是暗场中的光斑，即损伤点，而非暗场。提取二值图中光斑的轮廓，并计算其轮廓的圆圆心，将圆心坐标作为特征点的位置提取出来。保留了原图中损伤点和损伤点之间的相对位置关系，有利于特征向量的构造，得到方向直方图也更有意义，同时也提高了最后的特征匹配率。轮廓提取图及局部图分别如图7和8所示。

具体实施方式二、本实施方式是对具体实施方式一所述的基于连接向量特征匹配的暗场图像配准方法的进一步说明，对基准图像及待配准图像分别进行图像预处理的方法为：对图像的灰度直方图均衡化操作后再进行二值化操作。

在对暗场微弱信号图像配准前，为了使同一场景的相同图像尽可能的减少外界环境的干扰和条件的限制，提高的配准精度，需对原始输入图像进行去噪及灰度校正等图像预处理操作。将图像中无用的信息剔除，滤除干扰、噪声，对有效的真实信息放大，更快的检测出相关信息，尽可能的对数据进行简化，使得特征提取的可靠和准确性得到提升是图像预处理的主要目的。

具体实施方式三、本实施方式是对具体实施方式二所述的基于连接向量特征匹配的暗场图像配准方法的进一步说明，对图像的灰度直方图均衡化的方法为：

利用图像的灰度直方图的概率分布函数：

$P_s\left(s\right)=P_r\left(r\right)\left|\frac{ds}{dr}\right|---\left(1\right)$

其中s＝clog(1+r)，c是常数c∈[0,1]，P_r(r)是原始图像直方图的概率分布函数，P_s(s)是均衡化的直方图的概率分布函数，r、s分别代表均衡化前后的灰度值，对原始图像直方图的概率分布函数进行均衡化，令P_s(s)＝1，因此：

$\frac{ds}{dr}=P_r\left(r\right)---\left(2\right)$

等式两侧分别求r的积分，积分后的式子便是概率密度函数的均衡化公式：

$s={\∫}_0^r{P}_r\left(\mathrm{\ω}\right)d\mathrm{\ω}---\left(3\right)$

式中，ω的范围为[0，r]；

由于数字图像是离散的，因此，离散化(3)式得频移：

$T=\underset{j=0}{\overset{m}{\Σ}}{P}_r\left(r_m\right)---\left(4\right)$

获得每一像素均衡化后的归一化灰度，对T进行统计得到均衡化后的灰度直方图；

∑P_r(r_m)表示第0～m灰度级出现概率和，m的范围为[0～255]。

灰度直方图均衡化即在进行图像处理时，使用图像直方图调整图像对比度的方法。输入图像的灰度直方图由于像素灰度的随机性而高低错落，为了取得直方图比较平缓的效果，可以使用直方图均衡化对输入图像进行操作。

为了便于整个图像表现出显著的损伤点对比效果，对图像进行二值化操作。图像中的数据量大大降低，凸显出目标的轮廓。图像预处理后的参考图像和原图分别如图5和6所示。

具体实施方式四、本实施方式是对具体实施方式一或二所述的基于连接向量特征匹配的暗场图像配准方法的进一步说明，步骤三中建损伤点连接向量并计算连接向量的特征向量的方法为：

步骤三一、以图像中的每个特征点作为坐标原点，分别建立直角坐标系，所述直角坐标系的Y轴的正向向下；

步骤三二、按照半径R的范围，搜索每个原点周围内满足搜索半径的特征点，并将原点与满足搜索半径的特征点连接，构成连接向量；并求连接向量的特征向量；其中，R为正数；

步骤三三、求步骤三一获得特征向量的归一化特征向量，对特征向量为0的特征点，扩大周围搜索圆的半径，令R＝R+a，直至所有的特征点的特征向量均包括n个数据；a和n均为正数；

步骤三四、建立方向直方图，确定每个特征点的主方向和模值；

步骤三五、旋转每个特征点的坐标系，使坐标系的x轴正向与特征点的主方向重合，执行步骤三二，获得每个特征点在旋转后的坐标系内的特征向量。

具体实施方式五、本实施方式是对具体实施方式四所述的基于连接向量特征匹配的暗场图像配准方法的进一步说明，令作为原点的特征点的坐标为(x₀,y₀)，满足搜索半径的任一特征点P1坐标为(x₁,y₁)，则：

$\mathrm{\ρ}=\sqrt{{(x_0-x_1)}^2+{(y_0-y_1)}^2}---\left(5\right)$

$\mathrm{\θ}=\arctan \left(\right|\frac{y_0-y_1}{x_0-x_1}\left|\right)---\left(6\right)$

式中，ρ为向量模值，θ为向量与x轴正方向的夹角；

以为坐标原点每隔45°做出一个方向轴，并为每个方向轴标号，以x轴为起点，逆时针方向进行0～7的标号，如图9中的(d)所示。

然后将向量投射至与其相邻的两个坐标轴上，利用公式：

${\mathrm{\ρ}}_{p_1}=\mathrm{\ρ}\·{\mathrm{cos\θ}}_i---\left(7\right)$

获得向量的在标号为i的方向轴上的模值ρ_i，其中，获得为原点的特征点的8维的特征向量。

例如：如图9中(a)所示，依次遍历特征点序列，选择一个特征点(图9中黑点)，建立图中所示坐标系，y轴向下，(图9(b)中按照程序预设窗口范围(本文是15像素)搜索特征点周围满足条件的邻近特征点(图中白点)，(c)中将特征点与邻近特征点连接，构成

连接向量。以白点P1为例，设图中黑点坐标为(x₀,y₀)，白点P1坐标为(x₁,y₁)，则：

$\mathrm{\ρ}=\sqrt{{(x_0-x_1)}^2+{(y_0-y_1)}^2}$

$\mathrm{\θ}=\arctan \left(\right|\frac{y_0-y_1}{x_0-x_1}\left|\right)$

接着以特征点为原点每隔45°做出一个方向轴，并为每个方向轴标号，以x轴为起点，逆时针方向进行0～7的标号，如图9中(d)所示。然后将向量P1、P2分别投影离其最近的两个方向轴上，构成向量Q11、Q12、Q21、Q22，同样以白点P1为例，Q12在方向0上，直接得到模值：

ρ₂＝|x₀-x₁|

Q11在方向7上，所以：

${\mathrm{\θ}}_1=|\frac{\mathrm{\π}}{4}-\mathrm{\θ}|$

ρ₁＝ρ·cosθ₁

式中ρ₁、ρ₂即方向7和0的模值。

当该特征点所有符合条件的邻近特征点都投影并计算模值后，同方向累加就构成了一个8维的特征向量。构建完特征向量后，利用归一化特征向量的操作来降低光强差异对结果的影响程度。

因为最开始的搜索半径是固定的，所以会存在有的特征点的8维特征向量均为0的情况，为了尽可能提高匹配成功率，所以对所有为0的特征向量按步扩大搜索半径，步长取5。直到所有的特征点特征向量均有数据n。并建立方向直方图确定每个特征点的主方向，图10所示的是经过计算后的特征点主方向和模值。

具体实施方式六、本实施方式是对具体实施方式四所述的基于连接向量特征匹配的暗场图像配准方法的进一步说明，旋转每个特征点的坐标系，使坐标系的x轴正向与特征点的主方向重合后每个特征点邻域内邻近特征点的坐标通过公式：

$\left(\begin{array}{c}{x}^{\′}\\ y^{\′}\end{array}\right)=\left(\begin{array}{cc}cos(2\mathrm{\π}-\mathrm{\θ})& -sin(2\mathrm{\π}-\mathrm{\θ})\\ sin(2\mathrm{\π}-\mathrm{\θ})& \cos (2\mathrm{\π}-\mathrm{\θ})\end{array}\right)\left(\begin{array}{c}x\\ y\end{array}\right)(x,y\∈\[-R,R\])---\left(8\right)$

获得，式中，x，y分别为邻近特征点的原始坐标，x'，y'为在旋转后的坐标系下的坐标。如图11所示。

具体实施方式七、本实施方式是对具体实施方式一所述的基于连接向量特征匹配的暗场图像配准方法的进一步说明，采用BBF算法对特征向量进行特征点匹配的方法为：

步骤四一、依次遍历参考图像中的特征点，对参考图像中每个特征点遍历输入图像特征点序列：

$k=\left\{\begin{array}{c}\frac{{\mathrm{\&rho;}}_1\&lsqb;i\&rsqb;}{{\mathrm{\&rho;}}_2\&lsqb;i\&rsqb;}({\mathrm{\&rho;}}_1\&lsqb;i\&rsqb;<{\mathrm{\&rho;}}_2\&lsqb;i\&rsqb;)\\ \frac{{\mathrm{\&rho;}}_2\&lsqb;i\&rsqb;}{{\mathrm{\&rho;}}_1\&lsqb;i\&rsqb;}({\mathrm{\&rho;}}_1\&lsqb;i\&rsqb;>{\mathrm{\&rho;}}_2\&lsqb;i\&rsqb;)\\ 1({\mathrm{\&rho;}}_1\&lsqb;i\&rsqb;={\mathrm{\&rho;}}_2\&lsqb;i\&rsqb;)\end{array}\right.,i\&Element;\&lsqb;0,7\&rsqb;---\left(9\right)$

若i的取值从0～7时，特征点均满足k>0.9，保留该特征点，其中，ρ₁和ρ₂是初步匹配点对；如图12将这些点进行连线；

式中，ρ₁和ρ₂分别代表初步匹配点对中参考图像的8维特征向量和待配准图像在特征点的8维特征向量，k为二者之比；

步骤四二、计算同一参考图像中所有经步骤四一后保留的特征点与待配准图像中与其匹配的特征点的欧氏距离d：

$d=\sqrt{{(x_1-x_2)}^2+{(y_1-y_2)}^2}---\left(10\right)$

式中，(x₁,y₁)为参考图像特征点坐标，((x₂,y₂)为输入图像特征点坐标；

当d值小于预设的阈值就保留；当d值大于预设的阈值剔出；

依次计算所有与该参考图像保留的特征点匹配的待配准图像的特征点之间的欧式距离，获得n个特征点的欧式距离：d₁、d₂、…、d_n；

选取d₁、d₂、…、d_n中最小的欧式距离，最小欧式距离的待配准图像特征点即为该参考图像的精确匹配点；获得精确匹配后的特征点对。精确匹配后特征点对连线图如图13所示。

具体实施方式八、本实施方式是对具体实施方式一所述的基于连接向量特征匹配的暗场图像配准方法的进一步说明，对匹配后的特征点进行仿射变换参数计算，完成暗场图像配准的方法为：

利用精确匹配后的特征点对，计算出匹配点对的仿射变换3×3矩阵：

$H=\left(\begin{array}{ccc}{S}_x& {\mathrm{Sh}}_x& T_x\\ {\mathrm{Sh}}_y& S_y& T_y\\ 0& 0& 1\end{array}\right)---\left(11\right)$

其中，S_x、S_y表示x，y方向的伸缩，Sh_x、Sh_y表示x，y方向的变形，T_x、T_y表示x、y方向的位移；获得仿射变换3×3矩阵，完成配准。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.基于连接向量特征匹配的暗场图像配准方法，其特征在于，该方法的具体步骤为：

步骤一、对基准图像及待配准图像分别进行图像预处理，消除图像中的干扰，获取图像中的损伤点的轮廓；

步骤二、分别求步骤一获取的基准图像和待配准图像中的损伤点轮廓的外接圆的圆心坐标，作为图像中损伤点的位置值；

步骤三、对分别对步骤二求的基准图像和待配准图像中的损伤点的坐标点进行连接，建损伤点连接向量并计算连接向量的特征向量；

步骤四、采用BBF算法对基准图像中的特征向量和待配准图像中的特征向量进行特征点匹配，对匹配后的特征点进行仿射变换参数计算，完成暗场图像配准。

2.根据权利要求1所述的基于连接向量特征匹配的暗场图像配准方法，其特征在于，对基准图像及待配准图像分别进行图像预处理的方法为：对图像的灰度直方图均衡化操作后再进行二值化操作。

3.根据权利要求2所述的基于连接向量特征匹配的暗场图像配准方法，其特征在于，对图像的灰度直方图均衡化的方法为：

利用图像的灰度直方图的概率分布函数：

$P_s\left(s\right)=P_r\left(r\right)\left|\frac{ds}{dr}\right|---\left(1\right)$

P_r(r)是原始图像直方图的概率分布函数，P_s(s)是均衡化的直方图的概率分布函数，r、s分别代表均衡化前后的灰度值，对原始图像直方图的概率分布函数进行均衡化，令P_s(s)＝1，因此：

$\frac{ds}{dr}=P_r\left(r\right)---\left(2\right)$

等式两侧分别求r的积分，积分后的式子便是概率密度函数的均衡化公式：

$s={\&Integral;}_0^r{P}_r\left(\mathrm{\&omega;}\right)d\mathrm{\&omega;}---\left(3\right)$

式中，ω的范围为[0，r]；

由于数字图像是离散的，因此，离散化(3)式得频移：

$T=\underset{j=0}{\overset{m}{\&Sigma;}}{P}_r\left(r_m\right)---\left(4\right)$

获得每一像素均衡化后的归一化灰度，对T进行统计得到均衡化后的灰度直方图；

∑P_r(r_m)表示第0～m灰度级出现概率和，m的范围为[0～255]。

4.根据权利要求1或2所述的基于连接向量特征匹配的暗场图像配准方法，其特征在于，步骤三中建损伤点连接向量并计算连接向量的特征向量的方法为：

步骤三一、以图像中的每个特征点作为坐标原点，分别建立直角坐标系，所述直角坐标系的Y轴的正向向下；

步骤三二、按照半径R的范围，搜索每个原点周围内满足搜索半径的特征点，并将原点与满足搜索半径的特征点连接，构成连接向量；并求连接向量的特征向量；其中，R为正数；

步骤三三、求步骤三一获得特征向量的归一化特征向量，对特征向量为0的特征点，扩大周围搜索圆的半径，令R＝R+a，直至所有的特征点的特征向量均包括n个数据；a和n均为正数；

步骤三四、建立方向直方图，确定每个特征点的主方向和模值；

步骤三五、旋转每个特征点的坐标系，使坐标系的x轴正向与特征点的主方向重合，执行步骤三二，获得每个特征点在旋转后的坐标系内的特征向量。

5.根据权利要求4所述的基于连接向量特征匹配的暗场图像配准方法，其特征在于，步骤三二中求连接向量的特征向量的方法为：

令作为原点的特征点的坐标为(x₀,y₀)，满足搜索半径的任一特征点P1坐标为(x₁,y₁)，则：

$P=\sqrt{{(x_0-x_1)}^2+{(y_0-y_1)}^2}---\left(5\right)$

$\mathrm{\&theta;}=arctan\left(\right|\frac{y_0-y_1}{x_0-x_1}\left|\right)---\left(6\right)$

式中，ρ为向量模值，θ为向量与x轴正方向的夹角；

以为坐标原点每隔45°做出一个方向轴，并为每个方向轴标号，以x轴为起点，逆时针方向进行0～7的标号，

然后将向量投射至与其相邻的两个坐标轴上，利用公式：

ρ_p＝ρ·cosθ_i (7)

获得向量的在标号为i的方向轴上的模值ρ_i，其中，获得为原点的特征点的8维的特征向量。

6.根据权利要求4所述的基于连接向量特征匹配的暗场图像配准方法，其特征在于，旋转每个特征点的坐标系，使坐标系的x轴正向与特征点的主方向重合后每个特征点邻域内邻近特征点的坐标通过公式：

$\left(\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\end{array}\right)=\left(\begin{array}{cc}cos(2\mathrm{\&pi;}-\mathrm{\&theta;})& -sin(2\mathrm{\&pi;}-\mathrm{\&theta;})\\ sin(2\mathrm{\&pi;}-\mathrm{\&theta;})& \cos (2\mathrm{\&pi;}-\mathrm{\&theta;})\end{array}\right)\left(\begin{array}{c}x\\ y\end{array}\right)(x,y\&Element;\&lsqb;-R,+R\&rsqb;)---\left(8\right)$

获得；式中，x，y分别为作为原点的特征点搜索半径内的特征点原始坐标，x'，y'为在旋转后的坐标系下的坐标。

7.根据权利要求1或5所述的基于连接向量特征匹配的暗场图像配准方法，其特征在于，采用BBF算法对特征向量进行特征点匹配的方法为：

步骤四一、依次遍历参考图像中的特征点，对参考图像中每个特征点遍历输入图像特征点序列：

$k=\{\begin{array}{c}\frac{{\mathrm{\&rho;}}_1\&lsqb;i\&rsqb;}{{\mathrm{\&rho;}}_2\&lsqb;i\&rsqb;}({\mathrm{\&rho;}}_1\&lsqb;i\&rsqb;<{\mathrm{\&rho;}}_2\&lsqb;i\&rsqb;)\\ \frac{{\mathrm{\&rho;}}_2\&lsqb;i\&rsqb;}{{\mathrm{\&rho;}}_1\&lsqb;i\&rsqb;}({\mathrm{\&rho;}}_1\&lsqb;i\&rsqb;>{\mathrm{\&rho;}}_2\&lsqb;i\&rsqb;)\\ 1({\mathrm{\&rho;}}_1\&lsqb;i\&rsqb;={\mathrm{\&rho;}}_2\&lsqb;i\&rsqb;)\end{array},i\&Element;\&lsqb;0,7\&rsqb;---\left(9\right)$

若i的取值从0～7时，特征点均满足k>0.9，保留该特征点，对图中保留下的特征点进行连线；

式中，ρ₁和ρ₂分别代表初步匹配点对中参考图像的8维特征向量和待配准图像在特征点的8维特征向量，k为二者之比；

步骤四二、计算同一参考图像中所有步骤四一中保留的特征点与待配准图像中与其匹配的特征点的欧氏距离d：

$d=\sqrt{{(x_3-x_2)}^2+{(y_3-y_2)}^2}---\left(10\right)$

式中，(x₃,y₃)为参考图像特征点坐标，(x₂,y₂)为输入图像特征点坐标；

当d值小于预设的阈值保留；

依次计算所有与该参考图像保留的特征点匹配的待配准图像的特征点之间的欧式距离，获得n个特征点的欧式距离：d₁、d₂、…、d_n；

选取d₁、d₂、…、d_n中最小的欧式距离，最小欧式距离的相对应的在待配准图像特征点为该参考图像的精确匹配点；获得精确匹配后的特征点对。

8.根据权利要求1所述的基于连接向量特征匹配的暗场图像配准方法，其特征在于，对匹配后的特征点进行仿射变换参数计算，完成暗场图像配准的方法为：

利用精确匹配后的特征点对，计算出匹配点对的仿射变换3×3矩阵：

$H=\left(\begin{array}{ccc}{S}_x& {\mathrm{Sh}}_x& T_x\\ {\mathrm{Sh}}_y& S_y& T_y\\ 0& 0& 1\end{array}\right)---\left(11\right)$

其中，S_x、S_y表示x，y方向的伸缩，Sh_x、Sh_y表示x，y方向的变形，T_x、T_y表示x、y方向的位移；获得仿射变换3×3矩阵，完成配准。