CN110197503A - 基于增强型仿射变换的非刚性点集配准方法 - Google Patents

Abstract

本发明公开一种基于增强型仿射变换的非刚性点集配准方法，属于图像处理技术领域，涉及一种点集配准方法。解决现有点集配准方法由于配准精度目标函数局部收敛导致的配准精度低、鲁棒性差的问题。本发明利用可以表征全局形变规律的全局非刚性变换模型完成粗配准，再利用局部非刚性变换模型对粗配准的结果进行精细优化，实现点匹配。首先，利用基于非线性多项式的增强型仿射变换构建全局非刚性变换模型，配合基于高斯场的配准精度目标函数，克服梯度优化过程中局部收敛问题，实现粗配准；然后以粗配准的结果作为初值，利用局部非刚性变换模型对目标函数进行精细优化，实现最终的点集配准。

Description

基于增强型仿射变换的非刚性点集配准方法

技术领域

本发明属于图像处理技术领域，涉及一种基于增强型仿射变换的非刚性点集配准方法。

背景技术

点集配准在许多计算机视觉应用中都是关键性基础研究问题，例如模式识别、医学图像分析、图像融合以及双目立体视觉等领域。点集配准旨在找出点集之间的对应关系，并推导出可以将一个点集形状变成与另一个点集一致的空间变换。

为了获得高精度的配准效果，研究人员提出了许多方法，主要可以分为两类：刚性配准与非刚性配准。刚性配准只包括平移、缩放与旋转三种变换，由于其实现相对简单，因此对其研究与应用也较多。在刚性配准基础上，非刚性配准中增加了变形变换，因此非刚性配准要更加复杂，同时其配准精度也更高。但是由于实际工程问题中点集常常具有各向异性的特点，例如红外与可见光图像配准、视觉导航、笔迹识别等，这会导致建立准确恰当的非刚性空间变换模型变得非常困难。Ma等人利用希尔伯特核函数建立空间变换模型，实现了非刚性点匹配(Ma Jiayi,Zhao Ji,MaYong,Tian Jinwen.Non–RigidVisible andInfraredFace Registration via Regularized Gaussian Fields Criterion[J].Pattern Recognition,2015,48:772–784)。Yang构建了自适应权重的目标函数，配合薄板样条空间变换模型(Thin Plate Spline，TPS)来获得最优的点集变换系数(Yang.Non–rigid image registration for visible color and thermal IR face[C].2016International Conference onAudio,Language and Image Processing,2016:279–284)。Qu等人提出了一种在贝叶斯框架下利用回归和聚类实现高精度点匹配的方法(QuHanbing,Wang Jiaqiang,Li Bin,et al..Probabilistic model for robust affine andnon–rigid point set matching[J].IEEE Transactions on Pattern Analysis andMachine Intelligence,2017,39(2):371–384)。

目前，在大多非刚性点集配准方法中，点集配准常常被转换为目标函数优化问题，而其使用的空间变换模型都是基于每个点的非刚性形变量是互相独立的这一认知，因此常常会受到局部收敛的影响，导致无法获得最优的配准效果。

发明内容

针对上述不足，本发明提供一种基于增强型仿射变换的非刚性点集配准方法。

基于增强型仿射变换的非刚性点集配准方法，所述方法包括如下步骤：

步骤一、针对两个待配准点集的二维坐标集和(u_m,v_n∈²)，其中U为数据点集，V为模板点集，计算U中每个点和V中每个点之间的归一化特征差距w_mn；

步骤二、以为初值，利用拟牛顿法对粗配准目标函数进行优化，求解使目标函数收敛于极小值的全局非刚性变换系数；

步骤三、根据全局非刚性变换系数矩阵与全局非刚性变换模型，计算出点集U粗配准的变换结果；

步骤四、以点集U粗配准的结果作为初值，利用拟牛顿法对精配准目标函数进行优化，求解使目标函数收敛于极小值的局部非刚性变换系数；

步骤五、根据局部非刚性变换系数矩阵和局部非刚性变换模型，计算出点集U精配准的变换结果，完成与点集V的配准。

步骤三所述的全局非刚性变换模型f_G如下所示：

G_m＝[x,y,1,σx⁴,σy⁴,σxy³,σx³y,σx²y²,x³,y³,xy²,x²y,x²,y²,xy] (2)

A＝[s_xcos(θ),-sin(θ),t_x；sin(θ),s_ycos(θ),t_y；0,0,1] (3)

其中x和y分别表示点集U中任意一点u_m的横坐标与纵坐标，和分别表示u_m经空间变换之后的横坐标与纵坐标，[A|[K|P|0]^T]^T为增强型仿射变换系数矩阵，G_m为增强型仿射变换矩阵，0为12×1维的零向量，σ为平衡系数，其作用是为了减弱高次多项式对整体变换的影响。

步骤二所述的粗配准目标函数为如下形式：

其中H_m＝G_m[A|[K|P|0]^T]^T，Z为29×1维的向量，Z＝[0,1,1,0,...,0]^T，tr(·)表示矩阵的迹，σ_d为精度方差系数，λ为调节系数。

步骤二所述的粗配准目标函数一阶导数表达式如下所示：

其中为29×3维的矩阵，如下所示：

其中

基于粗配准目标函数的一阶导数表达式(5)，就可以利用拟牛顿法对粗配准目标函数(4)进行优化，找出使目标函数取最小值的全局非刚性变换系数Q，进而利用全局非刚性变换模型(1)得到点集U粗配准的变换结果f_G(U)。

之后以f_G(U)为初值，基于局部非刚性配准模型，利用拟牛顿法对精配准目标函数进行优化，得到点集U精配准的变换结果，也是最终的配准结果。

与现有技术相比，本发明的点集配准方法具有如下显著优点：

本发明的方法使用增强型仿射变换构建全局非刚性变换模型，将每个点的形变量看成一个整体，从而避免了个别点局部极小值的干扰，保证配准精度目标函数梯度优化过程的顺利进行，为精配准提供形变差距较小的初值，可以更好地克服了目标函数局部收敛的问题，只使用拟牛顿法进行优化即可，有效降低了算法的复杂程度，并保证了点集配准的精度与鲁棒性。

附图说明

图1为本发明所述方法的流程图。

图2为本发明方法粗配准与精配准的效果。

具体实施方式

结合图1说明本实施方式，本实施方式所述的基于增强型仿射变换的非刚性点集配准方法，该方法的具体步骤为：

步骤一、针对两个待配准点集的二维坐标集和(u_m,v_n∈²)，其中U为数据点集，V为模板点集，计算U中每个点和V中每个点之间的归一化特征差距w_mn；

步骤二、以为初值，利用拟牛顿法对粗配准目标函数进行优化，求解使目标函数收敛于极小值的全局非刚性变换系数；

步骤三、根据全局非刚性变换系数矩阵与全局非刚性变换模型，计算出点集U粗配准的变换结果；

步骤四、以点集U粗配准的结果作为初值，利用拟牛顿法对精配准目标函数进行优化，求解使目标函数收敛于极小值的局部非刚性变换系数；

步骤五、根据局部非刚性变换系数矩阵和局部非刚性变换模型，计算出点集U精配准的变换结果，完成与点集V的配准。

本实施方式中，步骤一所述的U中每个点和V中每个点之间的归一化特征差距w_mn如下所示：

其中S_k(u_m)和S_k(v_n)分别表示点v_n和u_m形状上下文特征(Shape Context)中圆形直方图S(u_m)和S(v_n)第k列的值，K表示形状上下文特征圆形直方图的总列数，σ_s为特征方差系数。

步骤三所述的全局非刚性变换系数矩阵Q如下所示：

Q＝[θ,s_x,s_y,t_x,t_y|K^T|P^T]^T (3)

其中K＝[k₁,k₂,...,k₁₂]^T，P＝[p₁,p₂,...,p₁₂]^T，θ、s_x、s_y、t_x和t_y分别表示仿射变换系数中的选择角度，水平缩放系数、垂直缩放系数、水平平移系数和垂直平移系数。

步骤三所述的全局非刚性变换模型f_G如下所示：

G_m＝[x,y,1,σx⁴,σy⁴,σxy³,σx³y,σx²y²,x³,y³,xy²,x²y,x²,y²,xy] (5)

A＝[s_xcos(θ),-sin(θ),t_x；sin(θ),s_ycos(θ),t_y；0,0,1] (6)

其中x和y分别表示点集U中任意一点u_m的横坐标与纵坐标，和分别表示u_m经空间变换之后的横坐标与纵坐标，[A|[K|P|0]^T]^T为增强型仿射变换系数矩阵，G_m为增强型仿射变换矩阵，0为12×1维的零向量，σ为平衡系数，其作用是为了减弱高次多项式对整体变换的影响。

步骤二所述的粗配准目标函数为如下形式：

其中H_m＝G_m[A|[K|P|0]^T]^T，Z为29×1维的向量，Z＝[0,1,1,0,...,0]^T，tr(·)表示矩阵的迹，σ_d为精度方差系数，λ为调节系数。

步骤二所述的粗配准目标函数一阶导数表达式如下所示：

其中为29×3维的矩阵，如下所示：

其中

基于粗配准目标函数的一阶导数表达式(8)，就可以利用拟牛顿法对粗配准目标函数(7)进行优化，找出使目标函数取最小值的全局非刚性变换系数Q，进而利用全局非刚性变换模型(4)得到点集U粗配准的变换结果f_G(U)。

本实施方式中，步骤五所述的局部非刚性变换系数矩阵T如下所示：

T＝[t₁,···,t_M]^T (10)

其中t_i为2×1维的非刚性系数向量，因此T为M×2维矩阵。

本实施方式中，步骤五所述的局部非刚性变换模型f_L如下所示：

其中Φ(·)是高斯核函数，Φ(u_i,u_j)＝exp(-β||u_i-u_j||²)，β为核函数系数。

本实施方式中，步骤四所述的精配准目标函数如下所示：

其中Φ是M×M维的格拉姆矩阵，Φ_ij＝Φ(u_i,u_j)＝exp(-β||u_i-u_j||²)，Φ_m,·表示格拉姆矩阵Φ第m行元素。

本实施方式中，步骤四所述的精配准目标函数一阶导数表达式如下所示：

基于精配准目标函数的一阶导数表达式(13)，就可以利用拟牛顿法对精配准目标函数(12)进行优化，找出使目标函数取最小值的全局非刚性变换系数T，进而利用局局非刚性变换模型(11)得到点集U精配准的变换结果，也是最终的配准结果f_L(f_G(U))。

图2为本发明方法粗配准和精配准的结果，其中第一列为两个点集(分别用灰色“o”和黑色“+”表示)，第二列为粗配准的结果，第三列为精配准的结果，也是最终的配准结果。

Claims (6)

1.一种基于增强型仿射变换的非刚性点集配准方法，其特征在于，该方法的具体步骤为：

步骤一、针对两个待配准点集的二维坐标集和(u_m,v_n∈²)，其中U为数据点集，V为模板点集，计算U中每个点和V中每个点之间的归一化特征差距w_mn；

步骤二、以为初值，利用拟牛顿法对粗配准目标函数进行优化，确定使目标函数收敛于极小值的全局非刚性变换系数；

步骤三、根据全局非刚性变换系数矩阵与全局非刚性变换模型，获取出点集U粗配准的变换结果；

步骤四、以点集U粗配准的结果作为初值，利用拟牛顿法对精配准目标函数进行优化，求解使目标函数收敛于极小值的局部非刚性变换系数；

步骤五、根据局部非刚性变换系数矩阵和局部非刚性变换模型，确定出点集U精配准的变换结果，完成与点集V的配准。

2.根据权利要求1所述的基于增强型仿射变换的非刚性点集配准方法，其特征在于，步骤一所述的U中每个点和V中每个点之间的归一化特征差距w_mn如下所示：

其中S_k(u_m)和S_k(v_n)分别表示点v_n和u_m形状上下文特征(Shape Context)中圆形直方图S(u_m)和S(v_n)第k列的值，K表示形状上下文特征圆形直方图的总列数，σ_s为特征方差系数。

3.根据权利要求1所述的基于增强型仿射变换的非刚性点集配准方法，其特征在于，步骤三所述的全局非刚性变换系数矩阵Q如下所示：

Q＝[θ,s_x,s_y,t_x,t_y|K^T|P^T]^T (3)

其中，K＝[k₁,k₂,...,k₁₂]^T，P＝[p₁,p₂,...,p₁₂]^T，θ、s_x、s_y、t_x和t_y分别表示仿射变换系数中的选择角度、水平缩放系数、垂直缩放系数、水平平移系数和垂直平移系数；

步骤三所述的全局非刚性变换模型f_G如下：

G_m＝[x,y,1,σx⁴,σy⁴,σxy³,σx³y,σx²y²,x³,y³,xy²,x²y,x²,y²,xy] (5)

A＝[s_xcos(θ),-sin(θ),t_x；sin(θ),s_ycos(θ),t_y；0,0,1] (6)

其中，x和y分别表示点集U中任意一点u_m的横坐标与纵坐标，和分别表示u_m经空间变换之后的横坐标与纵坐标，[A|[K|P|0]^T]^T为增强型仿射变换系数矩阵，G_m为增强型仿射变换矩阵，0为12×1维的零向量，σ为平衡系数，其用于减弱高次多项式对整体变换的影响。

4.根据权利要求1所述的基于增强型仿射变换的非刚性点集配准方法，其特征在于，步骤二所述的粗配准目标函数为如下形式：

其中，H_m＝G_m[A|[K|P|0]^T]^T，Z为29×1维的向量，Z＝[0,1,1,0,...,0]^T，tr(·)表示矩阵的迹，σ_d为精度方差系数，λ为调节系数；

步骤二所述的粗配准目标函数一阶导数表达式如下：

其中为29×3维的矩阵，如下：

其中，

基于粗配准目标函数的一阶导数表达式(8)，则利用拟牛顿法对粗配准目标函数(7)进行优化，找出使目标函数取最小值的全局非刚性变换系数Q，进而利用全局非刚性变换模型(4)得到点集U粗配准的变换结果f_G(U)。

5.根据权利要求1所述的基于增强型仿射变换的非刚性点集配准方法，其特征在于，步骤五所述的局部非刚性变换系数矩阵T如下所示：

T＝[t₁,…,t_M]^T (10)

其中t_i为2×1维的非刚性系数向量，因此T为M×2维矩阵；

步骤五所述的局部非刚性变换模型f_L如下所示：

其中Φ(·)是高斯核函数，Φ(u_i,u_j)＝exp(-β||u_i-u_j||²)，β为核函数系数。

6.根据权利要求1所述的基于增强型仿射变换的非刚性点集配准方法，其特征在于，步骤四所述的精配准目标函数如下所示：

其中Φ是M×M维的格拉姆矩阵，Φ_ij＝Φ(u_i,u_j)＝exp(-β||u_i-u_j||²)，Φ_m,·表示格拉姆矩阵Φ第m行元素；

步骤四所述的精配准目标函数一阶导数表达式如下所示：

基于精配准目标函数的一阶导数表达式(13)，则利用拟牛顿法对精配准目标函数(12)进行优化，找出使目标函数取最小值的全局非刚性变换系数T，进而利用局局非刚性变换模型(11)得到点集U精配准的变换结果，也是最终的配准结果f_L(f_G(U))。