CN113450252A - 一种超像素分割单映矩阵聚类图像拼接方法 - Google Patents

Abstract

本发明提供一种超像素分割单映矩阵聚类图像拼接方法，首先对图像进行区域分割，形成关键块

每个关键块基于空间邻近匹配特征点对单映矩阵计算进行微扰形成关键块专属单映矩阵H_i；然后根据

所属H_j对

中特征点的失配距离定义

中特征点的匹配系数；再基于匹配系数对所有匹配特征点计算，采用聚类方法修正H_i，获得的单映矩阵集合，对一般块采用基于像素匹配的方法，在单映矩阵集合中选取其最优单映矩阵。本发明可用于不同空间平面的单映矩阵，并且提高处于不同平面交界区域单映矩阵的准确性，解决不同单映矩阵估计过程中空间模糊问题，提高图像拼接质量。

Description

一种超像素分割单映矩阵聚类图像拼接方法

技术领域

本发明涉及计算、推算、计数技术领域，具体涉及一种超像素分 割单映矩阵聚类图像拼接方法。

背景技术

在图像拼接任务中，单映矩阵计算是一项关键技术。理论上，在 三维空间中不同平面在其二维图像拼接过程中都有相应的单映矩阵。 单映矩阵计算准确度直接影响图像拼接精度。

另一方面，传统单映矩阵估计方法是基于大量特征点的统计方 法，特征点失配以及非同平面特征点混淆等问题会降低单映矩阵的准 确性，尤其是在空间中存在两个以上的平面并且各平面存在遮挡关 系，会造成因特征点数量不足的单映矩阵估计质量下降问题。针对上 述问题，我们假设图像中一个超像素图像块具有统一的单映矩阵，进 而提出一种基于超像素分割单映矩阵聚类方法提高单映矩阵计算精 度。

发明内容

本发明是为了解决三维空间中复杂平面在图像拼接任务中所呈 现的多单映矩阵估计难度大且准确度低，不同单映矩阵估计过程中空 间模糊的问题，提供一种超像素分割单映矩阵聚类图像拼接方法，提 高图像拼接过程中非单一平面拼接的准确度。

本发明提供一种超像素分割单映矩阵聚类图像拼接方法，包括如 下步骤：

S1、将图像Ⅰ进行超像素分割形成超像素图像块，超像素图像块 包括关键块

和一般块B_n，关键块

包括匹配特征点，(其 中i≥1)，，一般块B_n不包括匹配特征点；

S2、将每个关键块

基于空间邻近匹配特征点对单映矩阵计算 进行微扰，计算得到用于将图像Ⅰ映射到图像Ⅱ的关键块专属单映矩 阵H_i的初始值；

S3、根据关键块

对应的关键块专属单映矩阵H_j对关键块

中 匹配特征点的失配距离计算关键块

中匹配特征点的匹配系数w_i，j；

S4、基于匹配系数w_i，j对关键块

的所有匹配特征点换算，采用聚 类方法修正关键块专属单映矩阵H_i，迭代获得单映矩阵集合{H_i}；

S5、基于单映矩阵集合{H_i}，对一般块B_n采用像素匹配的方法， 在单映矩阵集合{H_i}中选取一般块B_n最优单映矩阵H_n。

本发明所述的一种超像素分割单映矩阵聚类图像拼接方法，作为 优选方式，步骤S2包括：

S21、提取匹配特征点：提取全部关键块

的特征点k_i，l,特 征点k_i，l组成特征点集K_i；

S22、判断特征点数量：判断特征点k_i，l的数量是否大于阈值， 如果是，则进入步骤S23；如果否，则以与特征点k_i，l的空间邻近匹 配特征点作为补充，直至特征点k_i，l的数量大于阈值后进入步骤 S23；

S23、获得关键块专属单映矩阵初始值：通过计算获得关键块专属 单映矩阵H_i的初始值，初始值具有偏向于真实值的微扰。

本发明所述的一种超像素分割单映矩阵聚类图像拼接方法，作为 优选方式，步骤S22中，阈值为40。

本发明所述的一种超像素分割单映矩阵聚类图像拼接方法，作为 优选方式，步骤S23中，使用DLT算法计算获得初始值。

本发明所述的一种超像素分割单映矩阵聚类图像拼接方法，作为 优选方式，步骤S3包括：

S31、确定匹配点：确定关键块

的全部特征点k_i，l在图像Ⅱ中 的匹配点k′_i，l；

S32、计算映射点：根据关键块专属单映矩阵H_j将特征点k_i,l映射 到图像Ⅱ中，获得的映射点

S33、计算失配距离：所有映射点

与对应的匹配点k′_i，l的 距离的平均值即为失配距离d_i，j；

S34、计算匹配系数：匹配系数w_i，j依照如下公式计算：

本发明所述的一种超像素分割单映矩阵聚类图像拼接方法，作为 优选方式，步骤S4包括：

S41、建立特征点齐次坐标：建立关键块

的特征点k_j，l及匹 配点k′_j，l的齐次坐标：

k_j，l＝[x_j，l y_j，l 1]^T，

k′_j，l＝[x′_j，l y′_j，l 1]^T；

S42、匹配约束计算：根据如下公式进行匹配约束计算：

其中，

为H_i列向量化表示；

S43、获得单映矩阵集合：采用聚类方法根据如下超定方程修正关 键块专属单映矩阵H_i：

其中A为特征点匹配限制矩阵；

然后对A ^T A进行特征值分解，最小特征值所对应的特征向量即 为修正后的关键块专属单映矩阵H_i，迭代所有匹配特征点，获得单映 矩阵集合{H_i}。

本发明所述的一种超像素分割单映矩阵聚类图像拼接方法，作为 优选方式，步骤S43中，

其中，r₁、r₂和r₃为H_i的第 一、第二和第三行；

M为匹配点对的个数，A为2M×9矩阵。

本发明所述的一种超像素分割单映矩阵聚类图像拼接方法，作为 优选方式，步骤S5中，像素匹配的方法是指将一般块B_n通过单映 矩阵集合{H_i}的每一个单映矩阵H_i映射获得图像Ⅱ中一般块B_n中的对应像素，形成映射块

本发明所述的一种超像素分割单映矩阵聚类图像拼接方法，作为 优选方式，步骤S5中，选取一般块B_n的最优单映矩阵H_n的方法 为：选取一般块B_n与映射块

的匹配度

的最大值时 对应的单映矩阵H_i，即为最优单映矩阵H_n：

本发明所述的一种超像素分割单映矩阵聚类图像拼接方法，作为

在图像Ⅰ与图像Ⅱ的拼接任务中，首先对图像Ⅰ进行超像素分 割，形成超像素图像块B_i(其中i≥1)。含有匹配特征点的超 像素块B_i中被定义为关键块

在

及其邻近关键块提取不少于一定数量的匹配特征点，并以此 计算

的单映矩阵H_i初始值；

的专属单映矩阵为H_j，其包含的特征点集合为K_j(K_j由特征点 {k_j，l}组成)。我们通过计算H_j对

中特征点的失配距离d_i，j，得到K_j的 失配系数w_ij；

在计算

的单映矩阵H_i，我们可以对特征点集合为K_j所产生的特 征点匹配关系定义相应权重。设A为特征点匹配限制矩阵(2M×9矩 阵，其中M为图像Ⅰ与图像Ⅱ的匹配特征点数量)，其中，对于隶属 于K_j的限制项我们为其增添权重w_i，j，而后对A^TA进行特征值分解，最 小特征值所对应的特征向量为更新后的列化单映矩阵H_i；

对于图像Ⅰ中不包含匹配特征点块B_n，通过H_i可通过对图像Ⅱ像 素映射得到块

进而得到B_n与

间的匹配度，当匹配度最大时，定 义所对应的H_i为当前B_n的单映矩阵。

特征点指的是图像灰度值发生剧烈变化的点或者在图像边缘上 曲率较大的点。

本发明具有以下优点：

本发明所提出的单映聚类方法可以计算不同空间平面的单映矩 阵，并且提高处于不同平面交界区域单映矩阵的准确性，解决不同单 映矩阵估计过程中空间模糊问题，提高图像拼接质量。

附图说明

图1为一种超像素分割单映矩阵聚类图像拼接方法实施例1-2流 程图；

图2为一种超像素分割单映矩阵聚类图像拼接方法步骤S2流程 图；

图3为一种超像素分割单映矩阵聚类图像拼接方法步骤S3流程 图；

图4为一种超像素分割单映矩阵聚类图像拼接方法步骤S4流程 图；

图5为一种超像素分割单映矩阵聚类图像拼接方法实施例3超像 素及所属特征点和单映矩阵示例图；

图6为一种超像素分割单映矩阵聚类图像拼接方法实施例3失配 距离d_2，1计算方法示例图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方 案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部 分实施例，而不是全部的实施例。

实施例1

如图1所示，一种超像素分割单映矩阵聚类图像拼接方法，包括 如下步骤：

S1、将图像Ⅰ进行超像素分割形成超像素图像块，超像素图像块 包括关键块

和一般块B_n，关键块

包括匹配特征点；

S2、将每个关键块

基于空间邻近匹配特征点对单映矩阵计算 进行微扰，计算得到用于将图像Ⅰ映射到图像Ⅱ的关键块专属单映矩 阵H_i的初始值；

S3、根据关键块

对应的关键块专属单映矩阵H_j对关键块

中 匹配特征点的失配距离计算关键块

中匹配特征点的匹配系数w_i，j；

S4、基于匹配系数w_i，j对关键块

的所有匹配特征点换算，采用聚 类方法修正关键块专属单映矩阵H_i，迭代获得单映矩阵集合{H_i}；

S5、基于单映矩阵集合{H_i}，对一般块B_n采用像素匹配的方法， 在单映矩阵集合{H_i}中选取一般块B_n最优单映矩阵H_n。

实施例2

如图1所示，一种超像素分割单映矩阵聚类图像拼接方法，包括 如下步骤：

S1、将图像Ⅰ进行超像素分割形成超像素图像块，超像素图像块 包括关键块

和一般块B_n，关键块

包括匹配特征点；

S2、将每个关键块

基于空间邻近匹配特征点对单映矩阵计算 进行微扰，计算得到用于将图像Ⅰ映射到图像Ⅱ的关键块专属单映矩 阵H_i的初始值；

如图2所示，S21、提取匹配特征点：提取全部关键块

的特 征点k_i，l,特征点k_i，l组成特征点集K_i；

S22、判断特征点数量：判断特征点k_i，l的数量是否大于阈值， 如果是，则进入步骤S23；如果否，则以与特征点k_i，l的空间邻近匹 配特征点作为补充，直至特征点k_i，l的数量大于阈值后进入步骤 S23；

S23、获得关键块专属单映矩阵初始值：通过DLT算法计算获得 关键块专属单映矩阵H_i的初始值，初始值具有偏向于真实值的微扰；

阈值为40；

S3、根据关键块

对应的关键块专属单映矩阵H_j对关键块

中 匹配特征点的失配距离计算关键块

中匹配特征点的匹配系数w_i，j；

如图3所示，S31、确定匹配点：确定关键块

的全部特征点k_i，l在图像Ⅱ中的匹配点k′_i，l；

S32、计算映射点：根据关键块专属单映矩阵H_j将特征点k_i，l映 射到图像Ⅱ中，获得的映射点

S33、计算失配距离：所有映射点

与对应的匹配点k′_i，l的 距离的平均值即为失配距离d_i，j；

S34、计算匹配系数：匹配系数w_i，j依照如下公式计算：

S4、基于匹配系数w_i，j对关键块

的所有匹配特征点换算，采用聚 类方法修正关键块专属单映矩阵H_i，迭代获得单映矩阵集合{H_i}；

如图4所示，S41、建立特征点齐次坐标：建立关键块

的特征点 k_j，l及匹配点k′_j，l的齐次坐标：

k_j，l＝[x_j，l y_j，l 1]^T，

k′_j，l＝[x′_j，l y′_j，l 1]^T；

S42、匹配约束计算：根据如下公式进行匹配约束计算：

其中，

为H_i列向量化表示；

S43、获得单映矩阵集合：采用聚类方法根据如下超定方程修正关 键块专属单映矩阵H_i：

其中A为特征点匹配限制矩阵；

然后对A ^T A进行特征值分解，最小特征值所对应的特征向量即 为修正后的关键块专属单映矩阵H_i，迭代所有匹配特征点，获得单映 矩阵集合{H_i}；

其中，r₁、r₂和r₃为H_i的第一、第二和第三行；

M为匹配点对的个数，A为2M×9矩阵；

S5、基于单映矩阵集合{H_i}，对一般块B_n采用像素匹配的方法， 在单映矩阵集合{H_i}中选取一般块B_n最优单映矩阵H_n；

像素匹配的方法是指将一般块B_n通过单映矩阵集合{H_i}的每一 个单映矩阵H_i映射获得图像Ⅱ中一般块B_n中的对应像素，形成映 射块

选取一般块B_n的最优单映矩阵H_n的方法为：选取一般块 B_n与映射块

的匹配度

的最大值时对应的单映矩 阵H_i，即为最优单映矩阵H_n：

实施例3

一种超像素分割单映矩阵聚类图像拼接方法，假设在三维空间中 不同平面在二维成像的像点隶属于不同的超像素，从而，不同的超像 素潜在具有不同的单映矩阵。

如图5所示，本实施例中超像素及隶属于特定超像素的特征点定 义方法。在此示例中，图像被划分为四个超像素，即

和 B₄。其中，

及

为具有匹配特征点的超像素块，B₄为 不具备匹配特征点的超像素块。超像素块

内的特征点被定义为 K_j，K_j中包括的特征点被定义为k_j，l。例如，图5中

的 特征点包括k_1，1和k_1，2；

的特征点包括k_2，1和k_2，2；

的特 征点包括k_3，1、k_3，2和k_3，3。超像素块

所对应的单映矩阵为 H_j。H_j即为本发明所要优化的单映矩阵。如果超像素中特征点 的数量大于某一阈值(在本实施例中，此阈值为40)，我们用隶属 于此超像素的特征点，采用DLT算法计算H_j的初始值；相反，如 果当前超像素内的特征点数量小于上述阈值，我们采用与当前超像素最近的特征点作为补充，从而估计出H_j的初始值。上述初始化方 法使得H_j的初始值具有偏向于真实值的微扰。

由于一个超像素内特征点数量受限，H_j稳定性能会有潜在问 题。基于上述初始化方法，我们进一步通过聚类的方法优化各单映矩 阵。设当前被优化的单映矩阵为超像素

的单映矩阵H_i。在此 聚类过程中，我们首先要计算任意一个单映矩阵H_j对

中特征点的失配距离d_i，j(注意，j可以等于i)。失配距离越大说明 H_j与

中特征点的匹配度越差。d_i，j增大时，在聚类过程中， 我们赋予隶属于

特征点的匹配系数也相应减小。

本实施例中d_i，j的计算方法如图6所示。在图6中，当前待 处理的单映矩阵是

的单映矩阵H₂，所计算的失配距离为d_2，1。 设

中k_2，1和k_2，2在图像Ⅱ中的匹配点分别为k′_2，1和k′_2，2。 我们采用H₁将k_2，1和k_2，2映射到图像Ⅱ中的点分别为

和

采用H₁映射点与实际匹配点之间的平均距离被定义为失配距 离d_2，1。

超像素

特征点对H₁的失配距离d_2，1为投影点与相应匹配点间 的平均误差距离。

匹配系数w_i，j如公式(1)计算：

所有隶属于

的特征点在H_i聚类更新过程中都采用匹配系数 w_i，j。我们看到：w_i，i恒等于1；d_i，j＞d_i，i时，w_i，j＜1；d_i，j＜d_i，i时， w_i，j＞1。也就是说，匹配度好的特征点在聚类过程中被赋予更大的 匹配系数。

设特征点k_j，l及其匹配点k′_j，l的齐次坐标表示分别为 k_j，l＝[x_j，l y_j，l 1]^T和k′_j，l＝[x′_j，l y′_j，l 1]^T，我们可以得到两项特征点匹 配约束项，如公式(2)所示。

公式(2)中，

为H_i列向量化表示。具体来说，如果r₁、r₂和r₃代 表H_i的第一、第二和第三行，那么9×1列向量

如 果匹配点对的个数为M，我们共可以得到2M个匹配约束项，表示为

其中，A为2M×9矩阵。因为M远大于9，(3)是一个超定方程。 对A ^T A进行特征值分解，最小特征值所对应的特征向量为

的最 优解，即我们可得到更新后的单映矩阵H_i。

通过迭代方法，获得稳定单映矩阵集合{H_i}。在图像Ⅰ中不包 含匹配特征点的块B_n(如图5中的B₄)，我们通过集合中的某一 个单映矩阵H_i可逐像素在图像Ⅱ中获得B_n中每个像素的对应像 素，从而形成映射块

我们定义B_n与

的匹配度

为:

遍历集合{H_i}中所有单映矩阵，当

最大时，所对 应的单映矩阵为块B_n的最优单映矩阵H_n，即

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范 围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技 术范围内，根据本发明的技术方案及其发明构思加以等同替换或改 变，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种超像素分割单映矩阵聚类图像拼接方法，其特征在于：包括如下步骤：

S1、将图像Ⅰ进行超像素分割形成超像素图像块，所述超像素图像块包括关键块

和一般块B_n，所述关键块

包括匹配特征点；

S2、将每个所述关键块

基于空间邻近匹配特征点对单映矩阵计算进行微扰，计算得到用于将所述图像Ⅰ映射到图像Ⅱ的关键块专属单映矩阵H_i的初始值；

S3、根据关键块

对应的关键块专属单映矩阵H_j对所述关键块

中所述匹配特征点的失配距离计算所述关键块

中所述匹配特征点的匹配系数w_i，j；

S4、基于所述匹配系数w_i，j对所述关键块

的所有所述匹配特征点换算，采用聚类方法修正所述关键块专属单映矩阵H_i，迭代获得单映矩阵集合{H_i}；

S5、基于所述单映矩阵集合{H_i}，对所述一般块B_n采用像素匹配的方法，在所述单映矩阵集合{H_i}中选取所述一般块B_n最优单映矩阵H_n。

2.根据权利要求1所述的一种超像素分割单映矩阵聚类图像拼接方法，其特征在于：步骤S2包括：

S21、提取匹配特征点：提取全部所述关键块

的特征点k_i，l,所述特征点k_i，l组成特征点集K_i；

S22、判断特征点数量：判断所述特征点k_i，l的数量是否大于阈值，如果是，则进入步骤S23；如果否，则以与所述特征点k_i，l的空间邻近匹配特征点作为补充，直至所述特征点k_i，l的数量大于阈值后进入步骤S23；

S23、获得关键块专属单映矩阵初始值：通过计算获得所述关键块专属单映矩阵H_i的初始值，所述初始值具有偏向于真实值的微扰。

3.根据权利要求2所述的一种超像素分割单映矩阵聚类图像拼接方法，其特征在于：步骤S22中，所述阈值为40。

4.根据权利要求2所述的一种超像素分割单映矩阵聚类图像拼接方法，其特征在于：步骤S23中，使用DLT算法计算获得所述初始值。

5.根据权利要求2所述的一种超像素分割单映矩阵聚类图像拼接方法，其特征在于：步骤S3包括：

S31、确定匹配点：确定所述关键块

的全部所述特征点k_i，l在所述图像II中的匹配点k’_i，l；

S32、计算映射点：根据所述关键块专属单映矩阵H_j将所述特征点k_i，l映射到所述图像II中，获得的映射点

S33、计算失配距离：所有所述映射点

与对应的所述匹配点k’_i，l的距离的平均值即为所述失配距离d_i，j；

S34、计算匹配系数：所述匹配系数W_i，j依照如下公式计算：

6.根据权利要求5所述的一种超像素分割单映矩阵聚类图像拼接方法，其特征在于：步骤S4包括：

S41、建立特征点齐次坐标：建立所述关键块

的所述特征点k_j，l及所述匹配点k′_j，l的齐次坐标：

k_j，l＝[x_j，l y_j，l 1]^T，

k′_j，l＝[x′_j，l y′_j，l 1]^T；

S42、匹配约束计算：根据如下公式进行匹配约束计算：

其中，

为H_i列向量化表示；

S43、获得单映矩阵集合：采用聚类方法根据如下超定方程修正所述关键块专属单映矩阵H_i：

为修正后的关键块专属单映矩阵H_i，迭代所有所述匹配特征点，获得所述单映矩阵集合{H_i}。

7.根据权利要求6所述的一种超像素分割单映矩阵聚类图像拼接方法，其特征在于：步骤S43中，

其中，r₁、r₂和r₃为H_i的第一、第二和第三行；

M为匹配点对的个数，A为2M×9矩阵。

8.根据权利要求6所述的一种超像素分割单映矩阵聚类图像拼接方法，其特征在于：步骤S5中，所述像素匹配的方法是指将所述一般块B_n通过所述单映矩阵集合{H_i}的每一个单映矩阵H_i映射获得所述图像Ⅱ中所述一般块B_n中的对应像素，形成映射块

9.根据权利要求8所述的一种超像素分割单映矩阵聚类图像拼接方法，其特征在于：

步骤S5中，选取所述一般块B_n的所述最优单映矩阵H_n的方法为：选取所述一般块B_n与所述映射块

的匹配度

的最大值时对应的所述单映矩阵H_i，即为所述最优单映矩阵H_n：

10.根据权利要求9所述的一种超像素分割单映矩阵聚类图像拼

Images