CN114565516A - 一种融合传感器数据的安全壳表面区域鲁棒拼接方法 - Google Patents

Abstract

本发明公开了一种融合传感器数据的安全壳表面区域鲁棒拼接方法，包括如下步骤：S1、基于传感器数据的预拼接；S1.1、像素偏移；S1.2、角度偏移；S1.3、刚体变换矩阵；S2、图像细节锐化；S3、基于视觉特征的精拼接；S4、拼接图像融合。本发明首先利用传感器数据进行预匹配，快速划定下一帧图像的拼接位置；然后利用视觉特征在小范围内进行精匹配，降低了匹配搜索区域，提高了拼接算法的效率与稳定性。

Description

一种融合传感器数据的安全壳表面区域鲁棒拼接方法

技术领域

本发明涉及数据拼接技术领域，具体为一种融合传感器数据的安全壳表 面区域鲁棒拼接方法。

背景技术

随着人工智能、计算机视觉和数字图像处理技术的不断发展，计算机视觉 与图像处理算法已逐步应用于诸多领域，如：手机美颜、人脸检测和自动驾 驶等，而图像拼接则是其中的重要技术方向；图像拼接技术能够利用视频或 序列图像，将多幅局部成像结果合成一幅当前场景的全局图像，在无人机测 绘、大范围场景动态监控和全景图合成等领域具有广泛应用前景；由于具有 硬件成本低、场景信息成像丰富等优势，通常利用光学摄像头所拍摄的图像 或视频信息，采用基于视觉的图像拼接算法；

传统基于视觉的图像拼接算法依赖于前后帧图像中特征点的提取与匹 配，通常要求当前场景具备较为丰富的纹理信息；然而钢制安全壳表面为典 型的弱纹理区域，表面视觉特征单一，特征点提取的数量和稳定性均不足， 易导致拼接失败；以智能手机为代表的部分设备结合陀螺仪测量数据可实现 360度环形场景拼接，但其无法感知沿目标表面的平行移动，且在一定程度上 仍依赖于特征点的鲁棒提取；因此，融合传感器信息与视觉特征，提出一种 适用于安全壳表面区域拼接任务，且同时具备较高拼接精度的图像鲁棒拼接方法，具有十分重要的意义。

发明内容

本发明的目的在于提供一种融合传感器数据的安全壳表面区域鲁棒拼接 方法，以解决上述背景技术中提出的拼接的效率和稳定性低的问题。

为实现上述目的，本发明提供如下技术方案：一种融合传感器数据的安 全壳表面区域鲁棒拼接方法，包括如下步骤：

S1、基于传感器数据的预拼接：测量电机编码器测量值和倾角仪测量值， 通过这些机器人传感器数据确定下一帧图像的分布位置；

S1.1、像素偏移：当前图像帧I_i与下一帧图像帧I_i+1之间机器人的移 动距离为d_i,i+1，d_i,i+1为世界坐标系下的绝对距离，为确定图像坐标系下的像素 偏移p_i,i+1，需对世界坐标系与图像坐标系间的对应关系进行标定计算，通过标 定系数coef计算图像坐标系下的像素偏移p_i,i+1；

S1.2、角度偏移：计算前后帧之间机器人的角度偏移o_i,i+1；

S1.3、刚体变换矩阵：为得到下一帧图像在图像坐标系下的空间位 置，对上一帧图像进行“先旋转、后平移”操作，即刚体变换；

S2、图像细节锐化：为突出安全壳表面的焊点等不规则突起，采用高通 滤波器F对图像I_i+1进行高通滤波，进一步，采用伽马变换调节图像的明暗对 比，以突出图像细节，对于当前图像帧I_i同样进行上述操作，得到明暗对比调 节后的图像

S3、基于视觉特征的精拼接：对于图像

和

分别应用SIFT算法提取 特征点，对特征点匹配点对，利用匹配点对，通过求解优化问题；

S4、拼接图像融合：图像I_i和I_i+1拼接后的重叠区域为I_lap，计算对于I_lap第 m行，第k个位置的像素值定义

优选的，所述S1中机器人移动速度较慢，在前一帧与后一帧范围内的空 间移动可近似看成是平面运动，因此前一帧与后一帧图像之间的变换可近似 为刚体变换。

优选的，所述S1.1中，令当前图像帧I_i对应的电机编码器测量值为m_i， 下一帧图像帧I_i+1对应的电机编码器测量值为m_i+1，通过差分计算移动距离：

d_i,i+1＝m_i+1-m_i

标定系数coef计算如下：

其中：K表示重复执行的次数；

图像坐标系下的像素偏移p_i,i+1可表示为d_i,i+1；

p_i,i+1＝coef•d_i,i+1。

优选的，所述S1.2中，令当前图像帧I_i对应的倾角仪测量值为q_i，下一 帧图像帧I_i+1对应的倾角仪测量值为q_i+1，通过差分计算角度偏移o_i,i+1，表示为 o_i,i+1＝q_i+1-q_i。

优选的，所述S1.3中刚体变换矩阵R表示为：

对于I_i+1中的每一像素位置

其在图像坐标系下的对应位置为：

优选的，所述S2中，进行高通滤波，得到滤波后图像

其中，

表示二维卷积操作；

采用伽马变换调节图像的明暗对比；

其中，

为明暗对比调节后的图像，α为缩放因子，r为伽马因子，

为

中第k个位置的像素值。

优选的，所述S3中特征点集Θ_i＝{f_i ^k|k＝1,2,…,M_i}，

其中f_i ^k，

分别表示

中的第k个特征点， M_i,M_i+1分别表示

和

中的特征点数目；

采用欧氏距离作为特征点相似性描述方法，采用暴力搜索方法进行特征 点集Θ_i和Θ_i+1之间的匹配，并采用随机一致性采样方法删除错误匹配点，获得 优化后的特征点匹配点对。

优选的，利用匹配点对，得到I_i和I_i+1间的仿射变换矩阵R₁：

其中，f_i ^k,pos,

分别表示特征点f_i ^k,

在图像坐标系下的空间坐标；

若R₁与R之差的L1范数低于阈值ε，则表明基于传感器数据和基于视觉 特征的图像匹配结果接近，特征点提取稳定，前后帧图像变换矩阵R_f定义为：

表示矩阵点乘操作。

否则，若R₁与R之差的L1范数大于或等于阈值ε，表明特征点稳定性较 差，应以传感器测量值为基准进行匹配，前后帧图像变换矩阵R_f定义为：R_f＝R。

优选的，所述S4中像素值定义计算公式为：

其中，

分别表示I_i和I_i+1在第m行，第k个位置的像素值，

分 别表示I_lap第m行最小和最大位置的横坐标，

为I_lap第m行，第k个位置的横 坐标。

优选的，对于区域I_i-I_lap中的元素，其在融合图像中的像素值为I_i中对应 位置的像素值；对于区域I_i+1-I_lap中的元素，其在融合图像中的像素值为I_i+1中 对应位置的像素值。

与现有技术相比，本发明的有益效果是：

1.本发明充分结合距离、转角等传感器测量数据与视觉特征，提高了拼 接算法对弱纹理区域的适应性，适用于安全壳表面区域的拼接任务；

2.首先利用传感器数据进行预匹配，快速划定下一帧图像的拼接位置； 然后利用视觉特征在小范围内进行精匹配，降低了匹配搜索区域，提高了拼 接算法的效率与稳定性。

附图说明

图1为本发明安全壳表面区域鲁棒拼接方法流程图；

图2为本发明安全壳表面区域拼接结果示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而 不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明提供一种技术方案：一种融合传感器数据的安全壳表 面区域鲁棒拼接方法，包括如下步骤：

S1、基于传感器数据的预拼接：

安全壳表面爬行机器人移动速度较慢，在前后帧范围内的空间移动可近 似看成是平面运动，因此前后帧图像之间的变换可近似为刚体变换；图像预 拼接即根据机器人传感器数据，确定下一帧图像的分布位置；

S1.1、像素偏移：

令当前图像帧I_i对应的电机编码器测量值为m_i，下一帧图像帧I_i+1对应的 电机编码器测量值为m_i+1，通过差分，计算得到前后帧之间机器人的移动距离 d_i,i+1；

d_i,i+1＝m_i+1-m_i

d_i,i+1为世界坐标系下的绝对距离，为确定图像坐标系下的像素偏移p_i,i+1， 需对世界坐标系与图像坐标系间的对应关系进行标定；具体如下：打印尺寸 为10mm×10mm的黑色方块，并将其置于机器人相机视场内；记录黑色方块任 一边长在成像图像中的像素数目l_i；改变黑色方块在相机视场内的位置，重复 执行上述过程；标定系数coef计算如下：

其中：K表示重复执行的次数；

图像坐标系下的像素偏移p_i,i+1可表示为d_i,i+1；

p_i,i+1＝coef•d_i,i+1；

S1.2、角度偏移：

令当前图像帧I_i对应的倾角仪测量值为q_i，下一帧图像帧I_i+1对应的倾角 仪测量值为q_i+1，通过差分，计算得到前后帧之间机器人的角度偏移o_i,i+1，表 示为o_i,i+1＝q_i+1-q_i；

S1.3、刚体变换矩阵：

为得到下一帧图像在图像坐标系下的空间位置，对上一帧图像进行“先 旋转、后平移”操作，即刚体变换；刚体变换矩阵R表示为：

对于I_i+1中的每一像素位置

其在图像坐标系下的对应位置为：

S2、图像细节锐化：

为突出安全壳表面的焊点不规则突起，采用高通滤波器F对图像I_i+1进行 高通滤波，得到滤波后图像

其中，

表示二维卷积操作；

进一步，采用伽马变换调节图像的明暗对比，以突出图像细节；

其中，

为明暗对比调节后的图像，α为缩放因子，r为伽马因子，

为

中第k个位置的像素值；

对于当前图像帧I_i同样进行上述操作，得到明暗对比调节后的图像

S3、基于视觉特征的精拼接：

对于图像

和

分别应用SIFT算法提取特征点，得到对应的特征点集 Θ_i＝{f_i ^k|k＝1,2,…,M_i}，

其中f_i ^k，

分别表示

中的第k个特征点，M_i,M_i+1分别表示

和

中的特征点数目；

[1]Lowe D G.Distinctive image features from scale-invariant keypoints[J].International journal of computer vision,2004,60(2): 91-110.

采用欧氏距离作为特征点相似性描述方法，采用暴力搜索方法进行特征 点集Θ_i和Θ_i+1之间的匹配，并采用随机一致性采样方法删除错误匹配点，获得 优化后的特征点匹配点对；

利用上述匹配点对，通过求解如下优化问题，得到I_i和I_i+1间的仿射变换 矩阵R₁；

其中，f_i ^k,pos,

分别表示特征点f_i ^k,

在图像坐标系下的空间坐标；

若R₁与R之差的L1范数低于阈值ε，则表明基于传感器数据和基于视觉 特征的图像匹配结果接近，特征点提取稳定，前后帧图像变换矩阵R_f定义为：

表示矩阵点乘操作；

否则，若R₁与R之差的L1范数大于或等于阈值ε，表明特征点稳定性较 差，应以传感器测量值为基准进行匹配，前后帧图像变换矩阵R_f定义为：R_f＝R；

S4、拼接图像融合：

图像I_i和I_i+1拼接后的重叠区域为I_lap，对于I_lap第m行，第k个位置的像素 值定义为

计算公式为：

其中，

分别表示I_i和I_i+1在第m行，第k个位置的像素值，

分 别表示I_lap第m行最小和最大位置的横坐标，

为I_lap第m行，第k个位置的横 坐标；

对于区域I_i-I_lap中的元素，其在融合图像中的像素值为I_i中对应位置的像 素值；对于区域I_i+1-I_lap中的元素，其在融合图像中的像素值为I_i+1中对应位置 的像素值；

安全壳表面区域拼接结果如图2所示。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而 言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行 多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限 定。

Claims (10)

1.一种融合传感器数据的安全壳表面区域鲁棒拼接方法，其特征在于，包括如下步骤：

S1、基于传感器数据的预拼接：测量电机编码器测量值和倾角仪测量值，通过这些机器人传感器数据确定下一帧图像的分布位置；

S1.1、像素偏移：当前图像帧I_i与下一帧图像帧I_i+1之间机器人的移动距离为d_i,i+1，d_i,i+1为世界坐标系下的绝对距离，为确定图像坐标系下的像素偏移p_i,i+1，需对世界坐标系与图像坐标系间的对应关系进行标定计算，通过标定系数coef计算图像坐标系下的像素偏移p_i,i+1；

S1.2、角度偏移：计算前后帧之间机器人的角度偏移o_i,i+1；

S1.3、刚体变换矩阵：为得到下一帧图像在图像坐标系下的空间位置，对上一帧图像进行“先旋转、后平移”操作，即刚体变换；

S2、图像细节锐化：为突出安全壳表面的焊点等不规则突起，采用高通滤波器F对图像I_i+1进行高通滤波，进一步，采用伽马变换调节图像的明暗对比，以突出图像细节，对于当前图像帧I_i同样进行上述操作，得到明暗对比调节后的图像

S3、基于视觉特征的精拼接：对于图像

和

分别应用SIFT算法提取特征点，对特征点匹配点对，利用匹配点对，通过求解优化问题；

S4、拼接图像融合：图像I_i和I_i+1拼接后的重叠区域为I_lap，计算对于I_lap第m行，第k个位置的像素值定义

2.根据权利要求1所述的一种融合传感器数据的安全壳表面区域鲁棒拼接方法，其特征在于，所述S1中机器人移动速度较慢，在前一帧与后一帧范围内的空间移动可近似看成是平面运动，因此前一帧与后一帧图像之间的变换可近似为刚体变换。

3.根据权利要求1所述的一种融合传感器数据的安全壳表面区域鲁棒拼接方法，其特征在于，所述S1.1中，令当前图像帧I_i对应的电机编码器测量值为m_i，下一帧图像帧I_i+1对应的电机编码器测量值为m_i+1，通过差分计算移动距离：

d_i,i+1＝m_i+1-m_i

标定系数coef计算如下：

其中：K表示重复执行的次数；

图像坐标系下的像素偏移p_i,i+1可表示为d_i,i+1；

p_i,i+1＝coef·d_i,i+1。

4.根据权利要求1所述的一种融合传感器数据的安全壳表面区域鲁棒拼接方法，其特征在于，所述S1.2中，令当前图像帧I_i对应的倾角仪测量值为q_i，下一帧图像帧I_i+1对应的倾角仪测量值为q_i+1，通过差分计算角度偏移o_i,i+1，表示为o_i,i+1＝q_i+1-q_i。

5.根据权利要求1所述的一种融合传感器数据的安全壳表面区域鲁棒拼接方法，其特征在于，所述S1.3中刚体变换矩阵R表示为：

对于I_i+1中的每一像素位置

其在图像坐标系下的对应位置为：

6.根据权利要求1所述的一种融合传感器数据的安全壳表面区域鲁棒拼接方法，其特征在于，所述S2中，进行高通滤波，得到滤波后图像

其中，

表示二维卷积操作；

采用伽马变换调节图像的明暗对比；

其中，

为明暗对比调节后的图像，α为缩放因子，r为伽马因子，

为

中第k个位置的像素值。

7.根据权利要求1所述的一种融合传感器数据的安全壳表面区域鲁棒拼接方法，其特征在于，所述S3中特征点集Θ_i＝{f_i ^k|k＝1,2,…,M_i}，

其中f_i ^k，

分别表示

中的第k个特征点，M_i,M_i+1分别表示

和

中的特征点数目；

采用欧氏距离作为特征点相似性描述方法，采用暴力搜索方法进行特征点集Θ_i和Θ_i+1之间的匹配，并采用随机一致性采样方法删除错误匹配点，获得优化后的特征点匹配点对。

8.根据权利要求1或7所述的一种融合传感器数据的安全壳表面区域鲁棒拼接方法，其特征在于，利用匹配点对，得到I_i和I_i+1间的仿射变换矩阵R₁：

其中，f_i ^k,pos,

分别表示特征点f_i ^k,

在图像坐标系下的空间坐标；

若R₁与R之差的L1范数低于阈值ε，则表明基于传感器数据和基于视觉特征的图像匹配结果接近，特征点提取稳定，前后帧图像变换矩阵R_f定义为：

表示矩阵点乘操作。

否则，若R₁与R之差的L1范数大于或等于阈值ε，表明特征点稳定性较差，应以传感器测量值为基准进行匹配，前后帧图像变换矩阵R_f定义为：R_f＝R。

9.根据权利要求1所述的一种融合传感器数据的安全壳表面区域鲁棒拼接方法，其特征在于，所述S4中像素值定义计算公式为：

其中，

分别表示I_i和I_i+1在第m行，第k个位置的像素值，

分别表示I_lap第m行最小和最大位置的横坐标，

为I_lap第m行，第k个位置的横坐标。

10.根据权利要求1或9所述的一种融合传感器数据的安全壳表面区域鲁棒拼接方法，其特征在于，对于区域I_i-I_lap中的元素，其在融合图像中的像素值为I_i中对应位置的像素值；对于区域I_i+1-I_lap中的元素，其在融合图像中的像素值为I_i+1中对应位置的像素值。

Images