CN110580679B - 一种应用于大面积平面图像的混合拼接方法 - Google Patents

Abstract

本发明公开了一种应用于大面积平面图像的混合拼接方法，包括以下步骤：对采集的图像进行光照补偿和畸变校正处理，并求得图像中的实际道面尺寸与图像的映射比例的初始值PPM₀；采用组合方式获得原始大图Reslmg；并计算相邻图像的相对偏移量的平均值(delta_x，delta_y)；以相邻图像的前一图像为基准，将相邻图像的后一图像移动(‑delta_x，‑delta_y)，得到数个图像联通集img_connect_set_i；更新任一图像联通集img_connect_set_i中的实际道面尺寸与图像的映射比例的坐标比例尺PPM₁；若相邻列的两个图像联通集img_connect_set_i中存在重叠部分，以相邻列其中之一的图像联通集img_connect_set_i为基准，并以(‑delta_x₁，‑delta_y₁)调整另一图像联通集img_connect_set_i；获得数个图像联通集Z；根据平均位置摆放所述数个图像联通集Z，以获得拼接图像。

Description

一种应用于大面积平面图像的混合拼接方法

技术领域

本发明涉及大面积平面图像混合拼接技术领域，尤其是一种应用于大面积平面图像的混合拼接方法。

背景技术

图像拼接技术，是将数张有重叠部分的图像(可能是不同时间、不同视角或者不同传感器获得的)拼成一幅大型的无缝高分辨率图像的技术，其主要包括单纯按位置组合照片和特征点匹配图像两种方式。本文所述的图像拼接主要运用于道面检测，道面检测机器人运行过程中，在大面积地面按照一定规则采集了一系列图像，每张图像记录有当前位置。现有技术是按照图像记录的位置信息，以及实际测量的每张图像可覆盖范围，将所有采集的图像直接合成为一张图像(检测的路面)。

现有技术存在以下缺陷：

第一，采用单纯按位置组合照片的方式：由于机器人运行和位置采集系统各种原因综合，每张图像的位置信息存在一定的抖动，合成的整图存在明显的误差；

第二，现有技术采用特征点匹配图像的方式：其参考计算机视觉一般做法，对相邻图像提取特征，然后根据特征点匹配情况，计算对应图形之间的位置关系矩阵，然后使用图像融合技术，将对应图片合成为一张。在路面检测时，该特征点匹配图像的方式是无法适用的，原因是：(一)本文中图像采集的对象为道面，特征点之间相似性较大，很容易造成误匹配；(二)单张图片虽然是不同视角下采集，但是采用传统图像拼接计算两张图之间的单应性矩阵并根据矩阵变换图像，并将两张图像变换到相同视角，以其中一张图像为基准，另一张图像会产生形变；进而，图像会在机器人前进方向上产生变形传递(机器人拍摄的图像多达几百张)；通过上述方法获取的拼接图像误差较单纯按位置组合照片的误差更大。

因此，急需提出一种适用于道面检测获取的图像的图像拼接方法。

发明内容

针对上述问题，本发明的目的在于提供一种应用于大面积平面图像的混合拼接方法，本发明采用的技术方案如下：

一种应用于大面积平面图像的混合拼接方法，包括以下步骤：

步骤S1，对道面检测机器人采集的图像进行光照补偿和畸变校正处理，并求得图像中的实际道面尺寸与图像的映射比例的初始值PPM₀。

步骤S2，根据道面检测机器人的行进轨迹和初始值PPM₀，并采用组合方式获得原始大图Reslmg。

步骤S3，求得步骤S2中相邻的图像的重合率的平均值，根据重合率的平均值提取并匹配相邻的图像的重合部分的匹配特征点对，并计算相邻图像的相对偏移量的平均值(delta_x，delta_y)。

步骤S4，以相邻图像的前一图像为基准，将相邻图像的后一图像移动 (-delta_x，-delta_y)，得到数个图像联通集img_connect_set_i。

步骤S5，更新任一图像联通集img_connect_set_i中的实际道面尺寸与图像的映射比例的坐标比例尺PPM₁。

步骤S6，判断相邻列的两个图像联通集img_connect_set_i中任意两个图像之间是否存在重叠部分，若是，则根据所述两个图像的特征值匹配求得相对偏移量(delta_x₁，delta_y₁)，并进入步骤S7进行位置校正；否则，进入步骤S8。

步骤S7，以相邻列其中之一的图像联通集img_connect_set_i为基准，并以 (-delta_x₁，-delta_y₁)调整另一图像联通集img_connect_set_i，并使两个图像在原始大图Reslmg中重合。

步骤S8，获得数个图像联通集Z。

步骤S9，获取任一图像联通集Z的中心位置，并根据坐标比例尺PPM₁计算获得数个图像联通集Z在原始大图Reslmg中的平均位置；根据平均位置摆放所述数个图像联通集Z，以获得拼接图像。

进一步地，所述步骤S2中，道面检测机器人采用栅状折返方式采集道面的图像，并将任一折返起始的图像旋转180°。

更进一步地，所述道面检测机器人采用编码器或时间触发相机拍摄图像，且所述道面检测机器人采用直线行进方式。

优选地，所述步骤S3中，计算相邻图像的相对偏移量的平均值(delta_x, delta_y)，具体如下：

步骤S31，提取并匹配相邻的图像的重合部分的所有匹配特征点对；

步骤S32，求得重合部分的所有匹配特征点的相对偏移量的平均值(delta_x,delta_y)。

优选地，所述步骤S5中，更新任一图像联通集img_connect_set_i中的实际道面尺寸与图像的映射比例的坐标比例尺PPM₁，具体如下：

求得相邻的图像联通集img_connect_set_i的位置信息距离dis_real；所述相邻的图像联通集img_connect_set_i对应的原始大图Reslmg中像素距离为 dis_pixel；

所述坐标比例尺PPM₁的表达式为：PPM₁＝dis_pixel/dis_real。

优选地，所述步骤S5中，求得相邻的图像联通集img_connect_set_i之间的真实距离sum_dis_real和像素距离sum_dis_pixel；所述坐标比例尺PPM₁的表达式为：PPM₁＝sum_dis_real/sum_dis_pixel。

优选地，所述步骤S5中，求得原始大图Reslmg中所有图像的坐标比例尺的平均值，所述坐标比例尺PPM₁的表达式为：PPM₁＝sum(PPM₀)/n，所述n为原始大图Reslmg中图像数量。

进一步地，所述步骤S6中，求得相对偏移量，包括以下步骤：

步骤S61，求得相邻列的图像联通集img_connect_set_i中任意两个图像的水平方向的平均重叠面积，并提取相邻列的图像联通集img_connect_set_i中任意两个图像的纵向方向的重叠面积；

步骤S62，提取重叠部分的特征点，并计算所述任意两个图像的相对偏移量(delta_x₁，delta_y₁)。

进一步地，所述步骤S62中，提取重叠部分的特征点，具体包括：

根据预设的位置信息并采用随机采样一致性算法提取重叠部分的特征点的匹配分数，以剔除错误匹配特征点。

一种应用于大面积平面图像的混合拼接方法，包括以下步骤：

步骤H1，对道面检测机器人采集的图像进行光照补偿和畸变校正处理，并采用组合方式获得原始大图Reslmg。

步骤H2，根据道面检测机器人拍摄的图像的位置信息，并沿检测行进方向和垂直于检测行进方向分为数块图像Block块。

步骤H3，根据相邻的图像Block块的特征匹配，计算获得任一图像Block 块之间的位置。

步骤H4，计算相邻的图像Block块的重叠部分，并计算获得相邻的图像 Block块的相对偏移量(delta_x₂，delta_y₂)，并以(-delta_x₂，-delta_y₂)调整图像Block块，并剔除图像Block块之间的重叠部件，以获得拼接图像。

与现有技术相比，本发明具有以下有益效果：

(1)本发明巧妙地采用光照补偿和畸变校正对道面检测机器人采集的图像进行处理，以提高图像采集的清晰度。

(2)本发明根据道面检测机器人的行进轨迹和初始值组合一个原始大图，在此，为拼接做前期准备，只记录每张子图像在原始大图中的位置，其既能节省计算机内存，又方便后续调整每个小图的位置。

(3)本发明的道面检测机器人采用栅状折返方式采集道面的图像，并且将折返起始图像旋转180°，由于道面检测机器人检测的总面积较宽，单一方向路径检测是无法获取全部图像；传统的图像拼接方法无法适用于折返采集的大面积图像拼接。

(4)本发明巧妙地采用检测并提取相邻的图像的重叠部分的特征点，以获取相对偏移量，如此设计的好处在于：既能减少特征点检测提取的工作量，又能获取图像间的调整量；本发明中的图像数量多达几百张，采用相邻图像全部特征点的工作量极大，且错误的特征点对相对增多，其直接影响到拼接的效果。

(5)本发明巧妙地更新图像联通集中的实际道面尺寸与图像的映射比例的坐标比例尺，进一步降低了拼接误差。

(6)本发明通过两次求得的相对偏移量，并调整图像的位置，以保证调整后的图像的重叠部分在原始大图中完全重合，即每张图像都可以跟相邻的图像通过特征点连接起来，整个输入图像集形成唯一一个图像联通集。

综上所述，本发明填补了大面积平面图像拼接技术的空白，与现有技术相比，具有突出的实质性特点和显著的进步，在大面积平面图像混合拼接技术领域具有很高的实用价值和推广价值。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需使用的附图作简单介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对保护范围的限定，对于本领域技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明的流程图。

图2为本发明的机器人采集图像路径图。

图3为本本发明的器人采集图点的路径图。

图4为本发明的某道面的组合原始大图。

图5为本发明的特征点匹配示意图。

图6为本发明的图像联通集。

图7为本发明的重叠区域的特征点匹配结果图。

图8为本发明的重叠区域的特征点匹配结果图(X方向去重叠面积)。

图9为本发明的剔除错误的特征点的结果图。

图10为本发明的移动后的图像联通集。

图11为本发明以连通集中心摆放的结果图。

具体实施方式

为使本申请的目的、技术方案和优点更为清楚，下面结合附图和实施例对本发明作进一步说明，本发明的实施方式包括但不限于下列实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例1

如图1所示，本实施例提供了一种应用于大面积平面图像的混合拼接方法，具体包括以下步骤：

第一步，对道面检测机器人采集的图像进行光照补偿和畸变校正处理，并求得图像中的实际道面尺寸与图像的映射比例的初始值PPM₀。其中，光照补偿和畸变校正为现有技术，在此就不予赘述。在本实施例的场景中，图像的宽为 1200像素，经过畸变校正后，实际测试显示，有效覆盖道面范围为1.1米，即初始值PPM₀＝1200/1.1＝1090.9。

第二步，根据道面检测机器人的行进轨迹和初始值PPM₀，并采用组合方式获得原始大图Reslmg。此处，不会执行具体的拼接操作，只记录每张子图Img_i 在原始大图Reslmg中的位置，既能节省计算机内存，且方便后续调整每个小图的位置。

在本步骤中，道面检测机器人采用栅状折返方式采集道面的图像，并将任一折返起始的图像旋转180°，如图2所示。记机器人的单个行进路线为一道，即初始为第1道，调头后为第2道，以此类推，如图3所示。本实施例，在原始大图Reslmg上，初始拼接结果中，每一道内部为前一张图片Img_i的上半部分与后一张图片Img_(i+1)的下半部分有一定的重叠部分，再次基础上，计算特征匹配情况。需要说明的是，产生上述重叠部分的原因如下：(1)机器人采集相机配置；(2)根据每张图片的位置信息，以及每张图片的覆盖面积。在本实施例中，所述道面检测机器人采用编码器或时间触发相机拍摄图像，且所述道面检测机器人采用直线行进方式。

第三步，求得中相邻的图像的重合率的平均值，根据重合率的平均值提取并匹配相邻的图像的重合部分的匹配特征点对，并计算相邻图像的相对偏移量的平均值(delta_x，delta_y)。如图4至图5所示，具体如下：

(1)提取并匹配相邻的图像的重合部分的所有匹配特征点对；

(2)求得重合部分的所有匹配特征点的相对偏移量的平均值(delta_x, delta_y)。

第四步，以相邻图像的前一图像为基准，将相邻图像的后一图像移动 (-delta_x，-delta_y)，得到数个图像联通集img_connect_set_i，如图6所示。

第五步，更新任一图像联通集img_connect_set_i中的实际道面尺寸与图像的映射比例的坐标比例尺PPM₁，具体如下：

求得相邻的图像联通集img_connect_set_i的位置信息距离dis_real；所述相邻的图像联通集img_connect_set_i对应的原始大图Reslmg中像素距离为 dis_pixel；所述坐标比例尺PPM₁的表达式为：PPM₁＝dis_pixel/dis_real。

另外，坐标比例尺PPM₁还可以采用以下步骤：

求得相邻的图像联通集img_connect_set_i之间的真实距离sum_dis_real和像素距离sum_dis_pixel；所述坐标比例尺PPM₁的表达式为： PPM₁＝sum_dis_real/sum_dis_pixel。

另外，坐标比例尺PPM₁还可以采用以下步骤：求得原始大图Reslmg中所有图像的坐标比例尺的平均值，所述坐标比例尺PPM₁的表达式为： PPM₁＝sum(PPM₀)/n，所述n为原始大图Reslmg中图像数量。

第六步，判断相邻列的两个图像联通集img_connect_set_i中任意两个图像之间是否存在重叠部分，若是，则根据所述两个图像的特征值匹配求得相对偏移量(delta_x₁，delta_y₁)，并进入第七步进行位置校正；否则，进入第八步。

在此，以连接相邻的图像连通集img_connect_set_A和img_connect_set_B为例进行说明，对img_connect_set_A和img_connect_set_B中的任意两图像Img_i 和Img_j，根据其真实位置以及估算真实覆盖面积，若img_connect_set_A和 img_connect_set_B中任意两个图像有重叠，则认为img_connect_set_A和img_connect_set_B有重叠区域，图像联通集img_connect_set_A和图像联通集 img_connect_set_B可以根据特征值匹配校正整个联通子集在resImg上的位置。

根据图像连通集img_connect_set_A和img_connect_set_B的位置信息， Img_i和img_j的有相互重叠部分考虑图像本身位置标签的误差，将重叠区域按照一定比例扩大，在该范围内进行特征点匹配，如图7所示。

本实施例还提供了两列之间有相互覆盖的图像之间的覆盖面积的计算方法，如图8至图9所示：

(1)求得相邻列的图像联通集img_connect_set_i中任意两个图像的水平方向的平均重叠面积，并提取相邻列的图像联通集img_connect_set_i中任意两个图像的纵向方向的重叠面积。具体案例如下：

(2)提取重叠部分的特征点，并计算所述任意两个图像的相对偏移量 (delta_x₁，delta_y₁)。在此，提取重叠部分的特征点，具体包括：根据预设的位置信息并采用随机采样一致性算法提取重叠部分的特征点的匹配分数，以剔除错误匹配特征点。

第七步，以相邻列其中之一的图像联通集img_connect_set_i为基准，并以 (-delta_x₁，-delta_y₁)调整另一图像联通集img_connect_set_i，并使两个图像在原始大图Reslmg中重合，如图10所示。

本实施例提供了3种计算图像连通集img_connect_set_A和 img_connect_set_B的相对偏移量：

(a)匹配联通集img_connect_set_A和联通集img_connect_set_B中所有重叠的图像对，取匹配上最多特征点的图像对为标准，在此基础上，取所有匹配对的平均偏移量作为img_connect_set_A和img_connect_set_B的相对偏移量；

(b)每组匹配上的特征点有匹配分数，取平均分数最高的图像对为标准，在此基础上，计算img_connect_set_A和img_connect_set_B的相对偏移量；

(c)取匹配联通集img_connect_set_A和img_connect_set_B中所有图像对匹配上的特征点的平均偏移量，作为匹配联通集img_connect_set_A和 img_connect_set_B的平均偏移量。

第八步，获得数个图像联通集Z。

第九步，获取任一图像联通集Z的中心位置，并根据坐标比例尺PPM₁计算获得数个图像联通集Z在原始大图Reslmg中的平均位置；根据平均位置摆放所述数个图像联通集Z，以获得拼接图像，如图11所示。

实施例2

如图2所示，本实施例提供了一种应用于大面积平面图像的混合拼接方法，具体包括以下步骤：

第一步，根据道面检测机器人拍摄的图像的位置信息，并沿检测行进方向和垂直于检测行进方向分为数块图像Block块。在每个图像Block块执行实施例 1中的第一步至第九步，然后再将大块的拼接结果组合起来。

第二步，根据相邻的图像Block块的特征匹配，计算获得任一图像Block块之间的位置。

第三步，计算相邻的图像Block块的重叠部分，并计算获得相邻的图像Block 块的相对偏移量(delta_x₂，delta_y₂)，并以(-delta_x₂，-delta_y₂)调整图像 Block块，并剔除图像Block块之间的重叠部件，以获得拼接图像。

在本实施例中，沿检测行进方向和垂直于检测行进方向分为数块图像Block 块的准则是沿着机器人行进方向以及垂直机器人行进方向，以大约20米的范围为限制，切分为很多个BLOCK，切分时考虑整个任务所有数据情况，兼顾最终不产生过小的分块的方案为准。

综上所述，本发明既能降低检测提取特征点的工作量，又能实现大面积平面图像的混合拼接，填补了大面积平面图像拼接技术的空白，在大面积平面图像混合拼接技术领域具有很高的实用价值和推广价值。

上述实施例仅为本发明的优选实施例，并非对本发明保护范围的限制，但凡采用本发明的设计原理，以及在此基础上进行非创造性劳动而作出的变化，均应属于本发明的保护范围之内。

Claims (9)

1.一种应用于大面积平面图像的混合拼接方法，其特征在于，包括以下步骤：

步骤S1，对道面检测机器人采集的图像进行光照补偿和畸变校正处理，并求得图像中的实际道面尺寸与图像的映射比例的初始值PPM₀；

步骤S2，根据道面检测机器人的行进轨迹和初始值PPM₀，并采用组合方式获得原始大图Reslmg；

步骤S3，求得步骤S2中相邻的图像的重合率的平均值，根据重合率的平均值提取并匹配相邻的图像的重合部分的匹配特征点对，并计算相邻图像的相对偏移量的平均值(delta_x，delta_y)；

步骤S4，以相邻图像的前一图像为基准，将相邻图像的后一图像移动(-delta_x，-delta_y)，得到数个图像联通集img_connect_set_i；

步骤S5，更新任一图像联通集img_connect_set_i中的实际道面尺寸与图像的映射比例的坐标比例尺PPM₁；

步骤S6，判断相邻列的两个图像联通集img_connect_set_i中任意两个图像之间是否存在重叠部分，若是，则根据所述两个图像的特征值匹配求得相对偏移量(delta_x₁，delta_y₁)，并进入步骤S7进行位置校正；否则，进入步骤S8；

步骤S7，以相邻列其中之一的图像联通集img_connect_set_i为基准，并以(-delta_x₁，-delta_y₁)调整另一图像联通集img_connect_set_i，并使两个图像在原始大图Reslmg中重合；

步骤S8，获得数个图像联通集Z；

步骤S9，获取任一图像联通集Z的中心位置，并根据坐标比例尺PPM₁计算获得数个图像联通集Z在原始大图Reslmg中的平均位置；根据平均位置摆放所述数个图像联通集Z，以获得拼接图像。

2.根据权利要求1所述的一种应用于大面积平面图像的混合拼接方法，其特征在于，所述步骤S2中，道面检测机器人采用栅状折返方式采集道面的图像，并将任一折返起始的图像旋转180°。

3.根据权利要求1所述的一种应用于大面积平面图像的混合拼接方法，其特征在于，所述道面检测机器人采用编码器或时间触发相机拍摄图像，且所述道面检测机器人采用直线行进方式。

4.根据权利要求1所述的一种应用于大面积平面图像的混合拼接方法，其特征在于，所述步骤S3中，计算相邻图像的相对偏移量的平均值(delta_x,delta_y)，具体如下：

步骤S31，提取并匹配相邻的图像的重合部分的所有匹配特征点对；

步骤S32，求得重合部分的所有匹配特征点的相对偏移量的平均值(delta_x,delta_y)。

5.根据权利要求1所述的一种应用于大面积平面图像的混合拼接方法，其特征在于，所述步骤S5中，更新任一图像联通集img_connect_set_i中的实际道面尺寸与图像的映射比例的坐标比例尺PPM₁，具体如下：

求得相邻的图像联通集img_connect_set_i的位置信息距离dis_real；所述相邻的图像联通集img_connect_set_i对应的原始大图Reslmg中像素距离为dis_pixel；

所述坐标比例尺PPM₁的表达式为：PPM₁＝dis_pixel/dis_real。

6.根据权利要求1所述的一种应用于大面积平面图像的混合拼接方法，其特征在于，所述步骤S5中，求得相邻的图像联通集img_connect_set_i之间的真实距离sum_dis_real和像素距离sum_dis_pixel；所述坐标比例尺PPM₁的表达式为：PPM₁＝sum_dis_real/sum_dis_pixel。

7.根据权利要求1所述的一种应用于大面积平面图像的混合拼接方法，其特征在于，所述步骤S5中，求得原始大图Reslmg中所有图像的坐标比例尺的平均值，所述坐标比例尺PPM₁的表达式为：PPM₁＝sum(PPM₀)/n，所述n为原始大图Reslmg中图像数量。

8.根据权利要求1所述的一种应用于大面积平面图像的混合拼接方法，其特征在于，所述步骤S6中，求得相对偏移量，包括以下步骤：

步骤S61，求得相邻列的图像联通集img_connect_set_i中任意两个图像的水平方向的平均重叠面积，并提取相邻列的图像联通集img_connect_set_i中任意两个图像的纵向方向的重叠面积；

步骤S62，提取重叠部分的特征点，并计算所述任意两个图像的相对偏移量(delta_x₁，delta_y₁)。

9.根据权利要求8所述的一种应用于大面积平面图像的混合拼接方法，其特征在于，所述步骤S62中，提取重叠部分的特征点，具体包括：

根据预设的位置信息并采用随机采样一致性算法提取重叠部分的特征点的匹配分数，以剔除错误匹配特征点。

Images