CN109064409A - 一种移动机器人的视觉图像拼接系统及方法 - Google Patents

Abstract

本发明公开一种移动机器人的视觉图像拼接系统及方法，适用于双目视觉的移动机器人平台，该系统包括机器人图像采集模块、图像拼接系统处理模块和无线图像显示模块，其中，图像拼接系统处理模块又包含预处理模块、边界线定位模块、重合区域图像配准模块、图像变形融合模块、图像平滑模块，通过上述模块，可对机器人双目采集的图像进行预处理、边界线定位、重合区域图像配准、图像变形融合和图像平滑处理，后得到高质量的拼接图像，该系统及方法使的机器人的视野得到极大的拓宽，且能够更好的完成移动、定位、识别等目的。

Description

一种移动机器人的视觉图像拼接系统及方法

技术领域

本发明涉及机器人视觉技术领域，特别涉及一种移动机器人的视觉图像拼接系统及方法。

背景技术

移动机器人的视觉定位与三维重建是实现机器人双目视觉技术、完成复杂智能任务的关键点，实际应用中单目视觉系统受其视野小的影响往往不能满足移动机器人的定位和环境重建的需要，因此双目视觉，甚至多目视觉系统更受移动机器人的青睐。利用图像拼接技术对机器人双目采集的图像进行拼接，可以增大机器人的视野，便于机器人更好地完成定位和环境重建任务。移动机器人平台的图像拼接是指将机器人通过摄像头获取的多幅部分重叠区域的窄视角图像进行融合，形成一幅无缝高分辨率图像的技术。

图像拼接是视觉领域和图像处理的一个重要分支，它是将两幅以上的具有部分重叠的图像进行无缝拼接从而得到大画幅或宽视角的图像。

机器人双目采集的图像拼接技术应用面临的重大问题是保留鲁棒性的同时兼具实时性、以及良好的视觉效果。

拼接装置在进行图像拼接运算中，有较多无用消耗是浪费在了非重合区域图像的处理且使用SIFT算法也难以达到实时性要求。若仅处理图像重合区域内的共有特征点，可极大提高拼接算法的效率。但是目前处理重合区域方法均为处理矩形框内的图像信息，这就导致了一个重大弊端，即在图片拍摄时设备有旋转误差，那么矩形重合区域内必定含有非重合图像，从而导致大量无用信息的存在，以及RANSAC与穷举的阈值算法匹配策略也会消耗大量时间；而对于图像融合部分存在的问题为：融合后的图片存在拼接缝隙、物体发生扭曲重影等问题。

发明内容

鉴于以上内容，有必要提供一种移动机器人的视觉图像拼接系统及方法，用以解决现有机器视觉技术中存在视觉范围受限，图像拼接速度慢、质量不高、带有拼接缝等诸多问题。

为达到上述目的，本发明所采用的技术方案是：

一种移动机器人的视觉图像拼接系统，包括：

机器人图像采集模块，由安装在移动机器人上的双目摄像头构成，用于采集成对待拼接图像帧；

图像拼接系统处理模块，是在处理器上完成的，其包括：预处理模块、边界线定位模块、重合区域图像配准模块、图像变形融合模块、图像平滑模块，其中：

预处理模块，对所述机器人图像采集模块所采集的成对待拼接图像帧进行亮度调整；

边界线定位模块，对所述预处理模块处理后的成对待拼接图像帧划分测试块，再依次运用FAST算法和KNN算法对所述测试块进行配准，得到透视变换矩阵，然后再进行边界角点映射，从而定位边界线，得到重合区域信息，所述重合区域信息包括测试块特征点集、透视变换矩阵、重合区域图像；

重合区域图像配准模块，对所述重合区域图像采用透视变换矩阵进行分块，得到若干子图，再对所得的子图应用SURF算法、RANSAC算法、贝叶斯概率模型进行特征点配准及优化；

图像变形融合模块，使用优化的TPS函数对成对待拼接图像帧进行变形插值融合，其中所述优化的TPS函数为将所述特征点集中特征点之间的平均距离代替原TPS薄板样条函数中的正则参数；

图像平滑模块，对融合时的重合区域利用圆周映射像素，以实现像素从重合区域至非重合区域的平滑过渡，最终得到无缝隙的拼接图像帧；

无线图像显示模块，包括无线传输模块和显示器模块，其中：

无线传输模块，用于将所述图像拼接系统处理模块所获得的拼接图像帧传递给显示器模块；

显示器模块，用于显示所接收的拼接图像帧。

进一步地，所述处理器为四核Cortex-A15处理器。

进一步地，所述显示器模块为液晶显示器。

本发明还提供一种移动机器人的视觉图像拼接方法，包括：

第一，由安装在移动机器人上的双目摄像头采集成对待拼接图像帧；

第二，图像拼接系统处理对所述成对待拼接图像帧进行预处理、边界线定位、重合区域图像配准、图像变形融合和图像平滑处理，具体如下：

1)预处理对所述机器人图像采集模块所采集的成对待拼接图像帧进行预处理，调整亮度，得到成对的原图1和原图2；

2)边界线定位对原图1和原图2划分测试块，再依次运用FAST算法和KNN算法对所述测试块进行配准，得到透视变换矩阵，然后再进行边界角点映射，从而定位边界线，得到重合区域信息；

3)重合区域图像配准对所述重合区域采用透视变换矩阵进行分块，得到若干子图，再对所得的子图应用SURF算法、RANSAC算法、贝叶斯概率模型进行特征点配准及优化；

4)图像变形融合使用优化的TPS函数对原图1和原图2的重合区域、非重合区域进行变形插值融合；

5)图像平滑对融合时的重合区域利用圆周映射像素，以实现像素从重合区域至非重合区域的平滑过渡，最终得到无缝隙的拼接图像帧；

第三，所述拼接图像帧通过无线传输模块传递给显示器模块显示。

进一步地，上述2)边界线定位的具体步骤如下：

步骤201、对原图1和原图2划分测试块，然后运用FAST算法对所述测试块进行特征点提取与配准，接着再运用KNN算法对特征点进行提纯，删除误匹配点，从而配准得到原图1和原图2中各自的匹配点集；

步骤202、由所述匹配点集中相对应的至少4对点计算出透视变换矩阵；

步骤203、由所述透视变换矩阵、特征点坐标，结合几何变换得到边界线；

步骤204、由边界线方程，分别在原图1和原图2中得到重合区域。

进一步地，上述3)重合区域图像配准时，其对所述重合区域进行分块是结合所述透视变换矩阵和摄像机拍摄图像时的旋转角度进行的；所述重合区域图像配准的具体步骤如下：

步骤301、根据透视变换矩阵和旋转角度信息将原图1和原图2中的重合区域图像进行分块，得到子图；

步骤302、由SURF算法对子图进行特征点提取，再由特征点置信区间预估特征点对的位置，定向配准特征点对；

步骤303、由RANSAC算法迭代配准特征点集；

步骤304、由贝叶斯概率模型结合拉依达3σ准则对特征点进一步校准，得到最终的特征点集。

进一步地，上述4)图像变形融合时，对原图1和原图2的重合区域、非重合区域分别进行图像变形，其中，使用优化的TPS函数对所述重合区域进行图像变形，线性减小至零的TPS函数和相似变换相结合对所述非重合区域进行图像变形。

进一步地，对所述重合区域进行图像变形所利用的TPS函数如下：

其中，

φ(s)是一个样条函数：s是矩阵S的元素，当前点与点集内其它点的距离，s_ij＝||P_i-P_j||₂；

α、ω由匹配的特征点集和通过求解如下方程组而得：其中，Q＝[1_1×L；X；Y]，U,V是已知向量；

L是特征点集的数目值。

进一步地，上述5)图像平滑中，对融合时的重合区域利用圆周映射像素具体是，将所述重合区域像素点位置占比信息映射到圆周上，再由三角函数优化两幅待拼接图像的像素占比，映射方法如下：

θ＝0.5*π*r/R；

其中，

r为重合区域任意点像素点与所在行的左侧边界点的距离，r＝||(x_i,y_i)-(X_il,Y_il)||₂；

R为该像素点所在行的重合区域的宽度，R＝||(X_ir,Y_ir)-(X_il,Y_il)||₂；

θ为该像素点距左边界的长度与在其所在行宽度的比例，映射在单位圆上的角度；

则任意点的像素值为：

P(x,y)＝ω₁*P₁(x,y)+ω₂*P₂(x,y)；

其中，ω₁为原图1像素权重系数，ω₁＝cos²θ；ω₂为原图2像素权重系数，ω₂＝sin²θ，ω₁+ω₂＝1；P₁(x,y)为原图1的像素值，P₂(x,y)为原图2的像素值。

进一步地，所述图像拼接系统处理对所述成对待拼接图像帧中的两幅图做并行处理。

本发明具有以下有益效果：

1、本发明的视觉图像拼接系统及方法，适用于双目视觉的移动机器人平台，其由SURF算法与优化的TPS函数实现特征提取与图像变形、自适应确定多边形重合区域、平滑亮度、并且由圆周映射自适应平滑重合区域边缘像素，该视觉图像拼接系统及方法能够对机器人双目采集的图像进行拼接，使机器人的视野得到极大的拓宽，且能更好的完成移动、定位、识别等目的。

2、本发明所提供的视觉图像拼接方法，为一种自适应寻边界的图像拼接方法，与现有技术相比，采用本发明提供的视觉图像拼接系统和方法，能够提高图像拼接速度、效率、合成后图片的质量，并且还具有以下有益效果：(1)自适应寻找边界得出精确的多边形边界，不会有多余非重合信息掺杂在重合区；(2)整套系统仅在重合区域提取特征点，提高了特征提取的效率与匹配的准确率；(3)结合坐标与变换矩阵对重合区域特征点分块，并使用SURF算法、RANSAC算法进行配准融合，再结合贝叶斯概率模型与残差筛选特征点，大大提高了匹配效率和精度；(4)由相应的径向基函数(TPS薄板样条函数)对图像变形融合，得到了很好的拼接效果，从而有效抑制了重影等问题；(5)圆周自适应平滑像素值，解决了色差缝隙问题，最终得到高质量、高效的拼接图像。

附图说明

图1为图像拼接系统的组成部分；

图2为图像拼接系统的主流程图；

图3为测试块提取示意图；

图4为多边形重合区域边界线定位示意图；

图5为待拼接图像重合区域复原示意图；

图6为多边形重合区域分块示意图；

图7为重合区域像素单位圆映射示意图；

图8为重合区域像素值权重随位置变化的关系图；

图9为重合区域的融合效果图；

图10为待拼接帧的拼接效果图。

如下具体实施方式将结合上述附图进一步说明本发明。

具体实施方式

请参阅图1，在本发明的一种较佳实施方式中，一种移动机器人的视觉图像拼接系统，包括：

机器人图像采集模块，由安装在移动机器人上的双目摄像头构成，用于采集成对待拼接图像帧；

图像拼接系统处理模块，是在处理器上完成的，在本实施方式中，所述处理器为四核Cortex-A15处理器。所述图像拼接系统处理模块包括：预处理模块、边界线定位模块、重合区域图像配准模块、图像变形融合模块、图像平滑模块，其中：

预处理模块，对所述机器人图像采集模块所采集的成对待拼接图像帧进行亮度调整；

边界线定位模块，对所述预处理模块处理后的成对待拼接图像帧划分测试块，再依次运用FAST算法和KNN算法对所述测试块进行配准，得到透视变换矩阵，然后再进行边界角点映射，从而定位边界线，得到重合区域信息，所述重合区域信息包括测试块特征点集、透视变换矩阵、重合区域图像；

重合区域图像配准模块，对所述重合区域图像采用透视变换矩阵进行分块，得到若干子图，再对所得的子图应用SURF算法、RANSAC算法、贝叶斯概率模型进行特征点配准及优化；

图像变形融合模块，使用优化的TPS函数对成对待拼接图像帧进行变形插值融合，其中所述优化的TPS函数为将所述特征点集中特征点之间的平均距离代替原TPS薄板样条函数中的正则参数；

图像平滑模块，对融合时的重合区域利用圆周映射像素，以实现像素从重合区域至非重合区域的平滑过渡，最终得到无缝隙的拼接图像帧；

无线图像显示模块，包括无线传输模块和显示器模块，其中：

无线传输模块，用于将所述图像拼接系统处理模块所获得的拼接图像帧传递给显示器模块；

显示器模块，用于显示所接收的拼接图像帧，在本实施方式中，所述显示器模块为液晶显示器。

所述视觉图像拼接系统的主要流程如图2所示：

第一步，由移动机器人通过双目摄像头采集得到第一对待拼接图像帧，并交由处理器进行预处理以调整亮度；

第二步，处理器判断是否为第一帧，是则执行第三步，定位边界线；否则，跳过定位边界线，直接锁定重合区域，执行第四步，进行多边形重合区域的特征配准；

第三步，由FAST算法结合KNN算法对所划分的测试块进行配准，得到透视变换矩阵，然后进行边界角点映射，从而定位边界线；

第四步，由透视变换矩阵对两个待拼接图像的重合区域进行相应分块，使用并行算法对各个重合区域分块子图应用SURF算法、RANSAC算法、贝叶斯概率模型进行特征点配准优化；

第五步，使用优化的TPS函数并行对图像帧的重合区域、非重合区域进行变形插值融合；融合时对图像进行平滑处理，其中，在融合重合区域像素时引入圆周映射，从而实现像素从重合区域至非重合区域的平滑过渡；

第六步，得到高质量的融合图像帧，并判断是否有下一对待拼接图像帧，若存在，则返回，执行第一步，否则，结束处理；

第七步，将所得的融合图像帧通过无线传输模块输出到显示屏模块以显示。

基于上述的视觉图像拼接系统，本发明还提供了一种移动机器人的视觉图像拼接方法，具体如下文所示。

所述视觉图像拼接方法包括：

第一，由安装在移动机器人上的双目摄像头采集成对待拼接图像帧；

第二，图像拼接系统处理对所述成对待拼接图像帧中的两幅图进行并行处理，该处理包括预处理、边界线定位、重合区域图像配准、图像变形融合和图像平滑处理，具体如下：

1)预处理对所述机器人图像采集模块所采集的成对待拼接图像帧进行预处理，调整亮度，得到成对的原图1和原图2；

2)边界线定位对原图1和原图2划分测试块，再依次运用FAST算法和KNN算法对所述测试块进行配准，得到透视变换矩阵，然后再进行边界角点映射，从而定位边界线，得到重合区域信息；

3)重合区域图像配准对所述重合区域采用透视变换矩阵进行分块，得到若干子图，再对所得的子图应用SURF算法、RANSAC算法、贝叶斯概率模型进行特征点配准及优化；

4)图像变形融合使用优化的TPS函数对原图1和原图2的重合区域、非重合区域进行变形插值融合；

5)图像平滑对融合时的重合区域利用圆周映射像素，以实现像素从重合区域至非重合区域的平滑过渡，最终得到无缝隙的拼接图像帧；

第三，所述拼接图像帧通过无线传输模块传递给显示器模块显示。

针对上述的视觉图像拼接方法，本实施方式将结合附图进行详细的阐述。

(一)预处理

在所述的视觉拼接方法中，所述图像拼接系统处理对成对待拼接图像帧进行预处理，主要是调节成对待拼接图像帧的亮度，具体调整如下：

首先，将图像由RGB空间转换至lαβ颜色空间对图像帧进行亮度校准，计算公式为：

在lαβ颜色空间对图像帧的原图2进行亮度的线性变换，计算公式为：

α′＝α_b；

β′＝β_b；

其中，σ_at为原图1的l通道均值与色彩方差，σ_bt为原图2的l通道均值与色彩方差，l_b、α_b、β_b为原图2的lαβ颜色空间三通道色彩值。

图像帧的原图2线性变换后，再转换回RGB空间的计算公式为：

(二)边界线定位

在本发明中，边界线定位的具体步骤如下：

步骤201、对原图1和原图2划分测试块，然后运用FAST算法对所述测试块进行特征点提取与配准，接着再运用KNN算法对特征点进行提纯，删除误匹配点，从而配准得到原图1和原图2中各自的匹配点集；

步骤202、由所述匹配点集中相对应的至少4对点计算出透视变换矩阵；

步骤203、由所述透视变换矩阵、特征点坐标，结合几何变换得到边界线；

步骤204、由边界线方程，分别在原图1和原图2中得到重合区域。

针对上述步骤，现结合图3和图4进行说明，以对两帧图像进行横向拼接为例：

首先，如图3所示，建立两个并行配准的线程，以FAST算法、KNN算法为核心的配准策略。线程1为测试块10与测试块20、22、24并行配准，如果所得到的正确匹配点少于8对，则右滑测试块，测试块10与测试块21、23、25并行配准，以此类推。如果得到合适的匹配点，则停止滑动配准。线程2为测试块11与测试块20、22、24并行配准，与线程1同理。

由上述机制能快速得到匹配的测试块，最终得到相应的匹配点集。该匹配过程所用时间为传统方法的1/10或者1/5。例如，该过程在720P分辨率下，仅耗时25MS。

如图4所示，假设测试块10与21配对，则由特征点集10与特征点集21计算得到相应的透视变换矩阵H，具体来说，由特征点集10与特征点集21内的4对点，列出8个方程式解得h₀₀到h₂₂，一般h₂₂赋值为1，即，将4个(x,y)及(x′,y′)带入以下矩阵进行计算，从而求得h₀₀到h₂₂：

原图1任意点(x,y)在原图2的映射点(x′,y′)可由透视变换矩阵H经如下公式计算：

映射点(x′,y′)为：

再令矩阵M＝H^-1，则可直接计算原图2的任意点(x′,y′)，由逆透视变到原图1的映射点(x,y)：

综上计算出原图1中边界角点A、A的左邻域点A_分别在原图2中的映射点A’、A_’,并计算出射线A’A_’交原图2边界的点M；同理，可得到点P’、P_’、D，点B’、B_’、N。若其中一个边界角点的映射点超出图像范围，如图4中的点Q’，那么计算射线P’Q’交图像边界的点C，若两个边界角点的映射点A’、B’同时超出图像范围，则计算线段A’B’与图片边界的交点，记为边界端点。如图4所示最终得到由点P、M、A’、B’、N所构成的重合区域，以及由P’、D、A、B、C所构成的重合区域。将上述有效匹配区域提取作为重合区域，如图5所示，从而获得只含有公共信息的重合区域以及特征点的置信区间。

实际应用中由于误差等因素，分别将映射的角点平移，如将点A’向右上方平移，同时将B’向右下方平移等，以避免误差导致重合区域的像素损失。

(三)重合区域图像配准

在本发明所提供的视觉图像拼接方法中，其在进行重合区域图像配准时，对所述重合区域进行分块是结合所述透视变换矩阵和摄像机拍摄图像时的旋转角度进行的；因此，本发明所述重合区域图像配准的具体步骤如下：

步骤301、根据透视变换矩阵和旋转角度信息将原图1和原图2中的重合区域图像进行分块，得到子图；

步骤302、由SURF算法对分块的子图进行特征点提取，再由特征点置信区间预估特征点对的位置，定向配准特征点对；

步骤303、由RANSAC算法迭代配准特征点集；

步骤304、由贝叶斯概率模型结合拉依达3σ准则对特征点进一步校准，得到最终的特征点集。

现结合图6进行进一步地说明。

首先，在原图1的重合区域图中，分别过底边边界线1/3等分处、2/3等分处作等分分界线，并在分界线上取点a、b；m、n；由上述透视变换矩阵H得到所取点在原图2的重合区域图中的相应点a’、b’；m’、n’，并过该点a’、b’；m’、n’作分界线；得到重合区域待配准子图1、2、3；一、二、三。

接着，由SURF算法对子图进行特征点提取，再由特征点置信区间预估特征点对的位置，例如，图6所示的A与A’、B与B’、C与C’，从而使特征点对定向配准，避免大量不必要的误匹配。

然后，由RANSAC算法迭代配准特征点集。

最后，利用贝叶斯概率模型结合拉依达(3σ)准则对上述特征点集进一步校准，从几何学上阐述则为，由残差可得到某位置特征点与其投影对应点周围其它匹配的差值，贝叶斯概率准则可知，当其投影偏差与附近的其他匹配有很大差别，则判断这种匹配则有很大可能是误匹配，而不一定需要4对点才能得到正确匹配点，最终去除那些RANSAC算法无法去除的孤立点，进而得到精准的特征点集。

实际应用中，特征点直接根据上述预知的位置信息进行配准。位于分割线左右的特征点，方法容忍其与匹配范围的点拓展到分割线左右的点进行配准，以免除因分割特征点点集带来的匹配误差。

(四)图像变形融合

本发明所提供的视觉拼接方法在对图像进行变形融合时，对原图1和原图2的重合区域、非重合区域分别进行图像变形，其中，使用优化的TPS函数对所述重合区域进行图像变形，线性减小至零的TPS函数和相似变换相结合对所述非重合区域进行图像变形。

重合区域的图像变形具体为：

对所述重合区域进行图像变形所利用的TPS函数如下：

其中，

φ(s)是一个样条函数：s是矩阵S的元素，当前点与点集内其它点的距离，s_ij＝||P_i-P_j||₂；

α、ω由匹配的特征点集和通过求解如下方程组而得：其中，Q＝[1_1×L；X；Y]，U,V是已知向量；

L是特征点集的数目值。

而为了调整TPS函数插值的平滑程度，引入了正则化参数λ，以容忍噪声误差，并且将特征点点集内的所有特征点间的平均距离R引入正则参数，以达到自适应的调整曲面平滑程度。即，S＝φ(s)+λRI，其中，I是单位矩阵，

因此，通过上述，可得到原图1任意点(x,y)经过TPS插值之后的位置(x′,y′)，即由TPS函数f(x,y)即可得到原图1内的任意坐标到原图2的坐标的映射关系。求得插值之后的位置，再通过双线性插值进行逐个像素值的映射，便完成了重合区域各个子图的投影融合；然后将子图连接成重合区域图像。

(五)图像平滑

由于图像之间会因曝光度等原因产生色差，从而导致融合图像常带有拼接色差缝隙问题，因此，本发明在融合图像时对重合区域利用圆周映射像素进行平滑处理，具体是，

将所述重合区域像素点位置占比信息映射到圆周上，再由三角函数优化两幅待拼接图像的像素占比，映射方法如下：

θ＝0.5*π*r/R；

其中，如图7所示，

r为重合区域任意点像素点与所在行的左侧边界点的距离，r＝||(x_i,y_i)-(X_il,Y_il)||₂；

R为该像素点所在行的重合区域的宽度，R＝||(X_ir,Y_ir)-(X_il,Y_il)||₂；

θ为该像素点距左边界的长度与在其所在行宽度的比例，映射在单位圆上的角度；

则任意点的像素值为：

P(x,y)＝ω₁*P₁(x,y)+ω₂*P₂(x,y)；

其中，P₁(x,y)为原图1的像素值，P₂(x,y)为原图2的像素值；ω₁为原图1像素权重系数，ω₁＝cos²θ；ω₂为原图2像素权重系数，ω₂＝sin²θ，ω₁+ω₂＝1，而权重系数随像素位置变化的关系如图8所示。

通过以上步骤，即可得到自然的重合区域、非重合区域等待拼接图像。待融合图像帧处理完毕后，通过无线传输模块输出到显示屏模块以显示。

本系统实施方式的最终拼接效果图，如图9、图10所示，从图中可知，利用本发明的视觉图像拼接方法可得到高质量的拼接图像。

综上所述，本发明所提供的方案，对两张图片分别由测试块提取特征点，再进行特征点匹配，分别确定两张图片共有的有效匹配区域的边界，将所述有效匹配区域作为重合区域；结合坐标与变换矩阵等对重合区域特征点进行分块并行配准，得到优秀的特征点，然后结合优化的TPS函数等将两张视觉图像帧进行变形融合，再进行圆周自适应像素调整。因此，相比现有技术，采用本发明提供的方法，可提高图像拼接的速度、效率及合成后图片的质量。

上述说明是针对本发明较佳可行实施例的详细说明，但实施例并非用以限定本发明的专利申请范围，凡本发明所提示的技术精神下所完成的同等变化或修饰变更，均应属于本发明所涵盖专利范围。

Claims (10)

1.一种移动机器人的视觉图像拼接系统，其特征在于，包括：

机器人图像采集模块，由安装在移动机器人上的双目摄像头构成，用于采集成对待拼接图像帧；

图像拼接系统处理模块，是在处理器上完成的，其包括：预处理模块、边界线定位模块、重合区域图像配准模块、图像变形融合模块、图像平滑模块，其中：

预处理模块，对所述机器人图像采集模块所采集的成对待拼接图像帧进行亮度调整；

边界线定位模块，对所述预处理模块处理后的成对待拼接图像帧划分测试块，再依次运用FAST算法和KNN算法对所述测试块进行配准，得到透视变换矩阵，然后再进行边界角点映射，从而定位边界线，得到重合区域信息，所述重合区域信息包括测试块特征点集、透视变换矩阵、重合区域图像；

重合区域图像配准模块，对所述重合区域图像采用透视变换矩阵进行分块，得到若干子图，再对所得的子图应用SURF算法、RANSAC算法、贝叶斯概率模型进行特征点配准及优化；

图像变形融合模块，使用优化的TPS函数对成对待拼接图像帧进行变形插值融合，其中所述优化的TPS函数为将所述特征点集中特征点之间的平均距离代替原TPS薄板样条函数中的正则参数；

图像平滑模块，对融合时的重合区域利用圆周映射像素，以实现像素从重合区域至非重合区域的平滑过渡，最终得到无缝隙的拼接图像帧；

无线图像显示模块，包括无线传输模块和显示器模块，其中：

无线传输模块，用于将所述图像拼接系统处理模块所获得的拼接图像帧传递给显示器模块；

显示器模块，用于显示所接收的拼接图像帧。

2.如权利要求1所述的一种移动机器人的视觉图像拼接系统，其特征在于，所述处理器为四核Cortex-A15处理器。

3.如权利要求1所述的一种移动机器人的视觉图像拼接系统，其特征在于，所述显示器模块为液晶显示器。

4.一种移动机器人的视觉图像拼接方法，其特征在于，包括：

第一，由安装在移动机器人上的双目摄像头采集成对待拼接图像帧；

第二，图像拼接系统处理对所述成对待拼接图像帧进行预处理、边界线定位、重合区域图像配准、图像变形融合和图像平滑处理，具体如下：

1)预处理对所述机器人图像采集模块所采集的成对待拼接图像帧进行预处理，调整亮度，得到成对的原图1和原图2；

2)边界线定位对原图1和原图2划分测试块，再依次运用FAST算法和KNN算法对所述测试块进行配准，得到透视变换矩阵，然后再进行边界角点映射，从而定位边界线，得到重合区域信息；

3)重合区域图像配准对所述重合区域采用透视变换矩阵进行分块，得到若干子图，再对所得的子图应用SURF算法、RANSAC算法、贝叶斯概率模型进行特征点配准及优化；

4)图像变形融合使用优化的TPS函数对原图1和原图2的重合区域、非重合区域进行变形插值融合；

5)图像平滑对融合时的重合区域利用圆周映射像素，以实现像素从重合区域至非重合区域的平滑过渡，最终得到无缝隙的拼接图像帧；

第三，所述拼接图像帧通过无线传输模块传递给显示器模块显示。

5.如权利要求4所述的一种移动机器人的视觉图像拼接方法，其特征在于，上述2)边界线定位的具体步骤如下：

步骤201、对原图1和原图2划分测试块，然后运用FAST算法对所述测试块进行特征点提取与配准，接着再运用KNN算法对特征点进行提纯，删除误匹配点，从而配准得到原图1和原图2中各自的匹配点集；

步骤202、由所述匹配点集中相对应的至少4对点计算出透视变换矩阵；

步骤203、由所述透视变换矩阵、特征点坐标，结合几何变换得到边界线；

步骤204、由边界线方程，分别在原图1和原图2中得到重合区域。

6.如权利要求4所述的一种移动机器人的视觉图像拼接方法，其特征在于，上述3)重合区域图像配准时，其对所述重合区域进行分块是结合所述透视变换矩阵和摄像机拍摄图像时的旋转角度进行的；所述重合区域图像配准的具体步骤如下：

步骤301、根据透视变换矩阵和旋转角度信息将原图1和原图2中的重合区域图像进行分块，得到子图；

步骤302、由SURF算法对子图进行特征点提取，再由特征点置信区间预估特征点对的位置，定向配准特征点对；

步骤303、由RANSAC算法迭代配准特征点集；

步骤304、由贝叶斯概率模型结合拉依达3σ准则对特征点进一步校准，得到最终的特征点集。

7.如权利要求4所述的一种移动机器人的视觉图像拼接方法，其特征在于，上述4)图像变形融合时，对原图1和原图2的重合区域、非重合区域分别进行图像变形，其中，使用优化的TPS函数对所述重合区域进行图像变形，线性减小至零的TPS函数和相似变换相结合对所述非重合区域进行图像变形。

8.如权利要求7所述的一种移动机器人的视觉图像拼接方法，其特征在于，对所述重合区域进行图像变形所利用的TPS函数如下：

其中，

φ(s)是一个样条函数：s是矩阵S的元素，当前点与点集内其它点的距离，s_ij＝||P_i-P_j||₂；

α、ω由匹配的特征点集和通过求解如下方程组而得：其中，Q＝[1_1×L；X；Y]，U,V是已知向量；

L是特征点集的数目值。

9.如权利要求4所述的一种移动机器人的视觉图像拼接方法，其特征在于，上述5)图像平滑中，对融合时的重合区域利用圆周映射像素具体是，将所述重合区域像素点位置占比信息映射到圆周上，再由三角函数优化两幅待拼接图像的像素占比，映射方法如下：

θ＝0.5*π*r/R；

其中，

r为重合区域任意点像素点与所在行的左侧边界点的距离，r＝||(x_i,y_i)-(X_il,Y_il)||₂；

R为该像素点所在行的重合区域的宽度，R＝||(X_ir,Y_ir)-(X_il,Y_il)||₂；

θ为该像素点距左边界的长度与在其所在行宽度的比例，映射在单位圆上的角度；

则任意点的像素值为：

P(x,y)＝ω₁*P₁(x,y)+ω₂*P₂(x,y)；

其中，ω₁为原图1像素权重系数，ω₁＝cos²θ；ω₂为原图2像素权重系数，ω₂＝sin²θ，ω₁+ω₂＝1；P₁(x,y)为原图1的像素值，P₂(x,y)为原图2的像素值。

10.如权利要求4所述的一种移动机器人的视觉图像拼接方法，其特征在于，所述图像拼接系统处理对所述成对待拼接图像帧中的两幅图做并行处理。