CN111815517A - 一种基于球机抓拍图片的自适应全景拼接方法 - Google Patents

Abstract

本发明公开了一种基于球机抓拍图片的自适应全景拼接方法，该方法包括以下步骤：S10、控制球机以预定旋转时间和旋转角速度在360度范围内抓拍多幅前后部分重叠的图像；S20、对图像进行预处理并进行特征点选择区域的标定；S30、从标定的特征点选择区域提取特征点并进行特征点匹配；S40、对拼接图像进行映射校正和过渡还原；S50、进行全景图像拼接。本发明的基于球机抓拍图片的自适应全景拼接方法能够自适应地拼接球机抓拍的图像，通过对特征点选择区域进行标定将特征点检测区域从全图缩小到图像重叠区域，在提高检测效率的同时优化特征点的匹配质量，大幅提升拼接效率和拼接质量，实现场景360度无死角的监控。

Description

一种基于球机抓拍图片的自适应全景拼接方法

技术领域

本发明涉及全景拼接技术领域，特别涉及一种基于球机抓拍图片的自适应全景拼接方法。

背景技术

全景拼接是使用多个摄像机对同一个场景在不同角度拍摄，把得到的多个图像进行校正、去噪、匹配、融合，最终构建成一个质量高、清晰、边缘平滑、分辨率高的图像。

在实际的科研和工程中，当遇到超过人眼视角的场景时，在近距离内无法用照相机将这些庞大的事物拍摄下来，拉大拍摄距离虽然可以得到宽范围的图像，但是拍摄到的物体可能会相对较小，而经过放大后的图像则会出现马赛克现象，效果很差。使用现代化的硬件设施可能会解决这一问题。但是，像广角镜头等硬件设备的价格都很昂贵，使用方法复杂，而且会造成图像边缘变形的现象。另外一种方法就是使用软件来解决这一问题，如Photoshop等图像处理软件，可以将几个普通视角的图像做成宽视角的大图像，但做出理想的效果效率太低。所以，为获得高分辨率的全景图片，对数字图像拼接技术进行研究是非常必要的。

目前，通常利用球机对场景进行监控。在球机进行监控过程中，云台控制球机的摄像头转动，摄像头获取周围场景的实时图像，以达到对周围场景的监控目的。由于球机采用单一画面显示，同一时间只能对一个场景进行监控，并没有全景图像的概念，即同一时间只能获取并输出球机全部视野中的一部分视野的监控图像。当想要快速定位到球机全部视野范围内除当前监控场景外的其他场景时，需要手动控制将球机转动到目标位置，以获得目标位置对应的场景的监控图像，这样将会导致球机工作效率低、且球机定位不准确的问题。另外，当球机需要进行云台的巡迹、线扫等设置时，均需手动控制球机逐点定位，也将导致球机工作效率低、且球机定位不准确的问题；对于具有自动跟踪功能的智能球机，他可以放大显示监控场景的细节信息，无需手动控制球机转动，但也不具备全景图像的概念，一旦需要报警，将难以确定目标场景的具体位置。

图像拼接技术最先在遥感领域得到应用，其核心方法是图像配准。图像配准分为基于区域的配准方法和基于特征的图像配准。基于区域的配准方法分又为基于空间域的图像配准和基于变换域的图像配准，早期主要采用全局搜索法进行图像配准，计算量极大。基于特征的图像配准法基本思想是提取特征点，匹配两幅图像中的特征点作为特征点对，使用特征点对估计空间变换模型的参数，特征包括角点、边缘和斑点等等。

图像拼接算法，基于特征点检测与匹配的拼接算法仍然是主流算法，通过图像对的特征点提取与匹配，根据特征点的匹配情况可得到图像变换模型，常用的图像变换模型有仿射变换模型、透视变换模型等，用所得到的模型对所有待拼接的图像进行变换，最后在重叠区域进行融合后得到一副首尾相接的全景图。

目前最常用的拼接算法一般通过经典的SIFT算法提取点特征，SIFT特征点对图像的尺度变化、旋转变化、光照变化等保持不变，对仿射变换也有一定的不变性，是广泛采用的特征点提取方法之一，但是其复杂度高，计算速度较慢；在匹配过程中，使用特征向量之间距离的最近邻和次近邻之比来判断特征点是否匹配；然后利用RANSAC算法剔除误匹配对，估算出图像间的单应矩阵；最后根据生成的图像变换模型进行相应的图像变换后，再经过多波段融合处理得到全景图。但是此种算法因为视差的原因会导致重影和错位，即单应矩阵是两个平面之间的变换，一个单应矩阵将位于同一平面的点对齐了，而位于其他平面的点就无法对齐。所以有很多新的算法利用两个单应矩阵，甚至多个单应矩阵来进行拼接。目前拼接效果好的算法是基于局部单应性的，将图像划分成细密的网格，每个网格做一次局部单应变换。全景拼接的实时性至关重要。基于网格化的局部单应性的算法虽然拼接效果好，但是拼接速度非常慢。

综上所述，现有技术存在的问题是：现有算法的处理速度慢，计算耗时大；对于特征点少或者重叠区域低的场景，现有的基于特征点提取和匹配的算法不鲁棒。

发明内容

本发明要解决的技术问题是提供一种拼接效率高，拼接效果好的基于球机抓拍图片的自适应全景拼接方法。

为了解决上述技术问题，本发明提供了一种基于球机抓拍图片的自适应全景拼接方法，其包括以下步骤：

S10、控制球机以预定旋转时间和旋转角速度在360度范围内抓拍多幅前后部分重叠的图像；

S20、对图像进行预处理并进行特征点选择区域的标定；

S30、从标定的特征点选择区域提取特征点并进行特征点匹配；

S40、对拼接图像进行映射校正和过渡还原；

S50、进行全景图像拼接。

作为本发明的进一步改进，步骤S20中对图像进行预处理包括图像排序、图像去噪和几何修正。

作为本发明的进一步改进，步骤S30具体包括：通过ORB算法从标定的特征点选择区域提取特征点并通过flann算法或BFmatcher算法进行特征点匹配。

作为本发明的进一步改进，步骤S40中对拼接图像进行映射校正和过渡还原，包括：

步骤S41、将拼接图像划为abc三块，a为图像左侧用于根据透视变换来拼接前图，b为图像中间用于映射还原，c为图像右侧用于选用原图和下一幅图像匹配；

步骤S42、根据前后拼接图像的匹配点计算单应性矩阵，将单应性矩阵中每个值进行线性变化，生成H₁～H_n共n个过渡还原矩阵；

步骤S43、根据n个过渡矩阵生成映射还原图像，将过渡图像img_i分成等宽的n份，依据单应性矩阵编号依次选取第i份用于拼接映射还原图像。

作为本发明的进一步改进，所述a为图像左侧30％，b为图像中间40％，c为图像右侧30％。

作为本发明的进一步改进，所述单应性矩阵H₁即为原透视矩阵，单应性矩阵H_n单位矩阵表示为：

p_x为过渡偏移量，其值为：

其中，x_h为原图偏移量，x_p为映射图的宽度，x_o为原图的宽度，70％代表a和b的比例之和；

中间的过渡矩阵H_i则依据距H₁与H_n的距离，线性改变过渡矩阵内每个数值，最后将中间图像分别与过渡矩阵相乘，得到n个过渡图像img_n。

作为本发明的进一步改进，在步骤S50中利用加权融合算法进行全景图像拼接。

作为本发明的进一步改进，加权融合后的图像为：

其中，I₁与I₂分别为待拼接的图像序列，I为融合后的图像，而w₁与w₂为拼接图像的权值，权值的计算方法为：设当前重叠区域的像素横坐标为x_i，重叠区域左右的横坐标分别为x_l和x_r，则

作为本发明的进一步改进，步骤S50还包括：利用光照补偿算法对前后图像重叠区域进行色差调节。

作为本发明的进一步改进，还包括步骤：

S31、当特征点的数量不足时，控制球机重新抓拍更多图像，使前后图像的重叠区域更大。

本发明的有益效果：

本发明基于球机抓拍图片的自适应全景拼接方法能够自适应地拼接球机抓拍的图像，通过对特征点选择区域进行标定将特征点检测区域从全图缩小到图像重叠区域，在提高检测效率的同时优化特征点的匹配质量，大幅提升拼接效率和拼接质量，实现场景360度无死角的监控。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

附图说明

图1是本发明优选实施例中基于球机抓拍图片的自适应全景拼接方法的流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

如图1所示，为本发明实施例中基于球机抓拍图片的自适应全景拼接方法，该方法包括以下步骤：

S10、控制球机以预定旋转时间和旋转角速度在360度范围内抓拍多幅前后部分重叠的图像。

其中，球机旋转的角度θ由转动的时间t和旋转的角速度ω决定，通过公式θ＝t*ω控制球机转动到实际物理位置。球机全景图像的抓拍步骤是，球机从预设的坐标原点的物理位置开始，在平面内以预设的转动时间朝着预设方向转动，每完成在一次的预设角度范围的转动后抓拍一张图像，直到完成抓拍一圈。最后，球机将全部抓拍的图像打包发给服务器。在本实施例中，球机抓拍的图像数量为12张，图像总视野范围为360°，前后图像的重叠面积为40％-50％之间。

S20、对图像进行预处理并进行特征点选择区域的标定。其中，预处理包括图像排序、图像去噪和几何修正，目的是提高配准精度、降低配准难度。特征点选择区域的标定是确定前后图像的大致图像重叠区域。根据球机抓拍图像的特殊性，将特征点检测区域从图像全景缩小到大致图像重叠区域，检测面积缩小50％以上，可以在提高检测效率的同时还能优化检测特征点的匹配质量。

具体的，图像排序首先读取所有的图片名，然后根据球机抓拍图像命名规则，截取拍照编号所在的位置，使用冒泡排序法得到正确的图像排序，最后按照排序的图片名读取图片。图像去噪是将读入的图片使用size(3,3)的高斯核进行滤波，这一步能够平滑图像，去除部分噪声的影响。几何修正是删除畸变最大的边缘部分。由于球机拍摄的图像畸变较小，但图像边缘处畸变依然比较明显，影响着后续特征点匹配的精确度。在本实施例中，由于拼接图像前后有40％以上的重合，因此对图片左右两端各截取10％的宽度。

S30、从标定的特征点选择区域提取特征点并进行特征点匹配。

因为球机旋转抓拍的特性，在特征点选取时不需要在全图查找特征点，仅需从预估的大致重叠区域内进行查找，这样能够提高查找的精度和效率。因为前后图像的重叠面积在经过截取后为30％-40％，选取前图的x轴后40％面积的图像与后图x轴前40％面积的图像进行特征点搜索。

步骤S30具体包括：通过ORB算法从标定的特征点选择区域提取特征点并通过flann算法或BFmatcher算法进行特征点匹配。

ORB算法是Fast特征检出算法和Brief特征描述算法的结合与改进。特征匹配效果比较理想，并且具有较稳定的旋转不变性、光照不变性、噪音不变性且运算速度较快。ORB算法检测特征点的实现方式为：对于图片中的任意像素点，选择距离它x，y轴方向3个像素距离的4个像素点，如果有2个连续像素点和该点的灰度值之差超过阈值，则判断该点为角点。找到特征点后需要建立二元描述符对其属性进行描述，实现方式为：在关键点周围随机选择一对像素点，第一个像素点为距离特征点r邻域内的随机点，第二个像素点为距离第一个像素点r邻域内的随机点，如果第一点值大于第二点分配值1否则分配值0，每个关键点重复该流程256次。ORB算法还会根据输入图片构建图像金字塔，金字塔每层都以1/2比例的降采样，以此实现图像匹配的尺度不变性。

暴力匹配算法(Brute Force Matcher,BFmatcher)计算匹配图单个特征点与被匹配图所有特征点的距离，然后对算得的距离进行排序，选取距离最近的点作为匹配点。BFmatcher方法也存在部分错误匹配项，需要对结果进一步筛选。筛选方法为统计所有匹配点的汉明距离，选择汉明距离最小值的两倍做为阈值再次遍历所有匹配点，汉明距离小于阈值的点作为筛选后的匹配点，反之删除。

S40、对拼接图像进行映射校正和过渡还原。

图像配准是计算出两幅图像间的空间变换模型并进行空间变换，使两幅图像的重叠部分在空间上对准，是图像拼接的关键。根据前后拼接图像的匹配点，计算单应性矩阵H可以表示为：

其中，s向量控制拼接图像的缩放和旋转，a向量控制拼接图像平移的位置，b向量控制x，y方向上的调整。

拼接图像为了与前图配准，透视变换后图像尺寸、水平对称轴、垂直对称轴及中心坐标原点都可能会发生变换。后续图像与配准后的图像拼接时同样需要进行透视变换，会造成后续图像缩放量逐步扩大，影响拼接效果。因此引入映射还原(映射校正和过渡还原)步骤。

映射还原的思路是在拼接图像的头部，根据透视变换达到拼接前图的目的；在拼接图像的尾部选用原图用于和后续图像匹配；拼接图像的中间部分使用映射还原的方法，使中间图像左侧能够和透视变换前图进行拼接，中间图像的右侧能够和不做变换的尾部图像拼接。

在本实施例中，步骤S40具体包括以下步骤：

步骤S41、将拼接图像划为abc三块，a为图像左侧用于根据透视变换来拼接前图，b为图像中间用于映射还原，c为图像右侧用于选用原图和下一幅图像匹配。优选的，a为图像左侧30％，b为图像中间40％，c为图像右侧30％。

步骤S42、根据前后拼接图像的匹配点计算单应性矩阵，将单应性矩阵中每个值进行线性变化，生成H₁～H_n共n个过渡还原矩阵；

上述单应性矩阵H₁即为原透视矩阵，单应性矩阵H_n单位矩阵表示为：

p_x为过渡偏移量，其值为：

其中，x_h为原图偏移量，x_p为映射图的宽度，x_o为原图的宽度，70％代表a和b的比例之和；

中间的过渡矩阵H_i则依据距H₁与H_n的距离，线性改变过渡矩阵内每个数值，最后将中间图像分别与过渡矩阵相乘，得到n个过渡图像img_n。

步骤S43、根据n个过渡矩阵生成映射还原图像，将过渡图像img_i分成等宽的n份，依据单应性矩阵编号依次选取第i份用于拼接映射还原图像。优选的，图像拼接时x轴方向多选取20个像素值，用于左右图像的加权融合生成映射还原图。

S50、进行全景图像拼接。其中，利用加权融合算法进行全景图像拼接。图像融合的目的是得到无缝的高质量图像。在不损失原始图像信息的前提下，消除接缝与亮度差异，实现拼接边界的平滑过渡。

相邻图像的重叠区域具有类似的特征因此得以拼接，但实际操作过程中相机拍摄过程中必然存在少量视差，使得重叠区域图像并不能完全重合。加权融合算法能够提高图像的拼接质量，加权融合后的图像为：

其中，I₁与I₂分别为待拼接的图像序列，I为融合后的图像，而w₁与w₂为拼接图像的权值，权值的计算方法为：设当前重叠区域的像素横坐标为x_i，重叠区域左右的横坐标分别为x_l和x_r，则

此外，图像的拍摄环境的光照不同，会造成拼接图像过渡时有明显的色差，需要光照补偿算法进行调节。因此，在其中一实施例中，步骤S50还包括：

利用光照补偿算法对前后图像重叠区域进行色差调节，具体包括：

(1)统计重叠区域左右图像像素点和，计算其比值lightdif；

(2)选择高亮区域弱化处理，公式为：

(3)图像拼接时，将明亮区域的I(x,y)值乘上lightrate。

在本实施例中，该方法还包括以下步骤：

S31、当特征点的数量不足时，控制球机重新抓拍更多图像，使前后图像的重叠区域更大，根据需要，采集图像数量可以扩充为12-16-24等。

本发明基于球机抓拍图片的自适应全景拼接方法能够自适应地拼接球机抓拍的图像，在提高检测效率的同时优化特征点的匹配质量，大幅提升拼接效率和拼接质量，实现场景360度无死角的监控。

以上实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (10)

1.一种基于球机抓拍图片的自适应全景拼接方法，其特征在于，包括以下步骤：

S10、控制球机以预定旋转时间和旋转角速度在360度范围内抓拍多幅前后部分重叠的图像；

S20、对图像进行预处理并进行特征点选择区域的标定；

S30、从标定的特征点选择区域提取特征点并进行特征点匹配；

S40、对拼接图像进行映射校正和过渡还原；

S50、进行全景图像拼接。

2.如权利要求1所述的基于球机抓拍图片的自适应全景拼接方法，其特征在于，步骤S20中对图像进行预处理包括图像排序、图像去噪和几何修正。

3.如权利要求1所述的基于球机抓拍图片的自适应全景拼接方法，其特征在于，步骤S30具体包括：通过ORB算法从标定的特征点选择区域提取特征点并通过flann算法或BFmatcher算法进行特征点匹配。

4.如权利要求1所述的基于球机抓拍图片的自适应全景拼接方法，其特征在于，步骤S40中对拼接图像进行映射校正和过渡还原，包括：

步骤S41、将拼接图像划为abc三块，a为图像左侧用于根据透视变换来拼接前图，b为图像中间用于映射还原，c为图像右侧用于选用原图和下一幅图像匹配；

步骤S42、根据前后拼接图像的匹配点计算单应性矩阵，将单应性矩阵中每个值进行线性变化，生成H₁～H_n共n个过渡还原矩阵；

步骤S43、根据n个过渡矩阵生成映射还原图像，将过渡图像img_i分成等宽的n份，依据单应性矩阵编号依次选取第i份用于拼接映射还原图像。

5.如权利要求4所述的基于球机抓拍图片的自适应全景拼接方法，其特征在于，所述a为图像左侧30％，b为图像中间40％，c为图像右侧30％。

6.如权利要求5所述的基于球机抓拍图片的自适应全景拼接方法，其特征在于，所述单应性矩阵H₁即为原透视矩阵，单应性矩阵H_n单位矩阵表示为：

p_x为过渡偏移量，其值为：

其中，x_h为原图偏移量，x_p为映射图的宽度，x_o为原图的宽度，70％代表a和b的比例之和；

中间的过渡矩阵H_i则依据距H₁与H_n的距离，线性改变过渡矩阵内每个数值，最后将中间图像分别与过渡矩阵相乘，得到n个过渡图像img_n。

7.如权利要求1所述的基于球机抓拍图片的自适应全景拼接方法，其特征在于，在步骤S50中利用加权融合算法进行全景图像拼接。

8.如权利要求7所述的基于球机抓拍图片的自适应全景拼接方法，其特征在于，加权融合后的图像为：

其中，I₁与I₂分别为待拼接的图像序列，I为融合后的图像，而w₁与w₂为拼接图像的权值，权值的计算方法为：设当前重叠区域的像素横坐标为x_i，重叠区域左右的横坐标分别为x_l和x_r，则

9.如权利要求8所述的基于球机抓拍图片的自适应全景拼接方法，其特征在于，步骤S50还包括：利用光照补偿算法对前后图像重叠区域进行色差调节。

10.如权利要求1所述的基于球机抓拍图片的自适应全景拼接方法，其特征在于，还包括步骤：

S31、当特征点的数量不足时，控制球机重新抓拍更多图像，使前后图像的重叠区域更大。

Images