CN109741257B - 全景图全自动拍摄、拼接系统及方法 - Google Patents

Abstract

本发明公开了一种全景图全自动拍摄、拼接系统及方法，包括：无人机以及终端设备，图像采集模块，用于自动分析规划确定具体的航拍位置以及移动路线，无人机在预定采集频率的时间点，采集所在航拍位置处的图像数据，采集后，无人机按照规划的移动路线，移动到下一航拍位置点继续拍摄，直到获取规划中的全部航拍位置点的图像数据；图像处理模块，用于对采集到的序列图像进行图像预处理、图像特征提取、图像融合，生成目标全景图。本发明由算法自动计算拍摄位置和规划路线，避免了人为操作失误，确保了拍摄质量，由无人机按照规划路线进行自动拍摄，在很大程度上提高了拍摄效率。

Description

全景图全自动拍摄、拼接系统及方法

技术领域

本发明涉及图像自动拍摄拼接技术领域，尤其是一种全自动全景图拍摄、拼接系统及方法。

背景技术

全景图是宽视角图像的一种，存在的形式多种多样，常见的有照片、图画作品、视频和3D模型。在现在的生活中里，类似全景图的宽视角高分辨率图像越来越被人们所关注。图像拼接技术应运而生并日益受到重视，将普通相机采集的具有重叠区域的若干张照片根据工程和项目需求以某种配准、融合等算法或方法计算生成一张和所有拍摄的照片同一场景的高清宽视角的图像。

全景图像的生成技术中，图像拍摄及图像拼接是两大关键技术，图像拼接就是将两张具有重叠区域的图像变换到统一的坐标系下，将待拼接图像重叠区域间的冗余像素信息去掉，最终得到一幅高质量的图像。

在拍摄全景图时，我们往往需要通过多幅全景图更全面地展示整个场景的细节。而为了实现能够拍摄多幅全景图，在不同拍摄地点之间进行切换，目前通常需要人工在地图上指定不同的拍摄点位，拍摄不同的全景图和深度图，以通过融合，实现整个大场景的3D沉浸式模型。而这种基于人工选位拍摄的方式，需要人工把整套设备搬到不同的拍摄地点，人工依据经验选址，在进行大场景3D拍摄过程中，会消耗大量时间，拍摄精确度无法保证。

发明内容

本发明的目的是为了克服现有技术存在的问题，提供一种全景图全自动拍摄、拼接系统及方法，适用于大场景下的全景图拍摄拼接工作，能够提高拍摄效率，提高了图像采集质量和全景图质量。

为了实现上述目的，本发明一方面提供一种全景图全自动拍摄、拼接系统，包括：无人机以及终端设备，图像采集模块，用于通过采用无人机航拍相机，对整个场景进行序列图像采集，并通过网络将无人机航拍图像数据传递给图像存储模块；其中，图像采集模块包括：位置处理模块，用于在无人机航拍回传的地图上，自动分析规划确定具体的航拍位置以及移动路线，位置处理模块根据终端设备指令，无人机在预定采集频率的时间点，采集所在航拍位置处的图像数据，采集后，无人机按照规划的移动路线，移动到下一航拍位置点继续拍摄，直到获取规划中的全部航拍位置点的图像数据；图像处理模块，用于对采集到的序列图像进行图像预处理、图像特征提取、图像融合，生成目标全景图；其中，图像处理模块包括：灰度处理模块，用于对采集的图像进行灰度均衡化处理；滤波处理模块，用于对灰度均衡化处理后的图像，进行滤波，获取预处理图像中的有效的、低噪声的高质量图像；图像拼接模块，对图像处理模块处理后的图像进行图像特征提取与匹配，图像特征提取与匹配后进行图像特征块重叠区域局部优化与融合；其中，图像拼接模块包括图像特征提取模块和图像融合模块，图像特征提取模块，用于对经过灰度均衡化处理和滤波处理的图像，采用局部边缘密度算法进行全景图像特征区域的自动提取；图像融合模块，利用图像的局部熵差进行特征点匹配搜索，提高拼接速度和精度；图像存储模块，用于利用云服务器实现对无人机航拍序列图像的接收。

优选的，所述无人机与终端设备通过无线通讯的方式连接，终端设备能够通过控制指令控制无人机的状态及动作。

优选的，将融合拼接后的目标全景图存储在云服务器。

优选的，按照无人机航拍的位置坐标、时间，对序列图像进行命名，存储。

优选的，滤波包括中值滤波和高斯滤波。

本发明第二方面提供一种全景图全自动拍摄、拼接方法，包括以下步骤：通过采用无人机航拍相机，对整个场景进行序列图像采集，并通过网络将无人机航拍图像数据传递给图像存储模块；在无人机航拍回传的地图上，自动分析规划确定具体的航拍位置以及移动路线，根据终端设备指令，无人机在预定采集频率的时间点，采集所在航拍位置处的图像数据，采集后，无人机按照规划的移动路线，移动到下一航拍位置点继续拍摄，直到获取规划中的全部航拍位置点的图像数据；对采集到的序列图像进行图像预处理、图像特征提取、图像融合，生成目标全景图；进行图像预处理包括对采集的图像进行灰度均衡化处理；对灰度均衡化处理后的图像，进行滤波，获取预处理图像中的有效的、低噪声的高质量图像；图像特征提取包括对处理后的图像进行图像特征提取与匹配，图像特征提取与匹配后进行图像特征块重叠区域局部优化与融合；对经过灰度均衡化处理和滤波处理的图像，采用局部边缘密度算法进行全景图像特征区域的自动提取；利用图像的局部熵差进行特征点匹配搜索，提高拼接速度和精度；其中，自动分析规划确定具体的航拍位置以及移动路线的方法具体包括以下步骤：在无人机航拍回传的地图上，确定坐标系原点，X轴及Y轴，以平行于X轴的多条网格线和平行于Y轴的多条网格线，将地图划分为若干个网格块，X轴网格线与Y轴网格线的交汇处即为可选的航拍位置点，可以根据不同的图像质量要求，选择不同的网格块大小，当图像质量要求高时，选择小网格块作为航拍位置点，当图像质量要求低时，选择大网格块作为航拍位置点；根据上述确定的航拍位置点，确定无人机移动路线，可以是以行为单位，逐行拍摄作为无人机移动路线，也可以是以列为单位，逐列拍摄作为无人机移动路线，还可以是以螺旋形的方式，从外围向内部螺旋规划无人机的移动路线。

优选的，采用局部边缘密度算法进行全景图像特征区域的提取，利用图像的局部熵差进行特征点匹配搜索，包括以下步骤：对图像进行边缘检测，并边缘检测结果进行二值化处理，找到图像边缘的特征区域，采用局部边缘密度衡量图像中某点所在区域的边缘信息丰富程度；

其中，D(i,j)为利用不同尺度的高斯差分核与图像卷积构成的高斯差分尺度空间，E(I(i,j))代表图像的二值边缘，φ代表局部边缘密度卷积窗口半宽，通过(1)式可以计算出在图像范围内各个点的局部边缘密度值，定位出图像特征区域中心像素点(i,j)后，将信息熵引入到图像特征点的匹配过程中，匹配过程为：

其中，A(α)代表图像内灰度α出现的概率，L代表图像的最大灰度值。

优选的，图像特征提取是指采用SIFT算法，生成SIFT特征向量，进行局部特征提取。

优选的，所述SIFT算法，是一种图像特征提取与匹配的算法，提取的是局部特征。

优选的，所述生成SIFT特征向量，包括以下步骤：尺度空间极值检测、关键点位置及尺度确定、关键点方向确定以及特征向量生成。

优选的，图像融合是指将两幅图像融合成一幅图像，对于两幅图像的重叠区域，采用平滑处理，最终生成融合后的图像；所述重叠区域即两幅连续的序列图像中，无人机所拍摄到的同一个地方的图像部分。

通过上述技术方案，由算法自动计算拍摄位置和规划路线，避免了人为操作失误，确保了拍摄质量，由无人机按照规划路线进行自动拍摄，在很大程度上提高了拍摄效率。

附图说明

图1为本发明一种全景图全自动拍摄、拼接系统的结构示意图；

图2为本发明一种全景图全自动拍摄、拼接方法中，在坐标系下的拍摄点位和移动路径。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

如图1所示，本发明的全景图全自动拍摄、拼接系统，主要包括：无人机以及终端设备，图像采集模块，用于通过采用无人机航拍相机，对整个场景进行序列图像采集，并通过网络将无人机航拍图像数据传递给图像存储模块；其中，图像采集模块包括：位置处理模块，用于在无人机航拍回传的地图上，自动分析规划确定具体的航拍位置以及移动路线，位置处理模块根据终端设备指令，无人机在预定采集频率的时间点，采集所在航拍位置处的图像数据，采集后，无人机按照规划的移动路线，移动到下一航拍位置点继续拍摄，直到获取规划中的全部航拍位置点的图像数据；

图像处理模块，用于对采集到的序列图像进行图像预处理、图像特征提取、图像融合，生成目标全景图；其中，图像处理模块包括：灰度处理模块，用于对采集的图像进行灰度均衡化处理；滤波处理模块，用于对灰度均衡化处理后的图像，进行滤波，获取预处理图像中的有效的、低噪声的高质量图像；图像拼接模块，对图像处理模块处理后的图像进行图像特征提取与匹配，图像特征提取与匹配后进行图像特征块重叠区域局部优化与融合；其中，图像拼接模块包括图像特征提取模块和图像融合模块，图像特征提取模块，用于对经过灰度均衡化处理和滤波处理的图像，采用局部边缘密度算法进行全景图像特征区域的自动提取；图像融合模块，利用图像的局部熵差进行特征点匹配搜索，提高拼接速度和精度；

图像存储模块，用于利用云服务器实现对无人机航拍序列图像的接收。

优选的，所述无人机与终端设备通过无线通讯的方式连接，终端设备能够通过控制指令控制无人机的状态及动作；

优选的，将融合拼接后的目标全景图存储在云服务器；

优选的，按照无人机航拍的位置坐标、时间，对序列图像进行命名，存储；

优选的，滤波包括中值滤波和高斯滤波；

一种全景图全自动拍摄、拼接方法，包括以下步骤：通过采用无人机航拍相机，对整个场景进行序列图像采集，并通过网络将无人机航拍图像数据传递给图像存储模块；在无人机航拍回传的地图上，自动分析规划确定具体的航拍位置以及移动路线，根据终端设备指令，无人机在预定采集频率的时间点，采集所在航拍位置处的图像数据，采集后，无人机按照规划的移动路线，移动到下一航拍位置点继续拍摄，直到获取规划中的全部航拍位置点的图像数据；对采集到的序列图像进行图像预处理、图像特征提取、图像融合，生成目标全景图；进行图像预处理包括对采集的图像进行灰度均衡化处理；对灰度均衡化处理后的图像，进行滤波，获取预处理图像中的有效的、低噪声的高质量图像；图像特征提取包括对处理后的图像进行图像特征提取与匹配，图像特征提取与匹配后进行图像特征块重叠区域局部优化与融合；对经过灰度均衡化处理和滤波处理的图像，采用局部边缘密度算法进行全景图像特征区域的自动提取；利用图像的局部熵差进行特征点匹配搜索，提高拼接速度和精度。

如图2所示，自动分析规划确定具体的航拍位置以及移动路线的方法具体包括以下步骤：在无人机航拍回传的地图上，确定坐标系原点，X轴及Y轴，以平行于X轴的多条网格线和平行于Y轴的多条网格线，将地图划分为若干个网格块，X轴网格线与Y轴网格线的交汇处即为可选的航拍位置点，可以根据不同的图像质量要求，选择不同的网格块大小，当图像质量要求高时，选择小网格块作为航拍位置点，当图像质量要求低时，选择大网格块作为航拍位置点；根据上述确定的航拍位置点，确定无人机移动路线，可以是以行为单位，逐行拍摄作为无人机移动路线，也可以是以列为单位，逐列拍摄作为无人机移动路线，还可以是以螺旋形的方式，从外围向内部螺旋规划无人机的移动路线；

其中，采用局部边缘密度算法进行全景图像特征区域的提取，利用图像的局部熵差进行特征点匹配搜索，包括以下步骤：对图像进行边缘检测，并边缘检测结果进行二值化处理，找到图像边缘的特征区域，采用局部边缘密度衡量图像中某点所在区域的边缘信息丰富程度；

其中，D(i,j)为利用不同尺度的高斯差分核与图像卷积构成的高斯差分尺度空间，

E(I(i,j))代表图像的二值边缘，代表局部边缘密度卷积窗口半宽，通过(1)式可以计算出在图像范围内各个点的局部边缘密度值，定位出图像特征区域中心像素点(i,j)后，将信息熵引入到图像特征点的匹配过程中，匹配过程为：

其中，A(α)代表图像内灰度α出现的概率，L代表图像的最大灰度值；

优选的，图像特征提取是指采用SIFT算法，生成SIFT特征向量，进行局部特征提取；

优选的，所述SIFT算法，是一种图像特征提取与匹配的算法，提取的是局部特征；

优选的，所述生成SIFT特征向量，包括以下步骤：尺度空间极值检测、关键点位置及尺度确定、关键点方向确定以及特征向量生成；

优选的，图像融合是指将两幅图像融合成一幅图像，对于两幅图像的重叠区域，采用平滑处理，最终生成融合后的图像；所述重叠区域即两幅连续的序列图像中，无人机所拍摄到的同一个地方的图像部分。

以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于此。在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。但这些简单变型和组合同样应当视为本发明所公开的内容，均属于本发明的保护范围。

Claims (10)

1.一种全景图全自动拍摄、拼接方法，其特征在于，包括以下步骤：

通过采用无人机航拍相机，对整个场景进行序列图像采集，并通过网络将无人机航拍图像数据传递给图像存储模块；

在无人机航拍回传的地图上，自动分析规划确定具体的航拍位置以及移动路线，根据终端设备指令，无人机在预定采集频率的时间点，采集所在航拍位置处的图像数据，采集后，无人机按照规划的移动路线，移动到下一航拍位置点继续拍摄，直到获取规划中的全部航拍位置点的图像数据；

对采集到的序列图像进行图像预处理、图像特征提取、图像融合，生成目标全景图；进行图像预处理包括对采集的图像进行灰度均衡化处理；对灰度均衡化处理后的图像，进行滤波，获取预处理图像中的有效的、低噪声的高质量图像；图像特征提取包括对处理后的图像进行图像特征提取与匹配，图像特征提取与匹配后进行图像特征块重叠区域局部优化与融合；对经过灰度均衡化处理和滤波处理的图像，采用局部边缘密度算法进行全景图像特征区域的自动提取；利用图像的局部熵差进行特征点匹配搜索，提高拼接速度和精度；其中，自动分析规划确定具体的航拍位置以及移动路线的方法具体包括以下步骤：在无人机航拍回传的地图上，确定坐标系原点，X轴及Y轴，以平行于X轴的多条网格线和平行于Y轴的多条网格线，将地图划分为若干个网格块，X轴网格线与Y轴网格线的交汇处即为可选的航拍位置点；根据图像质量确定网格大小；

采用局部边缘密度算法进行全景图像特征区域的提取，利用图像的局部熵差进行特征点匹配搜索，包括以下步骤：对图像进行边缘检测，并边缘检测结果进行二值化处理，找到图像边缘的特征区域，采用局部边缘密度衡量图像中某点所在区域的边缘信息丰富程度；

其中，D(i,j)为利用不同尺度的高斯差分核与图像卷积构成的高斯差分尺度空间，E(I(i,j))代表图像的二值边缘，φ代表局部边缘密度卷积窗口半宽，通过(1)式可以计算出在图像范围内各个点的局部边缘密度值，定位出图像特征区域中心像素点(i,j)后，将信息熵引入到图像特征点的匹配过程中，匹配过程为：

其中，A(α)代表图像内灰度α出现的概率，L代表图像的最大灰度值。

2.根据权利要求1所述的方法，其特征在于，根据不同的图像质量要求，选择不同的网格块大小，当图像质量要求高时，选择小网格块作为航拍位置点，当图像质量要求低时，选择大网格块作为航拍位置点；根据上述确定的航拍位置点，确定无人机移动路线，以行为单位，逐行拍摄作为无人机移动路线，或以列为单位，逐列拍摄作为无人机移动路线，或以螺旋形的方式，从外围向内部螺旋规划无人机的移动路线。

3.根据权利要求2所述的方法，其特征在于，图像特征提取是指采用SIFT算法，生成SIFT特征向量，进行局部特征提取。

4.根据权利要求3所述的方法，其特征在于，所述生成SIFT特征向量，包括以下步骤：尺度空间极值检测、关键点位置及尺度确定、关键点方向确定以及特征向量生成。

5.根据权利要求4所述的方法，其特征在于，图像融合是指将两幅图像融合成一幅图像，对于两幅图像的重叠区域，采用平滑处理，最终生成融合后的图像；所述重叠区域即两幅连续的序列图像中，无人机所拍摄到的同一个地方的图像部分。

6.一种应用权利要求1所述的一种全景图全自动拍摄、拼接方法的全景图全自动拍摄、拼接系统，其特征在于，包括：无人机以及终端设备，图像采集模块，用于通过采用无人机航拍相机，对整个场景进行序列图像采集，并通过网络将无人机航拍图像数据传递给图像存储模块；其中，图像采集模块包括：位置处理模块，用于在无人机航拍回传的地图上，自动分析规划确定具体的航拍位置以及移动路线，位置处理模块根据终端设备指令，无人机在预定采集频率的时间点，采集所在航拍位置处的图像数据，采集后，无人机按照规划的移动路线，移动到下一航拍位置点继续拍摄，直到获取规划中的全部航拍位置点的图像数据；图像处理模块，用于对采集到的序列图像进行图像预处理、图像特征提取、图像融合，生成目标全景图；其中，图像处理模块包括：灰度处理模块，用于对采集的图像进行灰度均衡化处理；滤波处理模块，用于对灰度均衡化处理后的图像，进行滤波，获取预处理图像中的有效的、低噪声的高质量图像；图像拼接模块，对图像处理模块处理后的图像进行图像特征提取与匹配，图像特征提取与匹配后进行图像特征块重叠区域局部优化与融合；其中，图像拼接模块包括图像特征提取模块和图像融合模块，图像特征提取模块，用于对经过灰度均衡化处理和滤波处理的图像，采用局部边缘密度算法进行全景图像特征区域的自动提取；图像融合模块，利用图像的局部熵差进行特征点匹配搜索，提高拼接速度和精度；图像存储模块，用于利用云服务器实现对无人机航拍序列图像的接收。

7.根据权利要求6所述的全景图全自动拍摄、拼接系统，其特征在于，所述无人机与终端设备通过无线通讯的方式连接，终端设备能够通过控制指令控制无人机的状态及动作。

8.根据权利要求7所述的全景图全自动拍摄、拼接系统，其特征在于，将融合拼接后的目标全景图存储在云服务器。

9.根据权利要求8所述的全景图全自动拍摄、拼接系统，其特征在于，按照无人机航拍的位置坐标、时间，对序列图像进行命名，存储。

10.根据权利要求9所述的全景图全自动拍摄、拼接系统，其特征在于，滤波包括中值滤波和高斯滤波。