CN111680703B - 一种基于图像特征点检测与匹配的360度施工全景图联动定位方法 - Google Patents

Abstract

本发明公开了一种基于图像特征点检测与匹配的360度施工全景图联动定位方法，通过图像特征点检测和匹配，实现两期360度施工全景图联动定位的自动处理，减少人工处理的手动工作量，提高工作效率，破除以往两期或多期全景在联动定位制作时的匹配操作限制，实现两期360度施工全景的准确定位、快速联动，辅助工程项目建设的智慧化建设。本发明不仅弥补了当前两期360度施工全景图联动定位已有方法的不足，取代了人工定位，极大地提高了全景联动定位的效率，减少了人工手动定位的误差，节约时间与人力成本。

Description

一种基于图像特征点检测与匹配的360度施工全景图联动定 位方法

技术领域

本发明涉及一种360度施工全景图联动定位方法，具体涉及一种基于图像特征点检测与匹配的360度施工全景图联动定位方法。应用于工程施工过程中施工全景图特征点检测与匹配，尤其是两期360度施工全景图联动定位，辅助施工管理。

背景技术

在信息化、数字化的迅速发展的今天，在工程项目管理应用信息化技术也必不可少。将360度施工全景图应用到工程项目管理中，在项目安全、质量、进度和统筹协调中发挥重大作用。360度施工全景图是基于静态图像的虚拟全景技术将专业相机捕捉的整个场景的图像信息或者使用建模软件渲染生成的图片，使用全景图生成软件进行拼合后，使得平面照片转化为360度全景图，用于虚拟现实浏览。在工程项目管理中，通过两期360度施工全景图的联动对比，清晰直观地展示出项目进度情况、现场施工状况，可为工程项目的安全、质量、进度和统筹等方面工作的综合业务服务，作为智慧工地建设的技术支撑。

目前要进行两期360度施工全景图联动，多为在进行360度施工全景图制作时，人工手动事先在两期全景图中定义好一个或多个联动的锚点，在打开两期360度施工全景图时才能保证定位一致，实现同步联动定位。其次，在手工进行锚点设置时，每一期360度施工全景图同一锚点的名称也必须完全一致，否则联动失败。另外，人工定位锚点主观性强，误差大，操作费时费力、对操作要求精度高，信息化管理水平低，当工程项目管理需要的锚点多时，更是极大的耗费人力、物力、工作效率低下。使用图像特征点检测与匹配进行两期360度施工全景图联动定位，联动效率高、定位精准，将有效提升项目的管理效率与全景图联动定位效果，而当前行业内没有这方面的应用案例。

发明内容

鉴于现有技术的不足，本发明提供了一种基于图像特征点检测与匹配的360度施工全景图联动定位方法。

本发明的技术方案如下：

一种基于图像特征点检测与匹配的360度施工全景图联动定位方法，包括以下步骤：

步骤1，采集施工项目不同期全景图，并在全景图查看环境中加载两期360度施工全景图；

步骤2，选定其中一期360度施工全景图作为基准，手动选取锚点，以此锚点为方向定位基准。

步骤3，360度施工全景图特征点检测：在锚点一定范围内，进行360度施工全景图特征点检测，保存检测到的特征点集合，并去除冗余特征点，得到关键特征点集合；

步骤4，对另一个360度施工全景图中进行全图的特征点提取，得到特征点集合，去除冗余特征点，得到关键特征点集合；

步骤5，将锚点一定范围内的关键特征点集合与另一期360度施工全景图的关键特征点集合进行匹配，匹配完成记录匹配位置，并保存作为参照的全景图此时的欧拉角参数，包括左右摇摆角Heading，倾斜角Roll，上下俯仰角Tilt；

步骤6，在要联动定位的另外一期360度施工全景图根据匹配位置和保存的欧拉角参数进行视角设置，保证与作为参照的全景图视角一致；

步骤7，启动联动函数，当其中一期全景图的欧拉角发生改变时，另一期的视角也进行同步。

优选地，步骤1中所述360度施工全景图，须满足工程项目管理的要求，若是无人机采集，须在不同的时间、相同规划路线进行采集；若是采用手持设备进行采集，须在不同的时间点、同一拍摄机位进行拍摄。

优选地，步骤1中在进行两期360度施工全景加载时，加载相同拍摄机位，即相同全景点位的不同时期的360度施工全景图，进行联动定位。

优选地，步骤2中选取的锚点以建筑、山体等参照性强的主体为优选。

优选地，步骤3中在进行360度施工全景图特征点检测时使用特征点提取算法，具体实现包括以下步骤：

步骤3-1：选取一个像素P，将像素的亮度设置为B_P，并为像素P设置一个阈值threshold，即若有像素的亮度大于B_P+threshold，则称该像素明显亮于像素P，若有像素的亮度小于B_P-threshold，则称该像素明显暗于像素P；

步骤3-2：进行特征点的检测：以像素P为圆心构建一个离散的Bresenham圆，将这个Bresenham圆圆周上的像素(P1，P2，P3，……，Pn)与圆心像素P的亮度进行比较，若有9个连续的像素点的亮度比B_P+threshold大，或者比B_P-threshold小，那么像素P就是特征点；

步骤3-3：在作为基准的360度施工全景图中，以锚点为基础，构建要提取特征点的图像区域Patch，重复步骤3-1和步骤3-2，提取出区域Patch内所有的特征点，得到特征点的集合P_Patch；

步骤3-4：为特征点集合P_Patch中每个特征点计算响应值Value，响应值Value是像素P与以像素P为圆心构建的Bresenham圆圆周上的像素(P1，P2，P3，……，Pn)的绝对偏差的和。比较P_Patch中相邻特征点的响应值Value，将响应值Value比较低的特征点去除，得到关键特征点集合P_Patch-key。

优选地，步骤4中在要实现联动定位的另外一期360度施工全景图中使用特征点提取算法，具体实现包括以下步骤：

步骤4-1：在当前360度施工全景图中进行全图的特征点提取，得到特征点集合P_Panorama；

步骤4-2：为特征点集合P_Panorama中每个特征点计算响应值Value，比较P_Panorama中相邻特征点的响应值Value，将响应值Value比较低的特征点去除，得到关键特征点集合P_Panorama-key。

优选地，步骤5中先获取步骤3中P_Patch-key和步骤4中P_Panorama-key的SURF特征向量后，再进行特征点匹配：先根据快速近似最近邻算法得到匹配对集合，并计算匹配对之间的欧氏距离，匹配对之间的欧式距离越短，则认为两个特征点的匹配度越高，另外，加入了Hessian矩阵迹的判断，如果两个特征点的矩阵迹正负号相同，那么这两个特征具有相同方向上的对比度变化，如果不同，说明这两个特征点的对比度变化方向是相反的，即使欧氏距离为0，直接舍弃。匹配完成后，记录匹配位置，获取并保存作为参照的全景图此时的欧拉角参数，包括获取左右摇摆角getHeading()，获取倾斜角getRoll()，获取上下俯仰角getTilt()。

优选地，步骤6中先获取步骤5中的欧拉角参数，设置要联动的第二期全景的欧拉角参数，包括设置左右摇摆角setHeading()，设置倾斜角setRoll()，设置上下俯仰角setTilt()，设置两期全景图定位到同一视角。

优选地，步骤7中，启动联动函数，侦测当前两期全景图的状态，当其中一期视角发生改变，则获取发生改变的左右摇摆角getHeading()，获取倾斜角getRoll()，获取上下俯仰角getTilt()，并立即设置另一期的全景图的欧拉角，保证实时联动。

本发明与现有技术相比，其有益效果为：本发明提供一种基于图像特征点检测与匹配的360度施工全景图联动定位方法，通过图像特征点检测和匹配，实现两期360度施工全景图联动定位的自动处理，减少人工处理的手动工作量，提高工作效率，破除以往两期或多期全景在联动定位制作时的匹配操作限制，实现两期360度施工全景的准确定位、快速联动，辅助工程项目建设的智慧化建设。

本发明不仅弥补了当前两期360度施工全景图联动定位已有方法的不足，取代了人工定位，极大地提高了全景联动定位的效率，减少了人工手动定位的误差，节约时间与人力成本，而且全景定位结果具有很好的准确度，完全满足两期360度施工全景图联动定位的业务需求。

附图说明

图1为本发明的流程示意图。

图2为本发明实例中使用尚未进行联动定位的全景图A和全景图B；

上部为全景图A，下部为全景图B。

图3为本发明实施例采用本发明提供的方法实现的两期全景联动定位结果。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

实施例1：一种基于图像特征点检测与匹配的360度施工全景图联动定位方法，包括以下步骤：

步骤1，使用无人机或360度全景手持拍摄装备进行图片采集，并通过拍摄装置自带软件将图片拼接成360度施工全景图。全景图A和全景图B均是在同一时间点位、同一机位或同一规划路线、不同时间采用无人机拍摄制作的360度施工全景图；

所述360度施工全景图，须满足工程项目管理的要求，若是无人机采集，须在不同的时间、相同规划路线进行采集；若是采用手持设备进行采集，须在不同的时间点、同一拍摄机位进行拍摄。

步骤2，在全景图查看环境中，加载要进行联动定位的两期360度施工全景图A和B，如图2所示；

进行两期360度施工全景加载时，加载相同拍摄机位，即相同全景点位的不同时期的360度施工全景图，进行联动定位。

步骤3，选定360度施工全景图A作为基准，手动选取一个锚点，以此锚点为方向定位的基准。锚点以建筑、山体等参照性强的主体为优选。

步骤4，根据步骤3在全景图A中选取的锚点，在锚点一定范围内，进行360度施工全景图特征点检测，保存检测到的特征点集合，并去除冗余特征点，得到关键特征点集合。具体实现包括以下步骤：

步骤4-1，步骤3中的全景图A中，选取一个像素P，将该像素的亮度设置为B_P，并为像素P设置一个阈值threshold，若有像素的亮度大于B_P+threshold，则称该像素明显亮于像素P，若有像素的亮度小于B_P-threshold，则称该像素明显暗于像素P；

步骤4-2，以像素P为圆心构建一个离散的Bresenham圆，将这个Bresenham圆圆周上的像素(P1，P2，P3，……，Pn)与圆心像素P的亮度进行比较，若有9个连续的像素点的亮度比B_P+threshold大，或者比B_P-threshold小，那么像素P就是特征点，否则不认为是特征点；

步骤4-3，全景图A中，以锚点为基础，构建要提取特征点的图像区域patch，重复步骤4-1和步骤4-2，提取出区域patch内所有的特征点，得到特征点的集合P_Patch；

所述图像区域Patch范围过大，增加工作时间，范围太小，提取的特征点太少则影响准确度。通常，图像区域Patch范围根据提取到的特征点数量确定，至少应提取15个特征点，少于该数量，则放大图像区域Patch范围。

步骤4-4，为特征点集合P_Patch中每个特征点计算响应值Value，响应值Value是像素P与以像素P为圆心构建的Bresenham圆圆周上的像素(P1，P2，P3，……，Pn)的绝对偏差的和。以两个一组的形式，比较P_Patch中相邻特征点的响应值Value，将进行比较的这一组相邻特征点对中响应值Value比较低的为冗余特征点，将其去除，得到关键特征点集合P_Patch-key。

步骤5，在全景图B中提取特征点集合，并去除冗余特征点，得到关键特征点集合，为下一步特征点的匹配做准备。具体实现包括以下步骤：

步骤5-1，全景图B中进行全图的特征点提取，得到特征点集合P_Panorama；

步骤5-2，为特征点集合P_Panorama中每个特征点计算响应值Value，以两个一组的形式，比较P_Panorama中相邻特征点的响应值Value，将其中响应值Value比较低的特征点为冗余特征点去除，得到关键特征点集合P_Panorama-key。

步骤6，先获取步骤4中全景图A的P_Patch-key和步骤5中全景图B的P_Panorama-key的SURF特征向量后，再进行特征点匹配；具体是：

先根据快速近似最近邻算法得到匹配对集合，并计算匹配对之间的欧氏距离，匹配对之间的欧式距离越短，则认为两个特征点的匹配度越高，另外，加入了Hessian矩阵迹的判断，如果两个特征点的矩阵迹正负号相同，那么这两个特征具有相同方向上的对比度变化，如果不同，说明这两个特征点的对比度变化方向是相反的，即使欧氏距离为0，直接舍弃；

匹配完成后，记录匹配位置，获取并保存作为参照的全景图此时的欧拉角参数，包括获取左右摇摆角getHeading()，获取倾斜角getRoll()，获取上下俯仰角getTilt()。

步骤7，在要联动定位的另外一期360度施工全景图上，根据匹配位置和保存的欧拉角参数进行视角设置，保证与作为参照的全景图视角一致；

所述视角设置是先获取步骤6中的欧拉角参数，设置要联动的第二期全景的欧拉角参数，包括设置左右摇摆角setHeading()，设置倾斜角setRoll()，设置上下俯仰角setTilt()，设置两期全景图定位到同一视角。

步骤8，启动联动函数，当其中一期全景图的视角发生改变时，另一期的视角进行同步。具体是侦测当前两期全景图的状态，当其中一期视角发生改变，则获取发生改变的左右摇摆角getHeading()，获取倾斜角getRoll()，获取上下俯仰角getTilt()，并立即设置另一期的全景图的欧拉角，保证实时联动。

以上说明了对一个图像特征点的检测和匹配及两期360度施工全景图联动定位的过程，对一个工程项目管理其他需要进行对比的两期360度施工全景图进行同样的处理，则完成了该工程项目管理中需要实现的任意两期360度施工全景图联动定位。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明权利要求所保护的范围情况下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (5)

1.一种基于图像特征点检测与匹配的360度施工全景图联动定位方法，其特征在于包括以下步骤：

步骤1，采集施工项目不同期全景图，并在全景图查看环境中加载两期360度施工全景图；

步骤2，选定其中一期360度施工全景图作为基准，手动选取锚点，以此锚点为方向定位基准；

步骤3，360度施工全景图特征点检测：在锚点一定范围内，进行360度施工全景图特征点检测，保存检测到的特征点集合，并去除冗余特征点，得到关键特征点集合；

步骤4，对另一个360度施工全景图中进行全图的特征点提取，得到特征点集合，去除冗余特征点，得到关键特征点集合；

步骤5，将锚点一定范围内的关键特征点集合与另一期360度施工全景图的关键特征点集合进行匹配，匹配完成记录匹配位置，并保存作为参照的全景图此时的欧拉角参数，包括左右摇摆角Heading，倾斜角Roll，上下俯仰角Tilt；

步骤6，在要联动定位的另外一期360度施工全景图根据匹配位置和保存的欧拉角参数进行视角设置，保证与作为参照的全景图视角一致；

步骤7，启动联动函数，当其中一期全景图的欧拉角发生改变时，另一期的视角也进行同步；

所述步骤3中在进行360度施工全景图特征点检测时使用特征点提取算法，具体实现包括以下步骤：

步骤3-1：选取一个像素P，将像素的亮度设置为B_P，并为像素P设置一个阈值threshold，即若有像素的亮度大于B_P+threshold，则称该像素明显亮于像素P，若有像素的亮度小于B_P-threshold，则称该像素明显暗于像素P；

步骤3-2：进行特征点的检测：以像素P为圆心构建一个离散的Bresenham圆，将这个Bresenham圆圆周上的像素(P1，P2，P3，……，Pn)与圆心像素P的亮度进行比较，若有9个连续的像素点的亮度比B_P+threshold大，或者比B_P-threshold小，那么像素P就是特征点；

步骤3-3：在作为基准的360度施工全景图中，以锚点为基础，构建要提取特征点的图像区域Patch，重复步骤3-1和步骤3-2，提取出区域Patch内所有的特征点，得到特征点的集合P_Patch；

步骤3-4：为特征点集合P_Patch中每个特征点计算响应值Value，响应值Value是像素P与以像素P为圆心构建的Bresenham圆圆周上的像素(P1，P2，P3，……，Pn)的绝对偏差的和；以两个一组的形式，比较P_Patch中相邻特征点的响应值Value，将进行比较的这一组相邻特征点对中响应值Value比较低的为冗余特征点，将其去除，得到关键特征点集合P_Patch-key；

所述步骤4中在要实现联动定位的另外一期360度施工全景图中使用特征点提取算法，具体实现包括以下步骤：

步骤4-1：在当前360度施工全景图中进行全图的特征点提取，得到特征点集合P_Panorama；

步骤4-2：为特征点集合P_Panorama中每个特征点计算响应值Value，以两个一组的形式，比较P_Panorama中相邻特征点的响应值Value，将其中响应值Value比较低的特征点为冗余特征点去除，得到关键特征点集合P_Panorama-key。

2.如权利要求1所述的一种基于图像特征点检测与匹配的360度施工全景图联动定位方法，其特征在于步骤1中所述360度施工全景图，若是无人机采集，则须在不同的时间、相同规划路线进行采集；若是采用手持设备进行采集，则须在不同的时间点、同一拍摄机位进行拍摄。

3.如权利要求1所述的一种基于图像特征点检测与匹配的360度施工全景图联动定位方法，其特征在于步骤1中在进行两期360度施工全景加载时，加载相同拍摄机位，即相同全景点位的不同时期的360度施工全景图，进行联动定位。

4.如权利要求1所述的一种基于图像特征点检测与匹配的360度施工全景图联动定位方法，其特征在于步骤2中选取的锚点是参照性强的主体，建筑或山体。

5.如权利要求1所述的一种基于图像特征点检测与匹配的360度施工全景图联动定位方法，其特征在于具体匹配步骤为：

先获取步骤3中P_Patch-key和步骤4中P_Panorama-key的SURF特征向量后，再进行特征点匹配；

特征点匹配是根据快速近似最近邻算法得到匹配对集合，并计算匹配对之间的欧氏距离，匹配对之间的欧式距离越短，则认为两个特征点的匹配度越高；

此外，进行Hessian矩阵迹的判断，如果两个特征点的矩阵迹正负号相同，那么这两个特征具有相同方向上的对比度变化，如果不同，说明这两个特征点的对比度变化方向是相反的，即使欧氏距离为0，直接舍弃；

最后完成匹配后，记录匹配位置，获取并保存作为参照的全景图此时的欧拉角参数，包括获取左右摇摆角getHeading()，获取倾斜角getRoll()，获取上下俯仰角getTilt()。

Images